NetFPGA alapú hálózati forgalom monitoring Debreceni Egyetem NetFPGA alapú hálózati forgalom monitoring Orosz Péter ATMA kutatócsoport Debreceni Egyetem Informatikai Kar orosz.peter@inf.unideb.hu A 2011-es prezi elkészítése után törölhető. 2011.10.01. Jövő Internet technológiák és alkalmazások kutatása Magyarországon konferencia, Budapest, 2011. november 15.

Áttekintés Kutatási irányok Technológiai háttér Nagyteljesítményű forgalom monitoring Kihívások, motiváció Hardver és szoftver alapú forgalommérés A kutatócsoport által kidolgozott megoldások Rnetprobe monitoring rendszer Enhanced libpcap Összefoglaló Következő lépés Jövő Internet technológiák és alkalmazások kutatása Magyarországon konferencia, Budapest, 2011. november 15.

Kutatási irányok Elsődleges kutatási területek: Nagyteljesítményű hálózati forgalom monitoring Cross-layer forgalomelemzés QoS/QoE vizsgálati módszerek Hálózatemuláció Kutatási projektek: Újgenerációs szoftver alapú hálózat monitoring[1][3][4] Nagyfelbontású időbélyegzési módszerek, eljárások[5][7] Nagyteljesítményű hardveresen gyorsított hálózati mérőrendszerek[4][6] 2011. június 3. – 1st High Performance Network Monitoring Workshop, Informatikai Kar, Debreceni Egyetem Jövő Internet technológiák és alkalmazások kutatása Magyarországon konferencia, Budapest, 2011. november 15.

Technológiai háttér Nagysebességű kommunikáció: nagyteljesítményű monitorozási megoldások. Hálózatmonitorozás cross-layer protokoll- és forgalomelemzéshez: Passzív hozzáférés a monitorozott linkhez Veszteségmentes vonali rátájú csomagelkapás Nagyfelbontású és nagy precizitású időbélyegzés A trace adatok számára nagy tárolókapacitás On-the-fly forgalomszűrés és elemzés Jövő Internet technológiák és alkalmazások kutatása Magyarországon konferencia, Budapest, 2011. november 15.

Monitorozási technikák Active Test Access Point Az adatcsomagok tükrözése hatással van a monitorozott linken továbbított forgalom átviteli tulajdonságaira. Port mirroring (SPAN, RAP, monitor port) Tpacket socket tapping (libpcap) Passive Test Access Point Az adatcsomagokhoz történő hozzáférés nincs hatással a monitorozott forgalom átviteli tulajdonságaira. Fiber splitter Twisted Pair TAP: xBASE-T (regeneration at PHY) Jövő Internet technológiák és alkalmazások kutatása Magyarországon konferencia, Budapest, 2011. november 15.

Ethernet keret minimális mérete: 72 byte (576 bit) Keret időzítés Ethernet kapcsolatok időzítési paraméterei Gigabit Ethernet 10 Gigabit Ethernet Ethernet keret minimális mérete: 72 byte (576 bit) Bit idő 1 ns 0,1 ns Inter-frame gap (alapértelemett) 96 ns = 96 x bit idő 9,6 ns = 96 x bit idő Δtmin egymást követő keretek között 576 ns + 96 ns = 672 ns 57,6 ns + 9,6 ns = 67,2 ns Továbbított keretek maximális száma másodpercenként 1 488 095 14 880 952 Jövő Internet technológiák és alkalmazások kutatása Magyarországon konferencia, Budapest, 2011. november 15.

Vonali rátájú fogalom monitorozása idő (ns) p1 p2 p3 p4 p5 p6 a1 a2 a3 a4 a5 g1 g2 g3 g4 g5 … 672 1,344 2,016 2,688 3,360 Minimális méretű csomagok generálása vonali rátával 1 Gbit/s-os kapcsolaton Csomagméret: pi = 72 byte (46 byte adat + 26 byte Ethernet fejrész) Érkezési időköz: ai = 672 ns (672 x bit idő) Inter-frame gap: gi = 12 byte ahol i = 1…6 Jövő Internet technológiák és alkalmazások kutatása Magyarországon konferencia, Budapest, 2011. november 15.

Csomag időbélyegzési elvek Hardveres időbélyegzés Szoftveres időbélyegzés Szoftveres időbélyegzés Hálózati stack Alkalmazás Eszköz memória-terület Csomag érkezési sor PHY MAC Hálózati kártya Rendszermemória Eszközvezérlő Fizikai rétegbeli feldolgozás Keret feldolgozása DMA PCIe buszon NIC ring buffer OS kernel space OS user space Dt1 Dt2 Dt3 Dt4 idő (ns) Jövő Internet technológiák és alkalmazások kutatása Magyarországon konferencia, Budapest, 2011. november 15.

Időbélyegzés precizitása[3][4] Jövő Internet technológiák és alkalmazások kutatása Magyarországon konferencia, Budapest, 2011. november 15.

Az időbélyegzés precizitásának vizsgálata Rögzített csomagméret: 72 byte / IFG: 12 byte Interrupt throttling nélkül Dinamikus interrupt throttling Szoftveres időbélyegzés eredménye interrupt throttling nélkül (1. ábra): Az időbélyezgés többletterhelése megszakítás leszabályozás használata nélkül alacsonyabb. A mért érkezési időközök közelebb állnak a hardveresen mért értékekhez. Az érkezési időközök kisebb szórást mutatnak. Mindkét üzemmódban megjelennek extrém magas értékek, melyek forrása a kernel ütemezője és a polling alapú feldolgozás együttesen. Jövő Internet technológiák és alkalmazások kutatása Magyarországon konferencia, Budapest, 2011. november 15.

Az időbélyegzés precizitásának vizsgálata Rögzített csomagméret: 680 byte / IFG: 12 byte Interrupt throttling nélkül Dinamikus interrupt throttling Szoftveres időbélyegzés eredménye interrupt throttling nélkül (1. ábra): A csomag érkezési időközök kisebb szórást mutatnak, mint dinamikus megszakítás leszabályozás esetén. Szoftveres eredmények megszakítás leszabályozással (2. ábra): Érkezési időközök szórása: polling alapú csomagfeldolgozás Az extrém értékek gyakorisága korrelál az eszközvezérlő polling periódusával. Jövő Internet technológiák és alkalmazások kutatása Magyarországon konferencia, Budapest, 2011. november 15.

Az időbélyegzés precizitásának vizsgálata VoIP forgalom visszajátszása: Dinamikus megszakítás lefolytás: a polling következétben a csomagok feldolgozási késleltetése jelentős. A kernel érkezési sorába az eszközvezérlő belső ütemezése alapján kerülnek a csomagok, így a MAC szintű időbeni viszonyukról minden információt elveszítünk. Jövő Internet technológiák és alkalmazások kutatása Magyarországon konferencia, Budapest, 2011. november 15.

Alternatív időbélyegzés Jövő Internet technológiák és alkalmazások kutatása Magyarországon konferencia, Budapest, 2011. november 15.

Motiváció Veszteségmentes csomagelkapás nagyfelbontású időbélyegzéssel Gigabit+ Ethernet hálózatokon. Integrált passzív hozzáférési pont Többportos elkapás FPGA-val gyorsított design TCP alapú távoli elkapás libpcap és Wireshark integráció PCAP kimenet Nyílt implementáció Jövő Internet technológiák és alkalmazások kutatása Magyarországon konferencia, Budapest, 2011. november 15.

Rnetprobe: nagyteljesítményű hálózat monitoring rendszer[6] Tulajdonságok: NetFPGA alapú design Passzív hozzéférési pont: hardware loopback Többportos veszteségmentes elkapás Hardveres időbélyegzés Hardveres csomagvágás Több csomag feldolgozása megszakításonként libpcap integráció PCAP és grafikon kimenet Profilkezelés Távoli elkapás és monitorozás Web interfész http://irh.inf.unideb.hu/atma/rnetprobe Jövő Internet technológiák és alkalmazások kutatása Magyarországon konferencia, Budapest, 2011. november 15.

A NetFPGA kártya http://www.netfpga.org/ Jövő Internet technológiák és alkalmazások kutatása Magyarországon konferencia, Budapest, 2011. november 15.

Rnetprobe: veszteségmentes csomagelkapás Hardveres csomagvágás (snaplength) ® FPGA Több keret átvitele egy megszakítás alatt ® FPGA/DMA Összecsomagolt keretek visszaállítása ® eszközvezérlő Kernel skb cache optimalizáció intenzív forgalom feldolgozásához ® OS kernel Capture buffer hangolása optimalizált diszk írási teljesítményhez ® libpcap Az elkapott és összecsomagolt keretek átirányítása alternatív NetFPGA GbE interfészre Jövő Internet technológiák és alkalmazások kutatása Magyarországon konferencia, Budapest, 2011. november 15.

Rnetprobe: nagyteljesítményű időbélyegzés Az időbélyeg generátort az FPGA 125 MHz-es core órajele hajtja meg Az RXDV (data valid) jelzés minden GMII esetén át van tükrözve a core órajel tartományba Az RXDV jelzés felfutó éle ütemezi a core domain időbélyeg számlálójának a kiolvasását A kiolvasott érték a beérkező keret IOQ fejléce mögé kerül beszúrásra Jövő Internet technológiák és alkalmazások kutatása Magyarországon konferencia, Budapest, 2011. november 15.

Rnetprobe: nagyteljesítményű időbélyegzés Jövő Internet technológiák és alkalmazások kutatása Magyarországon konferencia, Budapest, 2011. november 15.

Csomagfeldolgozási útvonal az Rnetprobe rendszerben Jövő Internet technológiák és alkalmazások kutatása Magyarországon konferencia, Budapest, 2011. november 15.

Wireshark integráció Jövő Internet technológiák és alkalmazások kutatása Magyarországon konferencia, Budapest, 2011. november 15.

Rnetprobe web interfész Jövő Internet technológiák és alkalmazások kutatása Magyarországon konferencia, Budapest, 2011. november 15.

Rnetprobe web interfész Jövő Internet technológiák és alkalmazások kutatása Magyarországon konferencia, Budapest, 2011. november 15.

Összefoglaló Szoftver és hardver alapú hálózat monitoring megoldások tervezése és implementéciója nagyteljesítményű hálózatokhoz. Alapvető kritériumok: Nagyfelbontású és nagyprecizitású időbélyegzés[5][6] Veszteségmentes csomagelkapás Passzív hozzáférési pont -> hardware loopback Együttműködés Optimalizált I/O teljesítmény Elemeztük a 10-9 másodperc felbontású hardveres és szoftveres időbélyegzési módszerek teljesítményét. Korrelációt vizsgáltunk a hálózati adapter eszközmeghajtójának üzemmódja (megszakítás vezérelt és polling alapú) és a szoftveres időbélyegek által kifejezett csomag érkezési időközök között. Kifejlesztésre került egy alternatív, nagy precizitású időbélyegzési módszer, mely működőképes általános célú PC hardveren. Jövő Internet technológiák és alkalmazások kutatása Magyarországon konferencia, Budapest, 2011. november 15.

A következő lépés Komplett hálózati forgalommérő labor egy asztalon Hardveresen gyorsított monitoring 10+ Gbps veszteségmentes mérés Nagypontosságú időszinkronizáció Folyamszűrés Szoftver alapú monitoring Egy alternatív időbélyegzési módszer kidolgozása nagyteljesítményű hálózat monitoringhoz, amely nyers TSC regiszterértéken alapszik, a cycle to time value és time value to time of day konverziós lépéseket pedig átterheli a megszakítási kontextusból egy alacsony prioritású felhasználói folyamatra.[7] Célok: Alacsony, kvázi konstans időbélyeg előállítási többletterhelés A mért érkezési időközök alacsony szórása: nagyobb precizitás Nagy teljesítmény általános célú PC eszközön Nagyteljesítményű IP útvonal emulátor Jövő Internet technológiák és alkalmazások kutatása Magyarországon konferencia, Budapest, 2011. november 15.

Hivatkozások Peter Orosz and Tamas Skopko, “Software-based Packet Capturing with High Precision Timestamping for Linux,” The Fifth International Conference on Systems and Networks Communications, ICSNC 2010, August 22-27, 2010, Nice, France, Proceeding p. 381-386. Best Paper awarded by the conference committee. Peter Orosz and Tamas Skopko, “High Resolution Packet Timestamping in a Shared Resource Environment,” 20th International Conference on Computers and Education, SzámOkt 2010, October 7-10, 2010, Szatmárnémeti (Satu Mare), Romania, ISSN 1842-4546, Proceeding p. 192-197. Peter Orosz and Tamas Skopko, “Performance Evaluation of a High Precision Software-based Timestamping Solution for Network Monitoring,” International Journal on Advances in Software, ISSN 1942-2628, 2011 Vol 4. No. 1 & 2 p. 181-188. Tamas Skopko and Peter Orosz, “Investigating the Precision of the TSC-based Packet Timestamping,” Conference on Embedded Systems and Wireless Sensors Networks Design and Applications, ESWSNDA 2011, August 24, 2011, Debrecen, Hungary Peter Orosz, Tamas Skopko, and Jozsef Imrek, “Performance Evaluation of the Nanosecond Resolution Timestamping Feature of the Enhanced Libpcap,” The Sixth International Conference on Systems and Networks Communications, ICSNC 2011, October 23-28, 2011, Barcelona, Spain Peter Orosz, Tamas Skopko, and Jozsef Imrek, “An Improved Performance NetFPGA-based Network Monitoring System with Remote Capturing: Rnetprobe,” submitted to Journal of Network and Computer Applications (Elsevier) Peter Orosz, Tamas Skopko, and Jozsef Imrek, “A novel high precision software-based timestamping method for high performance network measurement” under preparation Jövő Internet technológiák és alkalmazások kutatása Magyarországon konferencia, Budapest, 2011. november 15.

Köszönöm a figyelmet! orosz.peter@inf.unideb.hu Debreceni Egyetem Köszönöm a figyelmet! orosz.peter@inf.unideb.hu http://irh.inf.unideb.hu/atma Jövő Internet technológiák és alkalmazások kutatása Magyarországon konferencia, Budapest, 2011. november 15.