Grid rendszerek forgalmi stratégiájának vizsgálata Készítette: Purger Norbert

Mi az a Grid? Nem központosított erőforrások koordinálása Standard, nyílt, általános-célú protokollok és interfészek segítségével nem triviális minőségi szolgáltatásokért Heterogén, elosztott, intézményeken átívelő hálózatok – Virtual Organizations

GGF - OGSA Infrastruktúra, Adatkezelés, Számítások, Architektúra, Alkalmazások, Menedzsment, Biztonság Open Grid Services Architecture –Webszolgáltatások: XML,SOAP,WSDL –PKI,Kerberos,LDAP,…

Kommunikációs igények CERN: –adatcsomagok ~100GB, adatbázis elérés ~GB Csillagászat: –~TB adatbázisok, Webszolgáltatások széles köre HPC: –MPI, ~100 μs késleltetés, >1Gbps (Myrinet,…) Vizualizációk: –„on-the-fly”, >1Gbps, jitter, rendelkezésre állás Infrastruktúra… –QoS, erőf.foglalás, DiffServ+VLAN+P2P vezérlése

Összefoglalva: Nagy átvitel>1Gbps, TByte átvitel Nagy teljesítmény és QoSQoS, jitter, MPI: 100μs Erőforrás foglalásHálózati erőforrás és igénylés Hálózati szolgáltatások hozzáférhetősége L3-diffserv, L2-VLAN, L1-P2P elérése Grid middleware-ből BiztonságVPN elérés, IPSec

Nagy átvitel Követelmény: nagy átlagos átvitel, QoS, lehetőségek a végpontokon Problémák: Alacsony átlagos átvitel, socket puffer TCP lehetőségek Okok: Végponti bottleneck, félre-konfigurálás/elégtelen protokoll, cong.control+error recov. keverése, TCP blokkolás aszinkron, windows scale API Megoldások: Több TCP session/stream Nagyobb MTU, Explicit Cong. Notification Alternatívák: TCP alt., hardveres protokoll off-loading, Overlay hálózatok, optikai hálózat végpontok között.

Problémák … Socket használata TCP-hez –Aszinkron/blokkoló műveletek, OS a socket méretből window scale paramétert, setsockopt() RPC hívások, SOAP over HTTP –TCP-vel 9 üzenet és 2 RTT késleltetés! –Transactional TCP problémás, de 3 üzenet, 1 RTT –Grid Service/G.S. Factory -> mindig új kapcsolatok MTU: –Általában LAN 1500 byte, Path MTU Discovery

Rendszer optimalizáció OS opciók hiánya/elérése: –Puffer méret, alapért. ablak méret –késleltetett / SACK, MTU Path Discovery Protokoll „Hardver”: –OS bypass: alkalmazás (virtualizált hálókártya) –TCP Offload Engines: mai szuper NIC-ek, pl. checksum, szegmentálás; nincs standard API –Újabb réteg: jelölt alkalmazás adat (10Gb/s!) – metadatok a protokollban: RDDP/RDMA –Újfata eszközök: Wavelength Disk Drive, OptiPuter

GridFTP, Replikáció, RFT GridFTP: –GSI, 3. fél küldés, részleges fájl elérés, megbízhatóság, adatcsatorna újrahasz. –TCP puffer szabályozás, Párhuzamos küldés BDP[byte]=sávszélesség[KB/s]*késleltetés [msec] 100ms: 100Mbps~1MB; 1Gbps~10MB Puffer méret: jelenleg manuális, de több ötlet is naplózásból, kapcsolat közben is, …. Párhuzamos szálak + striping!

Párhuzamos szálak Nagy kisebb fájlok Szálak száma TCP puffer (memória Striping – különböző útvonalak

MEM-MEM / Disk-Disk Mem-Mem: 32 nodes Disk-Disk: 17.5Gbps, 64 nodes (SAN…)

Disk BW vs. Striping

Memory

Stabilitás: 270TB Japánba

Overlay hálózatok

Hálózati protokollok TCP: –Slow Start, Cong. Control, Hibák (10Gbps!) Nagy távolság, nagy sávszélesség Fairness, stabilitás, ACK forgalom vissza

TCP variánsok

TCP Variánsok II. HSTCP-LP: Less than Best Effort feladatok Bic-TCP: általában jó, többinél stabilitás/fairness problémák … S-TCP: túl agresszív Fast TCP: nagy vissza-forgalom (20 vs 260Mbps!)

10GbE tesztek 9000 byte MTU >10 MByte TCP puffer Szgép. Architektúra korlátai (5-6 Gbps) 4.3 Gbps volt a maximum

UDP variánsok SABUL: –UDP adat, vissza TCP kontroll üzenetek –1 „szálon” ~950Mbps (100ms) –2db 3 gépes klaszter: 2.8Gbps –UDP ~ fairness/friendly, de sokszor veszteség UDT: –Tisztán UDP, MTU méretű adatcsomagok –Pozitív SACK, és NACK (kis % szab. csomag)

UDT teljesítmény

Iperf: 12.5 Gbps effektív sávszélesség – 94%

Szimulációk Grid szimuláció összetett feladat: –Alkalmazások, Middleware, erőforrások és a hálózat dinamikus együttműködése! –Egyensúly: virtualizáció, teljesítmény… –Egyre nagyobb hálózatfüggés, nagy egymásra-hatás: P2P,MyDoom, Teraflows…

MicroGrid Információk: –Hálózat topológia és protokollok –Node-ok hálózati beállításai (puffer, window) –Számítókapacitások és elhelyezkedésük Virtuális gépek valódi alkalmazásokkal

Hálózati forg. szimuláció: MaSSF

Alkalmazások ScaLAPACK FASTA (protein/szekvencia hasonlóság) Jacobi (párhuzamos egy.rendsz. megoldó) Fish (sok részecskés Van der Waals erők) Game of Life (sejt automata) Problémák: –HTTP háttér forgalom –Load-balancing, network mapping

Lambda-Grid Számító- és tárolókapacitások sűrűn összekapcsolva DWDM optikai utakon. OptIPuter, CANARIE –Kevesebb végpont (1000 vs 10^8) –Dedikált nagysebességű vonalak (>1Gbps) –Nem belső, hanem végponti torlódás!

Group Transport Protocol Exponential Increment and Loss Propotional Decrement

GTP II. Pont-pont 1Gbps, 58ms RTT Multipont-Pont kapcsolat Párhuzamos szálak