EGEE-II Enabling Grids for E-sciencE www.eu-egee.org EGEE and gLite are registered trademarks HunGrid Grid technológiák hozzáférési lehetőségei az intézetben.

Az előadások a következő témára: "EGEE-II Enabling Grids for E-sciencE www.eu-egee.org EGEE and gLite are registered trademarks HunGrid Grid technológiák hozzáférési lehetőségei az intézetben."— Előadás másolata:

1 EGEE-II Enabling Grids for E-sciencE www.eu-egee.org EGEE and gLite are registered trademarks HunGrid Grid technológiák hozzáférési lehetőségei az intézetben Kővári Kálmán Számítógép Hálózati Központ (SZHK)‏ Részecske és Magfizikai Kutató Intézet, Budapest Simonyi-nap 2007. október 18. Budapest - Magyarország

2 Enabling Grids for E-sciencE EGEE-II Áttekintés • A tavalyi előadáson a Grid működési elveit láttuk –Letölthetőek a http://grid.kfki.hu/fileok helyről • A felhasználóink száma azóta nőtt, egyre többen élnek a Grid nyújtotta lehetőségekkel –Viszont sokaknak kicsit “nehézkes” a szintaxis • A mai előadás célja, hogy áttekintést adjunk arról, hogy mit is tudunk nyújtani, és ezt hogyan lehet egyszerűen igénybe venni –HunGrid számára rendelkezésre álló erőforrások –A User Interface gépek –A P-Grade portál

3 Enabling Grids for E-sciencE EGEE-II Kinek és miért lehet hasznos? • Nagy számítási kapacitás –Összesen 235 CPU, 36 Terabyte tárterület • Könnyen elérhető –Egyetlen megfelelő tanúsítvány begyűjtése után már csak egy böngésző szükséges • Dinamikus rendelkezésreállás • Az asztali PC-t kinövő feladatokra alkalmas –Akár egyetlen jobot is ki lehet küldeni, alkalmas beállítások és körülmények esetén perceken belül kiütemeződhet –A site-ok leggyengébb gépei is az elfogadható asztali PC minőségébe esnek (AMD 2000+ -től Intel 2.4 Quad-ig )‏ –Mostmár NEM kell napokat várni, hogy elinduljon egy job –Központilag ellenőrzik a site-ok rendeltetésszerű működését

4 Enabling Grids for E-sciencE EGEE-II A HunGrid •Sokáig eléggé el volt hanyagolva •Most újjászületőben: –Új weboldal: http://grid.kfki.hu/hungrid –Impresszív és stabil szolgáltatások –Nagy tárterület –Nem csak az RMKI tartja életben –Könnyű hozzáférhetőség •Erőforrások: –BMECPU: 32Storage: 285Gigabyte –ELTECPU: 14Storage: 13Terabyte –KFKI*CPU: 177Storage: 22Terabyte –NIIFCPU: 12Storage: 550Gigabyte –SZTAKI??? –VEIN??? •A KFKI kapacitása csak részlegesen áll a HunGrid rendelkezésére

5 Enabling Grids for E-sciencE EGEE-II A HunGrid weboldal

6 Enabling Grids for E-sciencE EGEE-II A Grid kényelmes használata •Több felhasználónak gondja volt a parancssori hozzáférés szintaktikájával és követhetőségével •Születtek a követhetőségre megoldások, például Max Berger WMSX-programcsomagja, melyet az RMKI-ban elnyert Marie-Curie ösztöndíj alatt hozott létre. –Ez azoknak lehet nagy segítség, akik eddig is sokat használták a parancssori job-küldő mechanizmust •A SZTAKI is fejlesztett egy egész más vonalon, a web- interface-ek vonalán, ennek eredménye a P-Grade portál –Ez viszont azoknak lehet kényelmes, akik egyszerű megoldásra vártak

7 Enabling Grids for E-sciencE EGEE-II A P-Grade portál •Az LCG-Griddel kompatibilis portál a http://pgrade.inf.elte.hu webcímen érhető el http://pgrade.inf.elte.hu •A SZTAKI által fejlesztett rendszert az ELTE és az RMKI közösen üzemelteti, és az RMKI infrastruktúrájára épül •A használatához szükséges: –egy X.509 digitális tanúsítvány (certificate), ezt nem lehet kikerülni a Grid rendszereknél. –HunGrid VO tagság, mely körülbelül két kattintással elintézhető –Regisztráció a portálhoz, mely egy e-mail-t jelent –Ezek mind részletesen dokumentálva vannak a HunGrid weblapon

8 Enabling Grids for E-sciencE EGEE-II A P-Grade portál használata 1. Egy Grid rendszer használatához mindenképpen szükségesek az alábbi lépések: •A digitális tanúsítvány “élesítése” valamilyen módon, és ezzel saját magunk azonosítása a rendszer felé •Kiválasztani, hogy hol szeretnénk futtatni a jobjainkat •Meghatározni a futtatandó job paramétereit, de legalább a nevét •Elindítani a jobot •Letölteni a kimenetet, ha befejezte a futást •Emiatt nem létezhet “egykattintásos” Grid :-( •Viszont ennél több nem is kell a használathoz! :-)‏

9 Enabling Grids for E-sciencE EGEE-II A P-Grade portál használata 2.

10 Enabling Grids for E-sciencE EGEE-II A P-Grade portál használata 3. •A “proxy” nem más, mint egy speciális tanúsítvány, amit az eredeti segítségével hozunk létre úgy, hogy annak csak rövid élettartama legyen, így ennek kompromittálódása sem jelent nagy biztonsági kockázatot. •A digitális tanúsítvány használatával egy “longterm” proxy jön létre a MyProxy szerveren, mely a munkamenet folyamán rendelkezésre áll •A MyProxy gondoskodik a tanúsítvány biztonságos tárolásáról, és a job számára proxy-meghosszabbítást is biztosít.

11 Enabling Grids for E-sciencE EGEE-II A P-Grade portál használata 3.

12 Enabling Grids for E-sciencE EGEE-II A P-Grade portál használata 4. •A MyProxy szerveren beállítható, hogy mennyi ideig érvényes a “longterm” proxy, eddig adhat ki meghosszabbítási engedélyeket is a szolgáltatás •Nem célszerű ésszerűtlenül nagy számot választani, biztonsági szempontból

13 Enabling Grids for E-sciencE EGEE-II A P-Grade portál használata 4.

14 Enabling Grids for E-sciencE EGEE-II A P-Grade portál használata 5. •A tanúsítványból képzett proxy-nak a web-portálon is jelen kell lennie, így azt oda is le kell töltenünk. •A letöltött proxyt fel kell hatalmaznunk bizonyos Gridek (jelen esetben a hungrid_LCG_2_BROKER) számára, mivel a portál több ilyet is támogat •Az eddigi lépéseket NEM kell állandóan ismételgetni, elég kb. hetente egyszer, amikor lejár az előző proxy.

15 Enabling Grids for E-sciencE EGEE-II A P-Grade portál használata 5.

16 Enabling Grids for E-sciencE EGEE-II A P-Grade portál használata 6.

17 Enabling Grids for E-sciencE EGEE-II A P-Grade portál használata 7. •Mivel a portál bonyolult job-láncok futtatását is lehetővé teszi (bár csak szigorúan szekvenciális hálókat lehet definiálni), egy külön WorkFlow Editor alkalmazásban kell beállítanunk a job paramétereit, és feltölteni a jobot. –FIGYELEM! Ezt az alkalmazást régebbi operációs rendszereken esetleg kézzel kell hozzárendelnünk a “javaws” binárishoz. •Miután elindult a WorkFlow Editor alkalmazás (és néhány OK gombot megnyomott az ember), létre kell hozni az új jobot, nevet adni neki, megmondani, mi a futtatandó file, és melyik Grid-en akarjuk futtatni (hungrid_LCG_2_BROKER), majd mentjük. •Ezen felül számos paramétert beállíthatunk, akár manuálisan is szerkeszthetjük a JDL file-t, de erre nincs szükség egyszerű jobok esetén!

18 Enabling Grids for E-sciencE EGEE-II A P-Grade portál használata 7.

19 Enabling Grids for E-sciencE EGEE-II A P-Grade portál használata 8.

20 Enabling Grids for E-sciencE EGEE-II A P-Grade portál használata 9.

21 Enabling Grids for E-sciencE EGEE-II A P-Grade portál használata 10. •Az utolsó lépés a job beküldése, követése, és a végeredmények letöltése. •Esetleges hiba esetén rendelkezésünkre áll azonnal a log információ a hibáról, illetve egy kattintással újraküldhetjük a jobot.

22 Enabling Grids for E-sciencE EGEE-II A P-Grade portál használata 11.

23 Enabling Grids for E-sciencE EGEE-II A P-Grade portál használata 12.

24 Enabling Grids for E-sciencE EGEE-II A P-Grade portál használata 13.

25 Enabling Grids for E-sciencE EGEE-II Hasznos Linkek •További információ a HunGrid oldalon: –http://grid.kfki.hu/hungrid •Az RMKI Grid: –http://grid.kfki.hu –gridadm@rmki.kfki.hu •A NIIF CA, RMKI CA –http://www.niif.hu –http://pki.kfki.hu •Az EGEE gLite projektje: –http://glite.web.cern.ch/glite –http://www.eu-egee.org –http://glite.web.cern.ch/glite/documentation

26 Enabling Grids for E-sciencE EGEE-II Köszönetnyilvánítás •Két embernek külön köszönetet szeretnék mondani eme prezentáció létrejöttének segítésében: •Kárász Edit (RMKI)‏ •Seres Csaba (ELTE)‏

27 Enabling Grids for E-sciencE EGEE-II The end Köszönöm a figyelmet! (Kérdések?)‏