Bevezetés az európai és magyar Grid rendszerekbe Sipos Gergely MTA SZTAKI Párhuzamos és elosztott rendszerek laboratórium

Az előadások a következő témára: "Bevezetés az európai és magyar Grid rendszerekbe Sipos Gergely MTA SZTAKI Párhuzamos és elosztott rendszerek laboratórium"— Előadás másolata:

1 Bevezetés az európai és magyar Grid rendszerekbe Sipos Gergely MTA SZTAKI Párhuzamos és elosztott rendszerek laboratórium www.lpds.sztaki.hu sipos@sztaki.hu

2 Mi az a Grid? ● Ezek az erőforrások heterogének Grid ● A Grid számítógépek, tárolóegységek, speciális berendezések és szolgáltatások együttese, amik dinamikusan csatlakozhatnak és hagyhatják el a Gridet Internet ● Földrajzilag elosztottak és tipikusan Internettel vannak összekötve ● Igény szerint (on-demand) érhetők el

3 Miért használnak Gridet? ● A felhasználónak olyan komplex problémát kell megoldani, ami sok szolgáltatás és erőforrás együttes alkalmazását igényli azért, hogy Csökkentse a feldolgozási időt Elérjen speciális készülékeket, adatokat, szoftvereket Együttműködjön másokkal Internet

4 Tipikus Grid alkalmazási területek Nagy számítási kapacitást igénylő alkalmazások Nagy teljesítményű számítás (High Performance Computing) Egyetlen párhuzamos program végrehajtási idejét lerövidíteni Nagy áteresztőképességű számítás (High Throughtput Computing) Minél több hasonló méretű, egymástól független programot lefuttatni egységnyi idő alatt Nagy adathalmazokkal dolgozó alkalmazások Akár több adatbázis, tudásbázis együttes bevonása Kollaboratív csoport munka Több felhasználó együttes bevonásával összetett tudást igénylő problémák megoldása

5 Large Hidron Collider, CERN, Genf LHC Grid ATLASCMS LHCb ~ 40 millió részecskeütközés mp-enként 15 PetaByte adat / év ~10 3 analízist végző fizikus

6 Példa: Rolls Royce repülőgép motorok 1Gb adat / repülő / út ● Valós idejü adatletöltés a bázis repülőtérre ● Összehasonlítás korábbi adatokkal ● Keresés több repter adataiban ● Elemzés, analizálás ● Számítás elosztott architektúrán ● Kiszolgáló személyzet felkészítése a gép érkezésére

7 Példa: Orvosi képfeldolgozás... Push images in the workflow Image + metadata Adat katalógus KépMetaadatokEredmények... ~ 1 millió kép / paciens 1024 x 1024 felbontás / kép ~ 1 gByte / paciens 5 paciens / nap

8 További példák In silico gyógyszerkutatás – molekula szimulációk, alkalmatlan vegyületek kiszűrése Földtudományok, űrkutatás – szatellit és távcső képek megosztása, elemzése Időjárás előrejelzés – adatbegyűjtés, modellválasztás, szimulációk, összegzés Mérnöki tudományok – épületek, közlekedési eszközök szimulációja Archeologia – digitális archivumok létrehozása és megosztása, szimulációk futtatása

9 Miért célszerű erre Grid rendszert használni? Az ilyen tipusú problémák többségére 5-10 éve még szuperszámítógépeket használtak Ma Grid rendszert használnak Az okok: A Grid képes egyesíteni és kihasználni az intézetek szabad számítógép kapacitását mindenféle extra beruházás nélkül Virtuálisan és igény szerint megnöveli minden csatlakozó intézmény gépparkjának kapacitását Elosztott erőforrásokat integrál Rugalmas hozzáférést tesz lehetővé

10 GRIDMIDDLEWAREGRIDMIDDLEWARE Megjelenítés Munkaállomás Mobil hozzáférés PCk, klaszterek, szuperszámítógépek Adat tárolók, szenzorok, berendezések Hálózatok, Internet Grid vízió

11 Megoldandó problémák ● Erőforrások egységes elérése ● Számítógépek ● Tárolóeszközök ● Speciális eszközök ● Szoftverek ● Hozzáférés szabályozás ● Terheléselosztás ● Erőforrások állapotának monitorozása ● Alkalmazások monitorozása ● Hibakezelés ● Alkalmazási metodika, programozási koncepció ●...

12 … hol vagyunk most? Ha az általános grid vízió ez, akkor...

13 Általános Grid modell Internet Szabad kapacitás kiajánlása Kapacitás igénylés Intézet 1 Intézet 2 Intézet 4 Intézet 3

14 A Grid két szereplője Erőforrás felajánlók (donorok) = D Erőforrás felhasználók = H A kettő közötti viszony adja meg az alkalmazott Grid modell típusát: Ha H ~ D  általános Grid modell Ha H >> D  szolgáltatói Grid modell Ha H << D  desktop Grid modell

15 Általános Grid modell jellemzői Bárki felajánlhat erőforrást Heterogén erőforrások, amik dinamikusan jönnek, mennek Bárki felhasználhatja a felajánlott erőforrásokat SAJÁT alkalmazásának megoldására Szimmetrikus és egyenjogú kapcsolat az erőforrás donorok és használók között: H ~ D

16 Szolgáltatói Grid modell Internet Szabad kapacitás kiajánlása napi 24 órában (statikusan) Kapacitásigénylés dinamikusan Kutatóhely1 Felhasználó 1 Kutatóhely2 Felhasználó N Donor és Felhasználó

17 Szolgáltatói Grid modell jellemzői Csak “professzionális” szolgáltatók ajánlhatnak fel erőforrást Homogén erőforrások Bárki felhasználhatja a felajánlott erőforrásokat SAJÁT alkalmazásának megoldására Asszimmetrikus és nem egyenjogú kapcsolat az erőforrás-donorok és használók között: H >> D

18 Szolgáltatói Grid példa: EGEE EGEE gridben részt vevő ország ● A világ legnagyobb multi-disciplináris gridje ● > 250 intézet 51 országból ● ~ 68 000 processzor ● ~ 20 PB tárolókapacitás (20 millió GByte) ● 150.000 job/nap ● > 200 Virtuális Közösség ● ~ 1000 ember dolgozik rajta és vele ● gLite middleware fut az erőforrásokon http://www.eu-egee.org/

19 Szolgáltatás Gridek egy eleme: klaszter Számítási kapacitás Adattároló kapacitás Hozzáférés szabályozás Security services grid.ucy.ac.cy IBM eServer 326m Machines 2.0GHz dual AMD Opteron 64-bit CPUs 1GB RAM 80 CPUs

20 Dynamic Grid ~ 33 sites, ~1400 CPUS Production Grid – Applications from various scientific disciplines – Sites operate 24/7 – Mostly unattended by administrators Middleware: – Advanced Resource Connector (ARC) Szolgáltatói Grid példa : NorduGrid http://www.nordugrid.org/

21 Hozzáférés szolgáltatás Gridekhez

22 Grid Szolgáltatás gridek és Virtuális organizációk (VO-k) VO: erőforrások és felhasználók csoportja Logikai egység Hozzáférési határ Internet Virtuális Organizáció

23 Szolgáltatás grid hozzáférés ● Grid tanusvány beszerzése egy elismert Tanusítvány Szolgáltatótól (CA) ● Magyarországi CA: http://www.ca.niif.hu ● Regisztráció egy Virtuális Organizációba ● EGEE VO-k listája (~ 100): Central Operations portal http://cic.gridops.org/ ● HunGrid VO: Magyarországi erőforrások ● VOCE: közép-európai erpforrások ● SEE-GRID VO: dél-kelet európai erőforrások ● Biomed VO: biológus felhasználók számára fenntartott erőforrások ●... ● Párhuzamos alkalmazások fejlesztése, és/vagy futtatása...

24 HunGrid – EGEE magyar VO-ja ● Folyamatos működésű (napi 24 órában működik) ● Cél: az akadémiai intézetek kutatóinak folyamatos támogatása ● Az EGEE Grid magyar adaptációja, virtuális szervezete ● 2005. januárban lett felállítva ● Résztvevő telephelyek: ● RMKI: 154 proc. ● ELTE: 16 proc. ● BME: 32 proc. ● NIIF: 12 proc. ● Összes proc. Kapacitás: 214 proc. www.lcg.kfki.hu/index_eng.pl?hungrid&hungridgeneral

25 Desktop Gridek

26 Desktop Grid modell Internet Szabad kapacitás kiajánlása dinamikusan Munkacsomagok kiosztása Vállalati/ egyetemi szerver Vállalati/ egyetemi PC Megoldandó feladat

27 Desktop Grid modell jellemzői Bárki felajánlhat erőforrást Heterogén erőforrások, amik dinamikusan jönnek, mennek Egy vagy néhány projekt használhatja fel a felajánlott erőforrásokat Asszimmetrikus és nem egyenjogú kapcsolat az erőforrás donorok és használók között: H << D

28 Desktop Grid fajtái Globális Desktop Grid (DG) Célja nagy horderejű tudományos feladatokhoz donor PC-ket gyűjteni Lokális DG Célja, hogy a DG koncepciót bármilyen közösség (kut.intézet, egyetemi tsz., kar, vállalat, város, stb.) tudja használni

29 SETI: egy globális DG ● SETI@home ● 1 projekt ● 3.8Millió önkéntes 226 országból ● 1200 CPU év/nap ● 38 TF fenntartható teljesítmény (Japanese Earth Simulator 32 TF) ● http://setiathome.berkeley.edu/

30 SZTAKI Desktop Grid Legfontosabb célja: Társadalmasítani a Grid rendszerek építését Demonstrálni és bizonyítani a DG koncepció működését Meggyőzni a kételkedőket a DG használhatóságáról Segíteni DG-ek léterhozását Segíteni a DG alkalmazások létrehozását és futtatását ● Eszközök: ● Egyszerű installálhatóság ● Egyszerűsített alkalmazás fejlesztési mód ● Magyar és angol nyelvű felületek ● Globális és lokális módon is installálható ● http://www.desktopgrid.hu/

31 SZTAKI Desktop Grid globális mintarendszer http://www.lpds.sztaki.hu/desktopgrid/

32 SZTAKI Desktop Grid globális mintarendszer NIIF Supercomputer: 300 GFlops OMSZ Supercomputer: 900 GFlops TOP 500 entry performance: 1645 GFlops SZTAKI DG: ~1000 GFlops

33 Hozzáférés Desktop Gridekhez ● Donor regisztáció globális desktop gridhez: ● SZTAKI Desktop Grid: http://www.lpds.sztaki.hu/desktopgrid ● Alkalmazás portolása már létező desktop gridre: ● Application Support Centre: www.lpds.sztaki.hu/gasuc ● Saját desktop grid felállítása: ● MTA SZTAKI LPDS: www.lpds.sztaki.hu ● Egyetlen szerver is elég...

34 Párhuzamos feldolgozás a gridben Nem az egyetlen, de messze a legfontosabb felhasználási mód...

35 Kihasználható párhuzamosság típusok a Gridben Szolgáltatás Grid – Master-slave (paraméter vizsgálat) – Telephelyen belüli párhuzamosság – Workflow – Ezek kompinációi, pl Telephelyen belüli paramétervizsgálat Workflow paraméter vizsgálat Desktop Grid – Master-slave (paraméter vizsgálat)

36 Szerver Mester munkacsomag1 munkacsomag2 munkacsomag3 munkacsomagN Paraméter vizsgálat Mester/szolga párhuzamosság Internet

37 Telephelyen belüli párhuzamosság Internet Párhuzamos programozási ismeretet igényel!

38 Workflow párhuzamosság Internet 1. program 2. program 3. program

39 Kombinált párhuzamosság: Telephelyen belüli és master-slave is egyben Internet

40 Kombinált párhuzamosság: Worlkflow parameter vizsgalat Internet

41 A Grid Computing három hulláma A kutatási hullám Az ipari hullám A vásárlói hullám Technológia, Prototípus Griden futó termékek Commodity Virtuális Organizációk Vállalati megoldások IT közmű Együttműködési képesség Integráció Jogi, politikai szervezetek “Grid lehetőségek tudatosítása” “Könnyű elérés” “Grid Service Provider” Itt tartunk

42 Konkluzió Általános Grid modell sokmindenre jó, de megvalósítani bonyolult Kutatási fázis Gyakorlatban szolgáltatás gridek és Dekstop Gridek Léteznek működő Grid infrastruktúrák hazánkban: EGEE (HunGrid, VOCE, Biomed,...) Worklow, párhuzamos és mester-szolga alkalmazásokhoz Használd a mások által nyújtott erőforrásokat! SZTAKI Desktop Grid Mester-szolga alkalmazásokhoz Regisztrálj mint erőforrás felajánló, vagy mint alkalmazás fejlesztő Állíts fel saját gridet!

43 Köszönöm a figyelmet ? További információ: www.lpds.sztaki.hu