Bevezetés a Grid rendszerekbe Prof Kacsuk Péter MTA SZTAKI Párhuzamos és elosztott rendszerek laboratórium

Az előadások a következő témára: "Bevezetés a Grid rendszerekbe Prof Kacsuk Péter MTA SZTAKI Párhuzamos és elosztott rendszerek laboratórium"— Előadás másolata:

1 Bevezetés a Grid rendszerekbe Prof Kacsuk Péter MTA SZTAKI Párhuzamos és elosztott rendszerek laboratórium www.lpds.sztaki.hu kacsuk@sztaki.hu

2 Tartalom ● Mi a grid, miért és mire használják? ● Általános grid architektúra ● Szolgáltatás Gridek ● Hozzáférés szolgálatás gridhez ● Desktop Gridek ● Hozzáférés desktop gridhez ● A tanfolyam célja ● Konklúziók

3 Mi az a Grid? ● Ezek az erőforrások heterogének ● A Grid számítógépek, tárolóegységek, speciális berendezések és szolgáltatások együttese, amik dinamikusan csatlakozhatnak és hagyhatják el a Gridet Internet ● Földrajzilag elosztottak és tipikusan Internettel vannak összekötve ● Igény szerint (on- demand) érhetők el

4 Miért használnak Gridet? ● A felhasználónak olyan komplex problémát kell megoldani, ami sok szolgáltatás és erőforrás együttes alkalmazását igényli azért, hogy Csökkentse a feldolgozási időt Elérjen nagy adatbázisokat és speciális készülékeket Együttműködjön másokkal Internet

5 Tipikus Grid alkalmazási területek Nagy számítási kapacitást igénylő alkalmazások Nagy teljesítményű számítás (High Performance Computing) Egyetlen párhuzamos program végrehajtásának idejét lerövidíteni Nagy áteresztőképességű számítások (High Throughtput Computing) Minél több hasonló méretű, egymástól független jobot lefuttatni egységnyi idő alatt Nagy adatmennyiségekel dolgozó alkalmazások Általában több adatbázis, tudásbázis együttes bevonásával Kollaboratív munka Több felhasználó együttes bevonásával összetett tudást igénylő problémák megoldása

6 Példa: Large Hidron Collider, CERN, Genf ATLASCMS LHCb ~10-15 PetaBytes /year ~10 8 events/year ~10 3 batch and interactive users

7 Példa: Rolls Royce repülőgép motorok 1Gb data per engine per flight ● Real-time adatletöltés a bázis repülőtérre ● Historikus összehasonlítás ● Adatintegráció repterek között ● Elemzés, analizálás ● Számítás elosztott architektúrán ● Kiszolgáló személyzet felkészítése

8 Példa: Orvosi képfeldolgozás... Push images in the workflow Image + metadata Metadata Server LFN Other medical metadata ~ 1 millió kép / paciens 1024 x 1024 felbontás / kép ~ 1 gByte / paciens 5 paciens / nap

9 További példák In silico gyógyszerkutatás – molekula szimulációk, alkalmatlan vegyületek kiszűrése Földtudományok, űrkutatás – szatellit és távcső képek megosztása, elemzése Archeologia – digitális archivumok létrehozása és megosztása, szimulációk futtatása Időjárás előrejelzés – adatbegyűjtés, modellválasztás, szimulációk, összegzés Mérnöki tudományok – épületek, közlekedési eszközök szimulációja

10 Miért célszerű erre Grid rendszert használni? Az ilyen tipusú problémákra 5-10 éve még szuperszámítógépeket használtak Ma nagy részükre Grid rendszert használnak Az okok: A Grid képes egyesíteni és kihasználni az intézetek szabad számítógép kapacitását mindenféle extra beruházás nélkül Virtuálisan és igény szerint megnöveli minden csatlakozó intézmény gépparkjának kapacitását Elosztott erőforrásokat integrál Rugalmas hozzáférést tesz lehetővé

11 GRIDMIDDLEWAREGRIDMIDDLEWARE Visualising Workstation Mobile Access Supercomputer, PC-Cluster Data-storage, Sensors, Experiments Internet, networks Grid vízió

12 Megoldandó problémák ● Erőforrások standard elérése ● Számítógépek ● Tárolóeszközök ● Speciális eszközök ● Szoftverek ● Hozzáférés szabályozás (biztonságtechnika) ● Terheléselosztás ● Erőforrások állapotának monitorozása ● Alkalmazások monitorozása ● Hibakezelés ● Alkalmazási metodika, programozási koncepció ●...

13 Általános Grid modell Internet Szabad kapacitás kiajánlása Kapacitás igénylés Int1 Int2 Int4 Int3

14 A Grid két szereplője Erőforrás felajánlók (donorok) = D Erőforrás felhasználók = H A kettő közötti viszony adja meg az alkalmazott Grid modell típusát: Ha H ~ D => általános Grid modell Ha H >> D=> szolgáltatói Grid modell Ha H desktop Grid modell

15 Általános Grid modell jellemzői Bárki felajánlhat erőforrást Heterogén erőforrások, amik dinamikusan jönnek, mennek Bárki felhasználhatja a felajánlott erőforrásokat SAJÁT alkalmazásának megoldására Szimmetrikus és egyenjogú kapcsolat az erőforrás donorok és használók között: H ~ D

16 Az általános grid modell bonyolult... ● Számtalan felhasználási lehetőség ● Bonyolult biztonsági megoldások ● Fejlett erőforrás információs rendszer ● Fejlett brókerezési rendszer ● Bonyolult installálni és karbantartani ● Nagyon megbízhatatlan ● Gyakorlatban két irányba egyszerűsödött: ● Szolgáltatás Gridek ● Dekstop Gridek

17 Szolgáltatás Gridek

18 Szolgáltatói Grid modell példa: Enabling Grids for E-sciencE (EGEE) Internet Szabad kapacitás kiajánlása napi 24 órában (statikusan) Kapacitás igénylés dinamikusan Kutatóhely1 Felhasználó 1 Kutatóhely2 Felhasználó N Donor és Felhasználó

19 Szolgáltatói Grid modell jellemzői Csak “professzionális” szolgáltatók ajánlhatnak fel erőforrást Homogén erőforrások – egyszerűbb karbantarthatóság, alkalmazás fejlesztés Bárki felhasználhatja a felajánlott erőforrásokat SAJÁT alkalmazásának megoldására Asszimmetrikus és nem egyenjogú kapcsolat az erőforrás donorok és használók között: H >> D

20 Generic Grid Architecture CPUs Tertiary Storage Online Storage Communications Scientific Instruments Resource Management Application Environments Application Support Grid Common Services: Middleware services Grid Fabric - local resources Information Services Resource Sceduling Data Access Caching Resource Co-Allocation Authentication Authorisation Monitoring Fault Management Policy Accounting Instrument Management Analysis & Visualisation Collaboratories Problem Solving Environments Grid Portals MPICONDORCORBAJAVA/JINI OLE DCOM Other... Applications

21 Szolgáltatói Grid példa: EGEE Country participating in EGEE ● > 200 sites in 40 countries ● ~ 36 000 CPUs ● ~ 5 PB storage ● 98k jobs/day ● > 200 Virtual Organizations ● ⇨ The world’s largest multi-disciplinary Grid ● gLite middleware http://www.eu-egee.org/

22 Szolgáltatói Grid példa: Open Science Grid 30 Virtual Organizations 105 Resources 26 Support Agencies Middleware: – Virtual Data Toolkit (VDT): collection of grid tools – Condor – Globus – VO Management Service http://www.opensciencegrid.org/

23 Dynamic Grid ~ 33 sites, ~1400 CPUS Production Grid – Applications from various scientific disciplines – Sites operate 24/7 – Mostly unattended by administrators Middleware: – Advanced Resource Connector (ARC) Szolgáltatói Grid példa : NorduGrid http://www.nordugrid.org/

24 HunGrid – EGEE magyar VO-ja ● Folyamatos működésű (napi 24 órában működik) ● Cél: az akadémiai intézetek kutatóinak folyamatos támogatása ● Az EGEE Grid magyar adaptációja, virtuális szervezete ● 2005. januárban lett felállítva ● Résztvevő telephelyek: ● RMKI: 200 proc. ● ELTE: 64 proc. ● BME: 32 proc. ● NIIF: 12 proc. ● Összes proc. kapacitás: 308 proc. www.lcg.kfki.hu/index_eng.pl?hungrid&hungridgeneral

25 Limitált szolgálatás grid változat: Magyar KlaszterGrid Internet Szabad kapacitás kiajánlása éjszaka Kapacitás igénylés éjszaka Egyetem1 Egyetem2Egyetem3 Egyetem4 http://www.clustergrid.iif.hu/

26 ClusterGrid ● Szakaszos működésű: A nappal oktatásban használt PC laborokat köti Gridbe ● éjszakánként ● hétvégeken ● ~1400 PC 26 egyetemen ill. főiskolán ● A grid teljesítmény ~0.5 Tflop ● 70 tudományos projekt ● 2003 július óta üzemel és folyamatosan nő a kapacitása

27 Szolgáltatás Grid hozzáférés

28 Szolgáltatás gridek és Virtuális organizációk VO: erőforrások és felhasználók csoportja Logikai egység Hozzáférési határ Grid Virtuális szervezet

29 Szolgáltatás grid hozzáférés ● Grid tanusítvány beszerzése egy elismert Tanusítvány Szolgáltatótól (CA) ● Magyarországi CA: NIIF http://www.ca.niif.hu/ ● Regisztráció egy Virtuális Organizációba ● EGEE VO-k listája: Central Operations portal: http://cic.gridops.org/ ● HunGrid VO: www.lcg.kfki.hu/index_eng.pl?hungrid&hungridg eneral ● Grid használat parancssorból vagy P-GRADE portálból

30 P-GRADE Portál röviden Fájl replika és katalógus szolgáltatások Erőforrás bróker Fájl tároló szolgáltatások Számítási erőforrások Tanusítvány alapú azonosítás Információs rendszer P-GRADE Portal HTTP www.portal.p-grade.hu

31 A P-GRADE Portal szolgáltatásai WORKFLOW CERTIFICATE PERFORMANCE EXECUTION DESIGN MANAGEMENT ANALYSIS ON GRID(S)   

32 Egy P-GRADE Portál alkalmazás ● Irányított aciklikus gráf, amelyben ● Csomópontok: végrehajtható programok ● Portok: input/output fájlok melyeket a programok olvasnak vagy írnak ● Élek: programok közötti adatfüggőségek ● Workflow szemantikája: ● Egy csomópontban lévő program akkor indítható ha minden input fájlja rendelkezésre áll ● A portál szerverbe épített workflow menedzser felelőssége

33 Programok párhuzamosítása Egyidőben több processze fut – Párhuzamos futás egy szolgáltatás grid csomóponton belül (MPI) – Párhuzamos futás a workflow gráfon belül Egyidőben több programja fut – A workflow futtatása több példányban paraméter vizsgálatként Egyidőben több példánya fut

34 Desktop Gridek

35 Desktop Grid modell Internet Szabad kapacitás kiajánlása dinamikusan Munkacsomagok kiosztása Vállalati/ egyetemi szerver Vállalati/ egyetemi PC Megoldandó feladat

36 Desktop Grid modell jellemzői Bárki felajánlhat erőforrást Heterogén erőforrások, amik dinamikusan jönnek, mennek Egy vagy néhány projekt használhatja fel a felajánlott erőforrásokat Asszimmetrikus és nem egyenjogú kapcsolat az erőforrás donorok és használók között: H << D

37 Desktop Grid fajtái Globális Desktop Grid (DG) Célja nagy horderejű tudományos feladatokhoz donor PC-ket gyűjteni Lokális DG Célja, hogy a DG koncepciót bármilyen közösség (kut.intézet, egyetemi tsz., kar, vállalat, város, stb.) tudja használni

38 SETI: egy globális DG ● SETI@home ● 1 grid 1 alkalmazáshoz ● 3.8M önkéntes 226 országból ● 1200 CPU év/nap ● 38 TF fenntartható teljesítmény ~ 28. a TOP500 listán (Japanese Earth Simulator 30. ugyanitt) ● Alapját adó BOINC infrastruktúra már külön is elérhető

39 SZTAKI Desktop Grid ● BOINC DG technológián alapuló rendszer ● Megkönnyíteni DG alkalmazások létrehozását és futtatását ● Megkönnyíteni DG infrastruktúra installálását és üzemeltetését ● Lokális és globális csomag is elérhető ● Globális minta installáció: ● 2005. júniusban lett felállítva a SZTAKI-ban: http://www.lpds.sztaki.hu/desktopgrid/ ● Megoldandó feladat: általánosított bináris számrendszerek keresése (ELTE Matematikai Tanszék) ● Több mint 22000 beregisztrált résztvevő ● ~ 30000 számítógép ● 700-800 GFlop teljesítmény Demonstrálni és bizonyítani a DG koncepció működését Meggyőzni a kételkedőket a DG használhatóságáról Bárki beszállhat mint erőforrás felajánló

40 SZTAKI Desktop Grid globális verzió

41 SZTAKI Desktop Grid globális mintarendszer SZTAKI DG mintainstalláció:750 GFlops NIIF Supercomputer: 300 GFlops NIIF ClusterGrid: 500 GFlops OMSZ Supercomputer: 900 GFlops TOP 500 entry performance:5929 GFlops

42 SZTAKI DG használatának fokozatai 1.Bárki kipróbálhatja a DG koncepció működését PC- jét beregisztrálva a mintarendszerbe 2.Bárki hozhat alkalmazást, amit szeretne az SZDG- re feltelepíteni. Ekkor segítünk az alkalmazás SZDG adaptálásában és elvégezzük a telepítést 3.Bármely szervezet felállíthatja saját DG rendszerét az SZDG mintájára: Egyetlen PC szervert kell beruháznia Mi vállaljuk, hogy egyetlen nap alatt felállítjuk a DG-t Segítünk a szervezet alkalmazásait adaptálni és telepíteni a saját DG-re

43 Két alapvető Grid irányzat Grid Technológia Desktop Grid Utility Grid Alkalmazás fejlesztés Tipikus alkalmazás DC API P-GRADE portal Mester-szolgaÁlt.párhuzam. (Workflow) (EGEE, HunGrid)

44 Kihasználható párhuzamosság típusok a Gridben Szolgáltatás Grid – Master-slave (paraméter vizsgálat) – Telephelyen belüli párhuzamosság – Telephelyek közötti párhuzamosság – Workflow – Ezek kompinációi, pl Telephelyen belüli paraméter vizsgálat Workflow paraméter vizsgálat Desktop Grid – Master-slave (paraméter vizsgálat)

45 Paraméter vizsgálat v. Mester/szolga párhuzamosság Internet Mester munkacsomag1 munkacsomag2 munkacsomag3 munkacsomagN

46 Telephelyen belüli párhuzamosság Internet

47 Telephelyek közötti párhuzamosság Internet

48 Workflow párhuzamosság Internet

49 Kombinált párhuzamosság: Telephelyen belüli és paraméter vizsgálat Internet

50 Kombinált párhuzamosság: Worlkflow parameter vizsgalat Internet

51 A Grid Computing három hulláma A kutatási hullám Az ipari hullám A vásárlói hullám Technológia, Prototípus Griden futó termékek Commodity Virtuális Organizációk Vállalati megoldások IT közmű Standardok Együttműködési képesség Integráció GGF, IETF, OASIS GGF, EGA, IETF, OASIS Jogi, politikai szervezetek “Grid lehetőségek tudatosítása” “Könnyű elérés” “Grid Service Provider” Itt tartunk

52 A tanfolyam célja ● Bemutatni azokat a grid infrastruktúrákat, amiket a magyar kutatók elérhetnek ● Megmutatni, hogy ezeket hogyan kell használni: ● Grid tanusítványok beszerzése ● Alkalmazások fejlesztés a gridre ● Futtatás a gridben ● Mind elvi, mind gyakorlati képzés lesz

53 Mit tegyünk a tanfolyam után ● Ha tényleg akarjuk használni a gridet, akkor forduljunk a SZTAKI GASuC szolgáltatásához ● GASuC (Grid Application Support Centre): ● Segit az alkalmazás gridesítésében ● Segít a kezdeti nehézségeket áthídalni az új grid felhasználók számára ● http://www.lpds.sztaki.hu/gasuc/

54

55

56

57 Konkluzió Általános Grid modell jó, de megvalósítani bonyolult Kutatási témák TDK, diplomamunka, PhD téma Témavezetést vállalunk minden szinten Gyakorlatban Szolgáltatás Gridek és Desktop Gridek Léteznek működő Grid infrastruktúrák hazánkban: ClusterGrid: PVM programok számára HunGrid: workflow és paraméter vizsgálat SZTAKI DG: Mester-szolga alkalmazásokra Elérhetők európai grid infrastruktúrák is: SEEGRID, VOCE, GILDA Mindezek a P-GRADE portál interfészen keresztül transzparensen használhatók Bárki regisztrálhat, mint erőforrás felajánló, vagy mint alkalmazó Bármely magyar kutató ingyenesen igénybe veheti a GASuC szolgáltatást

58 Köszönöm a figyelmet ? További információ: www.lpds.sztaki.hu