1 Virtuális szuperszámítógép szolgáltatás kialakítása az akadémiai hálózat felhasználásával Kacsuk Péter

Az előadások a következő témára: "1 Virtuális szuperszámítógép szolgáltatás kialakítása az akadémiai hálózat felhasználásával Kacsuk Péter"— Előadás másolata:

1 1 Virtuális szuperszámítógép szolgáltatás kialakítása az akadémiai hálózat felhasználásával Kacsuk Péter kacsuk@sztaki.hu www.lpds.sztaki.hu

2 2 Partnerek: –Koord.: MTA SZTAKI –BME IIT (Irányítástech. és Inf. Tsz.) –BME IK (Inf. Központ) –INNOTECH Kft. Célok: –Virtuális szuperszámítógép (metacomputer) létrehozására használható különböző eszközök és módszerek vizsg.-a –a Globus és Condor rendszerek tesztelése, értékelése –rájuk alapozva egy hazai grid infrastrukturális szolgáltatás kidolgozása klaszterek összekapcsolásával. A projekt jellemzői

3 3 A metaszámítógép eredeti két célja Nagyobb teljesítményt elérni, mint az egyedi szuperszámítógépek és klaszterek tudnak biztosítani (high-speed computing) A gridben lévő számítógépek szabad ciklusainak kihasználása (high throughput computing) Globus-MPI Condor

4 Alkalmazások Alkalmazási toolkitek DUROCglobusrunMPINimrod/GCondor-GHPC++ NetSolveCactus Grid szolgáltatások GRAM GSI HBM Nexus I/OGASS GSI-FTP MDS A Globus réteges architektúrája Grid szerkezet LSF Condor NQEPBS TCP NTLinux UDP Solaris DiffServ

5 5 your workstation personal Condor jobs High throughput Computing: Condor Cél: A gridben lévő számítógépek szabad ciklusainak kihasználása Megvalósítási lépések (1): A személyes PC v. munkaállomás átalakítása személyes Condor géppé

6 6 your workstation personal Condor jobs SZTAKI klaszter Condor csoport High throughput Computing: Condor Megvalósítási lépések (2): Intézeti Condor csoport létrehozása

7 7 your workstation Barátságos BME Condor csoport personal Condor jobs SZTAKI klaszter Condor csoport High throughput Computing: Condor Megvalósítási lépések (3): Intézeti Condor csoport összekapcsolása más “barátságos” Condor csoportokkal.

8 8 your workstation Barátságos BME Condor csoport personal Condor jobs Magyaro.-i Grid Condor SZTAKI klaszter Condor csoport glide-ins Megvalósítási lépések (4): Grid erőforrások ideiglenes kihasználása

9 9 NUG30 kvadratikus allokálási probléma Processzorok száma Megoldva 7 nap alatt 10.9 év helyett Az első 600K másodperc …

10 10 SZTAKI installálta a Globus rendszert és erre épülve részt vett a European Grid Forum Cactus testbedjének kialakításában. Ennek célja volt: az európai grid kutatási potenciál demonstrálása a dallasi supercomputing konferencián Feladat: feketelyukak ütközésekor kialakuló gravitációs hullámok szimulációja Grid futtatási környezetek: –A program futtatása párhuzamosan több európai központban –Vándorló alkalmazás futtatása I. félévi eredmények: Globus

11 11 3D hullámegyenlet megoldása grid környezetben Supercomputing’00 Dallas SZTAKI, AEI, PSC, BSC, ZIB, FU SZTAKI

12 12 A European Grid Forum Cactus testbedjének résztvevői 2001 áprilisában beadtak egy 5. Keretprogram pályázatot GridLab néven. Ennek célja: általános Grid programozási rendszer kidolgozása az MPI-hoz hasonló API-val. A szükséges Middleware rétegek (info rendszer, monitor rendszer, portál, stb. továbbfejlesztésével). SZTAKI feladata: monitor rendszer munkacsoport vezetése és részvétel az info rendszer kidolgozásában. A projekt a legjobb értékelést kapta a beadott Grid témájú 5. Keretprogram pályázatok között és jelenleg a szerződéskötés fázisában van. I. félévi eredmények

13 13 A BME IIT és IK munkatársai telepítették a Condor rendszert a helyi gépfarmokon. A farm mérete a felhasználástól függően változik max. 28 processzorig. Megkezdődtek a teszt ill. pilot alkalmazások tesztjei. Elkezdték a teljesítmény mérésére alkalmas tesztek kidolgozását. I. félévi eredmények: Condor Központi ütemező SZTAKI létrehozott egy 58 processzorból álló Condor poolt. SZTAKI Condor pool aktív használata: ~200000 job

14 14 II. félévi eredmények Mester ütemező IITIK SZTAKI Condor pool-ok összekapcsolása: Condor M/W univerzum tesztelése (IIT) Condor flocking tesztelése (IIT)

15 15 II. félévi eredmények Klaszterek összekapcsolása Globusszal: Condor glide-in tesztelése (SZTAKI) Condor-G tesztelése (SZTAKI) Condor + MPI tesztelése (SZTAKI) IIT IK SZTAKI

16 16 Grid programozási rétegek PVMMW Condor-G Globus Grid middleware réteg Grid fizikai réteg Alacsonyszintű párhuzamosítási réteg Grid szintű job ütemező réteg MPI Lokális job ütemező réteg Klaszterek Condor Klaszterek Condor Klaszterek Condor Klaszterek Condor

17 17 Disszeminációs tevékenység Félnapos szeminárium a projekt első féléves eredményeiről: –Helyszín: MTA SZTAKI, Victor Hugo u. 18-22. –időpont: 2001. január 26. de. 10.00 - 13.30 –Program és előadásanyagok letölthetők: www.lpds.sztaki.hu Félnapos szeminárium a projekt második féléves eredményeiről: –Helyszín: MTA SZTAKI, Victor Hugo u. 18-22. –időpont: 2001. október 12. du. 14.00 - 17.30 –Program és előadásanyagok letölthetők: www.lpds.sztaki.hu

18 18 Disszeminációs tevékenység 1st US-Hungarian Workshop on Cluster and Grid Computing –Helyszín: Univ. of Wisconsin (UoW) –időpont: 2001. Márc. 15. előadások -16. demok –Program: Globus, Condor, P-GRADE, Harness –támogatók: US-Hungarian Action Fund, OM, UoW 2nd US-Hungarian Workshop on Cluster and Grid Computing –Helyszín: MTA SZTAKI, Budapest –időpont: 2002. Március eleje –támogatók: US-Hungarian Action Fund, OM, SZTAKI

19 19 Továbbfejlesztések: Magyar Grid Projektek NI2000DemoGrid Globus, CondorAdat biztonság Grid monitorozás Elosztott adatkezelés Futó magyar projektek IKTA-4 PortálfejlesztésGépidő Számlázás P-GRADE/CondorBiztonság Magyar Szuperszámítógépes Grid

20 20 Grid programozási rétegek P-GRADE PVMMW Condor-G Globus SUN HPC Compaq Alpha Server Compaq Alpha Server Klaszterek Grid middleware réteg Grid fizikai réteg Magasszintű párhuzamosítási réteg Alacsonyszintű párhuzamosítási réteg Grid szintű job ütemező réteg Condor, LSF, Sun Grid Engine Condor, PBS, LSF Condor MPI GRID portal Web alapú GRID elérés és használat Condor, PBS, LSF Lokális job ütemező réteg

21 21 Egységes programfejlesztő és futtató rendszer a párhuzamos és elosztott rendszerek teljes skálájára 2100 Szuper- számítógép 2100 Klaszter Grid GFlops Számítógépek Mainframe számítógép P-GRADE G-GRADE P-GRADE

22 22 Magyar és nemzetközi GRID projektek kapcsolata CERN LHC Grid NI2000 DemoGrid SuperGrid Condor CERN DataGrid SYMBEX UK e-science INFN Grid GridLab Cactus

23 23 Köszönöm a figyelmüket ? További információ: www.lpds.sztaki.hu