1 Virtuális szuperszámítógép szolgáltatás kialakítása az akadémiai hálózat felhasználásával Kacsuk Péter Szeberényi.

Az előadások a következő témára: "1 Virtuális szuperszámítógép szolgáltatás kialakítása az akadémiai hálózat felhasználásával Kacsuk Péter Szeberényi."— Előadás másolata:

1 1 Virtuális szuperszámítógép szolgáltatás kialakítása az akadémiai hálózat felhasználásával Kacsuk Péter kacsuk@sztaki.hu www.lpds.sztaki.hu Szeberényi Imre szebi@iit.bme.hu

2 2 Hol tart ma Magyarország? Partnerek: –Koord.: MTA SZTAKI –BME IIT (Irányítástech. és Inf. Tsz.) –BME IK (Inf. Központ) –INNOTECH Kft. Célok: –Virtuális szuperszámítógép (metacomputer) létrehozására használható különböző eszközök és módszerek vizsg.-a –a Globus és Condor rendszerek tesztelése, értékelése –rájuk alapozva egy hazai grid infrastrukturális szolgáltatás kidolgozása klaszterek összekapcsolásával. A projekt jellemzői

3 3 Nagysebességű rendszerek fejlődése 2100 Szuper- számítógép 2100 Klaszter Meta- számítógép GFlops Számítógépek Mainframe számítógép

4 4 A metaszámítógépek megalkotásának eredeti motivációi Az un. nagy kihívást jelentő problémák megoldása heteket sőt hónapokat vesz igénybe még a szuperszámítógépeken és klasztereken is Különböző szuperszámítógépeket és klasztereket kellett összekapcsolni távolsági hálózatokkal annak érdekében, hogy a fenti problémákat ésszerű időn belül meg lehessen oldani

5 5 A metaszámítógép jelentése Távolsági hálózat A metaszámítógép eredeti két célja Nagyobb teljesítményt elérni, mint az egyedi szuperszámítógépek/klaszterek tudnak biztosítani (High-speed computing) High throughput computing: A gridben lévő számítógépek szabad ciklusainak kihasználása. Szuperszám. technológia + Metaszámítógép =

6 6 Mi is a metaszámítógép? A metaszámítógép olyan számítógépek együttese, amelyek –heterogének minden szempontból –dinamikusan változnak –földrajzilag elosztottak –távolsági hálózattal vannak összekötve –egyetlen komputer képét alkotják (SSI) Metaszámítás jelentése: –hálózat alapú –elosztott szuperszámítógép technológia

7 7

8 Alkalmazások Alkalmazási toolkitek DUROCglobusrunMPINimrod/GCondor-GHPC++ NetSolveCactus Grid szolgáltatások GRAM GSI HBM Nexus I/OGASS GSI-FTP MDS A Globus réteges architektúrája Grid szerkezet LSF Condor NQEPBS TCP NTLinux UDP Solaris DiffServ

9 9 your workstation personal Condor jobs High throughput Computing: Condor Cél: A gridben lévő számítógépek szabad ciklusainak kihasználása Megvalósítási lépések (1): A személyes PC v. munkaállomás átalakítása személyes Condor géppé

10 10 your workstation personal Condor jobs SZTAKI klaszter Condor csoport High throughput Computing: Condor Megvalósítási lépések (2): Intézeti Condor csoport létrehozása

11 11 your workstation Barátságos BME Condor csoport personal Condor jobs SZTAKI klaszter Condor csoport High throughput Computing: Condor Megvalósítási lépések (3): Intézeti Condor csoport összekapcsolása más “barátságos” Condor csoportokkal.

12 12 your workstation Barátságos BME Condor csoport personal Condor jobs Magyaro.-i Grid Condor SZTAKI klaszter Condor csoport glide-ins Megvalósítási lépések (4): Grid erőforrások ideiglenes kihasználása

13 13 NUG30 kvadratikus allokálási probléma Processzorok száma Megoldva 7 nap alatt 10.9 év helyett Az első 600K másodperc …

14 14 SZTAKI installálta a Globus rendszert és erre épülve részt vett a European Grid Forum Cactus testbedjének kialakításában. Ennek célja volt: az európai grid kutatási potenciál demonstrálása a dallasi supercomputing konferencián Feladat: feketelyukak ütközésekor kialakuló gravitációs hullámok szimulációja Grid futtatási környezetek: –A program futtatása párhuzamosan több európai központban –Vándorló alkalmazás futtatása A bemutatót Dallasban többek között Szalai Ferenc, a SZTAKI munkatársa, tartotta. Eddigi eredmények: Globus

15 15 3D hullámegyenlet megoldása grid környezetben Supercomputing’00 Dallas SZTAKI, AEI, PSC, BSC, ZIB, FU SZTAKI

16 16 A BME IIT és IK munkatársai telepítették a Condor rendszert a helyi gépfarmokon. A farm mérete a felhasználástól függően változik jelenleg max. 28 processzorig. Megkezdődtek a teszt ill. pilot alkalmazások tesztjei. Jelenleg a teljesítmény mérésére alkalmas tesztek kidolgozása folyik. Eddigi eredmények: Condor Központi ütemező SZTAKI létrehozott egy 58 processzorból álló Condor poolt. SZTAKI Condor pool aktív használata: ~200000 job

17 17 Számításigényes feladatok a teljesítmény mérésére ún. mester- szolga elven felépítve. Speciális környezetet (pl. Java futtatókörnyezet) igénylő alkalmazás. Hidrodinamikai számításokat végző pilot alkalmazás PVM környezetben. Elosztott, objektumorientált alkalmazás. Tervek Mester ütemező IITIK SZTAKI Pool-ok összekapcsolása: