Nagy teljesítményű számítástechnika és elosztott számítóhálózatok Ganzler Katalin, Máray Tamás, Németh Ervin Stefán Péter, Szalai Ferenc, Vitéz Gábor

Miről lesz szó? Kik vagyunk? Mivel foglalkozunk? NIIF Program – NIIF Iroda. Problémák. Szuperszámítógépek. Felhasználók. ClusterGrid infrastruktúra felépítése. ClusterGrid statisztikák, monitorozás. A jövő...

Kik vagyunk? NIIF Program, feladata, eredményei. NIIF Iroda. NIIF közösség. NIIF projektek: HBONE, VoIP, Videokonferencia, Névtár, Szuperszámítás-technika és grid.

Kik vagyunk?

Szuperszámítás-technika Feladata: nagy számítási kapacitást igénylő feladatok körüli alap- és kiegészítő tevékenységek elvégzése. HPC, HTC. Elosztott számítási feladatok. Kiknek vannak ilyen feladataik? (K+F) Hogyan futnának ezek a feladatok egyetlen PC-n? (sokáig)

Hogyan fogalmazódnak meg HPC feladatok? Van valaki, akinek problémája van (meteorológia, mérnöki tudományok), melyre megoldást keres. A megoldás matematikai formában megfogalmazható (formalizálás). Számítástechnikai modell, algoritmizálás. Elosztott számítástechnikai modell, párhuzamos programkódok. (Nem párhuzamosítható kódok, rekurzió.) Programkód. És itt kezdődik az igazi feladat...

Feladatok végrehajtása Hol? Hogyan? Ezek jó kérdések.

Szuperszámítás-technikai szolgáltatások Alapvetően kétféle technológia létezik: szuperszámító-gépek, elosztott számító-hálózatok, azaz a grid. A két technológia szoros szimbiózisban él egymással, a szélsőséges meggyőződésekkel ellentétben nem lehet az egyiket a másik rovására fejleszteni. Szuperszámítógépek: központosított szolgáltatások. Grid: elosztott szolgáltatások.

NIIF szuperszámítógép rendszere

Főbb paraméterek SUN platform: 2 E10K (US-II, 32 GB RAM), 1 E15K (US-III+, 130 GB RAM), 480 kiszolgáló. Klasszikus HPC cluster kivitelezés. Jelenleg 192 + 4 processzor (jelenleg!!!). Kb. 180 Gflops teljesítmény. 4 TB diszk kapacitás. 2.5 TB kazetta. SMP felépítés: minden processzor látja a teljes memóriát. Adattárolás: T3 RAID-ek.

Hogyan működik?

A szoftver környezet Solaris 9 operációs rendszer. Sparc-processzor specifikus fordítóprogramok (C, C++, Java, Fortran, ...). Szoftverek fejlesztésére alkalmas eszközök. Matematikai szoftverek, optimált könyvtárak. Debug-olásra alkalmas eszközök. Párhuzamosításra alkalmas eszközök: SUN ClusterTools, PVM. Erőforrás menedzser: SGE.

A felhasználás módja A rendszer 2001 február óta üzemel. 7/24 szolgáltatás, tervezett leállásokkal. Bárki ingyen hozzáférhet. Non-profit, kutatási célokra. Jelenleg 180 regisztrált felhasználó, 100 regisztrált projekt.

A felhasználás módja

Szoftver fejlesztés A felhasználónak van egy problémája. Ehhez gyárt matematikai számítási-modellt. Elosztott számítási modellt (mivel a probléma nagy). A modell-t leprogramozza, vagy már kész szoftvert használ. Általában hasznosak a grafikus fejlesztői felületek: P-GRADE, de hagyományos eszközök is használhatók. A fejlesztés nyelve.

Párhuzamosítás A feladat jellege: Ténylegesen párhuzamos alkalmazás. Tömb feladat (laza csatolású, csatolásmentes). Párhuzamos alkalmazások esetén van értelme. (Tömb feladatoknál felesleges.) Szabványos könyvtárak állnak rendelkezésre: PVM, MPI, OpenMP. Nagyon fontos: az alkalmazott algoritmusnak párhuzamosíthatónak kell lennie! (Moore törvény).

Portolás Egy kód adott környezetbe ültetése. Látványtalan, nehezen automatizálható, nagy szakértelmet igényel, „rágós falat”. Fordítás, kód optimálás: általános kód vs. adott architektúrára optimált kód. Programok link-elése: önálló tudomány. Fortan-C link-elés. Statikus linkelés vs. dinamikus linkelés. Nagyon nehéz kérdés: futtatási környezet elmentése, illetve az erre való alkalmasság (checkpoint).

Hozzáférés Hozzáférés az erőforrás belépési pontjához: rendszerint hálózati hozzáférés. Hová léphet be a felhasználó? Milyen környezete van, és az hogyan biztosítható az összes lehetséges, a feladat futtatására alkalmas csomóponton (NFS).

Feladatok kreálása Végrehajtható állományok konfigurálása, input paraméterekkel való ellátása. Tranzitív kapcsolatok: workflow fogalom. A végrehajtási környezet definíciója. Feladat feladása, monitorozása, eredmények kiértékelése. Ütemezés kérdése.

Ha a feladat lefutott... A feladatok akár több hétig, akár hónapig is futhatnak. Az eredmény file-ok általában szöveges állományok („látványtalan világ”). A felhasználó ezeket értelmezi, majd az eredmények függvényében újabb feladatokat ad föl.

Grid rendszerek Mi hívja a grid rendszereket életre? Egyrészt a felhasználói igény nagy, ráadásul folyamatosan nő (modell finomítás, számítási idő). Másrészt a központi szolgáltatások fizikailag korlátosak (pénz, hely, klíma, szűk keresztmetszetek, központi hibalehetőségek), így kapacitásuk praktikusan nem növelhető a végtelenségig. Harmadrészt kiaknázatlan számítási kapacitások is vannak (például egy PC labor éjszaka).

Grid rendszerek Kapcsoljuk össze, a feladatok futtathatósága és átjárhatósága szempontjából az egyes, különböző telephelyeken található rendszereket! Készítsünk egyszerű PC-laborokból „virtuális szuperszámítógépeket”! Ez szép cél, de rengeteg megoldásra váró feladat van. Probléma: grid definíciók. Mi is a grid? Megosztottság.

Grid projektek itthon és külföldön Hazai grid projektek: Szuper Grid, JINI Grid, Demo Grid, ClusterGrid. Külföldi grid projektek: EGEE, LHC grid, NorduGrid, SEEGrid, GridLab.

A grid felépítése

A ClusterGrid infrastruktúra projekt Rövid történeti áttekintés. A „működő grid” fogalma. A teljes réteg-spektrum áttekintése, nem szabad önmagában bizonytalan feltételezésekkel élni. Oktatási intézményekkel való intenzív együttműködés. Előbb centralizált, majd decentralizált architektúra.

Szerepek a ClusterGrid-ben

Egyedi megoldások A grid erőforrás alapja a megfelelően felépített cluster (hasonló a SUN cluster-hez). „Nappali”, „éjszakai” üzemmódok, multi-funkcionális felépítés. Nagy számú csomópont menedzselése.

Fizikai réteg Erről már részben volt szó. Minden gépnek megvan a saját szerepe, és ez vagy fizikai gépen, vagy virtuális gépen működik. (Mi a virtuális gép?)

Kapcsolati réteg Hogyan kapcsoljunk össze biztonságosan, és hatékonyan, kellő sávszélességgel a laborok gépeit? Grid forgalom és a normál nappali forgalom elválik egymástól. VLAN technológiák.

Hálózati kiépítés réteg A feladat az, hogy biztonságosan összekapcsoljuk az egyes erőforrásokat. Egy lehetséges megoldás: privát hálózati technológia. „Hálózat a hálózatban.” Több lehetőség is van: IPSec, OpenVPN, MPLS. Teljesítmény + biztonság + ésszerűség: MPLS. Miért nem az Internet? (Grid szoftverek gyerekcipőben.)

Operációs rendszer réteg Az OS know-how rendkívül fontos. Linux. NFS-root kliensek. Helyi swap és scratch partíció. Hálózati boot, BIOS trükkök, PXE. Hálózati ébresztés. Dinamikus címkiosztás. Rugalmas file rendszer és kötet-menedzsment, LVM, XFS.

Erőforrás réteg E réteg fölött egységes számítási erőforrást látunk, alatta egyedi PC-ket. A párhuzamosítás szintje is egyben. Erőforrás menedzser: Mit csinál a feladatokkal?

Grid réteg Egy cluster szép, jó, de nem skálázható a végtelenségig. Kb. 100 csomópont felett már bajok lehetnek. Megoldható az összekötés az erőforrás rétegben, de itt is súlyos bajok vannak (Condor „barátságtalan” pool-ok). Egyik alapvető probléma: hogyan vigyük át a felhasználó feladatának környezetét egyik gépről (esetleg egyik cluster-ből) a másikba?

Grid réteg Elosztott erőforrás-kezelési koncepció: grid információs rendszer, grid bróker, globális ütemező, ágens-alapú technológiák... Szolgáltatás alapú, illetve web tranzakció alapú megoldások. Itt már nagyon számít a platform-függetlenség, és a heterogén környezet hatása. Hol élnek a felhasználók és hol a feladataik? Erőforrás bróker és feladatai.

Grid réteg

Grid réteg A feladat és a felhasználó azonosításának elválasztása (user authentication, job identification). Speciális feladat-konstrukció: nemcsak a futtatandó bináris, hanem annak környezete is a feladat része.

A ClusterGrid, mint szolgáltatás Jelenleg 18 intézmény tagja a rendszernek. A csomópontok száma: 800 (1100). A grid mérésekre alapozott közelítő számítási teljesítménye: 400 Gflops. A projektek száma: 12. A futtatott feladatok száma: >30000. Vidéki helyszínek: DE, DF, Georgikon, KEFO, NYME, PTE, SZIE, SZTE, VE. Budapesti helyszínek: BGF, BKF, BME, BMF, ELTE, HIK, MIE, SOTE, ZMNE.

A ClusterGrid fejlődése számokban

Monitorozás – statisztikák

Monitorozás – statisztikák

Hozzáférés A hozzáférés a felhasználók számára az ún. belépési pontokon keresztül lehetséges. Mind CLI, mind web felületen keresztül elérhető a szolgáltatás. Régi image – új image. A használata, a szupergépekhez hasonlóan, ingyenes.

Grid portál

Hogyan tovább? Mennyiségi és minőségi bővítések. A régi image-dzsel üzemelő helyszínek fokozatos felváltása az újra. Szűk keresztmetszetek orvoslása, megfelelő szerverek telepítése.

Elképzelések Grid rendszerek közötti átjárhatóság fejlesztése. Nagy, elosztott tárolókapacitás kialakítása (FS szinten, adatbázis szinten). Heterogén környezet kialakítása. Intelligens ütemezés kialakítása. Checkpointing fejlesztése. Virtuális rendszerek. Web portál továbbfejlesztés. Hálózati technológiák továbbvitele.

Köszönet Botka István, Ecsedi Kornél, Farkas István, Gombás Gábor, Halász Péter, Kalmár Zoltán, Kiss Bence, Lajber Zoltán, Ormos Pál Szeberényi Imre, Tomka Gergely és még sokan mások...

Köszönet Köszönjük a figyelmet! www.niif.hu/szuper/ www.clustergrid.iif.hu grid-devel@niif.hu