LPDS és felhő technológia Peter Kacsuk

Az előadások a következő témára: "LPDS és felhő technológia Peter Kacsuk"— Előadás másolata:

1 LPDS és felhő technológia Peter Kacsuk kacsuk@sztaki.hu www.lpds.sztaki.hu

2 2 Bevezetés A felhő technológia sok rokonságot mutat a grid technológiával különösen a felhő federációkkal Gyakran mondják, hogy Felhő = Grid + virtualizáció + üzleti modell Ennek megfelelően az LPDS-ben a felhő kutatás és infrastruktúra fejlesztés súlyponti terület Ugyanakkot nem csak a kutatás szempontjából, hanem a napi infrastruktúra igények kiszolgálása szempontjából is fontos lehetőség a felhő használata Ebben az előadásban néhány fontos területet szeretnék kiemelni és bemutatni, ahol az LPDS-ben a felhő segített

3 E-Infrastruktúra fejlődése az LPDS-ben (1) 2006 előtt Egy szolgáltatás egy vagy több gépen futott (1:n). Manuális telepítés és konfigurálás. 2006-11 XEN alapú virtualizáció használata. Egy hardveren akár több virtuális gép/szolgáltatás is futott (n:m). A virtuális gép diszk image-eit és konfigurációs fájljait (pl. hálózat), az operátorok állították elő (még manuálisan). Ennek eredménye, hogy felgyorsult a szolgáltatás létrehozásának menete és a fizikai erőforrásokat jobban ki tudtuk használni. 3

4 E-Infrastruktúra fejlődése az LPDS-ben (2) 2011 után OpenNebula használata (és áttérés a KVM virtualizációra). Az első LPDS felhő rendszert 2011 novemberben adtuk át a labortagok számára Jellemzően egy (szerver) hardveren már nem csak több hanem sok VM fut (akár 100). A virtuális lemezképek, hálózatok konfigurációja és VM-ek példányosítása egy egyszerű webes felületen keresztül történik, tehát operátori beavatkozás igénybevétele nélkül. A felhasználók (jellemzően fejlesztők), pár kattintás segítségével, percek alatt juthatnak újabb virtuális erőforrásokhoz. 4

5 5 LPDS Felhő infrastruktúra Kezdettől fogva igen jó tapasztalatok voltak vele és jelentősen növelték a munka hatékonyságát a laborban A labor teljes infrastruktúrájának 90%-a ma már a felhőben üzemel Felépítése: 168 processzor 452GB memória 33TB tárkapacitás

6 6 LPDS Felhő infrastruktúra Néhány adat a használatról: Ezidáig több, mint 10000 virtuális gép példány készült Egyszerre átlagosan 140 virtuális gép fut 200 feltöltött image a felhő repository-ban

7 7 LPDS Felhő infrastruktúra

8 8

9 9

10 10 WS-PGRADE portál és felhő infrastruktúra A WS-PGRADE portált 2003 óta fejlesztjük Mára Európa vezető grid portálja lett Több mint 7000 letöltés a sourceforge-ról 62 országból Kb. 20 szervíz portált üzemeltetnek nemzeti gridek és tudományos közösségek számára Egyik fő előnye, hogy gyakorlatilag mindenféle grid infrastruktúrával képes együttműködni Ezt azonban le is kell tesztelni, mielőtt egy új verziót kiadunk

11 11 WS-PGRADE portál tesztelése és felhő infrastruktúra Felhő nélkül két probléma van: 1.Minden tesztelendő portálverzióhoz fel kell állítani egy portált, amin a tesztelés folyik Felhő nélkül ez 1-2 napos munka volt Felhőben ez 5 perc 2.A felállított portált minden létező infrastruktúrával le kell tesztelni Felhő nélkül ehhez megfelelő működő gridet kell találni, tűzfalakat kell nyitni és akkor még nem biztos, hogy az adott grid éppen stabilan működik Felhő megoldás: Minden grid infrastruktúrából a minimális szolgáltatások halmazát image-ben tároljuk és a teszt idejére felhőben telepítjük

12 12 Example: Testing WS-PGRADE with BOINC desktop grid WS- PGRADE 3G Bridge BOINC Server BOINC Client 1 SZTAKI Felhő BOINC Client 2 LPDS Felhő

13 13 Desktop grid és felhő infrastruktúra A desktop grid (DG) technológia kiválóan alkalmas egy intézményen belül összegyűjteni a ki nem használt desktop gépeket és ezekből lokális szuperszámítógépet építeni Pl. a londoni Westminster Egyetemen 2008 óta üzemel egy ilyen egyetemi szuperszámítógép, ami az egyetem 6 campus-ának 1600 laborgépét kapcsolja egybe Felajánlottuk a technológiát a hazai egyetemeknek is, de nem volt sikeres az akcio, mert: Nem tudták elég könnyen telepíteni a DG rendszert

14 14 Desktop grid és felhő infrastruktúra 2 Akinek van felhő rendszere, az pár perc alatt felállíthat egy ilyen intézményi DG rendszert a saját felhőjében Akinek nincs felhő rendszere, az pár perc alatt felállíthat egy ilyen intézményi DG rendszert egy kereskedelmi felhőben a kipróbálás idejére 3G Bridge BOINC Server BOINC Client 1 Intézményi felhő v. kereskedelmi felhő BOINC Client N

15 15 Desktop grid és felhő infrastruktúra 2 A felhő lehetővé teszi, hogy ha a kliensek száma nem elég az intézményi DG rendszerben, akkor ideiglenesen további klienseket lehessen indítani kereskedelmi felhőben, vagy felhő federációban 3G Bridge BOINC Server BOINC Client 1 Intézményi Felhő BOINC Client N Kereskedelmi Felhő

16 16 Konklúzió Az LPDS felhő segítségével, jobban ki tudjuk használni az erőforrásainkat, csökkentettük az adminisztrátorokra háruló munkát, továbbá lerövidítettük a felhasználók kiszolgálásának idejét. A felhő jelentősen segít, ha átmeneti időre megadott és ismert típusú erőforrásokra, szolgáltatásokra van szükségünk (pl. portal-grid együttműködés tesztelése) Ha egy szolgáltatás hasznosságát ki akarjuk próbálni (pl. intézményi DG rendszer felállítása) Ha egy meglévő szolgáltatás erőforrás igényét átmenetileg növelni akarjuk (pl. intézményi DG rendszerben a kliensek számának növelése)