Ács Sándor

Áttekintés Számítási felhő SZTAKI Felhő projekt Infrastruktúra Architektúra Hardver Szoftver (OpenNebula) Eredmények, statisztikák 2

PDP /28/20133 Számítási felhő

Egy technológia, amely segíti a nagy számítási- és tárolási kapacitás menedzselését. A felhasználóknak skálázhatóságot, magas rendelkezésre állást (SLA) és használat alapú fizetési lehetőséget (Pay-as-You-Go) biztosít. Az infrastruktúra üzemeltetőinek pedig, hatékony erőforrás-gazdálkodást, csökkentett adminisztrációs- és karbantartási költségeket ígér. 4

SaaS Software as a Service PaaS Platform as a Service IaaS Infrastructure as a Service Felhők csoportosítása 5 A csoportosítás másik dimenziója a „deployment”, azaz terítési modell: privát, publikus és hibrid. twitter, flickr … Például: Google App Engine Amazon EC2, Rackspace …

PDP /28/20136 SZTAKI Felhő projekt

SZTAKI Felhő Célok: o Egy IaaS építése a SZTAKI számára, amely modernizálja és költséghatékonyabbá teszi az intézmény e-infrastruktúráját! o A felhőkhöz, mint elosztott informatikai rendszerekhez kapcsolódó kutatások végzése. Vízió: o A fizikai hardver és szoftver (szolgáltatás) teljes szétválasztása. o Csak az üzemeltetők üzemeltessenek. (AUP) o A hardver beszerzés ésszerűsítése, központosított segítségnyújtás. o Ha egy felhasználónak erőforrásra van szüksége, akkor pillanatok alatt (teljesen automatikusan) a rendelkezésére álljon. Projekt kezdés: (2 éves) Partnerek: DSD, ILAB, LPDS, HBIT (ITAK) 7

Kutatási és fejlesztési témák Elasztikus és automatikus skálázhatóság Adat-intenzív feladatok megoldása A Felhő szolgáltatás megbízhatóságának és biztonságának növelése 8

Projekt teljesítések és ütemezéseik: (1) D1: Architektúra bemutatása (dokumentum) (6.h.) A SZTAKI felhők kiépítéséhez szükséges dokumentáció. (Felelős: LPDS) D2: Laborszintű felhők bemutatása (demonstráció) (6.h.) Az ILAB, ITAK és LPDS laborszintű felhők demonstrációja. (Felelős: ILAB, ITAK és LPDS) D3: Automatikus és elasztikus skálázhatóság (szoftver rendszer és dokumentum) (9.h.) A SZTAKI szótár és WS-PGRADE/gUSEportál felhő infrastruktúrán futó verzióinak bemutatása. (Felelős: DSD, LPDS) 9

Projekt teljesítések és ütemezéseik: (2) D4: CPU intenzív feladatok megoldása (szoftver rendszer és dokumentum) (12.h.) Az ILAB processzor-intenzív gépi tanulási feladataihoz/algoritmusaihoz az LPDS felhőn futó klaszter rendszert épít. A számítási teljesítményt egyszálas CPU és grafikus kártya teljesítményével összevetjük (Felelős: LPDS, ILAB) D5: SZTAKI központi teszt felhő demonstrációja (demonstráció és dokumentum) (12.h.) A SZTAKI központi teszt felhő alkalmazásainak és használatának a bemutatója. A hozzátartozó felhasználói dokumentáció alapján a SZTAKI többi laborja és osztálya elkezdheti használni a SZTAKI központi teszt felhőt.(Felelős: ILAB, ITAK, LPDS) 10

Projekt teljesítések és ütemezéseik: (3) D6: Adat intenzív feladatok megoldása (szoftver rendszer és dokumentum) (15.h.) Az ILAB klaszteren ITAK együttműködésben három, önmagában nagy algoritmikus kihívást jelentő és egyidőben nem ütemezhető feladatot telepítünk: milliárdnyi Web letöltést (hálózati igény), adatfeldolgozást (pl. UIMA – diszk igény), és index kiszolgálást (memória igény). Az egyes feladatok újraindítása (pl. az elosztott adatstruktúrák feltöltése) nagyon költséges, több nap nagyságrendű. A felhő technológiával virtuális gépeken elhelyezett feladatok között demonstráljuk a gyors váltást. (Felelős: ILAB, ITAK) D7. A felhő szolgáltatás megbízhatósága és biztonsága (dokumentum) (18.h.) A felépített felhő infrastruktúrák megbízhatóságának és biztonságának, tesztekkel alátámasztott dokumentációja. (Felelős: ITAK, LPDS) 11

Projekt teljesítések és ütemezéseik: (4) D8. Hatásvizsgálat és bevált gyakorlatok (dokumentum) (21.h.) A felépített rendszer használhatóságának vizsgálata és a projekt során szerzett tapasztalatok, bevált gyakorlatok (best practices) gyűjteménye. (Felelős: DSD, ITAK, LPDS, ILAB) D9: SZTAKI központi produkciós felhő demonstrációja (demonstráció és dokumentum) (24. hónap) A SZTAKI központi produkciós felhő alkalmazásának és használatának a bemutatója: SZTAKI szótár, SZTAKI központi szolgáltató rendszer, WS-PGRADE portál. Ezután a SZTAKI többi laborja és osztálya is elkezdheti használni a SZTAKI központi szolgáltató felhőt. (Felelős: ILAB, ITAK, LPDS, DSD) 12

Infrastruktúra PDP /28/201313

SZTAKI Felhő Architektúra Node 64Core 256GB RAM Node 64Core 256GB RAM Node 64Core 256GB RAM Node 64Core 256GB RAM Frontend 8 Core, 16GB RAM Switch 48port,4X10G Switch 48port,4X10G Storage 36TB Storage 36TB Frontend 8 Core, 16GB RAM Node 64Core 256GB RAM Node 64Core 256GB RAM Node 64Core 256GB RAM 14

Hardver komponensek (1) Frontend Server (2X) - DELL PowerEdge R415 AMD Opteron 4280 Processor (2.8GHz, 8C); 16GB RAM; (2X) 600GB SAS 15k 3.5" HD Hot Plug; Node Server (7X) – DELL PowerEdge R815 (4x) AMD Opteron 6272 (2.1GHz, 16C); 256GB Memory, (6X) 1TB Near-Line SAS; 7.2k 2.5" HD Hot Plug 15

Hardver komponensek (2) Storage server (2X) o DELL MD3600i - (12X) 3TB NL SAS 6Gbps 7.2k 3.5" HD; o PowerEdge R510 - Intel Xeon E5620, (2X) 4C, 2.40GHz, 24GB; (12X) 3TB, NL SAS 6Gbps, 3.5-in, 7.2K HD Switch (2X) - PowerConnect 6248, 48 Ports, Managed Switch 16

OpenNebula PDP /28/201317

OpenNebula (1) A virtulizáció és a virtuális gépek (VM) használata már önmagában is korszerűsíti és egyszerűsíti az üzemeltetést, de felvetődik pár kérdés … Melyik gazdagépre kerüljön egy új VM? (ütemezés, monitorozás) Hogyan hozzak létre új VM-eket? (klónozás, kontextualizáció) Milyen hálózati beállításokat használjak? (automatikus hálózati konfiguráció) Kezelhetem-e egységesen a fizikai erőforrásaimat? 18

OpenNebula (2) Egy Virtual Infrastructure Manager (VIM): elérhetővé teszi, hogy egységesen kezeljük a fizikai erőforrásokat, életciklus menedzsmentet és monitorozást biztosít a VM-ek felett, egy felületen integrálja az image-eket, hálózatot és virtualizációt. hypervisor OpenNebula (VIM) VM 19

OpenNebula (3) Az infrastruktúra üzemeltetők számára Központi menedzsment az elosztott erőforrások és VM-ek felett Különböző VM elhelyezési stratégiák támogatása (Kiegyensúlyozott terhelés, szerver konszolidáció …) Dinamikusan skálázható infrastruktúra Fizikai méret, klaszterezés, jogosultságok … Dinamikusan skálázható virtuális infrastruktúra A felhasználók számára A szolgáltatások gyorsabb „kézbesítése” és skálázhatósága Heterogén végrehajtási környezet támogatása (Linux, BSD és Windows OS-ek ) Teljes életciklus kontroll a virtualizált szolgáltatások felett 20

OpenNebula (4) Kutatási projektből kiforrott szoftver 21

OpenNebula (5) Alapfogalmak Lemezkép – virtuális diszk (disk image) A merevlemeznek megfelelő fogalom a felhőben. Előállítható a fizikai forrás médium szektor-szintű másolásával is, ahol a másolat tartalmazza a struktúrát és a tartalmat is. Virtuális hálókártya és hálózat Virtuális hálókártyák és hálózatok segítségével a fizikai gépeken futó VM-ek hálózati forgalmát izolálhatjuk. Sablon (template) Egy leíró, amely tartalmazza a VM tulajdonságait (pl. csatolt lemezképek, virtuális hálókártyák …). VM példány (instance) A felhő felhasználók a sablonokat példányosítva jutnak futó VM-ekhez. 22

Kvóták A felhő osztott erőforrásokkal gazdálkodik. A „kiéheztetett” állapot elkerülése érdekében kvótákat használunk, amelyeket részleg szinten osztottuk ki. Minden részleg egy csoportot alkot az OpenNebula-ban. Aktuálisan a következő kvóták szerepelnek minden csoporthoz rendelve: o 45db indítható VM vagy birtokolható CPU mag, o 92GB Memória, o 2TB perzisztens tárhely. A kvóták elosztása a használat karakterisztikája alapján még változhat! PDP /28/201323

Eredmények PDP /28/201324

Eddig elért eredmények Sikeres alfa szolgáltatás (statisztika köv.) Éles szolgaáltatások üzemeltetés (pl: DSD – Szótár, LPDS – gLite erőforrások) Számos javítás és fejlesztés az OpenNebulához iSCSI storage driver és szkriptek átírása, optimalizálása; AAI auth. modul; AoE storage driver; NFS-root alapú cloud node-ok (részletek a leadandókban) 25

SZTAKI Felhő weboldal Elérhetőség: cloud.sztaki.hu Minden egy helyen OpenNebula Front-end elérhetőség Dokumentumok Események Egyéb információk 26

Statisztikák Live – mindenkinek elérhető statisztika 27

Kérdések? Köszönöm a figyelmet! 28