Ács Sándor 2013.04.17 1.

Az előadások a következő témára: "Ács Sándor 2013.04.17 1."— Előadás másolata:

1 Ács Sándor acs.sandor@sztaki.mta.hu 2013.04.17 1

2 Áttekintés Számítási felhő SZTAKI Felhő projekt Infrastruktúra Architektúra Hardver Szoftver (OpenNebula) Eredmények, statisztikák 2

3 PDP2013. - 02/28/20133 Számítási felhő

4 Egy technológia, amely segíti a nagy számítási- és tárolási kapacitás menedzselését. A felhasználóknak skálázhatóságot, magas rendelkezésre állást (SLA) és használat alapú fizetési lehetőséget (Pay-as-You-Go) biztosít. Az infrastruktúra üzemeltetőinek pedig, hatékony erőforrás-gazdálkodást, csökkentett adminisztrációs- és karbantartási költségeket ígér. 4

5 SaaS Software as a Service PaaS Platform as a Service IaaS Infrastructure as a Service Felhők csoportosítása 5 A csoportosítás másik dimenziója a „deployment”, azaz terítési modell: privát, publikus és hibrid. twitter, flickr … Például: Google App Engine Amazon EC2, Rackspace …

6 PDP2013. - 02/28/20136 SZTAKI Felhő projekt

7 SZTAKI Felhő Célok: o Egy IaaS építése a SZTAKI számára, amely modernizálja és költséghatékonyabbá teszi az intézmény e-infrastruktúráját! o A felhőkhöz, mint elosztott informatikai rendszerekhez kapcsolódó kutatások végzése. Vízió: o A fizikai hardver és szoftver (szolgáltatás) teljes szétválasztása. o Csak az üzemeltetők üzemeltessenek. (AUP) o A hardver beszerzés ésszerűsítése, központosított segítségnyújtás. o Ha egy felhasználónak erőforrásra van szüksége, akkor pillanatok alatt (teljesen automatikusan) a rendelkezésére álljon. Projekt kezdés: 2012.04.01 (2 éves) Partnerek: DSD, ILAB, LPDS, HBIT (ITAK) 7

8 Kutatási és fejlesztési témák Elasztikus és automatikus skálázhatóság Adat-intenzív feladatok megoldása A Felhő szolgáltatás megbízhatóságának és biztonságának növelése 8

9 Projekt teljesítések és ütemezéseik: (1) D1: Architektúra bemutatása (dokumentum) (6.h.) A SZTAKI felhők kiépítéséhez szükséges dokumentáció. (Felelős: LPDS) D2: Laborszintű felhők bemutatása (demonstráció) (6.h.) Az ILAB, ITAK és LPDS laborszintű felhők demonstrációja. (Felelős: ILAB, ITAK és LPDS) D3: Automatikus és elasztikus skálázhatóság (szoftver rendszer és dokumentum) (9.h.) A SZTAKI szótár és WS-PGRADE/gUSEportál felhő infrastruktúrán futó verzióinak bemutatása. (Felelős: DSD, LPDS) 9

10 Projekt teljesítések és ütemezéseik: (2) D4: CPU intenzív feladatok megoldása (szoftver rendszer és dokumentum) (12.h.) Az ILAB processzor-intenzív gépi tanulási feladataihoz/algoritmusaihoz az LPDS felhőn futó klaszter rendszert épít. A számítási teljesítményt egyszálas CPU és grafikus kártya teljesítményével összevetjük (Felelős: LPDS, ILAB) D5: SZTAKI központi teszt felhő demonstrációja (demonstráció és dokumentum) (12.h.) A SZTAKI központi teszt felhő alkalmazásainak és használatának a bemutatója. A hozzátartozó felhasználói dokumentáció alapján a SZTAKI többi laborja és osztálya elkezdheti használni a SZTAKI központi teszt felhőt.(Felelős: ILAB, ITAK, LPDS) 10

11 Projekt teljesítések és ütemezéseik: (3) D6: Adat intenzív feladatok megoldása (szoftver rendszer és dokumentum) (15.h.) Az ILAB klaszteren ITAK együttműködésben három, önmagában nagy algoritmikus kihívást jelentő és egyidőben nem ütemezhető feladatot telepítünk: milliárdnyi Web letöltést (hálózati igény), adatfeldolgozást (pl. UIMA – diszk igény), és index kiszolgálást (memória igény). Az egyes feladatok újraindítása (pl. az elosztott adatstruktúrák feltöltése) nagyon költséges, több nap nagyságrendű. A felhő technológiával virtuális gépeken elhelyezett feladatok között demonstráljuk a gyors váltást. (Felelős: ILAB, ITAK) D7. A felhő szolgáltatás megbízhatósága és biztonsága (dokumentum) (18.h.) A felépített felhő infrastruktúrák megbízhatóságának és biztonságának, tesztekkel alátámasztott dokumentációja. (Felelős: ITAK, LPDS) 11

12 Projekt teljesítések és ütemezéseik: (4) D8. Hatásvizsgálat és bevált gyakorlatok (dokumentum) (21.h.) A felépített rendszer használhatóságának vizsgálata és a projekt során szerzett tapasztalatok, bevált gyakorlatok (best practices) gyűjteménye. (Felelős: DSD, ITAK, LPDS, ILAB) D9: SZTAKI központi produkciós felhő demonstrációja (demonstráció és dokumentum) (24. hónap) A SZTAKI központi produkciós felhő alkalmazásának és használatának a bemutatója: SZTAKI szótár, SZTAKI központi szolgáltató rendszer, WS-PGRADE portál. Ezután a SZTAKI többi laborja és osztálya is elkezdheti használni a SZTAKI központi szolgáltató felhőt. (Felelős: ILAB, ITAK, LPDS, DSD) 12

13 Infrastruktúra PDP2013. - 02/28/201313

14 SZTAKI Felhő Architektúra Node 64Core 256GB RAM Node 64Core 256GB RAM Node 64Core 256GB RAM Node 64Core 256GB RAM Frontend 8 Core, 16GB RAM Switch 48port,4X10G Switch 48port,4X10G Storage 36TB Storage 36TB Frontend 8 Core, 16GB RAM Node 64Core 256GB RAM Node 64Core 256GB RAM Node 64Core 256GB RAM 14

15 Hardver komponensek (1) Frontend Server (2X) - DELL PowerEdge R415 AMD Opteron 4280 Processor (2.8GHz, 8C); 16GB RAM; (2X) 600GB SAS 15k 3.5" HD Hot Plug; Node Server (7X) – DELL PowerEdge R815 (4x) AMD Opteron 6272 (2.1GHz, 16C); 256GB Memory, (6X) 1TB Near-Line SAS; 7.2k 2.5" HD Hot Plug 15

16 Hardver komponensek (2) Storage server (2X) o DELL MD3600i - (12X) 3TB NL SAS 6Gbps 7.2k 3.5" HD; o PowerEdge R510 - Intel Xeon E5620, (2X) 4C, 2.40GHz, 24GB; (12X) 3TB, NL SAS 6Gbps, 3.5-in, 7.2K HD Switch (2X) - PowerConnect 6248, 48 Ports, Managed Switch 16

17 OpenNebula PDP2013. - 02/28/201317

18 OpenNebula (1) A virtulizáció és a virtuális gépek (VM) használata már önmagában is korszerűsíti és egyszerűsíti az üzemeltetést, de felvetődik pár kérdés … Melyik gazdagépre kerüljön egy új VM? (ütemezés, monitorozás) Hogyan hozzak létre új VM-eket? (klónozás, kontextualizáció) Milyen hálózati beállításokat használjak? (automatikus hálózati konfiguráció) Kezelhetem-e egységesen a fizikai erőforrásaimat? 18

19 OpenNebula (2) Egy Virtual Infrastructure Manager (VIM): elérhetővé teszi, hogy egységesen kezeljük a fizikai erőforrásokat, életciklus menedzsmentet és monitorozást biztosít a VM-ek felett, egy felületen integrálja az image-eket, hálózatot és virtualizációt. hypervisor OpenNebula (VIM) VM 19

20 OpenNebula (3) Az infrastruktúra üzemeltetők számára Központi menedzsment az elosztott erőforrások és VM-ek felett Különböző VM elhelyezési stratégiák támogatása (Kiegyensúlyozott terhelés, szerver konszolidáció …) Dinamikusan skálázható infrastruktúra Fizikai méret, klaszterezés, jogosultságok … Dinamikusan skálázható virtuális infrastruktúra A felhasználók számára A szolgáltatások gyorsabb „kézbesítése” és skálázhatósága Heterogén végrehajtási környezet támogatása (Linux, BSD és Windows OS-ek ) Teljes életciklus kontroll a virtualizált szolgáltatások felett 20

21 OpenNebula (4) Kutatási projektből kiforrott szoftver 21

22 OpenNebula (5) Alapfogalmak Lemezkép – virtuális diszk (disk image) A merevlemeznek megfelelő fogalom a felhőben. Előállítható a fizikai forrás médium szektor-szintű másolásával is, ahol a másolat tartalmazza a struktúrát és a tartalmat is. Virtuális hálókártya és hálózat Virtuális hálókártyák és hálózatok segítségével a fizikai gépeken futó VM-ek hálózati forgalmát izolálhatjuk. Sablon (template) Egy leíró, amely tartalmazza a VM tulajdonságait (pl. csatolt lemezképek, virtuális hálókártyák …). VM példány (instance) A felhő felhasználók a sablonokat példányosítva jutnak futó VM-ekhez. 22

23 Kvóták A felhő osztott erőforrásokkal gazdálkodik. A „kiéheztetett” állapot elkerülése érdekében kvótákat használunk, amelyeket részleg szinten osztottuk ki. Minden részleg egy csoportot alkot az OpenNebula-ban. Aktuálisan a következő kvóták szerepelnek minden csoporthoz rendelve: o 45db indítható VM vagy birtokolható CPU mag, o 92GB Memória, o 2TB perzisztens tárhely. A kvóták elosztása a használat karakterisztikája alapján még változhat! PDP2013. - 02/28/201323

24 Eredmények PDP2013. - 02/28/201324

25 Eddig elért eredmények Sikeres alfa szolgáltatás (statisztika köv.) Éles szolgaáltatások üzemeltetés (pl: DSD – Szótár, LPDS – gLite erőforrások) Számos javítás és fejlesztés az OpenNebulához iSCSI storage driver és szkriptek átírása, optimalizálása; AAI auth. modul; AoE storage driver; NFS-root alapú cloud node-ok (részletek a leadandókban) 25

26 SZTAKI Felhő weboldal Elérhetőség: cloud.sztaki.hu Minden egy helyen OpenNebula Front-end elérhetőség Dokumentumok Események Egyéb információk 26

27 Statisztikák Live – mindenkinek elérhető statisztika http://cloud.sztaki.hu/monitoring 27

28 Kérdések? Köszönöm a figyelmet! 28