SZTAKI Desktop Grid Kacsuk Péter MTA SZTAKI www.lpds.sztaki.hu.

Az előadások a következő témára: "SZTAKI Desktop Grid Kacsuk Péter MTA SZTAKI www.lpds.sztaki.hu."— Előadás másolata:

1 SZTAKI Desktop Grid Kacsuk Péter MTA SZTAKI www.lpds.sztaki.hu

2 Előadásvázlat 1. Mi az a desktop grid? 2. A desktop gridek fajtái 3. Kinek és miért jó? 4. Hogyan lehet használni? 5. Magyar és európai projektek 6. Összefoglalás

3 Desktop Grid (DG) modell Hálózat Szabad kapacitás kiajánlása dinamikusan Munkacsomagok kiosztása Vállalati/ egyetemi szerver Donor: Vállalati/ egyetemi v. magán PC Megoldandó feladat

4 Desktop Grid modell – Mester/szolga párhuzamosság Hálózat Mester Feladat-1 DG Szerver

5 Desktop Grid fajtái Globális (önkéntes) DG Célja nagy horderejű tudományos feladatokhoz donor PC-ket gyűjteni Lokális DG Célja, hogy a DG koncepciót bármilyen közösség (kut.intézet, egyetemi tsz., kar, vállalat, város, stb.) tudja használni

6 Globális Desktop Grid jellemzői A nagy számítási kapacitás kiépítésének legolcsóbb módja Ok: az asztali számitógépek kapacitásának kb. 5%- a van kihasználva A fennmaradó 95%-ot használják ki Bárki felajánlhat erőforrást Heterogén erőforrások, amik dinamikusan jönnek, mennek A megbízhatóság sokkal kisebb, növelése speciális megoldásokat igényel

7 SETI@home: egy globális DG ● SETI@home SETI@home ● 1 projekt: a világűrből érkező rádiójelek vizsgálata, van-e bennük mesterséges jelsorozat ● 3.8M önkéntes 226 országból ● 1200 CPU év/nap ● Legnagyobb szuperszámítógépekkel összemérhető teljesítmény

8 SZTAKI Desktop Grid (SZDG) 2005. júniusában lett felállítva a SZTAKI-ban http://www.desktopgrid.hu/

9 SZTAKI Desktop Grid globális verzió

10

11 11 RI-261561 WP4 version: 1.0 Introduction Author: Robert Lovas, Ad Emmen Miért fontosak az önkéntes DG-k? http://knowledgebase.e-irg.eu önkéntes DG-k nagyon nagyszámú erőforrást képesek gyüjteni

12 SZDG: mint lokális DG mintarendszer Legfontosabb célja: Társadalmasítani a Grid rendszerek építését Hogyan? Bármely szervezet felállíthatja saját DG rendszerét az SZDG mintájára: Egyetlen PC szervert kell beruháznia SZTAKI vállalja, hogy egyetlen nap alatt felállítja a DG-t segít a szervezet alkalmazásait adaptálni és telepíteni a DG-re

13 SZDG: Lokális DG a Westminsteri Egyetemen 13 1 2 3 4 5 6 1.New Cavendish Street576 nodes 2.Marylebone Campus 559 nodes 3.Regent Street395 nodes 4.Wells Street31 nodes 5.Little Tichfield Street66 nodes 6.Harrow Campus254 nodes Total:1881 nodes

14 14 BOINC Szerver BOINC kliensek Wmin Lokális DG Alkalmazás és input paraméterek definiálása Felhasználó gUSE/WS P-GRADE portal G-USE: feladat beküldés a DG-re Kliensek: alkalmazás és inputok letöltése, eredmény feltöltése Wmin Lokális DG használata

15 Tamas Kiss – kisst@wmin.ac.uk INGRID 2009 15 UoW Local DG WS-PGRADE portal Wmin Lokális DG és alkalmazás monitorozása

16 Új program: DG rendszerek felállitása a magyar egyetemek számára ● Cél: a Wmin DG tapasztalatai alapján minden magyar egyetem számára felállitani egy DG-t ● 3 lehetséges opció: ● Dedikált DG (PC labor gépek használata) ● Önkéntes DG (hallgatók és oktatók gépeinek használata) ● Vegyes DG (Dedikált DG + Önkéntes DG) ● SZTAKI biztositja ● a DG szervert ● a gUSE/WS-PGRADE DG portált, amin keresztül a feladatok beküldhetők ● Kezdeti kisérletben résztvevő egyetemek: ● OE, ELTE, ME, SZE

17 ADMEToxGrid (gyógyszerkutatás) ADMEToxGrid (gyógyszerkutatás) Adatbányászat és gépi tanulás Adatbányászat és gépi tanulás Meteorológia, klíma modellezés Meteorológia, klíma modellezés Fotók vízjelzése a Facebook közösségek számára (Web2Grid projekt) Fotók vízjelzése a Facebook közösségek számára (Web2Grid projekt) SZTAKI Desktop Grid alkalmazásai magyar projektekben

18 18 Desktop Grid és WEB2 előnyeinek ötvözése…

19 CancerGrid CancerGrid EDGeS (Enabling Desktop Grids for e- Science) EDGeS (Enabling Desktop Grids for e- Science) EDGI (European Desktop Grid Initiative) EDGI (European Desktop Grid Initiative) DEGISCO (Desktop Grids for International Scientific Collaboration) DEGISCO (Desktop Grids for International Scientific Collaboration) Az utóbbi 3 projektet a SZTAKI koordináljaAz utóbbi 3 projektet a SZTAKI koordinálja Mind a 4 projekt az SZDG-t használjaMind a 4 projekt az SZDG-t használja SZTAKI Desktop Grid alkalmazásai Európai projektekben

20 20 molecule database workflow végrehajtás Molekulák vizsgálata DG kliensek a partnerektől Molekula adatbázis szerver Portál és Desktop Grid szerver (4 workflow alkalmazás) BOINC server 3G Bridge WS-PGRADE Portal DG jobs WU 1 WU 2 WU N Job 1 Job 2 Job N GenWrapper for batch execution BOINC client Legacy Application Portal Storage Local Resource Local jobs Legacy Application WU X WU Y A CancerGrid infrastruktúra

21 EDGeS és EDGI infrastruktúrák EDGI: gLite, ARC, Unicore, Cloud rendszerek és DG-k együtt- működése EDGeS: gLite és DG-k együtt- működése

22 International desktop Grid Federation í Cél: DG közösség építése, ld. http://desktopgridfederation.org/

23 Összefoglalás Az SZDG lehetővé teszi: a Grid rendszerek építésének társadalmasítását Grid építését olyan intézmények számára is, ahol nincs klaszter nincs Grid építési tapasztalat nincs elég anyagi forrás drága nagyteljesítményű rendszerek vételére a Grid magyarországi elterjedését a különböző közösségek számára (pl. városok, egyetemek, vállalatok) A SZTAKI segít DG rendszerek telepítésében a különböző közösségek számára DG alkalmazások létrehozásában http://www.desktopgrid.hu/

24 Source: http://europa.eu/volunteering Csatlakozz az önkéntes DG közösséghez és ajánld fel asztali számitógéped szabad kapacitását!