Bevezetés az európai és magyar Grid rendszerekbe Sipos Gergely MTA SZTAKI Párhuzamos és elosztott rendszerek laboratórium

Slides:



Advertisements
Hasonló előadás
EGEE-II Enabling Grids for E-sciencE EGEE and gLite are registered trademarks HunGrid Grid technológiák hozzáférési lehetőségei az intézetben.
Advertisements

Virtualizált Biztonságos BOINC Németh Dénes Deák Szabolcs Szeberényi Imre.
A számítógép műszaki, fizikai része
Kliens-szerver architektúra
Hardver alapok I. 10. osztály.
Készítette: Bátori Béla 12.k
„Egy hálóban webezünk!” - a reformok informatikai kihívásai
QualitySoft On-Line megoldások Terminálszerver alternatíva a Távoli Asztali eléréshez.
I NFORMÁCIÓS T ÁRSADALOM T ECHNOLÓGIÁI PÓLUS Dr Magyar Gábor BME
Párhuzamos programozás Grid környezetben Kacsuk Péter MTA SZTAKI
Erdélyi Múzeum-Egyesület Magyar Tudományos Akadémia Budapest, november 11. Dr. Bitay Enikő, Az EME Műszaki Tudományok Szakosztályának elnöke.
Európai Nukleáris Kutatási Szervezet Európai Részecskefizikai Laboratórium Bemutatkozik a CERN 05 Novembre 2003.
Alkalmazások portolása Gridre Balaskó Ákos MTA SZTAKI 2011 november 14.
Hálózati architektúrák
Adminisztratív teendők Kacsuk Péter Egyetemi tanár
10 állítás a gyerekek internethasználatáról
Virtuális Obszervatórium Korszerű adatbázisok 2014.
1 KLASZTER PROGRAMOZÁSI TECHNOLÓGIA ÉS ALKALMAZÁSA A METEOROLÓGIÁBAN Kacsuk Péter Horányi András
A számítógéprendszer.
Cluster Szorosan összekapcsolt számítógépek csoportja (egy gépet alkotnak) Gyakori a LAN megoldás Céljuk: – Teljesítmény növelése – Rendelkezésre állás.
A CAD/CAM modellezés alapjai
Többmagos processzorok
Hungrid grid.kfki.hu/hungrid. Hungrid Mi a Hungrid? –az EGEE egyetlen általános célú, hivatalos magyar VO-ja –teljeskörű grid szolgáltatás az egész akadémiai.
Hernáth Szabolcs RMKI grid és Hungrid Hernáth Szabolcs
Hungrid: Magyarország kapuja az EGEE infrastruktúrájához Hernáth Szabolcs MTA KFKI RMKI
1 Virtuális szuperszámítógép szolgáltatás kialakítása az akadémiai hálózat felhasználásával Kacsuk Péter
Számítástechnika a KFKI AEKI-ben
1 Virtuális szuperszámítógép szolgáltatás kialakítása az akadémiai hálózat felhasználásával Kacsuk Péter Szeberényi.
Bevezetés a Grid rendszerekbe Prof Kacsuk Péter MTA SZTAKI Párhuzamos és elosztott rendszerek laboratórium
SEEGRID használat saját tanusítvánnyal. Lépések Tanusítvány transzformálása –Igen, sajnos megint... Bejelentkezés saját accounttal Tanusítvány és titkos.
Grid felhasználói és alkalmazás fejlesztői kurzus Debreceni Egyetem, Január
SZTAKI Desktop Grid Kacsuk Péter MTA SZTAKI
A SHIWA projekt – Munkafolyamat gráfok és különböző grid köztesrétegek együttműködésének problémái és megoldásai e-Science Café Budapest, Óbudai.
EGI-InSPIRE RI EGI-InSPIRE EGI-InSPIRE RI e-Science Café RMKI Hernáth Szabolcs 8/5/2014.
World Wide Web Magyarországon Kovács László MTA SZTAKI Elosztott Rendszerek Osztály dsd.sztaki.hu.
A legolcsóbb szuperszámitógép
Miért nem működik még az okostévé modell?
Az AliEn rendszer Novák Judit Vesztergombi György Predrag Buncic Pablo Saiz Jan-Erik Revsbench.
Az AliEn rendszer Novák Judit Vesztergombi György Predrag Buncic
Nagy teherbírású rendszerüzemeltetés a felhőben. Miről lesz szó? Cloud áttekintő Terheléstípusok és kezelésük CDN Loadbalancing Nézzük a gyakorlatban.
Kísérletezés virtuális méréstechnika segítségével 2010 március
Eötvös Szabolcs Tamás Polyák Ádám Réthy Balázs Szeiler Beáta Information System for Organs transplantation 9. csoport
EGEE-II INFSO-RI Enabling Grids for E-sciencE A HunGrid infrastruktúra és alkalmazásfejlesztő környezete Gergely Sipos
Eszköz és identitás kezelés Korlátlan fájl szerver kapacitás Másodlagos adatközpont Korlátlanul skálázódó infrastruktúra Biztonságos DMZ Hibrid adat-
Ritter Dávid NIIF Műszaki Tanács
Alkalmazások skálázása felhőben Farkas Zoltán MTA SZTAKI LPDS Budapest,
Akos Balasko MTA SZTAKI, Hungarian Academy of Sciences Felhő használat paraméterteret bejáró szimulációk futtatására.
Miért jó nekünk kutatóknak a felhő?
Felhő PC demonstráció Gergely Márk MTA SZTAKI Laboratory of Parallel and Distributed Systems
Kommunikáció a hálózaton Kommunikáció a hálózaton.
EGEE-III INFSO-RI Enabling Grids for E-sciencE A Hungrid VO szolgáltatásai A Hungrid, a magyar NGI bölcsője Hernáth Szabolcs Szeberényi.
Ismerkedjünk tovább a számítógéppel
A Windows Server 2003 termékcsalád A Windows Server 2003 termékcsaládnak 4 tagja van: Windows Server 2003, Standard Edition Windows Server 2003, Enterprise.
Hálózatok a mai világban
UNIVERSITY OF SZEGED D epartment of Software Engineering UNIVERSITAS SCIENTIARUM SZEGEDIENSIS Okostelefon felhő Prof. Dr. Gyimóthy Tibor Szegedi Tudományegyetem.
EGEE-II INFSO-RI Enabling Grids for E-sciencE EGEE and gLite are registered trademarks Összefoglalás M. Kozlovszky MTA SZTAKI
05 Novembre év a részecskefizika kutatásban Európai Nukleáris Kutatási Szervezet Európai Részecskefizikai Laboratórium.
A projekt az Európai Unió társfinanszírozásával, az Európa terv keretében valósul meg. Számítógép- hálózatok dr. Herdon Miklós dr. Kovács György Magó Zsolt.
N E M Z E T I A U D I O V I Z U Á L I S A R C H Í V U M NAVA project BudapestI Műszaki Egyetem Informatikai és Hírközlési Minisztérium NAVA 2005.
LPDS és felhő technológia Peter Kacsuk
Számítógépek és eszközök
30 éves a Nemzeti Információs Infrastruktúra Fejlesztési Program
Eötvös Szabolcs Tamás Polyák Ádám Réthy Balázs Szeiler Beáta
Az NIIF Program helye a kutatóhálózati világban
Délkelet-Európai HPC Projekt
HPC Portál: Bejárat a szuperszámítógépek világába
Információtechnológiák és tudásbázis az Agrof-MM Leonardo+ projektben M=Mountain; M=Mediterranean
EBSCO Information Services
Hálózati architektúrák
Számítógépek és eszközök
Előadás másolata:

Bevezetés az európai és magyar Grid rendszerekbe Sipos Gergely MTA SZTAKI Párhuzamos és elosztott rendszerek laboratórium

Mi az a Grid? ● Ezek az erőforrások heterogének Grid ● A Grid számítógépek, tárolóegységek, speciális berendezések és szolgáltatások együttese, amik dinamikusan csatlakozhatnak és hagyhatják el a Gridet Internet ● Földrajzilag elosztottak és tipikusan Internettel vannak összekötve ● Igény szerint (on-demand) érhetők el

Miért használnak Gridet? ● A felhasználónak olyan komplex problémát kell megoldani, ami sok szolgáltatás és erőforrás együttes alkalmazását igényli azért, hogy Csökkentse a feldolgozási időt Elérjen speciális készülékeket, adatokat, szoftvereket Együttműködjön másokkal Internet

Tipikus Grid alkalmazási területek Nagy számítási kapacitást igénylő alkalmazások Nagy teljesítményű számítás (High Performance Computing) Egyetlen párhuzamos program végrehajtási idejét lerövidíteni Nagy áteresztőképességű számítás (High Throughtput Computing) Minél több hasonló méretű, egymástól független programot lefuttatni egységnyi idő alatt Nagy adathalmazokkal dolgozó alkalmazások Akár több adatbázis, tudásbázis együttes bevonása Kollaboratív csoport munka Több felhasználó együttes bevonásával összetett tudást igénylő problémák megoldása

Large Hidron Collider, CERN, Genf LHC Grid ATLASCMS LHCb ~ 40 millió részecskeütközés mp-enként 15 PetaByte adat / év ~10 3 analízist végző fizikus

Példa: Rolls Royce repülőgép motorok 1Gb adat / repülő / út ● Valós idejü adatletöltés a bázis repülőtérre ● Összehasonlítás korábbi adatokkal ● Keresés több repter adataiban ● Elemzés, analizálás ● Számítás elosztott architektúrán ● Kiszolgáló személyzet felkészítése a gép érkezésére

Példa: Orvosi képfeldolgozás... Push images in the workflow Image + metadata Adat katalógus KépMetaadatokEredmények... ~ 1 millió kép / paciens 1024 x 1024 felbontás / kép ~ 1 gByte / paciens 5 paciens / nap

További példák In silico gyógyszerkutatás – molekula szimulációk, alkalmatlan vegyületek kiszűrése Földtudományok, űrkutatás – szatellit és távcső képek megosztása, elemzése Időjárás előrejelzés – adatbegyűjtés, modellválasztás, szimulációk, összegzés Mérnöki tudományok – épületek, közlekedési eszközök szimulációja Archeologia – digitális archivumok létrehozása és megosztása, szimulációk futtatása

Miért célszerű erre Grid rendszert használni? Az ilyen tipusú problémák többségére 5-10 éve még szuperszámítógépeket használtak Ma Grid rendszert használnak Az okok: A Grid képes egyesíteni és kihasználni az intézetek szabad számítógép kapacitását mindenféle extra beruházás nélkül Virtuálisan és igény szerint megnöveli minden csatlakozó intézmény gépparkjának kapacitását Elosztott erőforrásokat integrál Rugalmas hozzáférést tesz lehetővé

GRIDMIDDLEWAREGRIDMIDDLEWARE Megjelenítés Munkaállomás Mobil hozzáférés PCk, klaszterek, szuperszámítógépek Adat tárolók, szenzorok, berendezések Hálózatok, Internet Grid vízió

Megoldandó problémák ● Erőforrások egységes elérése ● Számítógépek ● Tárolóeszközök ● Speciális eszközök ● Szoftverek ● Hozzáférés szabályozás ● Terheléselosztás ● Erőforrások állapotának monitorozása ● Alkalmazások monitorozása ● Hibakezelés ● Alkalmazási metodika, programozási koncepció ●...

… hol vagyunk most? Ha az általános grid vízió ez, akkor...

Általános Grid modell Internet Szabad kapacitás kiajánlása Kapacitás igénylés Intézet 1 Intézet 2 Intézet 4 Intézet 3

A Grid két szereplője Erőforrás felajánlók (donorok) = D Erőforrás felhasználók = H A kettő közötti viszony adja meg az alkalmazott Grid modell típusát: Ha H ~ D  általános Grid modell Ha H >> D  szolgáltatói Grid modell Ha H << D  desktop Grid modell

Általános Grid modell jellemzői Bárki felajánlhat erőforrást Heterogén erőforrások, amik dinamikusan jönnek, mennek Bárki felhasználhatja a felajánlott erőforrásokat SAJÁT alkalmazásának megoldására Szimmetrikus és egyenjogú kapcsolat az erőforrás donorok és használók között: H ~ D

Szolgáltatói Grid modell Internet Szabad kapacitás kiajánlása napi 24 órában (statikusan) Kapacitásigénylés dinamikusan Kutatóhely1 Felhasználó 1 Kutatóhely2 Felhasználó N Donor és Felhasználó

Szolgáltatói Grid modell jellemzői Csak “professzionális” szolgáltatók ajánlhatnak fel erőforrást Homogén erőforrások Bárki felhasználhatja a felajánlott erőforrásokat SAJÁT alkalmazásának megoldására Asszimmetrikus és nem egyenjogú kapcsolat az erőforrás-donorok és használók között: H >> D

Szolgáltatói Grid példa: EGEE EGEE gridben részt vevő ország ● A világ legnagyobb multi-disciplináris gridje ● > 250 intézet 51 országból ● ~ processzor ● ~ 20 PB tárolókapacitás (20 millió GByte) ● job/nap ● > 200 Virtuális Közösség ● ~ 1000 ember dolgozik rajta és vele ● gLite middleware fut az erőforrásokon

Szolgáltatás Gridek egy eleme: klaszter Számítási kapacitás Adattároló kapacitás Hozzáférés szabályozás Security services grid.ucy.ac.cy IBM eServer 326m Machines 2.0GHz dual AMD Opteron 64-bit CPUs 1GB RAM 80 CPUs

Dynamic Grid ~ 33 sites, ~1400 CPUS Production Grid – Applications from various scientific disciplines – Sites operate 24/7 – Mostly unattended by administrators Middleware: – Advanced Resource Connector (ARC) Szolgáltatói Grid példa : NorduGrid

Hozzáférés szolgáltatás Gridekhez

Grid Szolgáltatás gridek és Virtuális organizációk (VO-k) VO: erőforrások és felhasználók csoportja Logikai egység Hozzáférési határ Internet Virtuális Organizáció

Szolgáltatás grid hozzáférés ● Grid tanusvány beszerzése egy elismert Tanusítvány Szolgáltatótól (CA) ● Magyarországi CA: ● Regisztráció egy Virtuális Organizációba ● EGEE VO-k listája (~ 100): Central Operations portal ● HunGrid VO: Magyarországi erőforrások ● VOCE: közép-európai erpforrások ● SEE-GRID VO: dél-kelet európai erőforrások ● Biomed VO: biológus felhasználók számára fenntartott erőforrások ●... ● Párhuzamos alkalmazások fejlesztése, és/vagy futtatása...

HunGrid – EGEE magyar VO-ja ● Folyamatos működésű (napi 24 órában működik) ● Cél: az akadémiai intézetek kutatóinak folyamatos támogatása ● Az EGEE Grid magyar adaptációja, virtuális szervezete ● januárban lett felállítva ● Résztvevő telephelyek: ● RMKI: 154 proc. ● ELTE: 16 proc. ● BME: 32 proc. ● NIIF: 12 proc. ● Összes proc. Kapacitás: 214 proc.

Desktop Gridek

Desktop Grid modell Internet Szabad kapacitás kiajánlása dinamikusan Munkacsomagok kiosztása Vállalati/ egyetemi szerver Vállalati/ egyetemi PC Megoldandó feladat

Desktop Grid modell jellemzői Bárki felajánlhat erőforrást Heterogén erőforrások, amik dinamikusan jönnek, mennek Egy vagy néhány projekt használhatja fel a felajánlott erőforrásokat Asszimmetrikus és nem egyenjogú kapcsolat az erőforrás donorok és használók között: H << D

Desktop Grid fajtái Globális Desktop Grid (DG) Célja nagy horderejű tudományos feladatokhoz donor PC-ket gyűjteni Lokális DG Célja, hogy a DG koncepciót bármilyen közösség (kut.intézet, egyetemi tsz., kar, vállalat, város, stb.) tudja használni

SETI: egy globális DG ● ● 1 projekt ● 3.8Millió önkéntes 226 országból ● 1200 CPU év/nap ● 38 TF fenntartható teljesítmény (Japanese Earth Simulator 32 TF) ●

SZTAKI Desktop Grid Legfontosabb célja: Társadalmasítani a Grid rendszerek építését Demonstrálni és bizonyítani a DG koncepció működését Meggyőzni a kételkedőket a DG használhatóságáról Segíteni DG-ek léterhozását Segíteni a DG alkalmazások létrehozását és futtatását ● Eszközök: ● Egyszerű installálhatóság ● Egyszerűsített alkalmazás fejlesztési mód ● Magyar és angol nyelvű felületek ● Globális és lokális módon is installálható ●

SZTAKI Desktop Grid globális mintarendszer

SZTAKI Desktop Grid globális mintarendszer NIIF Supercomputer: 300 GFlops OMSZ Supercomputer: 900 GFlops TOP 500 entry performance: 1645 GFlops SZTAKI DG: ~1000 GFlops

Hozzáférés Desktop Gridekhez ● Donor regisztáció globális desktop gridhez: ● SZTAKI Desktop Grid: ● Alkalmazás portolása már létező desktop gridre: ● Application Support Centre: ● Saját desktop grid felállítása: ● MTA SZTAKI LPDS: ● Egyetlen szerver is elég...

Párhuzamos feldolgozás a gridben Nem az egyetlen, de messze a legfontosabb felhasználási mód...

Kihasználható párhuzamosság típusok a Gridben Szolgáltatás Grid – Master-slave (paraméter vizsgálat) – Telephelyen belüli párhuzamosság – Workflow – Ezek kompinációi, pl Telephelyen belüli paramétervizsgálat Workflow paraméter vizsgálat Desktop Grid – Master-slave (paraméter vizsgálat)

Szerver Mester munkacsomag1 munkacsomag2 munkacsomag3 munkacsomagN Paraméter vizsgálat Mester/szolga párhuzamosság Internet

Telephelyen belüli párhuzamosság Internet Párhuzamos programozási ismeretet igényel!

Workflow párhuzamosság Internet 1. program 2. program 3. program

Kombinált párhuzamosság: Telephelyen belüli és master-slave is egyben Internet

Kombinált párhuzamosság: Worlkflow parameter vizsgalat Internet

A Grid Computing három hulláma A kutatási hullám Az ipari hullám A vásárlói hullám Technológia, Prototípus Griden futó termékek Commodity Virtuális Organizációk Vállalati megoldások IT közmű Együttműködési képesség Integráció Jogi, politikai szervezetek “Grid lehetőségek tudatosítása” “Könnyű elérés” “Grid Service Provider” Itt tartunk

Konkluzió Általános Grid modell sokmindenre jó, de megvalósítani bonyolult Kutatási fázis Gyakorlatban szolgáltatás gridek és Dekstop Gridek Léteznek működő Grid infrastruktúrák hazánkban: EGEE (HunGrid, VOCE, Biomed,...) Worklow, párhuzamos és mester-szolga alkalmazásokhoz Használd a mások által nyújtott erőforrásokat! SZTAKI Desktop Grid Mester-szolga alkalmazásokhoz Regisztrálj mint erőforrás felajánló, vagy mint alkalmazás fejlesztő Állíts fel saját gridet!

Köszönöm a figyelmet ? További információ: