Bev. Célok Tagok Tervek Külk. Sum. DemoGRID Heterogén rendszerek összekapcsolása adat- és számításigényes feladatok megoldására Benczúr András

Az előadások a következő témára: "Bev. Célok Tagok Tervek Külk. Sum. DemoGRID Heterogén rendszerek összekapcsolása adat- és számításigényes feladatok megoldására Benczúr András"— Előadás másolata:

1 Bev. Célok Tagok Tervek Külk. Sum. DemoGRID Heterogén rendszerek összekapcsolása adat- és számításigényes feladatok megoldására Benczúr András abenczur@ludens.elte.hu Frohner Ákos szamcsi@caesar.elte.hu Kacsuk Péter kacsuk@sztaki.hu www.lpds.sztaki.hu

2 Bev. Célok Tagok Tervek Külk. Sum. 2001-01-17DemoGRID NI20002 Áttekintés Célkit ű zések Résztvev ő k Részletesebb tervek Nemzetközi kapcsolatok Összefoglalás

3 Bev. Célok Tagok Tervek Külk. Sum. 2001-01-17DemoGRID NI20003 Célkitűzések Szuperszámítógépek és klaszterek teljesítményének egyesítése nagysebesség ű hálózatokkal. DemoGRID célja ennek magyarországi el ő készítése: nyolc központ összekapcsolása - metacomputer Grid middlewarekutatása és továbbfejlesztése pilot alkalmazások fejlesztése adatintenzív és számításintenzív feladatokra A kialakuló technológiát a magyarországi akadémiai szféra, és nagy er ő forrásigény ű magyar cégek is hasznosíthassák.

4 Bev. Célok Tagok Tervek Külk. Sum. 2001-01-17DemoGRID NI20004 Innováció/hasznosítás GRID környezetben még nem megoldott feladatok –adatok perzisztens kezelése –monitorozás és vizualizáció –biztonságtechnikai kérdések Európai GRID-hez való kapcsolódás Részecskefizikai és csillagászati adatok –terra- és petabájtos adatmennyiségek tárolása –keresés, adatbányászat ezekben az adatbázisokban Neurális adatbázisok, neuroszimulátor készítése

5 Bev. Célok Tagok Tervek Külk. Sum. 2001-01-17DemoGRID NI20005 Résztvevők ELTE –Informatika Tanszékcsoport –Elméleti Fiziaki Tanszék, Kvantumelméleti kutatócsoport –Fizikus Tanszékcsoport, Asztrofizikai kutatócsoport –Információtechnológiai Központ SZTAKI –Párhuzamos és Elosztott Rendszerek Laboratórium –Rendszerfejlesztési Osztály MTA KFKI Részecske és Magfizikai Kutatóintézet SzIF, Matematika Tanszék MTA M ű szaki Fizikai és Anyagtudományi Kutatóintézet

6 Bev. Célok Tagok Tervek Külk. Sum. 2001-01-17DemoGRID NI20006 Tervek GRID általános architektúra –tanulmányozása, alkalmazása és továbbfejlesztése  GRID alrendszerek tanulmányozása és fejlesztése -Tároló alrendszer: relációs adatbázis, objektum- orientált adatbázis, geometriai adatbázis, elosztott fájlrendszer -Monitorozó alrendszer -Biztonsági alrendszer GRID Általános architektúra Tároló alrendszer Monitoroz ó alrendszer Biztonság i alrendszer ALKALMAZÁSOK Hardver RDB OODB GDB DFS Adat Szoros Laza Dekomp TárolóCPU Hálózat

7 Bev. Célok Tagok Tervek Külk. Sum. 2001-01-17DemoGRID NI20007 Mi is a GRID? A GRID olyan számítógépek, tárolóegységek és egyéb készülékek együttese, amelyek –heterogének minden szempontból –dinamikusan változnak –földrajzilag elosztottak –távolsági hálózattal vannak összekötve –egyetlen komputer képét alkotják (SSI) Az általánosított metaszámítási technológia (GRID) jelentése: –hálózat alapú –elosztott adatfeldolgozási technológia

8 Bev. Célok Tagok Tervek Külk. Sum. 2001-01-17DemoGRID NI20008

9 Bev. Célok Tagok Tervek Külk. Sum. 2001-01-17DemoGRID NI20009 Az “álom” alkalmazás 1. Cactus web portálról indított szimuláció (Róma) Grid kiterjesztésű Cactus futása elosztott szuperszámítógépeken Globus Origin: NCSA (USA) T3E: Jülich (Németo.) Előző szimuláció eredményeinek víz.-ja egy bécsi kávéházból Távoli víz. és beavatkozás Berlinből HDF5 Távoli víz. Los Angelesben Ekvi-felületek http Távoli megfigyelés és monitorozás Ferihegyről

10 Bev. Célok Tagok Tervek Külk. Sum. 2001-01-17DemoGRID NI200010 Tervek - GRID Cél: meglév ő klaszterek és szuperszámítógépek összekapcsolása - heterogén komponensek! Eszköz: Globus, vagy hasonló technológia Probléma: “közös hang” megtalálása tecnológiai és adminisztratív értelemben.

11 Bev. Célok Tagok Tervek Külk. Sum. 2001-01-17DemoGRID NI200011 Tervek - tárolás Megoldandó problémák: Nehezen skálázható megoldások terra- és petabájtos tartomány Elosztott hozzáférés a végfelhasználó az egész adattömegnek csak töredékét használja Alkalmazáshoz igazított adattárolási forma Él ő példa lehet: tüd ő sz ű rési röntgenképek tárolása (Budapesten is terrabájtos helyigény ű )

12 Bev. Célok Tagok Tervek Külk. Sum. 2001-01-17DemoGRID NI200012 Tervek - monitorozás Az er ő források felhasználásának követése. Célok: Felhasználói tájékoztatás Hibakeresés könnyítése Visszajelzések hatékonyabb programok fejlesztéséhez GRID hatékonyabb kihasználása

13 Bev. Célok Tagok Tervek Külk. Sum. 2001-01-17DemoGRID NI200013 Tervek - biztonság Alapvet ő probléma: felhasználók/adatok védelme vs. er ő források könny ű felhasználása Cél: nyilvános forráskódú rendszer létrehozása –bizalom növelése –integráció a meglév ő megoldásokkal

14 Bev. Célok Tagok Tervek Külk. Sum. 2001-01-17DemoGRID NI200014 Tervek - alkalmazások Adatintenzív terrabájtos adatmennyiségek feldolgozása data-mining, döntéstámogatás Szorosan csatolt sok részeredményt kell kicserélni nagy kommunikációs igény Lazán csatolt “önálló” számítások halmaza nagy CPU igény Tartomány dekompozíciós szorosan csatolt részfeladatok lazán csatolt halmaza Pl: bels ő égés ű motorok m ű ködésének optimalizálása

15 Bev. Célok Tagok Tervek Külk. Sum. 2001-01-17DemoGRID NI200015 Tervek - hardware Tároló rendszer költséghatékony fejlesztés 3-5 terrabájtig jelenlegi helyzet nem kielégít ő CPU farmok jelenlegi kb. 200 CPU frissítése fejlesztés kb. 300 CPU-ig jelenlegi állapot kisebb feladatokra elegend ő Hálózat helyi: switch-elt architektúra bevezetése intézményközi: NIIF nagy sávszélesség ű programja

16 Bev. Célok Tagok Tervek Külk. Sum. 2001-01-17DemoGRID NI200016 Nemzetközi kapcsolatok Európai DataGRID - CERN –NA49-es kísérlet: évente terrabájtos adatmennyiség –CMS - 2005-ben induló LHC egyik kísérlete: petabájtos adatmennyiség, melyhez a DemoGRID csak el ő tanulmány SDSS - Sloan Digital Sky Survey –1999 óta az égbolt térképezése 2004-ig –40 terrabájt adat az égbolt negyedér ő l –cél: európai központ - teljes adatmennyiség tükrözése

17 Bev. Célok Tagok Tervek Külk. Sum. 2001-01-17DemoGRID NI200017 CERN DataGrid projekt Department    Desktop CERN – Tier 0 Tier 1 FNAL RAL IN2P3 622 Mbps 2.5 Gbps 622 Mbps 155 mbps Tier2 Lab a Uni b Lab c Uni n Cél: Petabyte méretű adatok feldolgozása több ezer tudós által

18 Bev. Célok Tagok Tervek Külk. Sum. 2001-01-17DemoGRID NI200018 Hol tart ma az USA? NSF National Technology Grid

19 Bev. Célok Tagok Tervek Külk. Sum. 2001-01-17DemoGRID NI200019 Összefoglalás A célkit ű zésekben megfogalmazott részfeladatokon ma is dolgoznak a résztvev ő k, de a megvalósítás üteme és mértéke csökkentett. Az er ő forrásigényes feladatok megoldása GRID tecnológiával lehet ő vé teszi az országban rendelkezésre álló elszórt eszközpark hatékonyabb kihasználását. A célkit ű zések megvalósításával Magyarország tudományos adatok forrássává válhatna akár európai szinten is. Ennek informatikai technológiája a kereskedelmi szférában is könnyen hasznosítható lenne.