Bev. Célok Tagok Tervek Külk. Sum. DemoGRID Heterogén rendszerek összekapcsolása adat- és számításigényes feladatok megoldására Benczúr András Frohner Ákos Kacsuk Péter

Bev. Célok Tagok Tervek Külk. Sum DemoGRID NI20002 Áttekintés Célkit ű zések Résztvev ő k Részletesebb tervek Nemzetközi kapcsolatok Összefoglalás

Bev. Célok Tagok Tervek Külk. Sum DemoGRID NI20003 Célkitűzések Szuperszámítógépek és klaszterek teljesítményének egyesítése nagysebesség ű hálózatokkal. DemoGRID célja ennek magyarországi el ő készítése: nyolc központ összekapcsolása - metacomputer Grid middlewarekutatása és továbbfejlesztése pilot alkalmazások fejlesztése adatintenzív és számításintenzív feladatokra A kialakuló technológiát a magyarországi akadémiai szféra, és nagy er ő forrásigény ű magyar cégek is hasznosíthassák.

Bev. Célok Tagok Tervek Külk. Sum DemoGRID NI20004 Innováció/hasznosítás GRID környezetben még nem megoldott feladatok –adatok perzisztens kezelése –monitorozás és vizualizáció –biztonságtechnikai kérdések Európai GRID-hez való kapcsolódás Részecskefizikai és csillagászati adatok –terra- és petabájtos adatmennyiségek tárolása –keresés, adatbányászat ezekben az adatbázisokban Neurális adatbázisok, neuroszimulátor készítése

Bev. Célok Tagok Tervek Külk. Sum DemoGRID NI20005 Résztvevők ELTE –Informatika Tanszékcsoport –Elméleti Fiziaki Tanszék, Kvantumelméleti kutatócsoport –Fizikus Tanszékcsoport, Asztrofizikai kutatócsoport –Információtechnológiai Központ SZTAKI –Párhuzamos és Elosztott Rendszerek Laboratórium –Rendszerfejlesztési Osztály MTA KFKI Részecske és Magfizikai Kutatóintézet SzIF, Matematika Tanszék MTA M ű szaki Fizikai és Anyagtudományi Kutatóintézet

Bev. Célok Tagok Tervek Külk. Sum DemoGRID NI20006 Tervek GRID általános architektúra –tanulmányozása, alkalmazása és továbbfejlesztése  GRID alrendszerek tanulmányozása és fejlesztése -Tároló alrendszer: relációs adatbázis, objektum- orientált adatbázis, geometriai adatbázis, elosztott fájlrendszer -Monitorozó alrendszer -Biztonsági alrendszer GRID Általános architektúra Tároló alrendszer Monitoroz ó alrendszer Biztonság i alrendszer ALKALMAZÁSOK Hardver RDB OODB GDB DFS Adat Szoros Laza Dekomp TárolóCPU Hálózat

Bev. Célok Tagok Tervek Külk. Sum DemoGRID NI20007 Mi is a GRID? A GRID olyan számítógépek, tárolóegységek és egyéb készülékek együttese, amelyek –heterogének minden szempontból –dinamikusan változnak –földrajzilag elosztottak –távolsági hálózattal vannak összekötve –egyetlen komputer képét alkotják (SSI) Az általánosított metaszámítási technológia (GRID) jelentése: –hálózat alapú –elosztott adatfeldolgozási technológia

Bev. Célok Tagok Tervek Külk. Sum DemoGRID NI20008

Bev. Célok Tagok Tervek Külk. Sum DemoGRID NI20009 Az “álom” alkalmazás 1. Cactus web portálról indított szimuláció (Róma) Grid kiterjesztésű Cactus futása elosztott szuperszámítógépeken Globus Origin: NCSA (USA) T3E: Jülich (Németo.) Előző szimuláció eredményeinek víz.-ja egy bécsi kávéházból Távoli víz. és beavatkozás Berlinből HDF5 Távoli víz. Los Angelesben Ekvi-felületek http Távoli megfigyelés és monitorozás Ferihegyről

Bev. Célok Tagok Tervek Külk. Sum DemoGRID NI Tervek - GRID Cél: meglév ő klaszterek és szuperszámítógépek összekapcsolása - heterogén komponensek! Eszköz: Globus, vagy hasonló technológia Probléma: “közös hang” megtalálása tecnológiai és adminisztratív értelemben.

Bev. Célok Tagok Tervek Külk. Sum DemoGRID NI Tervek - tárolás Megoldandó problémák: Nehezen skálázható megoldások terra- és petabájtos tartomány Elosztott hozzáférés a végfelhasználó az egész adattömegnek csak töredékét használja Alkalmazáshoz igazított adattárolási forma Él ő példa lehet: tüd ő sz ű rési röntgenképek tárolása (Budapesten is terrabájtos helyigény ű )

Bev. Célok Tagok Tervek Külk. Sum DemoGRID NI Tervek - monitorozás Az er ő források felhasználásának követése. Célok: Felhasználói tájékoztatás Hibakeresés könnyítése Visszajelzések hatékonyabb programok fejlesztéséhez GRID hatékonyabb kihasználása

Bev. Célok Tagok Tervek Külk. Sum DemoGRID NI Tervek - biztonság Alapvet ő probléma: felhasználók/adatok védelme vs. er ő források könny ű felhasználása Cél: nyilvános forráskódú rendszer létrehozása –bizalom növelése –integráció a meglév ő megoldásokkal

Bev. Célok Tagok Tervek Külk. Sum DemoGRID NI Tervek - alkalmazások Adatintenzív terrabájtos adatmennyiségek feldolgozása data-mining, döntéstámogatás Szorosan csatolt sok részeredményt kell kicserélni nagy kommunikációs igény Lazán csatolt “önálló” számítások halmaza nagy CPU igény Tartomány dekompozíciós szorosan csatolt részfeladatok lazán csatolt halmaza Pl: bels ő égés ű motorok m ű ködésének optimalizálása

Bev. Célok Tagok Tervek Külk. Sum DemoGRID NI Tervek - hardware Tároló rendszer költséghatékony fejlesztés 3-5 terrabájtig jelenlegi helyzet nem kielégít ő CPU farmok jelenlegi kb. 200 CPU frissítése fejlesztés kb. 300 CPU-ig jelenlegi állapot kisebb feladatokra elegend ő Hálózat helyi: switch-elt architektúra bevezetése intézményközi: NIIF nagy sávszélesség ű programja

Bev. Célok Tagok Tervek Külk. Sum DemoGRID NI Nemzetközi kapcsolatok Európai DataGRID - CERN –NA49-es kísérlet: évente terrabájtos adatmennyiség –CMS ben induló LHC egyik kísérlete: petabájtos adatmennyiség, melyhez a DemoGRID csak el ő tanulmány SDSS - Sloan Digital Sky Survey –1999 óta az égbolt térképezése 2004-ig –40 terrabájt adat az égbolt negyedér ő l –cél: európai központ - teljes adatmennyiség tükrözése

Bev. Célok Tagok Tervek Külk. Sum DemoGRID NI CERN DataGrid projekt Department    Desktop CERN – Tier 0 Tier 1 FNAL RAL IN2P3 622 Mbps 2.5 Gbps 622 Mbps 155 mbps Tier2 Lab a Uni b Lab c Uni n Cél: Petabyte méretű adatok feldolgozása több ezer tudós által

Bev. Célok Tagok Tervek Külk. Sum DemoGRID NI Hol tart ma az USA? NSF National Technology Grid

Bev. Célok Tagok Tervek Külk. Sum DemoGRID NI Összefoglalás A célkit ű zésekben megfogalmazott részfeladatokon ma is dolgoznak a résztvev ő k, de a megvalósítás üteme és mértéke csökkentett. Az er ő forrásigényes feladatok megoldása GRID tecnológiával lehet ő vé teszi az országban rendelkezésre álló elszórt eszközpark hatékonyabb kihasználását. A célkit ű zések megvalósításával Magyarország tudományos adatok forrássává válhatna akár európai szinten is. Ennek informatikai technológiája a kereskedelmi szférában is könnyen hasznosítható lenne.