Az AliEn rendszer Novák Judit Vesztergombi György Predrag Buncic Pablo Saiz Jan-Erik Revsbench.

Az előadások a következő témára: "Az AliEn rendszer Novák Judit Vesztergombi György Predrag Buncic Pablo Saiz Jan-Erik Revsbench."— Előadás másolata:

1

2 Az AliEn rendszer Novák Judit Vesztergombi György Predrag Buncic Pablo Saiz Jan-Erik Revsbench

3 Általános GRID architektúra Hamarosan Petabyte nagyságrendű adatmennyiséggel kell számolnunk Hardware ALKALMAZÁSOK GRID Általános architektúra Biztonsági Alrendszer Monitorozó Alrendszer Adattároló Alrendszer Megoldások –Adatbázisok Relációs Objektum-orientált Geometriai –Elosztott fájlrendszerek Felhasználási területek –Részecskefizika –Agykutatás –Csillagászat

4 CERN, LHC és a GRID LHC részecskegyorsító a francia-svájci hátáron (2006) –Évenként 5-8 Petabyte adat –Ennek feldolgozásához évente 10 Petabyte tárterület, és 200.000 napjaink leggyorsabb processzoraiból Adatok feldolgozására a GRID környezet kialakítása –GridPP (UK), INFN Grid (Olaszo.) –DataGrid, DataTAG, GriPhyn, Globus, iVDGL, PPGD Nukleáris Kutatások Európai Szervezete 20 európai nemzet

5 Alice-specifikus követelmények A szimulációkból származó “események” 2 MB méretűek (mely adat esetlegesen több fájlban kerül tárolásra) Egy esemény mérete 40 MB 10^9 fájl évente

6 AliEn (Alice Environment) Jelenlegi AliEn Site-ok

7 Az AliEn-ről röviden Alkotórészek –Fájlkatalógus (File Catalogue) (Lfn-Pfn) –Task Queue –Computing Elements –Storage Elements Főbb feladatok –Fájlok átmozgatása, regisztrálása –Monitorozás –Autentikáció Interfészek Rendszeradminisztrátor - Felhasználók

8 Az AliEn szerkezetének vázlata Katalógusok: MySql adatbázisok Implementáció: C/C++/Perl5 modulok Kommunikáció: SOAP protokoll

9 Fájlkatalógus Fájlok, utasítások ill. job-ok in- és outputjának tárolása Logikai fájlnevek és a hozzájuk tartozó tényleges tárhelyek nyilvántartása

10 Fájlkatalógus elérése és Job Státusz VALIDATED DONE QUEUED RUNNING ASSIGNED RUNNING WAITING

11 Interfészek - Parancssoros UNIX parancsok és jogosultságok Fájlok elérése az Lfn-ek által létrehozott könyvtár-struktúrában (alkönyvtárak) Job-ok által használt fájlok az Lfn://proc könyvtár alatt, a pid- jükről elnevezett alkönyvtárban

12 Interfészek - Web Lehetőségek a felhasználók számára –Job-ok indítása –Job Státuszok –Fájltranszfer Az Adminisztrátor lehetőségei –A rendszer konfigurálása –Monitor státusz –Syslog vizsgálata –A disztribúció frissítése

13 Fájl regisztrálása Information System Katalógus ( CATALOGUE) CERN File Transport Daemon Local Site Local Cache Daemon Storage Element Remote Site File Transport Daemon Mass Storage System

14 A framework jelenlegi állapota Világszerte 9 Site, 13 cluster –CERN (Svájc), CCIN2P3 (Fro.), LBL (USA), Bari, Catania, Padova, Torino, OSC, NIKHEF (Norvégia) 2001 – Data Challenge –10^5 CPU-óra, 300 párhuzamosan futó job –5682 job, 118 sikertelen (2%), 5 TB adat generálódott ezalatt az 5 hét alatt –Újabb résztvevők –Karlsruhe (Németo.), Dubna (Oroszo.), Nates (Fro.), Zágráb (Horvato.), Birmingham (UK), Kalkutta (India), Budapest

15 Magyarország részvétele –DemoGRID project Megfelel bizonyos speciális kutatási területek által támasztott igényeknek RMKI/KFKI: 1 TB tárral rendelkező szerver ELTE: 25 gépből álló cluster (Debian Linux Red Hat) Jövőbeni tervek –A Data-challenge megismétlése (fizikus alkalmazások) 1000 párhuzamos job 1 hónap 25 TB világszerte