Az AliEn rendszer Novák Judit Vesztergombi György Predrag Buncic Pablo Saiz Jan-Erik Revsbench.

Slides:



Advertisements
Hasonló előadás
A PC gépek szoftverei Kérdés: "Mi az elefánt?" Válasz: "Egér operációs rendszerrel."
Advertisements

Virtualizált Biztonságos BOINC Németh Dénes Deák Szabolcs Szeberényi Imre.
Adatbázis gyakorlat 1. Szerző: Varga Zsuzsanna ELTE-IK (2004) Budapest
Az operációs rendszer.
Az Internet elterjedése Lakossági felhasználás. Internet terjedése.
Segítség! Felnőttem! Nagy terhelhetőségű, magas rendelkezésreállású rendszerek építési és üzemeltetési útmutatója Kovács Zsolt Szerverhotel igazgató.
Európai Nukleáris Kutatási Szervezet Európai Részecskefizikai Laboratórium Bemutatkozik a CERN 05 Novembre 2003.
Alkalmazások portolása Gridre Balaskó Ákos MTA SZTAKI 2011 november 14.
Czeglédi László Integrált tartalomszolgáltatás megújult környezetben
Adminisztratív teendők Kacsuk Péter Egyetemi tanár
Fajfrik Dóra tanárjelölt munkája alapján
A számítógépes hálózatok világa
Bev. Célok Tagok Tervek Külk. Sum. DemoGRID Heterogén rendszerek összekapcsolása adat- és számításigényes feladatok megoldására Benczúr András
Az operációs rendszer.
Networkshop, április Gál Gyula, Szegedi Tudományegyetem, Egyetemi Könyvtár Szerver-kliens alapú online intranetes.
Az ETR technológia DEXTER Informatikai kft..
Operációs rendszerek Microsoft Windows XP.
Az operációs rendszerek
Cluster Szorosan összekapcsolt számítógépek csoportja (egy gépet alkotnak) Gyakori a LAN megoldás Céljuk: – Teljesítmény növelése – Rendelkezésre állás.
Jelszavak helyes megválasztása, szótáras törés
Fájlrendszerek: Linux EXT Csernik Márió 9.A.
Mobiltelefonokra optimalizált árfolyamlista és pénzváltó kivitelezése IX. VMTDK Témavezető: Dr. PATAKI Éva Szerző: SZÉKEJ É. Krisztián, I. évfolyam, Szegedi.
Adatbázis-kezelés Papp-Varga Zsuzsanna. Elérhetőségek    as.
Az operációs rendszer.
O PERÁCIÓS RENDSZEREK. F OGALMA Az operációs rendszer programok gyűjteménye, amelyek elősegítik a számítógép hardverének könnyű, sokoldalú és biztonságos.
Module 1: A Microsoft Windows XP Professional telepítése
Hungrid grid.kfki.hu/hungrid. Hungrid Mi a Hungrid? –az EGEE egyetlen általános célú, hivatalos magyar VO-ja –teljeskörű grid szolgáltatás az egész akadémiai.
Hernáth Szabolcs RMKI grid és Hungrid Hernáth Szabolcs
A KFKI AFS szolgáltatás Hernáth Szabolcs MTA KFKI RMKI
Hungrid: Magyarország kapuja az EGEE infrastruktúrájához Hernáth Szabolcs MTA KFKI RMKI
1 Virtuális szuperszámítógép szolgáltatás kialakítása az akadémiai hálózat felhasználásával Kacsuk Péter
1 Operációs rendszerek Az NT folyamatok kezelése.
Operációs rendszerek gyakorlat 3. Gyakorlat Vakulya Gergely.
Demo/teszt környezetek Szerver konszolidáció Adatközpontok alapja.
A Unix operációs rendszer Előadást tarja: Lázár András.
Adatbázisrendszerek világa
Operációs rendszer.
SEEGRID használat saját tanusítvánnyal. Lépések Tanusítvány transzformálása –Igen, sajnos megint... Bejelentkezés saját accounttal Tanusítvány és titkos.
EGI-InSPIRE RI EGI-InSPIRE EGI-InSPIRE RI e-Science Café RMKI Hernáth Szabolcs 8/5/2014.
Fejlesztés PHP-NUKE portál rendszerre Horváth Zoltán Második Magyarországi PHP Konferencia március 27. Copyright PHP Konferencia,
Gábor Dénes Főiskola Rendszertechnikai Intézet
Adatbázis-kezelés JAG,
Az operációs rendszerek feladata, fajtái, felépítése
Az AliEn rendszer Novák Judit Vesztergombi György Predrag Buncic
Az ECDL-ről „Az ECDL célja az informatikai írástudás elterjesztése, és annak elősegítése, hogy minél több ember az Információs Társadalom teljesértékű.
Az ALICE 2000-ben. “Költöznek” a detektorok Az ALICE mágnes bezárása 2008 február.
Supervizor By Potter’s team SWENG 1Szarka Gábor & Tóth Gergely Béla.
EGEE-II INFSO-RI Enabling Grids for E-sciencE A HunGrid infrastruktúra és alkalmazásfejlesztő környezete Gergely Sipos
Budapest University of Technology and Economics Department of Measurement and Information Systems Monitor komponensek fejlesztése okostelefon platformra.
A Visual Basic nyelvi elemei
OPERÁCIÓS RENDSZEREK LINUX – PARANCSSOR.
Informatika - 1. alkalom Jogi informatika - alapok
4/7/2017 StorSimple: A felhő-integrált tároló Windows Server 2012 R2 konferencia © 2012 Microsoft Corporation. All rights reserved. Microsoft, Windows,
EGEE-III INFSO-RI Enabling Grids for E-sciencE A Hungrid VO szolgáltatásai A Hungrid, a magyar NGI bölcsője Hernáth Szabolcs Szeberényi.
Audio Utastájékoztató Rendszer vasútállomások részére
Célkitűzések Egyszerű leltározási program fejlesztése
Java web programozás 5..
OpenCMS programozói bevezetés Krizsán Zoltán iit me.
Gombos GergőKorszerű Adatbázis 2012/13 tavasz 2 Kik használják?
05 Novembre év a részecskefizika kutatásban Európai Nukleáris Kutatási Szervezet Európai Részecskefizikai Laboratórium.
N E M Z E T I A U D I O V I Z U Á L I S A R C H Í V U M NAVA project BudapestI Műszaki Egyetem Informatikai és Hírközlési Minisztérium NAVA 2005.
1 Informatika - 1. alkalom Jogi informatika - alapok szeptember 10. E1 előadó PPKE JÁK Informatikai Oktatási Csoport.
Nagyvállalati dokumentumkezelés 2. Fejér Gábor PYLON KFT DMS megoldás nyílt forráskódú környezetben – az XDocs rendszer.
Az operációs rendszer.
Informatika - 1. alkalom szeptember 14. E1 előadó
Tapasztalatok Openstack környezet éles üzemeltetésével
Fájlrendszerek.
Informatika - 1. alkalom szeptember 22. E1 előadó
Ubuntu – ismerkedés Fájlok és könyvtárak
Adatmozgatás az MTA Cloudon Data Avenue segítségével MTA Cloud workshop november 21. Nagy Enikő MTA Cloud csapattag Szoftverfejlesztő.
Előadás másolata:

Az AliEn rendszer Novák Judit Vesztergombi György Predrag Buncic Pablo Saiz Jan-Erik Revsbench

Általános GRID architektúra Hamarosan Petabyte nagyságrendű adatmennyiséggel kell számolnunk Hardware ALKALMAZÁSOK GRID Általános architektúra Biztonsági Alrendszer Monitorozó Alrendszer Adattároló Alrendszer Megoldások –Adatbázisok Relációs Objektum-orientált Geometriai –Elosztott fájlrendszerek Felhasználási területek –Részecskefizika –Agykutatás –Csillagászat

CERN, LHC és a GRID LHC részecskegyorsító a francia-svájci hátáron (2006) –Évenként 5-8 Petabyte adat –Ennek feldolgozásához évente 10 Petabyte tárterület, és napjaink leggyorsabb processzoraiból Adatok feldolgozására a GRID környezet kialakítása –GridPP (UK), INFN Grid (Olaszo.) –DataGrid, DataTAG, GriPhyn, Globus, iVDGL, PPGD Nukleáris Kutatások Európai Szervezete 20 európai nemzet

Alice-specifikus követelmények A szimulációkból származó “események” 2 MB méretűek (mely adat esetlegesen több fájlban kerül tárolásra) Egy esemény mérete 40 MB 10^9 fájl évente

AliEn (Alice Environment) Jelenlegi AliEn Site-ok

Az AliEn-ről röviden Alkotórészek –Fájlkatalógus (File Catalogue) (Lfn-Pfn) –Task Queue –Computing Elements –Storage Elements Főbb feladatok –Fájlok átmozgatása, regisztrálása –Monitorozás –Autentikáció Interfészek Rendszeradminisztrátor - Felhasználók

Az AliEn szerkezetének vázlata Katalógusok: MySql adatbázisok Implementáció: C/C++/Perl5 modulok Kommunikáció: SOAP protokoll

Fájlkatalógus Fájlok, utasítások ill. job-ok in- és outputjának tárolása Logikai fájlnevek és a hozzájuk tartozó tényleges tárhelyek nyilvántartása

Fájlkatalógus elérése és Job Státusz VALIDATED DONE QUEUED RUNNING ASSIGNED RUNNING WAITING

Interfészek - Parancssoros UNIX parancsok és jogosultságok Fájlok elérése az Lfn-ek által létrehozott könyvtár-struktúrában (alkönyvtárak) Job-ok által használt fájlok az Lfn://proc könyvtár alatt, a pid- jükről elnevezett alkönyvtárban

Interfészek - Web Lehetőségek a felhasználók számára –Job-ok indítása –Job Státuszok –Fájltranszfer Az Adminisztrátor lehetőségei –A rendszer konfigurálása –Monitor státusz –Syslog vizsgálata –A disztribúció frissítése

Fájl regisztrálása Information System Katalógus ( CATALOGUE) CERN File Transport Daemon Local Site Local Cache Daemon Storage Element Remote Site File Transport Daemon Mass Storage System

A framework jelenlegi állapota Világszerte 9 Site, 13 cluster –CERN (Svájc), CCIN2P3 (Fro.), LBL (USA), Bari, Catania, Padova, Torino, OSC, NIKHEF (Norvégia) 2001 – Data Challenge –10^5 CPU-óra, 300 párhuzamosan futó job –5682 job, 118 sikertelen (2%), 5 TB adat generálódott ezalatt az 5 hét alatt –Újabb résztvevők –Karlsruhe (Németo.), Dubna (Oroszo.), Nates (Fro.), Zágráb (Horvato.), Birmingham (UK), Kalkutta (India), Budapest

Magyarország részvétele –DemoGRID project Megfelel bizonyos speciális kutatási területek által támasztott igényeknek RMKI/KFKI: 1 TB tárral rendelkező szerver ELTE: 25 gépből álló cluster (Debian Linux Red Hat) Jövőbeni tervek –A Data-challenge megismétlése (fizikus alkalmazások) 1000 párhuzamos job 1 hónap 25 TB világszerte