Hadoop Gyakorlat 1 Korszerű adatbázisok 2014. Parancsok Listázás – hadoop fs –ls Kiírja egy fájl tartalmát – hadoop fs –cat Betöltés – hadoop fs –put.

Slides:



Advertisements
Hasonló előadás
Big Data Korszerű adatbázisok 2014.
Advertisements

Operációs Rendszerek I.
Operációs Rendszerek I.
Felhasználói felületek és üzleti logika Bollobás Dávid ASP.NET
Ismétlés. Ismétlés: Adatbázisok megnyitása: OPEN DATABASE adatbázis_név OPEN DATABASE ”adatbázis_név elérési útvonallal” Adattábla megnyitása: USE tábla_név.
Adatbázis alapú rendszerek
megismerése, mintaadatbázis létrehozása
HADOOP Korszerű Adatbázisok Elérés, Belépés Elérés: eszakigrid109.inf.elte.hu Belépés: felhasználó/jelszó: neptun-kód Manager oldalak:
Virtuális Obszervatórium Korszerű adatbázisok 2014.
LINUX/UNIX PARANCSOK.
Mikrovezérlők alkalmazástechnikája laboratóriumi gyakorlat Kovács Tamás & Mingesz Róbert 3. óra február 20., 23.
Windows alapok Fájlkezelés.
Könyvtárak kezelése Könyvtárműveletek
Windows PowerShell. Mi a PowerShell? Új Windows parancssor, melyet rendszer- adminisztrátorok számára terveztek. Ingyenes. A.NET FrameWork 2.0-s verzióján.
Entity framework Krizsán Zoltán
Közös kinézet Mester oldal, témák, skin-ek, css Webalkalkalmazás fejlesztése ASP.NET-ben Krizsán Zoltán.
Készítette: Keszthelyi Zsolt
Könnyen,gyorsan Powershell-ül
Pandora felhasználók Active Directory migrációja.
Kiss Attila: Korszerű adatbázisok Adatbázis kutatási eredmények a TÁMOP támogatásával Június 7. Visegrád.
Hadoop Gyakorlat 2 Korszerű adatbázisok Parancsok Listázás – hadoop fs –ls Kiírja egy fájl tartalmát – hadoop fs –cat Betöltés – hadoop fs –put.
Operációs rendszerek gyakorlat
Delphi programozás alapjai Nagyváradi Anett PTE PMMK MIT.
Egyszerű webes alkalmazás fejlesztése
Operációs rendszerek gyakorlat 4. Gyakorlat Vakulya Gergely.
PHP III. Fájlok, űrlapok.
PHP VII Sütik, munkamenetek. Sütik Mi az a süti? A süti (cookie) állapotot tárol a felhasználó böngészőjében. Pl. ha egy oldalon beállítható, hogy milyen.
Mikrovezérlők, perifériák laboratóriumi gyakorlat 3. óra szeptember 18. Mingesz Róbert v
Mappák és állományok kezelése
Kezelői felületek. Exchange 2000/2003 Exchange System Management (ESM) MMC konzol Exchange 2007 Exchange Management Console (EMC) MMC konzol Exchange.
Operációs rendszerek gyakorlat 1. Bevezetés Vakulya Gergely.
J.Zs.Cs.: Vizuális programozás (c) 2010 Vizuális programozás Fájl- és állományrendszer kezelés Névtér: System.IO.
Felhasználók és jogosultságok
1 Operációs rendszerek I, 3. gyakorlat Windisch Gergely
Készítette: Lipp Marcell
PARANCSOK HASZNÁLATA WINDOWS-BAN ÉS LINUXBAN II. Balaton Marcell Balázs.
1Szegedi Tudományegyetem Természettudományi és Informatikai KarAntal Gábor Programozás I. 1. gyakorlat.
3. előadás.  Apache szerver tudnivalók  Az index.php .htaccess – web-szerverünk beállításai  Konfigurációs állományok  Adatbázis kapcsolódás beállítása.
1 Verseny 2000 gyakorlat ODBC Adatforrás létrehozása.
Komoróczy Tamás 1 Java programozási nyelv A nyelv alapjai.
Web fejlesztés V. Illés Zoltán ELTE Informatikai Kar
Budapesti Műszaki és Gazdaságtudományi Egyetem Méréstechnika és Információs Rendszerek Tanszék Szkriptelési feladat megoldása Micskei Zoltán
Bevezetés az informatikába 4. előadás
Gráf-adatbázis építése twitter adatokból
Egyenesvonalú (lineáris) adatszerkezetek
Adatbázis-kezelés Tarcsi Ádám január. 15. MySQL és PHP.
HF MINTA 2012/2013. ősz. HF Minta  Objektum-orientált program  „Adatvezérelt” alkalmazás írása  Fájl kezelés (olvasás, írás)  Menü készítése  5-6.
OPERÁCIÓS RENDSZEREK LINUX – PARANCSSOR.
RAD Studio XE5: menük felépítése
Power Lutár Patrícia Pellek Krisztián.  -ltLess than  -leLess than or equal to  -gtGreater than  -geGreater than or equal to  -eqEqual to  -neNot.
Fejlett Programozási Technológiák II. 2009, Nagy Csaba JSP – Java Server Pages.
Illés Zoltán ELTE Informatikai Kar
Szemantikus Web SWP A Robotok miért nem értik az internetet?
Téradatok létrehozása, szerkesztése
1Szegedi Tudományegyetem Természettudományi és Informatikai KarAntal Gábor Programozás I. 1. gyakorlat.
Gombos GergőKorszerű Adatbázis 2012/13 tavasz 2 Kik használják?
1Szegedi Tudományegyetem Természettudományi és Informatikai KarAntal Gábor Programozás I. 1. gyakorlat.
Gráfadatbázisok Rácz Gábor.
Hadoop Gyakorlat 1 Korszerű adatbázisok.
Programozás alapjai 1.gyakorlat
Műveletek mappákkal és a fájltípusok
Pinczel Balázs, ELTE IK, április Emlékeztető: NoSQL Célok: Nagy teljesítmény Magas rendelkezésre állás Elosztott működés Következmények:
Logikai programozás 10..
Triggerek gyakorlás.
Total commander.
„Designer-barát” játéklogika
Docker (on Windows) Hogyan kerüljük el a csapdákat?
World map.
Műveletek mappákkal és a fájltípusok
Rendszerfejlesztés gyakorlat
Előadás másolata:

Hadoop Gyakorlat 1 Korszerű adatbázisok 2014

Parancsok Listázás – hadoop fs –ls Kiírja egy fájl tartalmát – hadoop fs –cat Betöltés – hadoop fs –put Könyvtár létrehozás – hadoop fs –mkdir Könyvtár törlése rekurzívan – hadoop fs -rmr Gombos GergőKorszerű Adatbázisok 20142

Eclipse plugin 1.Letölteni a szükséges jar-okat a. b.hadoop-eclipse-plugin jar c.hadoop-core jar 2.Plugin bemásolása az eclipse/plugin mappába 3.Elindítjuk az eclipset 4.Nézet átállítása Map/Reduce-ra 5.New Hadoop location beállítása Gombos GergőKorszerű Adatbázisok 20143

Hadoop location map/reduce master: – host: monet.inf.elte.hu – port: dfs master: – use M/R Master host OK – host: monet.inf.elte.hu – port: 8020 User name: neptun azonosito Gombos GergőKorszerű Adatbázisok 20144

Segítség A generált kódban lecseréljük a sorokat erre: conf.setInputFormat(TextInputFormat.class); conf.setOutputFormat(TextOutputFormat.class); FileInputFormat.setInputPaths(conf, new Path("In")); FileOutputFormat.setOutputPath(conf, new Path("Out")); Létező fmappák törlése: FileSystem fs = FileSystem.get(conf); if (fs.exists(new Path(“Outer”))) fs.delete(new Path(“Outer”),true); Gombos GergőKorszerű Adatbázisok 20145

Futtatás Export -> normal JAR – Set main class!!!! Felmásoljuk monet-re Hadoop jar jar_name.jar Gombos GergőKorszerű Adatbázisok 20146

Adathalmazok Tweet/ User_mention/ Szamok.txt

Hadoop feladatok Számolás Legyűjtés

Feladat 1 (Számolás) Feladat: Hány tweet jött mobilról? (Amelyiknek van lat, lon adata, az mobilról jött) Input: tweet + Compiler

Feladat 2 (Legyűjtés) Feladat: Userek melyik tweetben voltak említve? Input: user_mentioned

Köszönöm a figyelmet!