Hadoop Gyakorlat 1 Korszerű adatbázisok 2014. Parancsok Listázás – hadoop fs –ls Kiírja egy fájl tartalmát – hadoop fs –cat Betöltés – hadoop fs –put.

Az előadások a következő témára: "Hadoop Gyakorlat 1 Korszerű adatbázisok 2014. Parancsok Listázás – hadoop fs –ls Kiírja egy fájl tartalmát – hadoop fs –cat Betöltés – hadoop fs –put."— Előadás másolata:

1 Hadoop Gyakorlat 1 Korszerű adatbázisok 2014

2 Parancsok Listázás – hadoop fs –ls Kiírja egy fájl tartalmát – hadoop fs –cat Betöltés – hadoop fs –put Könyvtár létrehozás – hadoop fs –mkdir Könyvtár törlése rekurzívan – hadoop fs -rmr Gombos GergőKorszerű Adatbázisok 20142

3 Eclipse plugin 1.Letölteni a szükséges jar-okat a.http://oktnb16.inf.elte.hu/ggombos/korszeru/ b.hadoop-eclipse-plugin-1.1.2.jar c.hadoop-core-1.2.1.jar 2.Plugin bemásolása az eclipse/plugin mappába 3.Elindítjuk az eclipset 4.Nézet átállítása Map/Reduce-ra 5.New Hadoop location beállítása Gombos GergőKorszerű Adatbázisok 20143

4 Hadoop location map/reduce master: – host: monet.inf.elte.hu – port: 10814 dfs master: – use M/R Master host OK – host: monet.inf.elte.hu – port: 8020 User name: neptun azonosito Gombos GergőKorszerű Adatbázisok 20144

5 Segítség A generált kódban lecseréljük a sorokat erre: conf.setInputFormat(TextInputFormat.class); conf.setOutputFormat(TextOutputFormat.class); FileInputFormat.setInputPaths(conf, new Path("In")); FileOutputFormat.setOutputPath(conf, new Path("Out")); Létező fmappák törlése: FileSystem fs = FileSystem.get(conf); if (fs.exists(new Path(“Outer”))) fs.delete(new Path(“Outer”),true); Gombos GergőKorszerű Adatbázisok 20145

6 Futtatás Export -> normal JAR – Set main class!!!! Felmásoljuk monet-re Hadoop jar jar_name.jar Gombos GergőKorszerű Adatbázisok 20146

7 Adathalmazok Tweet/ User_mention/ Szamok.txt

8 Hadoop feladatok Számolás Legyűjtés

9 Feladat 1 (Számolás) Feladat: Hány tweet jött mobilról? (Amelyiknek van lat, lon adata, az mobilról jött) Input: tweet + Compiler

10 Feladat 2 (Legyűjtés) Feladat: Userek melyik tweetben voltak említve? Input: user_mentioned

11 Köszönöm a figyelmet!