Hadoop Gyakorlat 2 Korszerű adatbázisok 2014. Parancsok Listázás – hadoop fs –ls Kiírja egy fájl tartalmát – hadoop fs –cat Betöltés – hadoop fs –put.

Az előadások a következő témára: "Hadoop Gyakorlat 2 Korszerű adatbázisok 2014. Parancsok Listázás – hadoop fs –ls Kiírja egy fájl tartalmát – hadoop fs –cat Betöltés – hadoop fs –put."— Előadás másolata:

1 Hadoop Gyakorlat 2 Korszerű adatbázisok 2014

2 Parancsok Listázás – hadoop fs –ls Kiírja egy fájl tartalmát – hadoop fs –cat Betöltés – hadoop fs –put Könyvtár létrehozás – hadoop fs –mkdir Könyvtár törlése rekurzívan – hadoop fs -rmr Gombos GergőKorszerű Adatbázisok 20142

3 Eclipse plugin 1.Letölteni a szükséges jar-okat a.http://oktnb16.inf.elte.hu/ggombos/korszeru/ b.hadoop-eclipse-plugin-1.1.2.jar c.hadoop-core-1.2.1.jar 2.Plugin bemásolása az eclipse/plugin mappába 3.Elindítjuk az eclipset 4.Nézet átállítása Map/Reduce-ra 5.New Hadoop location beállítása Gombos GergőKorszerű Adatbázisok 20143

4 Hadoop location map/reduce master: – host: monet.inf.elte.hu – port: 10814 dfs master: – use M/R Master host OK – host: monet.inf.elte.hu – port: 8020 User name: neptun azonosito Gombos GergőKorszerű Adatbázisok 20144

5 Segítség A generált kódban lecseréljük a sorokat erre: conf.setInputFormat(TextInputFormat.class); conf.setOutputFormat(TextOutputFormat.class); FileInputFormat.setInputPaths(conf, new Path("In")); FileOutputFormat.setOutputPath(conf, new Path("Out")); Létező fmappák törlése: FileSystem fs = FileSystem.get(conf); if (fs.exists(new Path(“Outer”))) fs.delete(new Path(“Outer”),true); Gombos GergőKorszerű Adatbázisok 20145

6 Futtatás Export -> normal JAR – Set main class!!!! Felmásoljuk monet-re Hadoop jar jar_name.jar Gombos GergőKorszerű Adatbázisok 20146

7 Adathalmazok Tweet/ User_mention/ Szamok.txt

8 Feladat 1 (Elosztott számítás) Feladat: Hány négyzetszám van 1..10 000 000 között? Input: szamok.txt Megj.: nincs reducer (mapred.reduce.tasks = 0)

9 Feladat 2 (Szűrés, Chain) Feladat: Gyűjtsük le azokat a tweeteket amelyekben szerepel a SuperBowl szó, gyűjtsük össze melyik user hány tweetjében említette. input: tweet Megj.: chain (MAP+ | REDUCE | MAP* )

10 Feladat 2 (Szűrés, Chain) Feladat: Gyűjtsük le azokat a tweeteket amelyekben szerepel a SuperBowl szó, gyűjtsük össze melyik user hány tweetjében említette. MAP1 – szűrés MAP2 – user emlites Reducer – összeadja az emliteseket MAP3 – Megforditja a kiiratast

11 Feladat 3 (Gráf elemzés) Feladat: Ki-kit említett? Kimenő, bemenő élek egy adott user-re Input: tweet_user_mention/egy csv Megj.: combiner

12 Köszönöm a figyelmet!