Hadoop Gyakorlat 2 Korszerű adatbázisok 2014
Parancsok Listázás – hadoop fs –ls Kiírja egy fájl tartalmát – hadoop fs –cat Betöltés – hadoop fs –put Könyvtár létrehozás – hadoop fs –mkdir Könyvtár törlése rekurzívan – hadoop fs -rmr Gombos GergőKorszerű Adatbázisok 20142
Eclipse plugin 1.Letölteni a szükséges jar-okat a. b.hadoop-eclipse-plugin jar c.hadoop-core jar 2.Plugin bemásolása az eclipse/plugin mappába 3.Elindítjuk az eclipset 4.Nézet átállítása Map/Reduce-ra 5.New Hadoop location beállítása Gombos GergőKorszerű Adatbázisok 20143
Hadoop location map/reduce master: – host: monet.inf.elte.hu – port: dfs master: – use M/R Master host OK – host: monet.inf.elte.hu – port: 8020 User name: neptun azonosito Gombos GergőKorszerű Adatbázisok 20144
Segítség A generált kódban lecseréljük a sorokat erre: conf.setInputFormat(TextInputFormat.class); conf.setOutputFormat(TextOutputFormat.class); FileInputFormat.setInputPaths(conf, new Path("In")); FileOutputFormat.setOutputPath(conf, new Path("Out")); Létező fmappák törlése: FileSystem fs = FileSystem.get(conf); if (fs.exists(new Path(“Outer”))) fs.delete(new Path(“Outer”),true); Gombos GergőKorszerű Adatbázisok 20145
Futtatás Export -> normal JAR – Set main class!!!! Felmásoljuk monet-re Hadoop jar jar_name.jar Gombos GergőKorszerű Adatbázisok 20146
Adathalmazok Tweet/ User_mention/ Szamok.txt
Feladat 1 (Elosztott számítás) Feladat: Hány négyzetszám van között? Input: szamok.txt Megj.: nincs reducer (mapred.reduce.tasks = 0)
Feladat 2 (Szűrés, Chain) Feladat: Gyűjtsük le azokat a tweeteket amelyekben szerepel a SuperBowl szó, gyűjtsük össze melyik user hány tweetjében említette. input: tweet Megj.: chain (MAP+ | REDUCE | MAP* )
Feladat 2 (Szűrés, Chain) Feladat: Gyűjtsük le azokat a tweeteket amelyekben szerepel a SuperBowl szó, gyűjtsük össze melyik user hány tweetjében említette. MAP1 – szűrés MAP2 – user emlites Reducer – összeadja az emliteseket MAP3 – Megforditja a kiiratast
Feladat 3 (Gráf elemzés) Feladat: Ki-kit említett? Kimenő, bemenő élek egy adott user-re Input: tweet_user_mention/egy csv Megj.: combiner
Köszönöm a figyelmet!