Hadoop Gyakorlat 1 Korszerű adatbázisok 2014
Parancsok Listázás – hadoop fs –ls Kiírja egy fájl tartalmát – hadoop fs –cat Betöltés – hadoop fs –put Könyvtár létrehozás – hadoop fs –mkdir Könyvtár törlése rekurzívan – hadoop fs -rmr Gombos GergőKorszerű Adatbázisok 20142
Eclipse plugin 1.Letölteni a szükséges jar-okat a. b.hadoop-eclipse-plugin jar c.hadoop-core jar 2.Plugin bemásolása az eclipse/plugin mappába 3.Elindítjuk az eclipset 4.Nézet átállítása Map/Reduce-ra 5.New Hadoop location beállítása Gombos GergőKorszerű Adatbázisok 20143
Hadoop location map/reduce master: – host: monet.inf.elte.hu – port: dfs master: – use M/R Master host OK – host: monet.inf.elte.hu – port: 8020 User name: neptun azonosito Gombos GergőKorszerű Adatbázisok 20144
Segítség A generált kódban lecseréljük a sorokat erre: conf.setInputFormat(TextInputFormat.class); conf.setOutputFormat(TextOutputFormat.class); FileInputFormat.setInputPaths(conf, new Path("In")); FileOutputFormat.setOutputPath(conf, new Path("Out")); Létező fmappák törlése: FileSystem fs = FileSystem.get(conf); if (fs.exists(new Path(“Outer”))) fs.delete(new Path(“Outer”),true); Gombos GergőKorszerű Adatbázisok 20145
Futtatás Export -> normal JAR – Set main class!!!! Felmásoljuk monet-re Hadoop jar jar_name.jar Gombos GergőKorszerű Adatbázisok 20146
Adathalmazok Tweet/ User_mention/ Szamok.txt
Hadoop feladatok Számolás Legyűjtés
Feladat 1 (Számolás) Feladat: Hány tweet jött mobilról? (Amelyiknek van lat, lon adata, az mobilról jött) Input: tweet + Compiler
Feladat 2 (Legyűjtés) Feladat: Userek melyik tweetben voltak említve? Input: user_mentioned
Köszönöm a figyelmet!