Hadoop Gyakorlat 1 Korszerű adatbázisok.

Az előadások a következő témára: "Hadoop Gyakorlat 1 Korszerű adatbázisok."— Előadás másolata:

1 Hadoop Gyakorlat 1 Korszerű adatbázisok

2 Elérés Namenode: ResourceManager Jobhistory SSH / SCP
ResourceManager Jobhistory SSH / SCP felh / jelszo : ka_{neptun_azon} /

3 Parancsok Listázás Kiírja egy fájl tartalmát Betöltés
hdfs dfs –ls Kiírja egy fájl tartalmát hdfs dfs –cat Betöltés hdfs dfs –put Könyvtár létrehozás hdfs dfs –mkdir Könyvtár törlése rekurzívan hdfs dfs –rm -r Gombos Gergő Korszerű Adatbázisok 2014

4 Hadoop example yarn jar ../hadoop/hadoop-2.6.0/share/hadoop/mapreduce/hadoop-mapreduce-examples jar pi

5 Eclipse plugin Letölteni a szükséges jar-okat
hadoop-eclipse-kepler-plugin jar hadoop-common jar hadoop-mapreduce-client-core jar Plugin bemásolása az eclipse/plugin mappába Elindítjuk az eclipset Nézet átállítása Map/Reduce-ra New Hadoop location beállítása Gombos Gergő Korszerű Adatbázisok 2014

6 Hadoop location map/reduce master: dfs master:
host: monet.inf.elte.hu port: 6210 dfs master: use M/R Master host OK port: 6220 User name: ka_{neptun azonosito} Gombos Gergő Korszerű Adatbázisok 2014

7 Segítség A generált kódban lecseréljük a sorokat erre: conf.setInputFormat(TextInputFormat.class); conf.setOutputFormat(TextOutputFormat.class); FileInputFormat.setInputPaths(conf, new Path("In")); FileOutputFormat.setOutputPath(conf, new Path("Out")); Létező fmappák törlése: FileSystem fs = FileSystem.get(conf); if (fs.exists(new Path(“Outer”))) fs.delete(new Path(“Outer”),true); Gombos Gergő Korszerű Adatbázisok 2014

8 Futtatás Export -> normal JAR Felmásoljuk a dbpc62-re
Set main class!!!! Felmásoljuk a dbpc62-re yarn jar jar_name.jar Gombos Gergő Korszerű Adatbázisok 2014

9 Adathalmazok Tweet/ User_mention/

10 Hadoop feladatok Számolás Legyűjtés Szűrés Elosztott számítás Rendezés
Chain Gráf elemzés

11 Feladat 0 (WordCount) Feladat: Implementáljuk a WordCount feladatot! Input: /user/ggombos/WCInput/wcInput.txt

12 Feladat 1 (Számolás) Feladat: Hány tweet jött mobilról? (Amelyiknek van lat, lon adata, az mobilról jött) Input: /user/hadoop/korszeruInput/tweets + Combiner

13 Feladat 2 (Legyűjtés) Feladat: Userek melyik tweetben voltak említve? Input: /user/hadoop/korszeruInput/mentions

14 Feladat 3 (Szűrés) Feladat: Gyűjtsük le azokat a tweeteket amelyekben szerepel a ‚hebdo’ szó. input: /user/hadoop/korszeruInput/tweets

15 Feladat 4 (Elosztott számítás)
Feladat: Hány négyzetszám van között? Input: /user/ggombos/szamokInput/SzamokInput.txt Megj.: nincs reducer

16 Feladat 5 (Rendezés) Feladat: Rendezzük a 7-8 óra közötti tweeteket időrendbe! Input: /user/hadoop/korszeruInput/tweets

17 Feladat 6 (Chain) Feladat: Gyűjtsük le azokat a tweeteket amelyekben szerepel a ‚hebdo’ szó, gyűjtsük össze melyik user hány tweetjében említette. input: /user/hadoop/korszeruInput/tweets Megj.: chain (MAP+ | REDUCE | MAP* )

18 Feladat 6 (Chain) Feladat: Gyűjtsük le azokat a tweeteket amelyekben szerepel a ‚hebdo’ szó, gyűjtsük össze melyik user hány tweetjében említette. MAP1 – szűrés MAP2 – user emlites Reducer – összeadja az emliteseket MAP3 – Megforditja a kiiratast

19 Feladat 7 (Gráf elemzés)
Feladat: Ki-kit említett? Kimenő, bemenő élek egy adott user-re Input: /user/hadoop/korszeruInput/mentions Megj.: combiner

20 Köszönöm a figyelmet!