Az előadás letöltése folymat van. Kérjük, várjon

Az előadás letöltése folymat van. Kérjük, várjon

Hadoop Gyakorlat 1 Korszerű adatbázisok. Elérés Namenode: – ResourceManager –

Hasonló előadás


Az előadások a következő témára: "Hadoop Gyakorlat 1 Korszerű adatbázisok. Elérés Namenode: – ResourceManager –"— Előadás másolata:

1 Hadoop Gyakorlat 1 Korszerű adatbázisok

2 Elérés Namenode: – ResourceManager – Jobhistory – SSH / SCP – – felh / jelszo : ka_{neptun_azon} /

3 Parancsok Listázás – hdfs dfs –ls Kiírja egy fájl tartalmát – hdfs dfs –cat Betöltés – hdfs dfs –put Könyvtár létrehozás – hdfs dfs –mkdir Könyvtár törlése rekurzívan – hdfs dfs –rm -r Gombos GergőKorszerű Adatbázisok 20143

4 Hadoop example yarn jar../hadoop/hadoop /share/hadoop/mapreduce/hadoop-mapreduce-examples jar pi

5 Eclipse plugin 1.Letölteni a szükséges jar-okat a.http://oktnb16.inf.elte.hu/ggombos/korszeru/ b.hadoop-eclipse-kepler-plugin jar c.hadoop-common jar d.hadoop-mapreduce-client-core jar 2.Plugin bemásolása az eclipse/plugin mappába 3.Elindítjuk az eclipset 4.Nézet átállítása Map/Reduce-ra 5.New Hadoop location beállítása Gombos GergőKorszerű Adatbázisok 20145

6 Hadoop location map/reduce master: – host: monet.inf.elte.hu – port: 6210 dfs master: – use M/R Master host OK – host: monet.inf.elte.hu – port: 6220 User name: ka_{neptun azonosito} Gombos GergőKorszerű Adatbázisok 20146

7 Segítség A generált kódban lecseréljük a sorokat erre: conf.setInputFormat(TextInputFormat.class); conf.setOutputFormat(TextOutputFormat.class); FileInputFormat.setInputPaths(conf, new Path("In")); FileOutputFormat.setOutputPath(conf, new Path("Out")); Létező fmappák törlése: FileSystem fs = FileSystem.get(conf); if (fs.exists(new Path(“Outer”))) fs.delete(new Path(“Outer”),true); Gombos GergőKorszerű Adatbázisok 20147

8 Futtatás Export -> normal JAR – Set main class!!!! Felmásoljuk a dbpc62-re yarn jar jar_name.jar Gombos GergőKorszerű Adatbázisok 20148

9 Adathalmazok Tweet/ User_mention/

10 Hadoop feladatok Számolás Legyűjtés Szűrés Elosztott számítás Rendezés Chain Gráf elemzés

11 Feladat 0 (WordCount) Feladat: Implementáljuk a WordCount feladatot! Input: /user/ggombos/WCInput/wcInput.txt

12 Feladat 1 (Számolás) Feladat: Hány tweet jött mobilról? (Amelyiknek van lat, lon adata, az mobilról jött) Input: /user/hadoop/korszeruInput/tweets + Combiner

13 Feladat 2 (Legyűjtés) Feladat: Userek melyik tweetben voltak említve? Input: /user/hadoop/korszeruInput/mentions

14 Feladat 3 (Szűrés) Feladat: Gyűjtsük le azokat a tweeteket amelyekben szerepel a ‚hebdo’ szó. input: /user/hadoop/korszeruInput/tweets

15 Feladat 4 (Elosztott számítás) Feladat: Hány négyzetszám van között? Input: /user/ggombos/szamokInput/SzamokInput.txt Megj.: nincs reducer

16 Feladat 5 (Rendezés) Feladat: Rendezzük a 7-8 óra közötti tweeteket időrendbe! Input: /user/hadoop/korszeruInput/tweets

17 Feladat 6 (Chain) Feladat: Gyűjtsük le azokat a tweeteket amelyekben szerepel a ‚hebdo’ szó, gyűjtsük össze melyik user hány tweetjében említette. input: /user/hadoop/korszeruInput/tweets Megj.: chain (MAP+ | REDUCE | MAP* )

18 Feladat 6 (Chain) Feladat: Gyűjtsük le azokat a tweeteket amelyekben szerepel a ‚hebdo’ szó, gyűjtsük össze melyik user hány tweetjében említette. MAP1 – szűrés MAP2 – user emlites Reducer – összeadja az emliteseket MAP3 – Megforditja a kiiratast

19 Feladat 7 (Gráf elemzés) Feladat: Ki-kit említett? Kimenő, bemenő élek egy adott user-re Input: /user/hadoop/korszeruInput/mentions Megj.: combiner

20 Köszönöm a figyelmet!


Letölteni ppt "Hadoop Gyakorlat 1 Korszerű adatbázisok. Elérés Namenode: – ResourceManager –"

Hasonló előadás


Google Hirdetések