Hadoop Gyakorlat 2 Korszerű adatbázisok 2014. Parancsok Listázás – hadoop fs –ls Kiírja egy fájl tartalmát – hadoop fs –cat Betöltés – hadoop fs –put.

Slides:



Advertisements
Hasonló előadás
Big Data Korszerű adatbázisok 2014.
Advertisements

Operációs Rendszerek I.
Operációs Rendszerek I.
Felhasználói felületek és üzleti logika Bollobás Dávid ASP.NET
Ismétlés. Ismétlés: Adatbázisok megnyitása: OPEN DATABASE adatbázis_név OPEN DATABASE ”adatbázis_név elérési útvonallal” Adattábla megnyitása: USE tábla_név.
Adaptív megjelenítés a WPF layout rendszer segítségével.
Adatbázis alapú rendszerek
HADOOP Korszerű Adatbázisok Elérés, Belépés Elérés: eszakigrid109.inf.elte.hu Belépés: felhasználó/jelszó: neptun-kód Manager oldalak:
Virtuális Obszervatórium Korszerű adatbázisok 2014.
Hadoop Gyakorlat 1 Korszerű adatbázisok Parancsok Listázás – hadoop fs –ls Kiírja egy fájl tartalmát – hadoop fs –cat Betöltés – hadoop fs –put.
LINUX/UNIX PARANCSOK.
11. előadás (2005. május 10.) A make segédprogram Alacsony szintű műveletek és bitmezők Fájl, katalógus rendszer hívások 1.
Mikrovezérlők alkalmazástechnikája laboratóriumi gyakorlat Kovács Tamás & Mingesz Róbert 3. óra február 20., 23.
Windows alapok Fájlkezelés.
Könyvtárak kezelése Könyvtárműveletek
Windows PowerShell. Mi a PowerShell? Új Windows parancssor, melyet rendszer- adminisztrátorok számára terveztek. Ingyenes. A.NET FrameWork 2.0-s verzióján.
Entity framework Krizsán Zoltán
Hasznos segédprogramok Systems Management Server ban Peti Sándor Terméktámogatási tanácsadó.
Készítette: Keszthelyi Zsolt
Könnyen,gyorsan Powershell-ül
Kiss Attila: Korszerű adatbázisok Adatbázis kutatási eredmények a TÁMOP támogatásával Június 7. Visegrád.
Operációs rendszerek gyakorlat
WEB Technológiák WEB-DB és XML ME Általános Informatikai Tsz. dr. Kovács László.
Operációs rendszerek gyakorlat 4. Gyakorlat Vakulya Gergely.
PHP III. Fájlok, űrlapok.
PHP VII Sütik, munkamenetek. Sütik Mi az a süti? A süti (cookie) állapotot tárol a felhasználó böngészőjében. Pl. ha egy oldalon beállítható, hogy milyen.
Mikrovezérlők, perifériák laboratóriumi gyakorlat 3. óra szeptember 18. Mingesz Róbert v
Mappák és állományok kezelése
Kezelői felületek. Exchange 2000/2003 Exchange System Management (ESM) MMC konzol Exchange 2007 Exchange Management Console (EMC) MMC konzol Exchange.
Operációs rendszerek gyakorlat 1. Bevezetés Vakulya Gergely.
Hálózati beállítások és szolgáltatások
J.Zs.Cs.: Vizuális programozás (c) 2010 Vizuális programozás Fájl- és állományrendszer kezelés Névtér: System.IO.
Fájlkezelés Pascalban
Felhasználók és jogosultságok
1 Operációs rendszerek I, 3. gyakorlat Windisch Gergely
Készítette: Lipp Marcell
PARANCSOK HASZNÁLATA WINDOWS-BAN ÉS LINUXBAN II. Balaton Marcell Balázs.
1Szegedi Tudományegyetem Természettudományi és Informatikai KarAntal Gábor Programozás I. 1. gyakorlat.
3. előadás.  Apache szerver tudnivalók  Az index.php .htaccess – web-szerverünk beállításai  Konfigurációs állományok  Adatbázis kapcsolódás beállítása.
Web fejlesztés V. Illés Zoltán ELTE Informatikai Kar
Gráf-adatbázis építése twitter adatokból
Egyenesvonalú (lineáris) adatszerkezetek
Adatbázis-kezelés Tarcsi Ádám január. 15. MySQL és PHP.
HF MINTA 2012/2013. ősz. HF Minta  Objektum-orientált program  „Adatvezérelt” alkalmazás írása  Fájl kezelés (olvasás, írás)  Menü készítése  5-6.
Logikai programozás 8.. KIINDULÓ PÉLDÁK
OPERÁCIÓS RENDSZEREK LINUX – PARANCSSOR.
RAD Studio XE5: menük felépítése
Fejlett Programozási Technológiák II. 2009, Nagy Csaba JSP – Java Server Pages.
Illés Zoltán ELTE Informatikai Kar
Szemantikus Web SWP A Robotok miért nem értik az internetet?
Java web programozás 7-8..
Téradatok létrehozása, szerkesztése
Számítógépes Grafika 4. gyakorlat Programtervező informatikus (esti)‏ 2009/2010 őszi félév.
1Szegedi Tudományegyetem Természettudományi és Informatikai KarAntal Gábor Programozás I. 1. gyakorlat.
Java web programozás 6..
Gombos GergőKorszerű Adatbázis 2012/13 tavasz 2 Kik használják?
1Szegedi Tudományegyetem Természettudományi és Informatikai KarAntal Gábor Programozás I. 1. gyakorlat.
Budapesti Műszaki és Gazdaságtudományi Egyetem Méréstechnika és Információs Rendszerek Tanszék MapReduce alapok „Big Data” elemzési módszerek Kocsis Imre,
Gráfadatbázisok Rácz Gábor.
Hadoop Gyakorlat 1 Korszerű adatbázisok.
Műveletek mappákkal és a fájltípusok
Pinczel Balázs, ELTE IK, április Emlékeztető: NoSQL Célok: Nagy teljesítmény Magas rendelkezésre állás Elosztott működés Következmények:
Logikai programozás 10..
Triggerek gyakorlás.
Total commander.
„Designer-barát” játéklogika
Unix Linux GNU Copyright kriptográfia
World map.
„Big Data” elemzési módszerek
Műveletek mappákkal és a fájltípusok
Előadás másolata:

Hadoop Gyakorlat 2 Korszerű adatbázisok 2014

Parancsok Listázás – hadoop fs –ls Kiírja egy fájl tartalmát – hadoop fs –cat Betöltés – hadoop fs –put Könyvtár létrehozás – hadoop fs –mkdir Könyvtár törlése rekurzívan – hadoop fs -rmr Gombos GergőKorszerű Adatbázisok 20142

Eclipse plugin 1.Letölteni a szükséges jar-okat a. b.hadoop-eclipse-plugin jar c.hadoop-core jar 2.Plugin bemásolása az eclipse/plugin mappába 3.Elindítjuk az eclipset 4.Nézet átállítása Map/Reduce-ra 5.New Hadoop location beállítása Gombos GergőKorszerű Adatbázisok 20143

Hadoop location map/reduce master: – host: monet.inf.elte.hu – port: dfs master: – use M/R Master host OK – host: monet.inf.elte.hu – port: 8020 User name: neptun azonosito Gombos GergőKorszerű Adatbázisok 20144

Segítség A generált kódban lecseréljük a sorokat erre: conf.setInputFormat(TextInputFormat.class); conf.setOutputFormat(TextOutputFormat.class); FileInputFormat.setInputPaths(conf, new Path("In")); FileOutputFormat.setOutputPath(conf, new Path("Out")); Létező fmappák törlése: FileSystem fs = FileSystem.get(conf); if (fs.exists(new Path(“Outer”))) fs.delete(new Path(“Outer”),true); Gombos GergőKorszerű Adatbázisok 20145

Futtatás Export -> normal JAR – Set main class!!!! Felmásoljuk monet-re Hadoop jar jar_name.jar Gombos GergőKorszerű Adatbázisok 20146

Adathalmazok Tweet/ User_mention/ Szamok.txt

Feladat 1 (Elosztott számítás) Feladat: Hány négyzetszám van között? Input: szamok.txt Megj.: nincs reducer (mapred.reduce.tasks = 0)

Feladat 2 (Szűrés, Chain) Feladat: Gyűjtsük le azokat a tweeteket amelyekben szerepel a SuperBowl szó, gyűjtsük össze melyik user hány tweetjében említette. input: tweet Megj.: chain (MAP+ | REDUCE | MAP* )

Feladat 2 (Szűrés, Chain) Feladat: Gyűjtsük le azokat a tweeteket amelyekben szerepel a SuperBowl szó, gyűjtsük össze melyik user hány tweetjében említette. MAP1 – szűrés MAP2 – user emlites Reducer – összeadja az emliteseket MAP3 – Megforditja a kiiratast

Feladat 3 (Gráf elemzés) Feladat: Ki-kit említett? Kimenő, bemenő élek egy adott user-re Input: tweet_user_mention/egy csv Megj.: combiner

Köszönöm a figyelmet!