A Jövő Internet alkalmazásai Sidló Csaba, Benczúr András {sidlo, MTA SZTAKI Informatika Kutató Laboratórium Adatbányászat és Webes.

Az előadások a következő témára: "A Jövő Internet alkalmazásai Sidló Csaba, Benczúr András {sidlo, MTA SZTAKI Informatika Kutató Laboratórium Adatbányászat és Webes."— Előadás másolata:

1 A Jövő Internet alkalmazásai Sidló Csaba, Benczúr András {sidlo, benczur}@ilab.sztaki.hu MTA SZTAKI Informatika Kutató Laboratórium Adatbányászat és Webes Keresés Csoport Jövő Internet NTP2011. November 15.

2 Benczúr András Jövő Internet alkalmazások Jövő Internet NTP 2011.11.15. Benczúr András Informatika Labor vezető Sidló Csaba elosztott adattárházak, üzleti intelligencia Fekete Zsolt elosztott adatbányászat, mesterséges intelligencia Adatbányászat és Webes Keresés Csoport 3 posztdoktor 8 doktorandusz 7 fejlesztő sok végzett diákunk: Google, Yahoo, Morgan Stenley, …

3 Benczúr András Jövő Internet alkalmazások Jövő Internet NTP 2011.11.15. Adatbányászat és Webes Keresés Csoport egyedi technológiák extrém adatméretekre: (web)keresés, szövegfeldolgozás Európai Internet Archívum Web Spam szűrés viselkedésmodellezés, eseményfelderítés gráf-alapú biztosítási csalás felderítő eszköz együttműködés az EU terrorelhárítás adatbányászati támogatás előkészítésére nagyméretű naplóállományok elemzése, riasztás lemorzsolódás, árrugalmasság vizsgálatok hazai biztosítók, telefontársaságok azonosságfeloldás (entity resolution) ügyfél-adatok, háztartások ajánlórendszerek KDD Cup első helyezés

4 Benczúr András Jövő Internet alkalmazások Jövő Internet NTP 2011.11.15. Tartalom EU FIRE kezdeményezés: Future Internet Research and Experimentation célok projektek, csatlakozási lehetőségek alkalmazások jövő média szenzorok, intelligens környezet nagy adatok felhő (cloud) infrastruktúra

5 Benczúr András Jövő Internet alkalmazások Jövő Internet NTP 2011.11.15. Jelen és közelmúlt projektjei, testbed-ek forrás: http://www.ict-fire.eu/fileadmin/images/fire.jpghttp://www.ict-fire.eu/fileadmin/images/fire.jpg FIRE célok: hálózatok (alap infrastruktúrák, protokollok, vezetéknélküli) felhő (infrastruktúra, szolgáltatások, nagyléptékű elosztott adatfeldolgozás) tartalom, felhasználók (IMS: IP Multimedia Subsystem, UDI: User Driven Innovation, Web TV) szenzorok, Internet of Things, intelligens környezet

6 Benczúr András Jövő Internet alkalmazások Jövő Internet NTP 2011.11.15. Csatlakozási lehetőség futó projektekhez cél a FIRE testbed-ek használata open call: minden integrált projekt (IP) kötelező része http://www.ict-fire.eu/home/fire-calls/open-calls.html relatív egyszerűbb, de erősen túljelentkezett jövő évi kiírások nyár végén várhatók példák: Smartsantander: intelligens város http://www.smartsantander.eu/index.php/open-calls CREW: rádiófrekvenciák használata http://www.crew-project.eu/sites/default/files/CREW_Announcement_Open_Call1_v2_4_final.pdf OpenLab: hibrid hálózat middleware még nyitott, november 30. http://www.ict-openlab.eu/open-calls.html http://www.ict-openlab.eu/open-calls.html

7 FIRE Alkalmazások Intelligens város, környezet, energiahatékonyság Multimédia Web adat példák részben innen: http://www.smartsantander.eu/images/IoT_Comic_Book.pdf http://www.smartsantander.eu/images/IoT_Comic_Book.pdf

8 Benczúr András Jövő Internet alkalmazások Jövő Internet NTP 2011.11.15. Szenzorok városokban … fenntartható közlekedés – meteorológia, szennyezettség parkolás, útdíj optimalizálás használat mérésével személyre szabott, mobil információ példa: SmartSantander szenzorhálózat

9 Benczúr András Jövő Internet alkalmazások Jövő Internet NTP 2011.11.15. GPS trajektóriák: magyar alkalmazás példa (kitérő) forrás: http://matra115.hu http://woophoo.com http://monotic.com

10 Benczúr András Jövő Internet alkalmazások Jövő Internet NTP 2011.11.15. … szenzorok épületekben … WISEBED 9 helyszín 100-200 szenzor/helyszín alkalmazás szoftver testbed

11 Benczúr András Jövő Internet alkalmazások Jövő Internet NTP 2011.11.15. … és a mezőgazdaságban Pl. SmartAgriFood ma 12:10-12:30

12 Benczúr András Jövő Internet alkalmazások Jövő Internet NTP 2011.11.15. Multimédia közösségi, P2P, személyre szabott platform konvergencia saját hálózati igény heterogén elosztott QoS igény példa: VITAL++ tesztbed BitTorrent kliensek Azureus (Vuze) Zene Kazaa Video *-Tube

13 Benczúr András Jövő Internet alkalmazások Jövő Internet NTP 2011.11.15. Web adatok fő hajtóerő: marketing optimalizálás időbeliség, trendek, vélemény-változások példa: E-health járványok követése és előrejelzése védőoltás-ellenes aktivitás monitorozása információgyűjtés és együttműködés spam, spam, spam … példa: LAWA project Virtuális Web Obszervatórium forrás: VAST Challenge 2011

14 Nagy adathalmazok minden FIRE projekt jellemzője nagy adatok elérhető közelségben hardver és egyéb feldolgozási korlátok

15 Benczúr András Jövő Internet alkalmazások Jövő Internet NTP 2011.11.15. Extrém méretű adatok, „big data” Web (100G oldal, 1-10 KB, Internet Achívum 200TB /2 hó) Web Retrieval, Spam & Quality Challenges 1-25 Tbytes, ált. adathordozó áron LAWA FP7: Web adatok felhő tesztbeden emberi gének (3 milliárd bázispár) ZINC kereskedelemben elérhető 2M potenciális gyógyszermolekula, ligand.info >1M térszerkezet közlekedés, parkolás SmartSantander: 12,000 actuators, sensors and tags szenzorok: energia-gazdálkodás, üzemek, mezőgazdaság IT-architektúrák: naplók

16 Benczúr András Jövő Internet alkalmazások Jövő Internet NTP 2011.11.15. Extrém adatméretek: korlátok hardware képessége 18 havonta duplázódik adatmennyiség még gyorsabban növekszik külső tár elérési sebessége sokkal lassabban nő elosztott környezet architekturálisan még nehéz maradt

17 Köszönöm a figyelmet! Sidló Csaba Benczúr András http://datamining.sztaki.hu {sidlo,benczur}@ilab.sztaki.hu

18 Benczúr András Jövő Internet alkalmazások Jövő Internet NTP 2011.11.15. Google Teoma AllTheWeb AltaVista Inktomi de 1997 és 2003 között megharmincszorozódott az adatmennyiség is  legtöbb feladat jelentősen lassult  Extrém adatméretek: korlátok

19 Benczúr András Jövő Internet alkalmazások Jövő Internet NTP 2011.11.15. Hardver ára: esettanulmányok Cél: nagy Web adat felhő tesztbed Hanzo Archives (UK): Amazon EC2 cloud + S3 Internet Memory Foundation: 50 low-end szerver SZTAKI: 25TByte weboldal indexelés Sok fejlesztés – open source eszközök még nem kiforrottak 50, ma már asztali kategóriájú gépen 1 hét Teljes hardver ár kb $15,000; Amazon ár $1000

20 Benczúr András Jövő Internet alkalmazások Jövő Internet NTP 2011.11.15. Új kulcsszavak: NoSQL, BigTable, MapReduce Gartner 2011 előrejelzés, trend No. 5: Next Generation Analytics - „significant changes to existing operational and business intelligence infrastructure”

21 Benczúr András Jövő Internet alkalmazások Jövő Internet NTP 2011.11.15. Extrém adatméretek: korlátok folytatás már sokkal nehezebb: many- core Pl. 1997 és 2003 között megharmincszorozódott a teljesítmény …