A Jövő Internet alkalmazásai Sidló Csaba, Benczúr András {sidlo, MTA SZTAKI Informatika Kutató Laboratórium Adatbányászat és Webes Keresés Csoport Jövő Internet NTP2011. November 15.

Benczúr András Jövő Internet alkalmazások Jövő Internet NTP Benczúr András Informatika Labor vezető Sidló Csaba elosztott adattárházak, üzleti intelligencia Fekete Zsolt elosztott adatbányászat, mesterséges intelligencia Adatbányászat és Webes Keresés Csoport 3 posztdoktor 8 doktorandusz 7 fejlesztő sok végzett diákunk: Google, Yahoo, Morgan Stenley, …

Benczúr András Jövő Internet alkalmazások Jövő Internet NTP Adatbányászat és Webes Keresés Csoport egyedi technológiák extrém adatméretekre: (web)keresés, szövegfeldolgozás Európai Internet Archívum Web Spam szűrés viselkedésmodellezés, eseményfelderítés gráf-alapú biztosítási csalás felderítő eszköz együttműködés az EU terrorelhárítás adatbányászati támogatás előkészítésére nagyméretű naplóállományok elemzése, riasztás lemorzsolódás, árrugalmasság vizsgálatok hazai biztosítók, telefontársaságok azonosságfeloldás (entity resolution) ügyfél-adatok, háztartások ajánlórendszerek KDD Cup első helyezés

Benczúr András Jövő Internet alkalmazások Jövő Internet NTP Tartalom EU FIRE kezdeményezés: Future Internet Research and Experimentation célok projektek, csatlakozási lehetőségek alkalmazások jövő média szenzorok, intelligens környezet nagy adatok felhő (cloud) infrastruktúra

Benczúr András Jövő Internet alkalmazások Jövő Internet NTP Jelen és közelmúlt projektjei, testbed-ek forrás: FIRE célok: hálózatok (alap infrastruktúrák, protokollok, vezetéknélküli) felhő (infrastruktúra, szolgáltatások, nagyléptékű elosztott adatfeldolgozás) tartalom, felhasználók (IMS: IP Multimedia Subsystem, UDI: User Driven Innovation, Web TV) szenzorok, Internet of Things, intelligens környezet

Benczúr András Jövő Internet alkalmazások Jövő Internet NTP Csatlakozási lehetőség futó projektekhez cél a FIRE testbed-ek használata open call: minden integrált projekt (IP) kötelező része relatív egyszerűbb, de erősen túljelentkezett jövő évi kiírások nyár végén várhatók példák: Smartsantander: intelligens város CREW: rádiófrekvenciák használata OpenLab: hibrid hálózat middleware még nyitott, november

FIRE Alkalmazások Intelligens város, környezet, energiahatékonyság Multimédia Web adat példák részben innen:

Benczúr András Jövő Internet alkalmazások Jövő Internet NTP Szenzorok városokban … fenntartható közlekedés – meteorológia, szennyezettség parkolás, útdíj optimalizálás használat mérésével személyre szabott, mobil információ példa: SmartSantander szenzorhálózat

Benczúr András Jövő Internet alkalmazások Jövő Internet NTP GPS trajektóriák: magyar alkalmazás példa (kitérő) forrás:

Benczúr András Jövő Internet alkalmazások Jövő Internet NTP … szenzorok épületekben … WISEBED 9 helyszín szenzor/helyszín alkalmazás szoftver testbed

Benczúr András Jövő Internet alkalmazások Jövő Internet NTP … és a mezőgazdaságban Pl. SmartAgriFood ma 12:10-12:30

Benczúr András Jövő Internet alkalmazások Jövő Internet NTP Multimédia közösségi, P2P, személyre szabott platform konvergencia saját hálózati igény heterogén elosztott QoS igény példa: VITAL++ tesztbed BitTorrent kliensek Azureus (Vuze) Zene Kazaa Video *-Tube

Benczúr András Jövő Internet alkalmazások Jövő Internet NTP Web adatok fő hajtóerő: marketing optimalizálás időbeliség, trendek, vélemény-változások példa: E-health járványok követése és előrejelzése védőoltás-ellenes aktivitás monitorozása információgyűjtés és együttműködés spam, spam, spam … példa: LAWA project Virtuális Web Obszervatórium forrás: VAST Challenge 2011

Nagy adathalmazok minden FIRE projekt jellemzője nagy adatok elérhető közelségben hardver és egyéb feldolgozási korlátok

Benczúr András Jövő Internet alkalmazások Jövő Internet NTP Extrém méretű adatok, „big data” Web (100G oldal, 1-10 KB, Internet Achívum 200TB /2 hó) Web Retrieval, Spam & Quality Challenges 1-25 Tbytes, ált. adathordozó áron LAWA FP7: Web adatok felhő tesztbeden emberi gének (3 milliárd bázispár) ZINC kereskedelemben elérhető 2M potenciális gyógyszermolekula, ligand.info >1M térszerkezet közlekedés, parkolás SmartSantander: 12,000 actuators, sensors and tags szenzorok: energia-gazdálkodás, üzemek, mezőgazdaság IT-architektúrák: naplók

Benczúr András Jövő Internet alkalmazások Jövő Internet NTP Extrém adatméretek: korlátok hardware képessége 18 havonta duplázódik adatmennyiség még gyorsabban növekszik külső tár elérési sebessége sokkal lassabban nő elosztott környezet architekturálisan még nehéz maradt

Köszönöm a figyelmet! Sidló Csaba Benczúr András

Benczúr András Jövő Internet alkalmazások Jövő Internet NTP Google Teoma AllTheWeb AltaVista Inktomi de 1997 és 2003 között megharmincszorozódott az adatmennyiség is  legtöbb feladat jelentősen lassult  Extrém adatméretek: korlátok

Benczúr András Jövő Internet alkalmazások Jövő Internet NTP Hardver ára: esettanulmányok Cél: nagy Web adat felhő tesztbed Hanzo Archives (UK): Amazon EC2 cloud + S3 Internet Memory Foundation: 50 low-end szerver SZTAKI: 25TByte weboldal indexelés Sok fejlesztés – open source eszközök még nem kiforrottak 50, ma már asztali kategóriájú gépen 1 hét Teljes hardver ár kb $15,000; Amazon ár $1000

Benczúr András Jövő Internet alkalmazások Jövő Internet NTP Új kulcsszavak: NoSQL, BigTable, MapReduce Gartner 2011 előrejelzés, trend No. 5: Next Generation Analytics - „significant changes to existing operational and business intelligence infrastructure”

Benczúr András Jövő Internet alkalmazások Jövő Internet NTP Extrém adatméretek: korlátok folytatás már sokkal nehezebb: many- core Pl és 2003 között megharmincszorozódott a teljesítmény …