Budapesti Műszaki és Gazdaságtudományi Egyetem Méréstechnika és Információs Rendszerek Tanszék Bin-summarise-smooth: ‚bigvis’ „Big Data” elemzési módszerek Kocsis Imre
Bin-summarize-smooth A képernyő pixelszáma erősen véges Az előfeldogozást „le kell csatolni” a megjelenítésről Lehetővé teszi a o Párhuzamosítást o Out-of-memory adatok megjelenítését A fontosabb 1d és 2d statisztikai eszközök Mai óra: o „H.Wickham: Bin-summarize-smooth: A framework for visualizing large data” o A cikk módszereinek példa-implementációját adó ‚bigvis’ R-csomag
„Condense”
„Bin” Több dimenzióra: Dimenziónként 10 bin-nel? Monoton minimális tökéletes hash Ritka adatok: jobb lenne a „kicsi” szélesség… o Nehéz probléma; o Inkább simítás o Algoritmika: lásd a cikkben
„Summarise” Összefoglaló statisztikák típusai: o Disztributív: egyetlen köztestár, eredmények kombinálhatóak. o Algebrai: Disztributív statisztikák fix száma kell hozzá Várhatóérték: count + sum Szórás: count + sum + sum of squares o Holisztikus: bemenettel növekvő köztestár kell Disztributív és algebrai: o Triviális párhuzamosítás o Hierarchikus vizualizáció Holisztikus statisztikák sokszor közelíthetőek
„Flight data” ASA Data Expo ’09 o data.html data.html o Csak a 2008-as adatkészlet első 500k sora… o Változók: Bigvis és MapReduce felvezetés
Előkészületek
Válasszunk egy változót…
Binning; simítás
Simítás Ábra forrása: [1]
Simítás x i : bin közepe y i : statisztika értéke o Eddig „count” volt w i : a bin elemszáma „Simított” érték: átlag | lokális regresszió | loess… … a w i * k i -val súlyozott mintákon
Simítás
Másik változó
Két változó? Az egyik bin, a másik statisztika alapja o mean, median, std. dev. Mindkettő bin alapja, statisztika: „count”
Két változó
Bizonytalanság: CLT, bootstrap
…
„Hámozás”
… illetve kézivezérlés
Vizualizáció
(2,1)-d plot: heatmap/tile plot, contour plot (n,m)-d plot: o „small multiples” (faceting) o Interakció Ábra forrása: [1]
Hivatkozások [1] H. Wickham: Bin-summarize-smooth: A framework for visualizing large data. (A cikk az IEEE Transactions on Visualization and Computer Graphics folyóiratban fog megjelenni.) [2] Bigvis-t bemutató meetup oldala: 042/ 042/