Budapesti Műszaki és Gazdaságtudományi Egyetem Méréstechnika és Információs Rendszerek Tanszék Alapfogalmak az adatelemzésben „Big Data” elemzési módszerek.

Az előadások a következő témára: "Budapesti Műszaki és Gazdaságtudományi Egyetem Méréstechnika és Információs Rendszerek Tanszék Alapfogalmak az adatelemzésben „Big Data” elemzési módszerek."— Előadás másolata:

1 Budapesti Műszaki és Gazdaságtudományi Egyetem Méréstechnika és Információs Rendszerek Tanszék Alapfogalmak az adatelemzésben „Big Data” elemzési módszerek Kocsis Imre, Salánki Ágnes ikocsis@, salanki@ 2015

2 Adatelemzés Adat Modell Többletinformáció

3 Modell  Szakértői tudás o Elvárt összefüggések o Háttértudás a kísérletről o …

4 Modell  Szakértői tudás o Elvárt összefüggések o Háttértudás a kísérletről o …

5 Adatelemzés Adat Modell Többletinformáció

6 Adat  Nemstrukturált o Nincs előre rögzített tárolási/értelmezési modell Rekord/ megfigyelés Változó/ attribútum

7 Adat Széles Hosszú  Nemstrukturált o Nincs előre rögzített tárolási/értelmezési modell

8 Adat  Nemstrukturált o Nincs előre rögzített tárolási/értelmezési modell o Csak metaadat o Pl. e-mail, audio anyagok o Transzformáció strukturáltba?

9 Numerikus és kategorikus változók  Numerikus (numerical) o az alapvető aritmetikai műveletek értelmesek o Pl. átlaghőmérséklet, kor  Kategorikus (categorical) o Csak megkülönböztetés miatt o Pl. telefonszám, nem Változók Numerikus Kategorikus

10 Numerikus változók  Folytonos o Mért – tetszőleges értéket felvehet adott tartományon belül adott pontosság mellett o Pl. a teremben ülők BigData jegyének átlaga  Diszkrét o Számolt – véges sok értéket vehet fel adott tartományban o Pl. BigData előadáson ülők száma Változók Numerikus Kategorikus Folytonos Diszkrét

11 Kategorikus változók  Rendezett o Teljes rendezés az értékeken  Nem rendezett (reguláris) Rendezett Nem rendezett Változók Numerikus Kategorikus

12 Adatelemzés Adat Modell Többletinformáció

13

14 Adatelemzés Adat Modell Többletinformáció Megerősítő Felderítő Tisztítás

15 Adatelemzés Felderítő analízis Cél: hipotézisek megfogalmazása Ismerkedés az adatokkal/doménnel Erősen ad-hoc Fő eszköz: leíró statisztika + adatbányászat, sok vizualizáció Felderítő analízis Cél: hipotézisek megfogalmazása Ismerkedés az adatokkal/doménnel Erősen ad-hoc Fő eszköz: leíró statisztika + adatbányászat, sok vizualizáció Megerősítő analízis Cél: hipotézisek tesztelése Előre megsejtett összefüggések ellenőrzése Fő eszköz: statisztikai tesztek + következtető módszerek Megerősítő analízis Cél: hipotézisek tesztelése Előre megsejtett összefüggések ellenőrzése Fő eszköz: statisztikai tesztek + következtető módszerek

16 Adatelemzés  Pl. eloszláselemzés

17 Adatelemzés  Pl. lineáris regresszió

18 Adatelemzés Adat Modell Többletinformáció Megerősítő Felderítő Tisztítás

19 Adattisztítás  Adattisztítás! o Meglepően hosszú tud lenni o Legtöbbször nem tökéletes o Big Data?  Inkonzisztenciák o Beviteli/mérési hibák, „hibás join”, részleges megfigyelés, hamisítás, …  Kieső értékek (outliers) o =/= „durva hiba” (gross error) o Nem feltétlenül előnytelen, de klasszikusan az o Magas dimenziószámnál nehéz lehet detektálni o Alacsony dimenziós vizualizáció segíthet

20 Adattisztítás  Hiányzó adatok (missing data, „NA”, „null”) o Hol lehet probléma? o Mesterséges feltöltés („imputation”)  Több változó, mint megfigyelés/minta o Génkifejeződési vizsgálatok o Műholdképek spektrális vizsgálata o …

21 Leíró statisztika

22  Vizsgált adatok alapvető jellemzői o Kvantitatív o Erősen absztrahál, „összefoglal”  Egyfajta ellentéte: következtető (inferential) stat. o Megfigyelt mintán túlmutató következtetések o Pl. populáció tulajdonságaira következtetés mintából

23 (Folytonos) megfigyelések jellemzése

24 Kvartilisek szerepe „68–95–99.7 rule”

25 Boxplot (Box and whisker plot) Ez már nem fog menni Excelben. (?)

26 Centrális tendencia és diszperzió  Centrális jelleg jellemzői: o Átlag, medián, multimodalitás (illetve módus)  „Diszperzió” jellemzői o Percentilisek, szórás(ok), variancia  Melyik mennyire érzékeny a kiugró értékekre?  Megj.: a mintaátlag vs. populáció-átlag jellegű kérdésekkel itt nem foglalkozunk o (Mi minek hogyan milyen becslője…)

27 Robusztus mérőszámok  Alaphalmaz o 1000 pont ~ U(1, 5) egyenletes eloszlás átlag = medián = 3 ms 3ms ± 2 ms Válaszidő Vál. medián Vál. átlag 1 pont: 20 s Új medián: sort(resp. times)[501] = 3.02 ms Új átlag: (2 * 10^4 + 3 * 10^3 )/ 1001 = 25 ms! Robusztus  Nem rob.

28 Minta-variancia; minta kovariancia-mátrix Mennyire robosztusak? Breakdown point (becslőé): „rossz” megfigyelések max. aránya, ami után már tetszőlegesen rossz eredményt ad

29 Példa - felvezetés  Fisher “Iris” adatkészlete o “The use of multiple measurements in taxonomic problems” (Fisher, 1936) o Cél: osztályozás folytonos jellemzők alapján o 50 minta, morfológiai jellemzők o 3 faj: setosa, versicolor, virginica

30 Példa - felvezetés  A csésze (kalyx; virágképletbeli jele: K) a kétnemű virágtakarójú virágok külső takaróköre, acsészelevelek (sepala) összessége. A csésze a pártát övezi.virágképletbelivirágtakarójúpártát  A párta (corolla; virágképletbeli jele: C) a kétnemű virágtakarójú virágok belső takaróköre, asziromlevelek (petala) összessége. A pártát a csésze övezi.virágképletbelivirágtakarójúcsésze

31 Variancia, kovariancia: példa

32

33 (Minta) variancia, kovariancia: példa Normalizálás (szórások szorzatával): Pearson-féle lineáris korrelációs koefficiens

34 Lineáris korrelációs koefficiens Egyenest most még nem illesztünk

35 Eloszlás jellemzése? {RPT: 609, 613, 913, …} {location: Peyton, Durham, …} Változók Numerikus Kategorikus Változók Numerikus Kategorikus

36 Oszlopdiagram (bar chart) Ábrázolt összefüggés: Kategorikus változó egyes értékeinek abszolút gyakorisága Adategység: Oszlop – magassága: adott érték gyakorisága Tervezői döntés: Értékkészlet darabolása?

37 Hisztogram Ábrázolt összefüggés: Folytonos változó egyes értékeinek abszolút gyakorisága Adategység: Oszlop – magassága: adott érték gyakorisága Tervezői döntés: Oszlopszélesség/kezdőpont? Fontos percentilisek?

38 Problémák a hisztogrammal?  Általánosságban nem elfogulatlan  Akkor konzisztens, ha nem csökkentjük túl gyorsan a bin-méretet  (Ronda „zárt” alak)  Érzékeny például az „origó” választására  A „query value” a határon „ugrik”  Az ismert algoritmusok ellenére a gyakorlatban jórészt manuálisan paraméterezzük  Vagy „darabos”, vagy „nem folytonos”

39 Bin-szélesség hatása A többváltozós hisztogramokkal itt nem foglalkoztunk

40 Sűrűségfüggvény  Ha mégis kevésbé akarunk absztrahálni  Problémák  1. Biztos, hogy normál eloszlású a populáció?  2. Paramétereket kell becsülnünk a mintából

41 Nemparametrikus sűrűségbecslés

42

43 Kernel-módszerek

44 Magfüggvény-példák [4]

45

46 Big Data és leíró statisztika?  A MapReduce programozási modellt láttuk. [5]

47 MapReduce és leíró statisztika?  MIN/MAX/AVG… o Folytonos esetben? o Diszkrét esetben?  Oszlopdiagram?  Hisztogram?  Kernel sűrűség-közelítés nagy adatra? o Tényleg nagy adatra drága „lekérdezni”: O(n) tag! o SIGMOD 2013: approximáció a minták csak egy mintáján számolással

48 Leíró statisztikák MapReduce becslése  Közelítő hisztogram újrahasznosítása o Kvantilisek becslése o Medián becslése o … De hogyan?  Faktor/nominális változók: wordcount!  Variancia/szórás: pl. két menetben o Empirikus átlag kell hozzá  Kovariancia, korreláció: két menetben, egy változó- párra egyszerű

49 Hisztogram MapReduceban – nem ZH anyag

50 MapReduce és hisztogram (közelítés)  Tfh. Nem feltételezhetjük az ún. range partitioning-et a vizsgált változóra o Pl. óriási CSV-t dolgozunk fel – Hadoop + HDFS o Különben nem lenne problémánk  Partition Incremental Discretization (PiD) [4] o Módosítva [5]  Layer1 o Párhuzamosan több hisztogram építése o Azonos (igen kicsi) szélességű bin-ekkel kezdünk feltételezett intervallumon o Egy bin átlép egy thresholdot: split o N.B. adatfolyamra is működik  Layer2: Layer1 hisztogramok összefűzése

51 Layer1 karbantartás [5]

52 Layer1 karbantartás [4]

53

54 Összefűzés - hibaforrások  Csak a Layer1 töréspontjai  Split  pontatlan számlálók  + „split” az összefűzés során

55 Következtető statisztika

56

57 Mintavételezés Minta kiértékelés Adatfelvétel Teljes populáció Reprezentatív minta EDA Hipotézis Val.ség, konf. int. stb. Következtetés Adatsor

58 Ökölszabályok  LLN (Law of Large Numbers) o Ha a kísérletek száma tart a végtelenhez, az előfordulási gyakoriság az elméleti valószínűséghez konvergál

59 Ökölszabályok

60 ? Magyarországi kamaszlányok Békés Heves Vas

61 Következtető statisztika Mintavételezés Minta kiértékelés Adatfelvétel Teljes populáció Reprezentatív minta EDA Hipotézis Val.ség, konf. int. stb. Következtetés Adatsor

62 Minta kiértékelés  EDA ~ nyomozás  Kiértékelés ~ a per maga o H 0 : alapfeltevés  a vádlott ártatlan o H A : alapfeltevés ellentéte  a vádlott bűnös o Kiértékelés: ha az alapfeltevés igaz, mennyire valószínű, hogy a kapott adatot tároltuk el?

63 Mit tesztelünk tipikusan?  Parametrikus tesztek o Egy minta eloszlás egy paraméterét próbáljuk kitalálni o Két minta eloszlásának a paramétere megegyezik-e?  Nemparametrikus tesztek o Illeszkedésvizsgálat  adott eloszlású-e egy minta? o Függetlenségi vizsgálat  független-e két minta? o Homogenitásvizsgálat  két minta eloszlása megegyezik-e?

64 Következtető statisztika Mintavételezés Minta kiértékelés Adatfelvétel Teljes populáció Reprezentatív minta EDA Hipotézis Val.ség, konf. int. stb. Következtetés Adatsor

65 Következtetés  Döntési bemenet o Valami küszöbérték  Adatsor típusa o Megfigyelési tanulmány (observational study) o Kísérlet (experiment) Különbség: a köztes változók eliminálása

66 Esettanulmány Forrás: http://usatoday30.usatoday.com/news/health/2005-09-08-cereal-slimming_x.htm „Girls who ate breakfast of any type had a lower average body mass index, a common obesity gauge, than those who said they didn't. The index was even lower for girls who said they ate cereal for breakfast.„

67 Esettanulmány Forrás: http://usatoday30.usatoday.com/news/health/2005-09-08-cereal-slimming_x.htm 1. „Breakfast, cereal keep girls slim” 2. „Being slim causes girls to eat breakfast„ ? 3. „A confounding variable is responsible for both”

68 Következtetés  Döntési bemenet o Valami küszöbérték  Adatsor típusa o Megfigyelési tanulmány (observational study) A köztes változók kiléte bizonytalan Csak korreláció, kauzális következtetések nem o Kísérlet (experiment) A köztes változókat kiszűrtük (mintavételezés!) Kauzális következtetések is

69 Adatelemzési módszerek

70 Adatbányászati építőkövek Asszociációs szabályok Regresszió Klaszterezés Osztályozás

71 Klaszterezés

72 Asszociációs szabályok

73 Osztályozás

74 Regresszió

75 Források  [1] Izenman, A. J. (2008). Modern Multivariate Statistical Techniques. New York, NY: Springer New York. doi:10.1007/978-0-387-78189-1  [2] Zheng, Y., Jestes, J., Phillips, J. M., & Li, F. (2013). Quality and efficiency for kernel density estimates in large data. In Proceedings of the 2013 international conference on Management of data - SIGMOD ’13 (p. 433). New York, New York, USA: ACM Press. doi:10.1145/2463676.2465319  [3] Rajaraman, A., & Ullman, J. D. (2011). Mining of Massive Datasets. Cambridge: Cambridge University Press. doi:10.1017/CBO9781139058452  [4] Gama, J., & Pinto, C. (2006). Discretization from data streams. In Proceedings of the 2006 ACM symposium on Applied computing - SAC ’06 (p. 662). New York, New York, USA: ACM Press. doi:10.1145/1141277.1141429  [5] http://www.slideshare.net/Hadoop_Summit/creating-histograms-from-data- stream-via-map-reducehttp://www.slideshare.net/Hadoop_Summit/creating-histograms-from-data- stream-via-map-reduce