Gépi tanulási módszerek febr. 11.

Az előadások a következő témára: "Gépi tanulási módszerek febr. 11."— Előadás másolata:

1 Gépi tanulási módszerek febr. 11.
Bevezetés Gépi tanulási módszerek febr. 11.

2 Gépi tanulás Hogyan építhető olyan számítógépes rendszer, amelynek a teljesítménye automatikusan javul tapasztalatok gyűjtésével?

3 Teljesítés szóbeli vizsga
elégséges: a húzott tételhez kapcsolódó alapfogalmakat, magát a problémát érti, a megoldás alapjaival tisztában van közepes: a húzott tételt mélységében (fontosabb képletek is) érti jó: az egész anyagot átlátja, a tételen kívüli kérdésekre (összefüggések) is tud válaszolni jeles: matematikai mélységeket is ismeri (minden képlet, levezetések stb.)

4 Spam szűrés

5 arc/személy felismerés
demo

6 Ajánló rendszerek

7 Robotika

8 Természetesnyelv-feldolgozás

9 még alkalmazási területek
Biometrikus azonosítás Objektumok felismerése képeken Beszédfelismerés és generálás Gyógyszerkutatás Banki adatok, tőzsde elemzése Folyamatoptimalizálás Pattern Classification, Chapter 1

10 Big Data

11 Szabály-alapú rendszerek vs. gépi tanulás
11 Szabály-alapú rendszerek vs. gépi tanulás szakértőre szükség van szabályírás vagy tanítópéldák, tulajdonságok Melyik a költségesebb? szakértő tud szabályrendszert írni? tanító adatbázis költsége? mennyire specifikus a probléma?

12 Gépi tanulás jelen és jövő
12 Gépi tanulás jelen és jövő egyre több alkalmazásban van jelen „úszunk az adatban, miközben szomjazunk az információra” technológiai fejlettség és elterjedtség igény az egyre nagyobb fokú automatizálásra és perszonalizációra Vannak megoldott problémák, de számos nyitott kutatási kérdés is!

13

14

15 Alakfelismerés Most of the materials in these slides were taken from Pattern Classification (2nd ed) by R. O. Duda, P. E. Hart and D. G. Stork, John Wiley & Sons, with the permission of the authors and the publisher

16 Gépi tanulás definíciója
16 Gépi tanulás definíciója Gépi Tanulás (Mitchell): „a computer program said to learn from experience E with respect to some class of tasks T and performance measure P, if its performance at tasks in T, as measured by P, improves with experience E.”

17 17 Példa Osztályozzunk halakat egy szállítószalagon, optikai érzékelőt használva! tengeri sügér (see bass) Fajok lazac (salmon) Modell (fogalmak és rendszerek szerkezeti leírása): itt a vizsgált objektumok leírása (pl. lazac – rövidebb) Pattern Classification, Chapter 1

18 18 Osztályozás (T) Felügyelt (induktív) tanulás (supervised learning): tanító halmaz (training examples, E) alapján olyan modell tanulása ami korábban nem látott példákon is helyesen működik. Osztályozás: előre definiált kategóriákba besorolás. Pattern Classification, Chapter 1

19 19 Pattern Classification, Chapter 1 19

20 Osztályozás alapfogalmai
Jellemző (attribútum, feature) ID Hossz Fényesség Típus 1 28 0.5 Sügér 2 23 0.7 3 17 Lazac Egyed (példány, instance) Osztálycímke (class label)

21 Példa - előfeldolgozás
21 Példa - előfeldolgozás Használjunk valamilyen szegmentálót a halak egymástól és a háttértől való elválasztására Az egy halról meglevő információt egy információkinyerőnek küldjük, hogy bizonyos tulajdonságok kinyerésével (feature extraction) csökkentsük az adatok mennyiségét A tulajdonságokat egy osztályozónak adjuk tovább Pattern Classification, Chapter 1

22 Példa - tulajdonságok tulajdonság=jellemző (feature)
22 Példa - tulajdonságok tulajdonság=jellemző (feature) néhány lehetséges tulajdonság: Hossz Világosság Szélesség Az uszonyok száma és alakja A száj elhelyezkedése, stb Pattern Classification, Chapter 1

23 23 Pattern Classification, Chapter 1

24 24 Példa - tulajdonságok A hossz gyenge megkülönböztetési erővel rendelkezik. Válasszuk a fényességet egy második próbálkozáshoz tulajdonságként. Pattern Classification, Chapter 1

25 25 Pattern Classification, Chapter 1

26 Döntéselméleti feladat!
26 Hibafüggvény (P) fals pozitív/fals negatív hiba A kétfajta hiba azonos költségű? Például ha csökkentjük a döntési küszöbértéket csökken azon tengeri sügérek száma, amelyeket tévesen lazacnak osztályoztunk Döntéselméleti feladat! Pattern Classification, Chapter 1

27 Tulajdonságvektor A fényességet mellé vegyük a szélességét is
27 Tulajdonságvektor A fényességet mellé vegyük a szélességét is Hal xT = [x1, x2] Fényesség Szélesség Pattern Classification, Chapter 1

28 28 Pattern Classification, Chapter 1

29 29 Tulajdonságvektor További tulajdonságokat is vehetünk még hozzá. Óvatosnak kell lenni, hogy túl „zajos” (pl. mérési hiba) felesleges (pl. erősen korrelál másik tulajdonsággal) tulajdonságokkal ne rontsuk a rendszer hatékonyságát! Jól diszkrimináló tulajdonságokat keressünk! Erősen problémafüggőek lehetnek a tulajdonságok! Pattern Classification, Chapter 1

30 30 Pattern Classification, Chapter 1

31 31 Általánosítás Ez sajnos nem valószínű, hogy ideális lesz, hiszen eddig még nem látott inputokra kell jó osztályozást adnunk! Általánosítás vs. túltanulás/túlillesztés (overfitting) Pattern Classification, Chapter 1

32 32 Pattern Classification, Chapter 1

33 Reprezentáció Tulajdonságok száma? Egyszerű felület? Gyors döntés?
33 Reprezentáció Tulajdonságok száma? Egyszerű felület? Gyors döntés? A problémáról való ismeret beépítése csökkenti a komplexitást! Pattern Classification, Chapter 1

34 Példa - Gépi tanulás definíciója
34 Példa - Gépi tanulás definíciója Task (feladat): osztályozzunk kértdimenziós valós vektorokat két osztályba (lazac, tengeri sügér) Experience (tapasztalat): egy tanító halmaz, amelyikben ismert osztályba tartozó halaknál mért számpárok adottak Performance (hatékonyság): eddig nem látott halakhoz tartozó számpárok alapján helyes osztályozás aránya

35 Gépi tanulási ciklus Adatgyűjtés Tulajdonság(ok) kiválasztása
35 Gépi tanulási ciklus Adatgyűjtés Tulajdonság(ok) kiválasztása Modell választása Tanítás Kiértékelés Pattern Classification, Chapter 1

36 36 Adatgyűjtés Honnan tudjuk, hogy elegendően nagy és reprezentatív mintát (példát, samples) gyűjtöttünk a rendszer tanításához és teszteléséhez? Pattern Classification, Chapter 1

37 Modell kiválasztása és tanítás
37 Modell kiválasztása és tanítás A halak osztályozására eddig használt módszerrel elégedetlenek vagyunk, új módszer Az adatokat használjuk az osztályozó meghatározásához. Nagyon sok módszer az osztályozók tanítására és a modell választására… No free lunch! Pattern Classification, Chapter 1

38 Kiértékelés Kiértékelési metrika (pl. hibaarány kiszámítása)
38 Kiértékelés Kiértékelési metrika (pl. hibaarány kiszámítása) Túltanulás elkerülésére elkülönítünk egy teszt adathalmazt szimuláljuk a „nem ismert” példákat fejlesztői (developement) adatbázis Pattern Classification, Chapter 1

39 Tematika Osztályozás Regresszió Klaszterezés Ajánló rendszerek
39 Tematika Osztályozás Regresszió Klaszterezés Ajánló rendszerek Rangsorolás Struktúra előrejelzés Visszacsatolásos tanulás

40 Aktívan kutatott területek
40 Aktívan kutatott területek Komplex kimenetek (csoportok hierarchiái, sorozatok, gráfok) Tanulás kevesebb tanuló adatból félig felügyelt tanulás, egyosztályos tanulók… (inter)aktív tanulás Domain adaptáció Gépi tanulási rendszerek „big data” data privacy

41 Valószínűségszámítás felelevenítő

42 Valószínűségszámítás alapjai
Eseménytér (), (elemi) események Axiómák: - 0 ≤ P(A) ≤ 1 - P()=1 - Ha A1, A2, … egymást páronként kizáró események (Ai ∩Aj = , ha i  j), akkor P(k Ak) =  k P(Ak) 42

43 Tételek - P(Ø) = 0 - P(¬A)=1-P(A) - P(A  B)=P(A)+P(B) – P(A∩B)
- P(A) = P(A ∩ B)+P(A ∩¬B) Ha A  B, akkor P(A) ≤ P(B) és P(B-A) = P(B) – P(A) 43

44 Feltételes valószínűség
Amennyiben B igaz, mekkora részben lesz A is igaz. P(A|B) = P(A∩B)/P(B) Következmény (láncszabály): P(A∩B) = P(A|B)·P(B) Egyszerű példa: A: fejfájás, B: influenza P(A) = 1/10, P(B) = 1/40, P(A|B)=? 44

45 Feltételes valószínűség

46 Események függetlensége
Az A esemény független a B eseménytől, ha P(A|B) = P(A) Ez ekvivalens P(AB) = P(A)P(B) illetve P(B|A) = P(B) 46

47 Általános szorzási szabály
A1, A2, …, An tetszőleges események, P(A1A2…An) = P(An|A1…An-1) P(An-1|A1…An-2)…P(A2| A1)P(A1) Teljes valószínűség tétele: ha A1, A2, …, An események teljes eseményrendszert alkotnak, továbbá P(Ai) > 0 minden i-re, akkor P(B) = ∑j=1n P(B | Ai)P(Ai) 47

48 Bayes szabály P(A|B) = P(A∩B)/P(B) = P(B|A)P(A)/P(B) 48

49 Valószínűségi változó
ξ:  → R Valószínűségi vektorváltozók… Sztochasztikus folyamat: t 49

50 Eloszlásfüggvény F(x) = P( < x) F(x1) ≤ F(x2), ha x1 < x2
limx→-∞ F(x) = 0, limx→∞ F(x) = 1 F(x) minden x pontban balról folytonos 50

51 Diszkrét vs folytonos val. változók
ha lehetséges értékei egy véges vagy végtelen x1, x2… sorozatot alkotnak Folytonos: ha van olyan f(x) függvény, hogy a számegyenes minden (a, b) intervalluma esetén 51

52 Sűrűségfüggvény F(b) - F(a) = P(a <  < b) = a∫b f(x)dx
Ekkor az f(x) függvényt a  valószínűségi változó sűrűségfüggvényének nevezzük. Teljesül: f(x) = F ’(x) és F(x) = .-∞∫x f(t)dt

53 Hisztogram sűrűségfüggvény empirikus közelítése 53

54 Valószínűségi változók függetlensége
 és  függetlenek, ha tetszőleges a ≤ b, c ≤ d számok esetén P(a ≤  ≤ b, c ≤  ≤ d) = P(a ≤  ≤ b) P(c ≤  ≤ d). 54

55 Eloszlások kompozíciója
Diszkrét eloszlások kompozíciója  =  +  ahol  és  függetlenek. Ekkor: rn = P( = n) = k=- P( = n - k,  = k) Folytonos függvények kompozíciója hasonló elven, a sűrűségfüggvények megfelelő szorzatának kettős integráljával kapható meg. 55

56 Várható érték ha  lehetséges értékei x1, x2, …, és ezeket rendre p1, p2, … valószínűségekkel veszi fel, akkor várható értéke: M() = i xipi Folytonos esetben: M() = -∞∫ xf(x)dx 56

57 Várható érték - Ha  várható értéke létezik, és c tetszőleges valós szám, akkor c várható értéke is létezik, és M(c) = cM() - Ha létezik  és  várható értéke, akkor létezik  =  +  várható értéke is, és M( + ) = M() + M() 57

58 Várható érték Ha  és  független valószínűségi változók, várható értékeik léteznek, akkor létezik a  =  várható értéke is, és M() = M()M() Egy  valószínűségi változó A eseményre vonatkoztatott M(|A) feltételes várható értéke a -nek az A eseményre vonatkoztatott feltételes eloszlásának a várható értéke 58

59 Szórás Egy  valószínűségi változó szórása a  - M() valószínűségi változó négyzetének várható értékéből vont pozitív négyzetgyök: D() = (M[( - M())2])1/2 Másképpen: D2() = M(2) – M2() 59

60 Szórás Ha  szórása létezik, továbbá a és b tetszőleges valós számok, akkor D2(a + b) = a2D2() Ha 1, 2, …, n független valószínűségi változók, szórásaik léteznek, akkor létezik összegük szórása is és D2(1 + 2 + … + n) = D2(1) + D2(2) + … + D2(n) 60

61 Korreláció A  és  valószínűségi változók kovarianciáján a
c = M[( - M())( - M())] értéket értjük (0, ha függetlenek), ha  = , akkor a kovariancia a D2() szórásnégyzettel egyezik meg. A  és  valószínűségi változók korrelációs együtthatója: r = c / ((D()D()), értéke -1 és 1 között van. 61

62 Nevezetes eloszlások Normális eloszlás Binomiális eloszlás:  ~ B(n,p)
M() = np D() = np(1-p) 62