Az előadás letöltése folymat van. Kérjük, várjon

Az előadás letöltése folymat van. Kérjük, várjon

Bevezetés Gépi tanulási módszerek febr. 13.. Gépi tanulás Hogyan építhető olyan számítógépes rendszer, amelynek a teljesítménye automatikusan javul tapasztalatok.

Hasonló előadás


Az előadások a következő témára: "Bevezetés Gépi tanulási módszerek febr. 13.. Gépi tanulás Hogyan építhető olyan számítógépes rendszer, amelynek a teljesítménye automatikusan javul tapasztalatok."— Előadás másolata:

1 Bevezetés Gépi tanulási módszerek febr. 13.

2 Gépi tanulás Hogyan építhető olyan számítógépes rendszer, amelynek a teljesítménye automatikusan javul tapasztalatok gyűjtésével?

3 Teljesítés szóbeli vizsga –elégséges: a húzott tételhez kapcsolódó alapfogalmakat, magát a problémát érti, a megoldás alapjaival tisztában van –közepes: a húzott tételt mélységében (fontosabb képletek is) érti –jó: az egész anyagot átlátja, a tételen kívüli kérdésekre (összefüggések) is tud válaszolni –jeles: matematikai mélységeket is ismeri (minden képlet, levezetések stb.) 10 darab minikérdés az előadáson (5 jó = +1 jegy)

4 Spam szűrés

5 arc/személy felismerés demo

6 Ajánló rendszerek

7 Robotika

8 Természetesnyelv-feldolgozás

9 Big Data

10 Pattern Classification, Chapter 1 még alkalmazási területek –Ujjlenyomatok azonosítása –Kézírásos szövegek felismerése –Objektumok felismerése képeken –Beszédfelismerés –DNS szekvenciák azonosítása –Gyógyszerkutatás –Banki adatok, tőzsde elemzése –Folyamatoptimalizálás

11 egyre több alkalmazásban van jelen –„úszunk az adatban, miközben szomjazunk az információra” –technológiai fejlettség és elterjedtség –igény az egyre nagyobb fokú automatizálásra és perszonalizációra Vannak megoldott problémák, de számos nyitott kutatási kérdés is! Gépi tanulás jelen és jövő 11

12

13 Gépi tanulás definíciója Tanulás (Mitchell): „a computer program said to learn from experience E with respect to some class of tasks T and performance measure P, if its performance at tasks in T, as measured by P, improves with experience E.” 13

14

15 Alakfelismerés Most of the materials in these slides were taken from Pattern Classification (2nd ed) by R. O. Duda, P. E. Hart and D. G. Stork, John Wiley & Sons, 2000 with the permission of the authors and the publisher

16 Pattern Classification, Chapter 1 16 Példa Osztályozzunk halakat egy szállítószalagon, optikai érzékelőt használva! tengeri sügér (see bass) Fajok lazac (salmon) Modell (fogalmak és rendszerek szerkezeti leírása): itt a vizsgált objektumok leírása (pl. lazac – rövidebb)

17 Pattern Classification, Chapter 1 17 –Felügyelt (induktív) tanulás (supervised learning): tanító halmaz (training examples, E) alapján olyan modell tanulása ami korábban nem látott példákon is helyesen működik. –Osztályozás: előre definiált kategóriákba besorolás. Osztályozás (T)

18 Pattern Classification, Chapter 1 18

19 Pattern Classification, Chapter 1 19 –Használjunk valamilyen szegmentálót a halak egymástól és a háttértől való elválasztására –Az egy halról meglevő információt egy információkinyerőnek küldjük, hogy bizonyos tulajdonságok kinyerésével (feature extraction) csökkentsük az adatok mennyiségét –A tulajdonságokat egy osztályozónak adjuk tovább Példa - előfeldolgozás

20 Pattern Classification, Chapter 1 20 tulajdonság=jellemző (feature) néhány lehetséges tulajdonság: Hossz Világosság Szélesség Az uszonyok száma és alakja A száj elhelyezkedése, stb Példa - tulajdonságok

21 Pattern Classification, Chapter 1 21

22 Pattern Classification, Chapter 1 22 A hossz gyenge megkülönböztetési erővel rendelkezik. Válasszuk a fényességet egy második próbálkozáshoz tulajdonságként. Példa - tulajdonságok

23 Pattern Classification, Chapter 1 23

24 Pattern Classification, Chapter 1 24 –fals pozitív/fals negatív hiba –A kétfajta hiba azonos költségű? –Például ha csökkentjük a döntési küszöbértéket csökken azon tengeri sügérek száma, amelyeket tévesen lazacnak osztályoztunk Döntéselméleti feladat! Hibafüggvény (P)

25 Pattern Classification, Chapter 1 25 A fényességet mellé vegyük a szélességét is Hal x T = [x 1, x 2 ] Fényesség Szélesség Tulajdonságvektor

26 Pattern Classification, Chapter 1 26

27 Pattern Classification, Chapter 1 27 További tulajdonságokat is vehetünk még hozzá. Óvatosnak kell lenni, hogy –túl „zajos” (pl. mérési hiba) –felesleges (pl. erősen korrelál másik tulajdonsággal) tulajdonságokkal ne rontsuk a rendszer hatékonyságát! Jól diszkrimináló tulajdonságokat keressünk! Erősen problémafüggőek lehetnek a tulajdonságok! Tulajdonságvektor

28 Pattern Classification, Chapter 1 28

29 Pattern Classification, Chapter 1 29 Ez sajnos nem valószínű, hogy ideális lesz, hiszen eddig még nem látott inputokra kell jó osztályozást adnunk! Általánosítás vs. túltanulás/túlillesztés (overfitting) Általánosítás

30 Pattern Classification, Chapter 1 30

31 Pattern Classification, Chapter 1 31 Tulajdonságok száma? Egyszerű felület? Gyors döntés? A problémáról való ismeret beépítése csökkenti a komplexitást! Reprezentáció

32 Példa - Gépi tanulás definíciója –Task (feladat): osztályozzunk kértdimenziós valós vektorokat két osztályba (lazac, tengeri sügér) –Experience (tapasztalat): egy tanító halmaz, amelyikben ismert osztályba tartozó halaknál mért számpárok adottak –Performance (hatékonyság): eddig nem látott halakhoz tartozó számpárok alapján helyes osztályozás aránya 32

33 Szabály-alapú rendszerek vs. gépi tanulás szakértőre szükség van –szabályírás vagy –tanítópéldák, tulajdonságok Melyik a költségesebb? –szakértő tud szabályrendszert írni? –tanító adatbázis költsége? –mennyire specifikus a probléma? 33

34 Pattern Classification, Chapter 1 34 A tervezési ciklus Adatgyűjtés Tulajdonság(ok) kiválasztása Modell választása Tanítás Kiértékelés Számítási bonyolultság

35 Pattern Classification, Chapter 1 35

36 Pattern Classification, Chapter 1 36 Honnan tudjuk, hogy elegendően nagy és reprezentatív mintát (példát, samples) gyűjtöttünk a rendszer tanításához és teszteléséhez? Adatgyűjtés

37 Pattern Classification, Chapter 1 37 Erősen függ a megoldandó problémától. Könnyen kinyerhető, Transzformációkkal szemben invariáns Zajjal szemben nem érzékeny. A priori tudás beépítése Tulajdonság(ok) választása

38 Pattern Classification, Chapter 1 38 –A halak osztályozására eddig használt módszerrel elégedetlenek vagyunk, új módszer –Az adatokat használjuk az osztályozó meghatározásához. –Nagyon sok módszer az osztályozók tanítására és a modell választására… No free lunch! Modell kiválasztása és tanítás

39 Pattern Classification, Chapter 1 39 Kiértékelési metrika (pl. hibaarány kiszámítása) –Túltanulás elkerülésére elkülönítünk egy teszt adathalmazt szimuláljuk a „nem ismert” példákat fejlesztői (developement) adatbázis Kiértékelés

40 Tematika Osztályozás Regresszió Klaszterezés Ajánló rendszerek Rangsorolás Struktúra előrejelzés Visszacsatolásos tanulás 40

41 41 Aktívan kutatott területek Komplex kimenetek (csoportok hierarchiái, sorozatok, gráfok) Tanulás kevesebb tanuló adatból –félig felügyelt tanulás, egyosztályos tanulók… –(inter)aktív tanulás Domain adaptáció Gépi tanulási rendszerek „big data” data privacy

42 Valószínűségszámítás felelevenítő

43 43 Valószínűségszámítás alapjai Eseménytér (  ), (elemi) események Axiómák: - 0 ≤ P(A) ≤ 1 - P(  )=1 - Ha A 1, A 2, … egymást páronként kizáró események (A i ∩A j = , ha i  j), akkor P(  k A k ) =  k P(A k )

44 44 Tételek - P(Ø) = 0 - P( ¬ A)=1-P(A) - P(A  B)=P(A)+P(B) – P(A∩B) - P(A) = P(A ∩ B)+P(A ∩ ¬ B) -Ha A  B, akkor P(A) ≤ P(B) és P(B-A) = P(B) – P(A)

45 45 Feltételes valószínűség Amennyiben B igaz, mekkora részben lesz A is igaz. P(A|B) = P(A∩B)/P(B) Következmény (lánc-szabály/szorzási szabály) : P(A∩B) = P(A|B)·P(B) Egyszerű példa: A: fejfájás, B: influenza P(A) = 1/10, P(B) = 1/40, P(A|B)=?

46 Feltételes valószínűség

47 47 Események függetlensége Az A esemény független a B eseménytől, ha P(A|B) = P(A) Ez ekvivalens P(AB) = P(A)P(B) illetve P(B|A) = P(B)

48 48 Általános szorzási szabály A 1, A 2, …, A n tetszőleges események, P(A 1 A 2 …A n ) = P(A n |A 1 …A n-1 ) P(A n-1 |A 1 …A n-2 )…P(A 2 | A 1 )P(A 1 ) Teljes valószínűség tétele: ha A 1, A 2, …, A n események teljes eseményrendszert alkotnak, továbbá P(A i ) > 0 minden i-re, akkor P(B) = ∑ j=1 n P(B | A i )P(A i )

49 49 Bayes szabály P(A|B) = P(A∩B)/P(B) = P(B|A)P(A)/P(B)

50 50 Valószínűségi változó ξ:  → R Valószínűségi vektorváltozók… Sztochasztikus folyamat:  t

51 51 Eloszlásfüggvény F(x) = P(  < x) - F(x 1 ) ≤ F(x 2 ), ha x 1 < x 2 - lim x→-∞ F(x) = 0, lim x→∞ F(x) = 1 - F(x) minden x pontban balról folytonos Diszkrét: ha lehetséges értékei egy véges vagy végtelen x 1, x 2 … sorozatot alkotnak

52 52 Folytonos val. változó Folytonos: ha van olyan f(x) függvény, hogy a számegyenes minden (a, b) intervalluma esetén F(b) - F(a) = P(a <  < b) = a ∫ b f(x)dx Ekkor az f(x) függvényt a  valószínűségi változó sűrűségfüggvényének nevezzük. Teljesül: f(x) = F ’(x) és F(x) =.-∞ ∫ x f(t)dt

53 53 sűrűségfüggvény empirikus közelítése Hisztogram

54 54 Valószínűségi változók függetlensége  és  függetlenek, ha tetszőleges a ≤ b, c ≤ d számok esetén P(a ≤  ≤ b, c ≤  ≤ d) = P(a ≤  ≤ b) P(c ≤  ≤ d).

55 55 Eloszlások kompozíciója Diszkrét eloszlások kompozíciója  =  +  ahol  és  függetlenek. Ekkor: r n = P(  = n) =  k=-   P(  = n - k,  = k) Folytonos függvények kompozíciója hasonló elven, a sűrűségfüggvények megfelelő szorzatának kettős integráljával kapható meg.

56 56 Várható érték ha  lehetséges értékei x 1, x 2, …, és ezeket rendre p 1, p 2, … valószínűségekkel veszi fel, akkor várható értéke: M(  ) =  i x i p i Folytonos esetben: M(  ) = -∞ ∫  xf(x)dx

57 57 Várható érték - Ha  várható értéke létezik, és c tetszőleges valós szám, akkor c  várható értéke is létezik, és M(c  ) = cM(  ) - Ha létezik  és  várható értéke, akkor létezik  =  +  várható értéke is, és M(  +  ) = M(  ) + M(  )

58 58 Várható érték Ha  és  független valószínűségi változók, várható értékeik léteznek, akkor létezik a  =  várható értéke is, és M(  ) = M(  )M(  ) Egy  valószínűségi változó A eseményre vonatkoztatott M(  |A) feltételes várható értéke a  -nek az A eseményre vonatkoztatott feltételes eloszlásának a várható értéke

59 59 Szórás Egy  valószínűségi változó szórása a  - M(  ) valószínűségi változó négyzetének várható értékéből vont pozitív négyzetgyök: D(  ) = (M[(  - M(  )) 2 ]) 1/2 Másképpen: D 2 (  ) = M(  2 ) – M 2 (  )

60 60 Szórás -Ha  szórása létezik, továbbá a és b tetszőleges valós számok, akkor D 2 (a  + b) = a 2 D 2 (  ) -Ha  1,  2, …,  n független valószínűségi változók, szórásaik léteznek, akkor létezik összegük szórása is és D 2 (  1 +  2 + … +  n ) = D 2 (  1 ) + D 2 (  2 ) + … + D 2 (  n )

61 61 Korreláció A  és  valószínűségi változók kovarianciáján a c = M[(  - M(  ))(  - M(  ))] értéket értjük (0, ha függetlenek), ha  = , akkor a kovariancia a D 2 (  ) szórásnégyzettel egyezik meg. A  és  valószínűségi változók korrelációs együtthatója: r = c / ((D(  )D(  )), értéke -1 és 1 között van.

62 62 Nevezetes eloszlások Binomiális eloszlás:  ~ B(n,p) M(  ) = np D(  ) = np(1-p) Normális eloszlás


Letölteni ppt "Bevezetés Gépi tanulási módszerek febr. 13.. Gépi tanulás Hogyan építhető olyan számítógépes rendszer, amelynek a teljesítménye automatikusan javul tapasztalatok."

Hasonló előadás


Google Hirdetések