Az Alakfelismerés és gépi tanulás ELEMEI

Az előadások a következő témára: "Az Alakfelismerés és gépi tanulás ELEMEI"— Előadás másolata:

1 Az Alakfelismerés és gépi tanulás ELEMEI
Adatbányászati alkalmazások Az Alakfelismerés és gépi tanulás ELEMEI Bevezetés

2 Példa Kézzel írt számjegyek felismerése

3 Polinom illesztése

4 Négyzet-összeg hibafüggvény

5 0-ad fokú polinom

6 1ső fokú polinom

7 3ad fokú polinom

8 9ed fokú polinom

9 Túlillesztés Átlagos négyzetes hiba gyöke (RMS):

10 Polinom együtthatók

11 Adatállomány mérete: 9ed fokú polinom

12 Adatállomány mérete: 9ed fokú polinom

13 Regularizáció Büntessük a nagy értékű együtthatókat:

14 Regularizáció:

15 Regularizáció:

16 Regularizáció: vs.

17 Polinom együtthatók

18 Valószínűségelmélet Almák és Narancsok

19 Valószínűségelmélet Marginális valószínűség Feltételes valószínűség
Együttes valószínűség

20 Valószínűségelmélet Összeg szabály Szorzat szabály

21 A valószínűségszámítás szabályai
Összeg szabály Szorzat szabály

22 Bayes tétel a poszterior  likelihood × a prior

23 Valószínűségi sűrűségek

24 Transzformált sűrűségek

25 Várható értékek Feltételes várható érték (diszkrét eset)
A várható érték közelítése (diszkrét és folytonos)

26 Varianciák és kovarianciák

27 Normális (Gauss) eloszlás

28 Gauss eloszlás várható értéke és varianciája

29 Többdimenziós normális eloszlás

30 Normális eloszlás paramétereinek becslése
Likelihood függvény

31 (Log) Likelihood függvény maximalizálása

32 A és becslések tulajdonságai

33 Sztochasztikus görbeillesztés

34 Maximum Likelihood Határozzuk meg t az négyzetes hiba maximalizálásával.

35 Előrejelző eloszlások

36 MAP: egy lépés a Bayes szemlélet felé
Határozzuk meg t az regularizált legkisebb négyzetek minimalizálásával.

37 Bayes-féle görbeillesztés

38 Bayes-féle előrejelző eloszlások

39 Modell-választás Keresztellenőrzés

40 A dimenzió probléma

41 A dimenzió probléma Polinom görbe illesztése M = 3
Gauss sűrűségek magas dimenzióban

42 Döntéselmélet Következtetés Határozzuk meg -t vagy -t. Döntés Adott x esetén határozzuk meg az optimális t-t.

43 Minimális téves osztályozási arány

44 Minimális várható veszteség
Példa: osztályozzunk orvosi képeket mint rákos (cancer) vagy normális (normal) Döntés Igazság

45 Minimális várható veszteség
Az tartományt úgy választjuk, hogy minimalizáljuk:

46 Elutasítás

47 Miért különítsük el a következtetést és döntést?
Rizikó minimalizálás (a veszteség mátrix változhat az idővel) Elutasítási lehetőség Kiegyensúlyozatlan osztályok Modellek egyesítése

48 Döntéselmélet regressziónál
Következtetés Határozzuk meg -t. Döntés Adott x esetén találjunk y(x) optimális előrejelzést t-re. Veszteségfüggvény:

49 Négyzetes veszteségfüggvény

50 Generatív vagy diszkriminatív
Generatív megközelítés: Modell Használjuk a Bayes tételt Diszkriminatív megközelítés: Modellezzük -t közvetlenül

51 Entrópia Alapvető mennyiség az alábbi területeken: kódelmélet
statisztikus fizika gépi tanulás

52 Entrópia Kódelmélet: x diszkrét 8 lehetséges állapottal; mennyi bit szükséges x átviteléhez? Minden állapot egyenlően valószínű

53 Entrópia

54 Entrópia Hányféleképpen lehet N azonos objektumot elhelyezni M számú dobozba? Entrópia akkor maximális ha

55 Entrópia

56 Folytonos entrópia Helyezzünk ¢ hosszú dobozokat a valós egyenesre A folytonos entrópia akkor maximális (adott mellett) amikor Amely esetben

57 Feltételes entrópia

58 Kullback-Leibler divergencia

59 Kölcsönös információ