Az Alakfelismerés és gépi tanulás ELEMEI Adatbányászati alkalmazások Az Alakfelismerés és gépi tanulás ELEMEI Bevezetés

Példa Kézzel írt számjegyek felismerése

Polinom illesztése

Négyzet-összeg hibafüggvény

0-ad fokú polinom

1ső fokú polinom

3ad fokú polinom

9ed fokú polinom

Túlillesztés Átlagos négyzetes hiba gyöke (RMS):

Polinom együtthatók

Adatállomány mérete: 9ed fokú polinom

Adatállomány mérete: 9ed fokú polinom

Regularizáció Büntessük a nagy értékű együtthatókat:

Regularizáció:

Regularizáció:

Regularizáció: vs.

Polinom együtthatók

Valószínűségelmélet Almák és Narancsok

Valószínűségelmélet Marginális valószínűség Feltételes valószínűség Együttes valószínűség

Valószínűségelmélet Összeg szabály Szorzat szabály

A valószínűségszámítás szabályai Összeg szabály Szorzat szabály

Bayes tétel a poszterior  likelihood × a prior

Valószínűségi sűrűségek

Transzformált sűrűségek

Várható értékek Feltételes várható érték (diszkrét eset) A várható érték közelítése (diszkrét és folytonos)

Varianciák és kovarianciák

Normális (Gauss) eloszlás

Gauss eloszlás várható értéke és varianciája

Többdimenziós normális eloszlás

Normális eloszlás paramétereinek becslése Likelihood függvény

(Log) Likelihood függvény maximalizálása

A és becslések tulajdonságai

Sztochasztikus görbeillesztés

Maximum Likelihood Határozzuk meg -t az négyzetes hiba maximalizálásával.

Előrejelző eloszlások

MAP: egy lépés a Bayes szemlélet felé Határozzuk meg -t az regularizált legkisebb négyzetek minimalizálásával.

Bayes-féle görbeillesztés

Bayes-féle előrejelző eloszlások

Modell-választás Keresztellenőrzés

A dimenzió probléma

A dimenzió probléma Polinom görbe illesztése M = 3 Gauss sűrűségek magas dimenzióban

Döntéselmélet Következtetés Határozzuk meg -t vagy -t. Döntés Adott x esetén határozzuk meg az optimális t-t.

Minimális téves osztályozási arány

Minimális várható veszteség Példa: osztályozzunk orvosi képeket mint rákos (cancer) vagy normális (normal) Döntés Igazság

Minimális várható veszteség Az tartományt úgy választjuk, hogy minimalizáljuk:

Elutasítás

Miért különítsük el a következtetést és döntést? Rizikó minimalizálás (a veszteség mátrix változhat az idővel) Elutasítási lehetőség Kiegyensúlyozatlan osztályok Modellek egyesítése

Döntéselmélet regressziónál Következtetés Határozzuk meg -t. Döntés Adott x esetén találjunk y(x) optimális előrejelzést t-re. Veszteségfüggvény:

Négyzetes veszteségfüggvény

Generatív vagy diszkriminatív Generatív megközelítés: Modell Használjuk a Bayes tételt Diszkriminatív megközelítés: Modellezzük -t közvetlenül

Entrópia Alapvető mennyiség az alábbi területeken: kódelmélet statisztikus fizika gépi tanulás

Entrópia Kódelmélet: x diszkrét 8 lehetséges állapottal; mennyi bit szükséges x átviteléhez? Minden állapot egyenlően valószínű

Entrópia

Entrópia Hányféleképpen lehet N azonos objektumot elhelyezni M számú dobozba? Entrópia akkor maximális ha

Entrópia

Folytonos entrópia Helyezzünk ¢ hosszú dobozokat a valós egyenesre A folytonos entrópia akkor maximális (adott mellett) amikor Amely esetben

Feltételes entrópia

Kullback-Leibler divergencia

Kölcsönös információ