Az Alakfelismerés és gépi tanulás ELEMEI Adatbányászati alkalmazások Az Alakfelismerés és gépi tanulás ELEMEI Bevezetés
Példa Kézzel írt számjegyek felismerése
Polinom illesztése
Négyzet-összeg hibafüggvény
0-ad fokú polinom
1ső fokú polinom
3ad fokú polinom
9ed fokú polinom
Túlillesztés Átlagos négyzetes hiba gyöke (RMS):
Polinom együtthatók
Adatállomány mérete: 9ed fokú polinom
Adatállomány mérete: 9ed fokú polinom
Regularizáció Büntessük a nagy értékű együtthatókat:
Regularizáció:
Regularizáció:
Regularizáció: vs.
Polinom együtthatók
Valószínűségelmélet Almák és Narancsok
Valószínűségelmélet Marginális valószínűség Feltételes valószínűség Együttes valószínűség
Valószínűségelmélet Összeg szabály Szorzat szabály
A valószínűségszámítás szabályai Összeg szabály Szorzat szabály
Bayes tétel a poszterior likelihood × a prior
Valószínűségi sűrűségek
Transzformált sűrűségek
Várható értékek Feltételes várható érték (diszkrét eset) A várható érték közelítése (diszkrét és folytonos)
Varianciák és kovarianciák
Normális (Gauss) eloszlás
Gauss eloszlás várható értéke és varianciája
Többdimenziós normális eloszlás
Normális eloszlás paramétereinek becslése Likelihood függvény
(Log) Likelihood függvény maximalizálása
A és becslések tulajdonságai
Sztochasztikus görbeillesztés
Maximum Likelihood Határozzuk meg -t az négyzetes hiba maximalizálásával.
Előrejelző eloszlások
MAP: egy lépés a Bayes szemlélet felé Határozzuk meg -t az regularizált legkisebb négyzetek minimalizálásával.
Bayes-féle görbeillesztés
Bayes-féle előrejelző eloszlások
Modell-választás Keresztellenőrzés
A dimenzió probléma
A dimenzió probléma Polinom görbe illesztése M = 3 Gauss sűrűségek magas dimenzióban
Döntéselmélet Következtetés Határozzuk meg -t vagy -t. Döntés Adott x esetén határozzuk meg az optimális t-t.
Minimális téves osztályozási arány
Minimális várható veszteség Példa: osztályozzunk orvosi képeket mint rákos (cancer) vagy normális (normal) Döntés Igazság
Minimális várható veszteség Az tartományt úgy választjuk, hogy minimalizáljuk:
Elutasítás
Miért különítsük el a következtetést és döntést? Rizikó minimalizálás (a veszteség mátrix változhat az idővel) Elutasítási lehetőség Kiegyensúlyozatlan osztályok Modellek egyesítése
Döntéselmélet regressziónál Következtetés Határozzuk meg -t. Döntés Adott x esetén találjunk y(x) optimális előrejelzést t-re. Veszteségfüggvény:
Négyzetes veszteségfüggvény
Generatív vagy diszkriminatív Generatív megközelítés: Modell Használjuk a Bayes tételt Diszkriminatív megközelítés: Modellezzük -t közvetlenül
Entrópia Alapvető mennyiség az alábbi területeken: kódelmélet statisztikus fizika gépi tanulás
Entrópia Kódelmélet: x diszkrét 8 lehetséges állapottal; mennyi bit szükséges x átviteléhez? Minden állapot egyenlően valószínű
Entrópia
Entrópia Hányféleképpen lehet N azonos objektumot elhelyezni M számú dobozba? Entrópia akkor maximális ha
Entrópia
Folytonos entrópia Helyezzünk ¢ hosszú dobozokat a valós egyenesre A folytonos entrópia akkor maximális (adott mellett) amikor Amely esetben
Feltételes entrópia
Kullback-Leibler divergencia
Kölcsönös információ