MI 2003/8 - 1 Alakfelismerés alapproblémája: adott objektumok egy halmaza, továbbá osztályok (kategóriák) egy halmaza. Feladatunk: az objektumokat - valamilyen ismérvek, jelentés szerint - be kell sorolnunk az osztályokba. Példa: szkennerrel beolvasott (nyomtatott vagy kézírásos) szövegek átalakítása szövegfájlokká. Másik: betegségek diagnosztizálása.

MI 2003/8 - 2 Leggyakoribb eljárások: szintaktikus, statisztikus módszerek. Először statisztikus.

MI 2003/8 - 3 Kiindulás: tulajdonságvektor (feature) - ez általában véletlentől függő értékekből épül fel. Valószínűségszámítási alapfogalmak: eseménytér, valószínűségi változó. Példák: hamis- valódi pénz feldobása, nyomtatott szöveg átalakítása szövegfájlba, kézzel írott irányítószámok felismerése. Megoldás-javaslat pénzeknél, nyomtatott szövegnél (betű-minták - betűtípus???)

MI 2003/8 - 4 Mérőszámok (tulajdonságok (valószínűségi változók)) keresése - különböző feladatoknál eltérők lehetnek: nyomtatott betűk, írott számok. Tulajdonság-tér felosztása, döntési (diszkriminancia) függvény. Egyszerű példa: egy- illetve kétváltozós eset, lineáris elválasztási lehetőséggel.

MI 2003/8 - 5 Első-, másodfajú hiba fogalma döntések esetében: illusztráció Gauss féle (normális) eloszlás esetében. Két, illetve több osztály esete. Példa: a 0 és az 1 elkülönítése - szélesség mérése (egyváltozós eset). Hogyan vehető az eltérő osztály-valószínűség figyelembe?

MI 2003/8 - 6 Amit megfigyelünk, nem tudjuk, honnan (melyik osztályból) származik: keverék- eloszlás. Példa (számokkal): kétféle hamis pénz, A és B (ugyanaz, mint egy beteg-egészséges pár és egy tünet), ismertek: P(A), P(B), P(I|A), P(F|A), P(I|B), P(F|B). Kiszámítható: P(I), P(F) (ezt mérjük), kellene: P(A|F).

MI 2003/8 - 7 A priori és a posteriori valószínűségek. Feltételes valószínűség: P(A|B) = P(A,B)/P(B) Teljes valószínűség: P(A) = P(A|B) P(B) + P(A|  B) P(  B)

MI 2003/8 - 8 Bayes szabály: P(A|B) = P(B | A) P(A) /P(B) Bayes tétel: a Bayes szabályban a nevezőt a teljes valószínűség tételével adjuk meg Alkalmazás a korábbi példára

MI 2003/8 - 9 Hipotézisvizsgálat. Két osztály esete. Egyszerű döntési szabály: ha q 1 (X)  q 2 (X) akkor az  2 osztályhoz soroljuk az X-el definiált objektumot, különben az  1 -hez, ahol a q 1, q 2 az a posteriori valószínűségeket jelölik (vagyis P(A|B)-t és P(A|  B)-t).

MI 2003/ Eredmény: hiba minimalizálása. Példa: egyváltozós Gauss-eloszlások Általánosítás: kockázat minimalizálása - kockázat-mátrix bevezetése. Diszkriminancia -függvény bevezetése: határfelületek meghatározása.

MI 2003/ Tanuló (becslési) eljárások: az osztályok sűrűségfüggvényeinek típusa(i) ismertek, de bizonyos paraméterei nem (pl. maximum likelihood becslések) - “felügyelt” módszerek (supervised learning).

MI 2003/ Általános, pontosabb tárgyalás Tulajdonságvektor: d dimenziós folytonos (valós, R d ) Osztályok száma: c (  1,  2, …,  c ) Veszteségfüggvény: a lehetséges választás (  1,  2, …,  a ). Veszteség(függvény): (  i  j ) (az i-dik választást tettük, a tényleges osztály j volt)

MI 2003/ Jelölje a j-dik osztályhoz tartozó sűrűségfüggvényt p(x  j ). Az osztályok a priori valószínűségeit jelölje P(  j ). Ekkor az a posteriori P(  j  x)-t a Bayes tétel adja: ahol

MI 2003/ Tegyük fel, hogy valamilyen x vektort figyeltünk meg, az  i választást tettük, és a tényleges osztály  j. Ekkor a veszteségünk: A veszteség várható értékét kockázatnak nevezzük (Bayes kockázat), az előző kifejezést feltételes veszteségnek. Ezt akarjuk minimalizálni.

MI 2003/ Két osztály esete. Két választás:  1 jelentse az  1 választását,  2 pedig az  2 -t. Legyen Ekkor az előző egyenletből: továbbá

MI 2003/ A legjobbnak tűnő választás a kockázat minimalizálása, vagyis  1 választása, ha Ez az előző egyenletekből: A Bayes tétel alkalmazásával azt kapjuk, hogy akkor kell  1 -et választanunk, ha

MI 2003/ amit feltételezésével az alábbi alakba írhatunk: ahol a baloldalt likelihood (valószínűségi) hányadosnak hívják.

MI 2003/ A minimális hibaarányt adó osztályozás: a kockázatfüggvényt válasszuk úgy, hogy 0 legyen, ha jó az osztályozás ( 11 = 22 =0), illetve egy, ha hibás ( 12 = 21 =1). Ekkor a feltételes veszteség általánosan:

MI 2003/ Vagyis ebben az esetben a döntési szabály a már korábbiakból ismert: válasszuk az  i -t, ha minden j  i -re. Neyman-Pearson kritérium

MI 2003/ Diszkrimincia-függvények, határoló felületek. Az előzőek mellett sok másfajta eljárás: nagyon hasznos lenne például olyan g i (x) (i=1,2,…,c) függvények (diszkriminancia- függvények) ismerete, amelyek segítségével az  i döntést hoznánk, ha g i (x)> g j (x) minden j  i-re.

MI 2003/ Valójában az előzőekben már definiáltunk diszkriminancia-függvényeket: például a minimális hibaarány esetében a g i (x)=P(  i  x) diszkriminancia függvényt definiál. Feltételes veszteség segítségével?

MI 2003/ Még egyszerűbb, ha csak a számlálókat illetve azok logaritmusát vesszük: g i (x) = p(x  i )P(  i ), g i (x) = ln p(x  i ) + ln P(  i ). Segítségükkel döntési tartományok definiálhatók (  1,  2, …,  c ), közöttük döntési felületek.

MI 2003/ Két osztály esete. Ekkor a határfelületet a g(x) = g 1 (x) - g 2 (x) függvény definiálja; ha g(x) > 0, akkor az első osztályt választjuk, különben a másodikat. Ez több más alakba is átírható, például:

MI 2003/ Emlékeztető: normális eloszlások Egyváltozós: d-változós:

MI 2003/ Diszkriminancia függvények normális eloszlásoknál. Láttuk, hogy általában: g i (x) = ln p(x  i ) + ln P(  i ) A többváltozós normális eloszlás sűrűségfüggvényéből: g i (x) =

MI 2003/ Speciális esetek 1. eset:  i =  2 I (független változók, azonos szórással). Ekkor: vagyis:

MI 2003/ Ez viszont lineáris függvény, vagyis: g i (x) = ahol és

MI 2003/ eset:  i = , vagyis a kovarianciamátrixok azonosak. Ekkor a diszkriminanciafüggvények alakba írhatók, ami ismét egy lineáris formához vezet (házi feladat).

MI 2003/ eset:  i tetszőleges. Ekkor a diszkriminanciafüggvények kvadratikusak. A kétdimenziós esetben ezek tetszőleges hiperfelületek lehetnek (példák ábrákon)

MI 2003/8 - 30

MI 2003/8 - 32

MI 2003/8 - 33

MI 2003/8 - 34

MI 2003/8 - 35