MI 2003/9 - 1 Alakfelismerés alapproblémája: adott objektumok egy halmaza, továbbá osztályok (kategóriák) egy halmaza. Feladatunk: az objektumokat - valamilyen ismérvek, jelentés szerint - be kell sorolnunk az osztályokba. Először statisztikus módszerek.

MI 2003/9 - 2 Kiindulás: tulajdonságvektor (feature) - ez általában véletlentől függő értékekből épül fel. Valószínűségszámítási alapfogalmak: eseménytér, valószínűségi változó. Tulajdonság-tér felosztása, döntési (diszkriminancia) függvény. Egyszerű példa: egy- illetve kétváltozós eset, lineáris elválasztási lehetőséggel.

MI 2003/9 - 3 Első-, másodfajú hiba fogalma döntések esetében: illusztráció Gauss féle (normális) eloszlás esetében. Két, illetve több osztály esete. Példa: a 0 és az 1 elkülönítése - szélesség mérése (egyváltozós eset). Hogyan vehető az eltérő osztály-valószínűség figyelembe?

MI 2003/9 - 4 Amit megfigyelünk, nem tudjuk, honnan (melyik osztályból) származik: keverék- eloszlás. A prior és a posteriori valószínűségek.

MI 2003/9 - 5 Bayes szabály: P(A|B) = P(B | A) P(A) /P(B) Bayes tétel: a Bayes szabályban a nevezőt a teljes valószínűség tételével adjuk meg

MI 2003/9 - 6 Jelölések Tulajdonságvektor: d dimenziós folytonos (valós, R d ) Osztályok száma: c (  1,  2, …,  c ) Veszteségfüggvény: a lehetséges választás (  1,  2, …,  a ). Veszteség(függvény): (  i  j ) (az i-dik választást tettük, a tényleges osztály j volt)

MI 2003/9 - 7 Jelölje a j-dik osztályhoz tartozó sűrűségfüggvényt p(x  j ). Az osztályok a priori valószínűségeit jelölje P(  j ). Ekkor az a posteriori P(  j  x)-t a Bayes tétel adja: ahol

MI 2003/9 - 8 Tegyük fel, hogy valamilyen x vektort figyeltünk meg, az  i választást tettük, és a tényleges osztály  j. Ekkor a veszteségünk: A veszteség várható értékét kockázatnak nevezzük (Bayes kockázat), az előző kifejezést feltételes veszteségnek. Ezt akarjuk minimalizálni.

MI 2003/9 - 9 Két osztály esete. Két választás:  1 jelentse az  1 választását,  2 pedig az  2 -t. Legyen Ekkor az előző egyenletből: továbbá

MI 2003/ A legjobbnak tűnő választás a kockázat minimalizálása, vagyis  1 választása, ha Ez az előző egyenletekből: A Bayes tétel alkalmazásával azt kapjuk, hogy akkor kell  1 -et választanunk, ha

MI 2003/ amit feltételezésével az alábbi alakba írhatunk: ahol a baloldalt likelihood (valószínűségi) hányadosnak hívják.

MI 2003/ A minimális hibaarányt adó osztályozás: a kockázatfüggvényt válasszuk úgy, hogy 0 legyen, ha jó az osztályozás ( 11 = 22 =0), illetve egy, ha hibás ( 12 = 21 =1). Ekkor a feltételes veszteség általánosan:

MI 2003/ Vagyis ebben az esetben a döntési szabály a már korábbiakból ismert: válasszuk az  i -t, ha minden j  i -re.

MI 2003/ Diszkrimincia-függvények, határoló felületek: olyan g i (x) (i=1,2,…,c) függvények (diszkriminancia-függvények), amelyek segítségével az  i döntést hozzuk, ha g i (x)> g j (x) minden j  i-re.

MI 2003/ Valójában az előzőekben már definiáltunk diszkriminancia-függvényeket: például a minimális hibaarány esetében a g i (x)=P(  i  x) diszkriminancia függvényt definiál. Normális eloszlások vizsgálata.

MI 2003/ Még egy, szokásos és fontos átfogalmazás: lényegében távolságfüggvényeket kell számolnunk. Az első esetnél ez lényegében az euklideszi távolság:

MI 2003/ A második esetnél pedig a Mahalanobis távolság: Mindkét esetben az osztály középpontoktól számított távolságok minimuma határozza meg a döntést.

MI 2003/ Példa. Két osztály, mindkettőnek 4-4 pontja ismert: (2,6), (3,4), (3,8), (4,6) (1,-2), (3,-4), (3,0), (5,-2) Ekkor  1,  1,  2,  2, továbbá a mátrixinverzek kiszámíthatók, azonos a priori valószínűségek mellett a döntési felület: x = 3, ,125y + 0,1825y 2

MI 2003/ Hibavalószínűségek. Két osztály, egydimenziós eset: az egyenest két osztályra bontjuk,  1 -re és  2 -re. P(hiba) = P(x  2,  1 ) + P(x  1,  2 ) = P(x  2 |  1 )P(  1 ) + P(x  1 |  2 ) P(  2 ) =

MI 2003/ Minimalizálásra példa: 2.17 ábra

MI 2003/ Alkalmazás: jelérzékelés (ROC -receiver operating charasteristic- görbék). Zajos körülmények között (Gauss eloszlás) mérünk jeleket. Ha van jel,  2 a várható érték, ha nincs,  1 (vagyis p(x|  i )=N(  i,  2 )). Megkülönböztethetőség:

MI 2003/ Szemléltetés: 2.19 ábra

MI 2003/ Lehetséges kimenetek valószínűségei: P(x>x*|x  2 ): találat P(x>x*|x  1 ): hamis riasztás (másodfajú hiba, téves pozitív lelet) P(x<x*|x  1 ): hibázás (elsőfajú hiba, pozitív tünet fel nem ismerése) P(x<x*|x  2 ): helyes elvetés

MI 2003/ Sok kisérlet esetén a valószínűségek x* függvényében becsülhetők: ROC görbék (receiver operating characteristic). Szokásos független változók: találat (y tengely) hamis riasztás (x tengely) Vissza: 2.19 ábra ROC görbe: 2.20 ábra

MI 2003/ ábra: különböző d értékekhez tartozó ROC görbék

MI 2003/ Bayes döntések nehézsége: nagyon sok becslésre lehet szükség. Segíthet: Valószínűségi háló (belief network) - egy gráf - csúcsai valószínűségi változók halmazai, - irányított (közvetlen befolyás), körmentes - minden csúcshoz egy feltételes valószínűségi tábla (“szülők hatása”)

MI 2003/ Példa: riasztó beszerelése (jelzi a földrengést is), két szomszéd, Mária és János, akik telefonálnak, ha szól a riasztó (a riasztó nem tökéletes, János nem mindig tudja a riasztót a telefontól megkülönböztetni, Mária fülhallgatóval hallgat zenét …). Mindezeket valószínűségi táblákkal adjuk meg - számok a táblán.

MI 2003/ Az alapegyenlet: Ennek segítségével számoljuk a valószínűségeket - csak a tényleges függőségben levők számítanak.

MI 2003/ Hálók építése: - változók meghatározása, - sorrend kijelölése, - amíg van érintetlen változó, a. vegyünk egy ilyet, adjuk a csúcsokhoz, b. határozzuk meg a szüleit, c. adjuk meg a feltételes val.-ek tábláját.

MI 2003/ Általános eljárás: adatgyűjtés tulajdonságok kiválasztása (tudás!) modell választása (tudás!) osztályozó tanítása osztályozó értékelése