Pattern Classification All materials in these slides were taken from Pattern Classification (2nd ed) by R. O. Duda, P. E. Hart and D. G. Stork, John.

Az előadások a következő témára: "Pattern Classification All materials in these slides were taken from Pattern Classification (2nd ed) by R. O. Duda, P. E. Hart and D. G. Stork, John."— Előadás másolata:

1 Pattern Classification All materials in these slides were taken from Pattern Classification (2nd ed) by R. O. Duda, P. E. Hart and D. G. Stork, John Wiley & Sons, with the permission of the authors and the publisher

2 Bevezetés Bayes döntéselmélet – folytonos tulajdonságok

3 Bevezetés A tengeri sügér / lazac példa
A természet állapota, a priori ismeretek A természet állapota véletlen változó A tengeri sügér és a lazac kifogása egyenlően valószínű P(1) = P(2) (egyenletes a priori) P(1) + P( 2) = 1 (csak ezeket foghatjuk ki, nincs átfedés) Pattern Classification, Chapter 2 (Part 1)

4 Döntési szabály, csak az a priori valószínűségeket használva
Válasszuk 1-et, ha P(1) > P(2) különben 2-t Az osztályokhoz tartozó valószínűség-eloszlások használata P(x | 1) és P(x | 2) leírja a különbséget a tengeri sügérek és a lazacok világossága között Pattern Classification, Chapter 2 (Part 1)

5 Pattern Classification, Chapter 2 (Part 1)

6 A pesteriori, valószínűség, előre adottság
P(j | x) = P(x | j) . P (j) / P(x) Két osztály esetén A posteriori = valószínűség. A priori = előre adott Pattern Classification, Chapter 2 (Part 1)

7 Pattern Classification, Chapter 2 (Part 1)

8 Az a posteriori valószínűségek ismeretében a döntés:
Ha X egy megfigyelés, amelyre: P(1 | x) > P(2 | x) akkor a valós állapot = 1 P(1 | x) < P(2 | x) akkor a valós állapot = 2 Ekkor az X megfigyelés mellett a hiba valószínűsége: P(hiba | x) = P(1 | x) ha 2-t választottunk P(hiba | x) = P(2 | x) ha 1-t választottunk Pattern Classification, Chapter 2 (Part 1)

9 Hiba valószínűségének minimalizálása
Döntsünk 1–et, ha P(1 | x) > P(2 | x); egyébként döntsünk (válasszunk) 2 –öt Ilyenkor: P(error | x) = min [P(1 | x), P(2 | x)] (Bayes döntés pont ilyen!) Pattern Classification, Chapter 2 (Part 1)

10 Bayes döntéselmélet – folytonos tulajdonságok
Az előző ötlet általánosításai Több, mint egy tulajdonság Több, mint két osztály Nemcsak döntések, hanem egyéb tevékenységek (akciók) megengedése Veszteségfüggvény bevezetése (ez a hibavalószínűségnél általánosabb fogalom lesz) Pattern Classification, Chapter 2 (Part 1)

11 Ilyenkor (a rossz esetekben) nem döntünk
Az osztályozástól eltérő tevékenységek alapjában véve az elutasítást engedik meg Ilyenkor (a rossz esetekben) nem döntünk A veszteségfüggvény definiálja majd, melyik tevékenységünknek mennyi a költsége Pattern Classification, Chapter 2 (Part 1)

12 Legyenek {1, 2,…, c} a természet lehetséges állapotai egy kísérletnél (osztályok, kategóriák)
Legyenek {1, 2,…, a} a lehetséges cselekvések (akciók, tevékenységek) Jelölje (i | j) azt a veszteséget, amellyel az i cselekvés jár, amennyiben a természet állapota (osztály) j volt. Pattern Classification, Chapter 2 (Part 1)

13 R minimalizálása R(i | x) minimalizálása i = 1,…, a
A teljes kockázat: R = R(i | x)-k összege (i = 1,…,a) R minimalizálása R(i | x) minimalizálása i = 1,…, a i = 1,…,a Feltételes kockázat Pattern Classification, Chapter 2 (Part 1)

14 Válasszuk azon i cselekvést, amelyre R(i | x) minimális
R ekkor minimális és ebben az esetben Bayes kockázatnak nevezzük – ez a legjobb, amit el tudunk érni Pattern Classification, Chapter 2 (Part 1)

15 Két kategóriás osztályozó 1 : válasszuk 1-t 2 : válasszuk 2 -t
ij = (i | j) Jelöli azt a veszteséget, amit i választása jelent, ha a természet állapota j Feltételes kockázat: R(1 | x) = 11P(1 | x) + 12P(2 | x) R(2 | x) = 21P(1 | x) + 22P(2 | x) Pattern Classification, Chapter 2 (Part 1)

16 Akkor az 1 cselekvés: “döntés: 1”
Szabályunk:: ha R(1 | x) < R(2 | x) Akkor az 1 cselekvés: “döntés: 1” Másképpen megfogalmazva: : Döntés: 1,ha: (21- 11) P(x | 1) P(1) > (12- 22) P(x | 2) P(2) Különben döntés: 2 Pattern Classification, Chapter 2 (Part 1)

17 Valószínűség-hányados:
Az előző szabály ekvivalens a következővel: Akkor akció 1 (döntés: 1) Különben akció 2 (döntés: 2) Pattern Classification, Chapter 2 (Part 1)

18 Optimális döntési tulajdonság
“Ha a valószínűségi hányados meghalad egy küszöbértéket (az x bemeneti mintától függetlenül), akkor optimális akciót választhatunk” Pattern Classification, Chapter 2 (Part 1)

19 Gyakorlat Adjuk meg az optimális döntést, ha: = {1, 2}
P(x | 1) N(2, 0.5) (Normális eloszlás) P(x | 2) N(1.5, 0.2) P(1) = 2/3 P(2) = 1/3 Pattern Classification, Chapter 2 (Part 1)

20 Bayes döntéselmélet Minimális hibaarányú osztályozások
Osztályozók, diszkriminancia függvények, döntési felületek A normális eloszlás esete

21 Minimális hibaarányú osztályozások
Tevékenységek: „osztály választása” döntés Ha az i tevékenységet végezzük és a valóság igazi állapota j akkor: a döntés helyes, ha i = j , hibás (hiba), ha i  j Olyan döntési szabályt keresünk, amelyik minimalizálja a hiba valószínűségét (ezt nevezzük hibaaránynak) Pattern Classification, Chapter 2 (Part 1)

22 Nulla-egy veszteségfüggvény:
Ekkor a feltételes kockázat: “Az ehhez a veszteségfüggvényhez tartozó kockázat az átlagos hibavalószínűség” Pattern Classification, Chapter 2 (Part 1)

23 A minimális hibaarányhoz:
A kockázat minimalizálásához maximalizálni kell: P(i | x)-t (mivel R(i | x) = 1 – P(i | x)) A minimális hibaarányhoz: Döntés: i ha P (i | x) > P(j | x) j  i Pattern Classification, Chapter 2 (Part 1)

24 Döntési tartományok a nulla-egy veszteségfüggvénynél:
Ha  nulla-egy veszteségfüggvény, vagyis: Pattern Classification, Chapter 2 (Part 1)

25 Pattern Classification, Chapter 2 (Part 1)

26 Osztályozók, diszkriminancia függvények, döntési felületek
A több osztályos (kategóriás) eset Diszkriminancia függvények halmaza: gi(x), i = 1,…, c Az osztályozó egy x tulajdonságvektort az i osztályhoz rendel, ha: gi(x) > gj(x) j  i Pattern Classification, Chapter 2 (Part 1)

27 Pattern Classification, Chapter 2 (Part 1)

28 Legyen gi(x) = - R(i | x)
(a legnagyobb diszkriminancia érték a minimális kockázatnak felel meg!) A minimális hibaarányt használva gi(x) = P(i | x) (a legnagyobb diszkriminancia a maximális a posteriori valószínűségnek felel meg) gi(x)  P(x | i) P(i) gi(x) = ln P(x | i) + ln P(i) (ln: természetes logaritmus!) Pattern Classification, Chapter 2 (Part 1)

29 A tulajdonságtet c tartományra osztjuk fel:
ha gi(x) > gj(x) j  i akkor x  Ri (Ri jelentése: ha x Ri , akkor I választása) Két osztályos eset Az osztályozóhoz két diszkriminancia-függvény: g1 és g2 szükséges Legyen g(x)  g1(x) – g2(x) Válasszuk 1-et, ha g(x) > 0 ; különben 2-et Pattern Classification, Chapter 2 (Part 1)

30 g(x) kiszámítása: Pattern Classification, Chapter 2 (Part 1)

31 Pattern Classification, Chapter 2 (Part 1)

32 A normális eloszlás Egyváltozós eset Ahol:  = az X várható értéke
Kezelhető sűrűségfggvény Folytonos Nagyon sok elsozlás aszimptotikusan normális Kézírásos karakterek, beszédjelek jól jellemezhetők véletlen folyamatonként (centrális határeloszlás-tétel) Ahol:  = az X várható értéke 2 = szórásnégyzet (variancia) Pattern Classification, Chapter 2 (Part 1)

33 Pattern Classification, Chapter 2 (Part 1)

34 Többváltozós sűrűségfüggvény
A többváltozós normális eloszlás sűrűségfüggvénye: ahol: x = (x1, x2, …, xd)t (t a transzponált vektor)  = (1, 2, …, d)t a várható érték vektor  = d*d a kovariancia-mátric || illetve -1 a determináns illetve az inverz mátrix Pattern Classification, Chapter 2 (Part 1)

35 Bayes döntéselmélet A normális eloszlásokhoz tartozó diszkriminancia függvények Bayes döntéselmélet – diszkrét tulajdonságok

36 A normális eloszláshoz tartozó diszkriminancia függvények
A minimális hibaarányú osztályozóhoz tartozó diszkriminancia függvények gi(x) = ln P(x | i) + ln P(i) Többváltozós normális eloszlásnál Pattern Classification, Chapter 2 (Part 1)

37 i = 2.I esete (I az egységmátrix)
Pattern Classification, Chapter 2 (Part 1)

38 A lineáris diszkriminancia függvényeket használó osztályozót “lineáris gépnek” nevezzük
A lineáris géphez tartozó döntési felületek az alább hipersíkokkal definiáltak: gi(x) = gj(x) Pattern Classification, Chapter 2 (Part 1)

39 Pattern Classification, Chapter 2 (Part 1)

40 mindig merőleges a várható értékeket összekötő egyenesre!
Az Ri és Rj elválasztó hipersíkja, mindig merőleges a várható értékeket összekötő egyenesre! Pattern Classification, Chapter 2 (Part 1)

41 Pattern Classification, Chapter 2 (Part 1)

42 Pattern Classification, Chapter 2 (Part 1)

43 i =  esete (a kovarianciamátrixok azonosak (de tetszőlegesek!)
Az Ri és Rj elválasztó hipersíkja (az Ri és Rj elválasztó hipersíkja általában nem merőleges a várható értékeket összekötő egyenesre!) Pattern Classification, Chapter 2 (Part 1)

44 Pattern Classification, Chapter 2 (Part 1)

45 Pattern Classification, Chapter 2 (Part 1)

46 i = tetszőleges A kovarianciamátrixok minden osztálynál különbözőek
(Hiperkvadratikusok: hipersíkok, hipersíkok párjai, hipergömbök, hiperellipszoidok, hiperparaboloidok, hiperboloidok) Pattern Classification, Chapter 2 (Part 1)

47 Pattern Classification, Chapter 2 (Part 1)

48 Pattern Classification, Chapter 2 (Part 1)

49 Bayes Döntéselmélet – diszkrét tulajdonságok
Az x komponensei bináris vagy egesz értékűek lehetnek, legfeljebb m diszkrét értéket vehetnek fel: v1, v2, …, vm Független bináris változók, két osztályos probléma. Legyen x = [x1, x2, …, xd ]t ahol minden xi 0 vagy 1, az alábbi valószínűségekkel: pi = P(xi = 1 | 1) qi = P(xi = 1 | 2) Pattern Classification, Chapter 2 (Part 1)

50 Ekkor a diszkriminancia-függvények:
Pattern Classification, Chapter 2 (Part 1)