Struktúra predikció ápr. 6.

Az előadások a következő témára: "Struktúra predikció ápr. 6."— Előadás másolata:

1 Struktúra predikció ápr. 6.
A diák alatti jegyzetszöveget írta: Balogh Tamás Péter ápr. 6.

2 Struktúra predikció Struktúra lehet Felügyelt tanulási probléma
minta IID feltevésének elvetése Felügyelt tanulási probléma Egyedek = struktúrák Struktúra lehet Szekvencia Fa, gráf

3

4 slide copyright of Nicolas Nicolov

5 slide copyright of Nicolas Nicolov

6 slide copyright of Nicolas Nicolov

7 slide copyright of Nicolas Nicolov

8 Szekvenciajelölés Legegyszerűbb struktúra Példa: Minden képkockához rendeljük, hozzá, hogy milyen cselekvést végez az alany

9 Rejtett Markov Modellek

10 Rejtett Markov Modellek
Diszkrét Markov Folyamat Adott N állapot, a rendszer minden időpontban az egyik állapotban van jelentése, hogy a t-dik időpillanatban a rendszer az Si állapotban van

11 Rejtett Markov Modellek
A rendszer állapota a megelöző állapotoktól függ: Elsőrendű Markov Modell esetén:

12 Átmeneti valószínűségek
Tfh. az átmeneti valószínűségek függetlenek az időtől: Kezdeti valószínűségek:

13 Megfigyelési valószínűségek
Az qt állapotok rejtettek, nem megfigyelhetőek. Viszont rendelkezésre áll egy megfigyelési szekvencia. Amit meg tudunk figyelni annak M értéke lehet: megfigyelései (emissziós) valószínűség:

14 Rejtett Markov Modellek

15 RMM példa Tőzsdei előrejelzés S = {derűs, borús, stagnáló} hangulat O = {emelkedő, csökkenő} árfolyam

16 A RMM három feladata Ismert λ valószínűségek mellett mi egy megfigyeléssorozat előfordulásának valószínűsége? Ismert λ valószínűségek mellett mi a legvalószínűbb rejtett állapot-szekvencia egy megfigyelés-sorozathoz? argmax tanító adatbázis alapján becsüljük meg a λ valószínűségeket !

17 Kiértékelési (1.) feladat
Adott λ és , =?

18 Kiértékelési (1.) feladat
időigény: O(NTT) Forward(-backward) algoritmus erre: forward változók: rekurzív eljárással számítható inicializálás:

19 Forward algoritmus időigény: O(N2T)

20 Legvalószínűbb szekvencia megtalálása (2. feladat)
Adott λ és , argmax P(Q| λ,O) =? Viterbi algoritmus Dinamikus programozás δt(i) a legvalószínűbb 1..t szekvencia valószínűsége ahol qt=Si

21 Viterbi algoritmus

22 Rejtett Markov Modellek

23 RMM tanulása (3. feladat)
Adott (ha Q is ismert lenne simán relatív gyakoriságokkal becsülhetnénk) Maximum likelihood: argmax

24 Diszkriminatív szekvencia jelölők

25 Diszkriminatív szekvencia jelölők
P(D|c) P(c|D)

26 Diszkriminatív szekvencia jelölés

27 Diszkriminatív szekvencia jelölés

28 Viterbi diszkriminatív szekvencia jelölőkhöz
inicializáció:

29 Maximum Entrópia Markov Modell MEMM
MEMM egy diszkriminatív szekvencia jelölő Tanítás: P(y|xi,yi-1) osztályozó

30 Conditional Random Fields
Egyetlen feltételes (exponenciális) modell ami az egész eseményegyüttest kezeli

31

32 CRF tanulás gradiens alapú módszerek…

33 Struktúrált perceptron
online tanulás aktuális paraméterekkel (az egész struktúrára vonatkozik a jellemzőtér) dekódolás ha nem egyezik az elvárt struktúrával frissítjük a modellt frissítés a két jellemzővektor különbségével

34 Struktúrált perceptron
Viterbi dekóder szekvenciajelölésnél: Paraméterek frissítése:

35 A szekvenciákon túl...

36 Fa predikcó - PCFG

37 Fa predikció – CYK algoritmus

38 Összegzés Struktúra predikció Rejtett Markov Modellek
Pl: szekvencia jelölés Rejtett Markov Modellek Diszkriminatív szekvencia jelölők (MEMM, CRF, struktúrált perceptron)