Struktúra predikció ápr. 6. A diák alatti jegyzetszöveget írta: Balogh Tamás Péter ápr. 6.

Struktúra predikció Struktúra lehet Felügyelt tanulási probléma minta IID feltevésének elvetése Felügyelt tanulási probléma Egyedek = struktúrák Struktúra lehet Szekvencia Fa, gráf

slide copyright of Nicolas Nicolov

slide copyright of Nicolas Nicolov

slide copyright of Nicolas Nicolov

slide copyright of Nicolas Nicolov

Szekvenciajelölés Legegyszerűbb struktúra Példa: Minden képkockához rendeljük, hozzá, hogy milyen cselekvést végez az alany

Rejtett Markov Modellek

Rejtett Markov Modellek Diszkrét Markov Folyamat Adott N állapot, a rendszer minden időpontban az egyik állapotban van jelentése, hogy a t-dik időpillanatban a rendszer az Si állapotban van

Rejtett Markov Modellek A rendszer állapota a megelöző állapotoktól függ: Elsőrendű Markov Modell esetén:

Átmeneti valószínűségek Tfh. az átmeneti valószínűségek függetlenek az időtől: Kezdeti valószínűségek:

Megfigyelési valószínűségek Az qt állapotok rejtettek, nem megfigyelhetőek. Viszont rendelkezésre áll egy megfigyelési szekvencia. Amit meg tudunk figyelni annak M értéke lehet: megfigyelései (emissziós) valószínűség:

Rejtett Markov Modellek

RMM példa Tőzsdei előrejelzés S = {derűs, borús, stagnáló} hangulat O = {emelkedő, csökkenő} árfolyam

A RMM három feladata Ismert λ valószínűségek mellett mi egy megfigyeléssorozat előfordulásának valószínűsége? Ismert λ valószínűségek mellett mi a legvalószínűbb rejtett állapot-szekvencia egy megfigyelés-sorozathoz? argmax tanító adatbázis alapján becsüljük meg a λ valószínűségeket !

Kiértékelési (1.) feladat Adott λ és , =?

Kiértékelési (1.) feladat időigény: O(NTT) Forward(-backward) algoritmus erre: forward változók: rekurzív eljárással számítható inicializálás:

Forward algoritmus időigény: O(N2T)

Legvalószínűbb szekvencia megtalálása (2. feladat) Adott λ és , argmax P(Q| λ,O) =? Viterbi algoritmus Dinamikus programozás δt(i) a legvalószínűbb 1..t szekvencia valószínűsége ahol qt=Si

Viterbi algoritmus

Rejtett Markov Modellek

RMM tanulása (3. feladat) Adott (ha Q is ismert lenne simán relatív gyakoriságokkal becsülhetnénk) Maximum likelihood: argmax

Diszkriminatív szekvencia jelölők

Diszkriminatív szekvencia jelölők P(D|c) P(c|D)

Diszkriminatív szekvencia jelölés

Diszkriminatív szekvencia jelölés

Viterbi diszkriminatív szekvencia jelölőkhöz inicializáció:

Maximum Entrópia Markov Modell MEMM MEMM egy diszkriminatív szekvencia jelölő Tanítás: P(y|xi,yi-1) osztályozó

Conditional Random Fields Egyetlen feltételes (exponenciális) modell ami az egész eseményegyüttest kezeli

CRF tanulás   gradiens alapú módszerek…

Struktúrált perceptron online tanulás aktuális paraméterekkel (az egész struktúrára vonatkozik a jellemzőtér) dekódolás ha nem egyezik az elvárt struktúrával frissítjük a modellt frissítés a két jellemzővektor különbségével

Struktúrált perceptron Viterbi dekóder szekvenciajelölésnél: Paraméterek frissítése:

A szekvenciákon túl...

Fa predikcó - PCFG

Fa predikció – CYK algoritmus

Összegzés Struktúra predikció Rejtett Markov Modellek Pl: szekvencia jelölés Rejtett Markov Modellek Diszkriminatív szekvencia jelölők (MEMM, CRF, struktúrált perceptron)