Előadást letölteni
Az előadás letöltése folymat van. Kérjük, várjon
KiadtaGabi Borosné Megváltozta több, mint 9 éve
0
Struktúra predikció ápr. 2.
A diák alatti jegyzetszöveget írta: Balogh Tamás Péter ápr. 2.
1
Struktúra predikció Struktúra lehet Felügyelt tanulási probléma
minta IID feltevésének elvetése Felügyelt tanulási probléma Egyedek = struktúrák Struktúra lehet Szekvencia Fa, gráf
3
slide copyright of Nicolas Nicolov
4
slide copyright of Nicolas Nicolov
5
slide copyright of Nicolas Nicolov
6
slide copyright of Nicolas Nicolov
7
Szekvenciajelölés Legegyszerűbb struktúra Példa: Minden képkockához rendeljük, hozzá, hogy milyen cselekvést végez az alany
8
Rejtett Markov Modellek
9
Rejtett Markov Modellek
Diszkrét Markov Folyamat Adott N állapot, a rendszer minden időpontban az egyik állapotban van jelentése, hogy a t-dik időpillanatban a rendszer az Si állapotban van
10
Rejtett Markov Modellek
A rendszer állapota a megelöző állapotoktól függ: Elsőrendű Markov Modell esetén:
11
Átmeneti valószínűségek
Tfh. az átmeneti valószínűségek függetlenek az időtől: Kezdeti valószínűségek:
12
Megfigyelési valószínűségek
Az qt állapotok rejtettek, nem megfigyelhetőek. Viszont rendelkezésre áll egy megfigyelési szekvencia. Amit meg tudunk figyelni annak M értéke lehet: megfigyelései (emissziós) valószínűség:
13
Rejtett Markov Modellek
14
RMM példa Tőzsdei előrejelzés S = {derűs, borús, stagnáló} hangulat O = {emelkedő, csökkenő} árfolyam
15
A RMM három feladata Ismert λ valószínűségek mellett mi egy megfigyeléssorozat előfordulásának valószínűsége? Ismert λ valószínűségek mellett mi a legvalószínűbb rejtett állapot-szekvencia egy megfigyelés-sorozathoz? argmax tanító adatbázis alapján becsüljük meg a λ valószínűségeket !
16
Kiértékelési (1.) feladat
Adott λ és , =?
17
Kiértékelési (1.) feladat
időigény: O(NTT) Forward(-backward) algoritmus erre: forward változók: rekurzív eljárással számítható inicializálás:
18
Forward algoritmus időigény: O(N2T)
19
Legvalószínűbb szekvencia megtalálása (2. feladat)
Adott λ és , argmax P(Q| λ,O) =? Viterbi algoritmus Dinamikus programozás δt(i) a legvalószínűbb 1..t szekvencia valószínűsége ahol qt=Si
20
Viterbi algoritmus
21
Rejtett Markov Modellek
22
RMM tanulása (3. feladat)
Adott (ha Q is ismert lenne simán relatív gyakoriságokkal becsülhetnénk) Maximum likelihood: argmax
23
RMM tanulása
25
Backward algoritmus
26
Baum-Welch algoritmus
Annak a valószínűsége, hogy Si-ben vagyunk a t-edik lépésben:
27
Expectation-Maximisation (EM)
Maximum Likelihood kiterjesztése arra az esetre ha vannak rejtett változóink is Keressük azt a Φ paramétervektort ami a megfigyelhető X és rejtett Z változók együttes előfordulásának valószínűségéz maximalizálják
28
Expectation-Maximisation (EM)
Iteratív algoritmus. l-edik lépésben: (E)xpectation lépés: megbecsüljük Z értékeit (várható érték) Φl alapján (M)aximization lépés: Maximum likelihood a Z értékeinek rögzítésével Bizonyítottan konvergál:
29
EM példa Adott két cinkelt pénzérme. Egyszerre dobunk, de csak a fejek összegét tudjuk megfigyelni: h(0)=4 h(1)=9 h(2)=2 Mennyire cinkelt a két érme? Φ1=P1(H), Φ2=P2(H) ?
30
EM példa egyetlen z rejtett változó: a h(1)=9 esetből hányszor volt az első érme fej init Φ10=0,2 Φ20=0,5 E-lépés
31
EM példa M-lépés
32
Baum-Welch algoritmus
(folytatás) Baum-Welch egy EM algoritmus Rejtett változók: Célváltozók:
33
Baum-Welch algoritmus
E-lépés (forward-backward algoritmussal kiszámoljuk) M-lépés
34
Diszkriminatív szekvencia jelölők
35
Diszkriminatív szekvencia jelölők
P(D|c) P(c|D)
36
Maximum Entrópia Markov Modell MEMM
Balról jobbra haladva yi=argmax P(y|xi,yi-1)
37
A label-bias probléma Lokális döntések, a megfigyelés későbbi elemeinek abszolút nincsen hatása a döntésnél
38
Conditional Random Fields
Egyetlen feltételes (exponenciális) modell ami az egész eseményegyüttest kezeli
40
Lánc (linear-chain) CRF
41
Dekóder lánc-CRFnél
42
Viterbi lánc-CRFhez inicializáció:
43
CRF tanulás gradiens alapú módszerek…
44
Struktúrált perceptron
online tanulás aktuális paraméterekkel (az egész struktúrára vonatkozik a jellemzőtér) dekódolás ha nem egyezik az igazi struktúrával frissítjük a modellt frissítés a két jellemzővektor különbségével
45
Struktúrált perceptron
Viterbi dekóder szekvenciajelölésnél: Paraméterek frissítése:
46
A szekvenciákon túl...
47
Fa predikcó - PCFG
48
Fa predikció – CYK algoritmus
Hasonló előadás
© 2024 SlidePlayer.hu Inc.
All rights reserved.