Struktúra predikció Struktúra lehet Felügyelt tanulási probléma

Slides:



Advertisements
Hasonló előadás
Készítette: Kosztyán Zsolt Tibor
Advertisements

GRIN: Gráf alapú RDF index
Összefoglalás Hardver,szoftver,perifériák Memóriák fajtái
Algoritmusleíró eszközök
5. hét: Solow-modell Csortos Orsolya
Takács György 15. előadás Készítette Feldhoffer Gergely
Összetett kísérleti tervek és kiértékelésük: Háromszempontos variancia analízis modellek.
Robotika Helymeghatározás.
MI 2003/ A következőkben más megközelítés: nem közvetlenül az eloszlásokból indulunk ki, hanem a diszkriminancia függvényeket keressük. Legegyszerűbb:
Benczúr Zsolt VBA gyorstalpaló Benczúr Zsolt
Bayes hálók október 20. Farkas Richárd
Szintaktikai elemzés február 23..
Bevezetés a gépi tanulásba február 16.. Mesterséges Intelligencia „A számítógépes tudományok egy ága, amely az intelligens viselkedés automatizálásával.
Naïve Bayes, HMM.
Generatív (Bayesi) modellezés ápr Slides by (credit to): David M. Blei Andrew Y. Ng, Michael I. Jordan, Ido Abramovich, L. Fei-Fei, P. Perona,
Osztályozás -- KNN Példa alapú tanulás: 1 legközelebbi szomszéd, illetve K-legközelebbi szomszéd alapú osztályozó eljárások.
Gépi tanulási módszerek febr. 20.
Rangsorolás tanulása ápr. 24..
Szintaktikai elemzés március 1.. Gépi tanulás Osztályozási feladat: Adott egyedek egy halmaza és azok osztályba tartozási függvénye (tanító halmaz),
MEMM (Maximum Entrópia Markov Modell). A label-bias probléma Tanító adatbázis gold standard címkéin tanulunk, kiértékelni a generálton. Túl tökéletes,
Mesterséges neuronhálózatok
III. előadás.
SPSS többváltozós (lineáris) regresszió (4. fejezet)
SPSS többváltozós regresszió
Miskolci Egyetem Informatikai Intézet Általános Informatikai Tanszé k Pance Miklós Adatstruktúrák, algoritmusok előadásvázlat Miskolc, 2004 Technikai közreműködő:
Az Alakfelismerés és gépi tanulás ELEMEI
Fejmozgás alapú gesztusok felismerése Bertók Kornél, Fazekas Attila Debreceni Egyetem, Informatikai Kar Debreceni Képfeldolgozó Csoport KÉPAF 2013, Bakonybél.
Aszexuális, szimpatrikus speciáció
Hiba-előjel alapú spektrális megfigyelő Orosz György Konzulensek: Sujbert László, Péceli Gábor Budapesti Műszaki és Gazdaságtudományi Egyetem Méréstechnika.
Ismétlő struktúrák.
Lénárt Szabolcs Páll Boglárka
Minőségtechnikák I. (Megbízhatóság)
Statisztikai döntésfüggvények elméletének elemei
Valószínűségszámítás
1 AAO folytatás ++ Csink László. 2 Rekurzív bináris keresés (rendezett tömbben) public static int binker(int[] tomb, int value, int low, int high) public.
Alapsokaság (populáció)
Alapfogalmak.
Lineáris regresszió.
Logikai programozás 2..
LOGISZTIKA Előadó: Dr. Fazekas Lajos Debreceni Egyetem Műszaki Kar.
Valószínűségszámítás III.
Mesterséges Intelligencia 1. Eddig a környezet teljesen megfigyelhető és determinisztikus volt, az ágens tisztában volt minden cselekvésének következményével.
Budapesti Műszaki és Gazdaságtudományi Egyetem Méréstechnika és Információs Rendszerek Tanszék Megerősítő elemzés „Big Data” elemzési módszerek Salánki.
2005. Információelmélet Nagy Szilvia 2. A forráskódolás elmélete.
Informatikai Rendszerek Tervezése 5. Előadás: Genetikus algoritmusok Illyés László Sapientia - Erdélyi Magyar TudományEgyetem (EMTE) Csíkszereda IRT.-5.
WP-Dyna: tervezés és megerősítéses tanulás jól tervezhető környezetekben Szita István és Takács Bálint ELTE TTK témavezető: dr. Lőrincz András Információs.
Bevezetés a méréskiértékelésbe (BMETE80ME19) 2014/
2005. Információelmélet Nagy Szilvia 14. Viterbi-algoritmus.
Csoportkeresési eljárások Vassy Zsolt. Tematika Girvan Newman klaszterezés Diszkrét Markov lánc: CpG szigetek Rejtett Markov lánc ADIOS.
Kiterjesztések szemantikája: Szemantikai tartomány : Adatoknak, vagy értékeknek egy nem üres halmazát szemantikai tartománynak nevezzük. Jelölése: D. Egy.
PPKE ITK 2005/06 tanév 7. szemeszter Őszi félév Távközlő rendszerek forgalmi elemzése Tájékoztatás GY. - 8.
Bevezetés a méréskiértékelésbe (BMETE80ME19) 2014/
PÁRHUZAMOS ARCHITEKTÚRÁK – 13 INFORMÁCIÓFELDOLGOZÓ HÁLÓZATOK TUDÁS ALAPÚ MODELLEZÉSE Németh Gábor.
Gépi tanulási módszerek
Adatszerkezetek és algoritmusok 2008/ Algoritmus Az algoritmus szó eredete a középkori arab matematikáig nyúlik vissza, egy a i.sz. IX. században.
1 Megerősítéses tanulás 4. előadás Szita István, Lőrincz András.
Megerősítéses tanulás 5. előadás
Megerősítéses tanulás 2. előadás
1/19 Hogyan tájékozódnak a robotok? Koczka Levente Eötvös Collegium.
1.Kanonikus felügyelt tanulási feladat definíciója (5p) 1.Input, output (1p) 2.Paraméterek (1p) 3.Hipotézisfüggvény (1p) 4.Hibafüggvény/költségfüggvény.
Struktúra predikció ápr. 6.
Generatív (Bayesi) modellezés
Kockázat és megbízhatóság
Mesterséges intelligencia
Gépi tanulási módszerek febr. 18.
Pattern Classification All materials in these slides were taken from Pattern Classification (2nd ed) by R. O. Duda, P. E. Hart and D. G. Stork, John.
Emlékeztető Az előző órán az adatok eloszlását Gauss-eloszlással közelítettük Célfüggvénynek a Maximum Likelihood kritériumot használtuk A paramétereket.
Gazdaságinformatikus MSc
A mesterséges neuronhálók alapjai
Algoritmusok és Adatszerkezetek I.
Előadás másolata:

Struktúra predikció ápr. 2. A diák alatti jegyzetszöveget írta: Balogh Tamás Péter ápr. 2.

Struktúra predikció Struktúra lehet Felügyelt tanulási probléma minta IID feltevésének elvetése Felügyelt tanulási probléma Egyedek = struktúrák Struktúra lehet Szekvencia Fa, gráf

slide copyright of Nicolas Nicolov

slide copyright of Nicolas Nicolov

slide copyright of Nicolas Nicolov

slide copyright of Nicolas Nicolov

Szekvenciajelölés Legegyszerűbb struktúra Példa: Minden képkockához rendeljük, hozzá, hogy milyen cselekvést végez az alany

Rejtett Markov Modellek

Rejtett Markov Modellek Diszkrét Markov Folyamat Adott N állapot, a rendszer minden időpontban az egyik állapotban van jelentése, hogy a t-dik időpillanatban a rendszer az Si állapotban van

Rejtett Markov Modellek A rendszer állapota a megelöző állapotoktól függ: Elsőrendű Markov Modell esetén:

Átmeneti valószínűségek Tfh. az átmeneti valószínűségek függetlenek az időtől: Kezdeti valószínűségek:

Megfigyelési valószínűségek Az qt állapotok rejtettek, nem megfigyelhetőek. Viszont rendelkezésre áll egy megfigyelési szekvencia. Amit meg tudunk figyelni annak M értéke lehet: megfigyelései (emissziós) valószínűség:

Rejtett Markov Modellek

RMM példa Tőzsdei előrejelzés S = {derűs, borús, stagnáló} hangulat O = {emelkedő, csökkenő} árfolyam

A RMM három feladata Ismert λ valószínűségek mellett mi egy megfigyeléssorozat előfordulásának valószínűsége? Ismert λ valószínűségek mellett mi a legvalószínűbb rejtett állapot-szekvencia egy megfigyelés-sorozathoz? argmax tanító adatbázis alapján becsüljük meg a λ valószínűségeket !

Kiértékelési (1.) feladat Adott λ és , =?

Kiértékelési (1.) feladat időigény: O(NTT) Forward(-backward) algoritmus erre: forward változók: rekurzív eljárással számítható inicializálás:

Forward algoritmus időigény: O(N2T)

Legvalószínűbb szekvencia megtalálása (2. feladat) Adott λ és , argmax P(Q| λ,O) =? Viterbi algoritmus Dinamikus programozás δt(i) a legvalószínűbb 1..t szekvencia valószínűsége ahol qt=Si

Viterbi algoritmus

Rejtett Markov Modellek

RMM tanulása (3. feladat) Adott (ha Q is ismert lenne simán relatív gyakoriságokkal becsülhetnénk) Maximum likelihood: argmax

RMM tanulása

Backward algoritmus

Baum-Welch algoritmus Annak a valószínűsége, hogy Si-ben vagyunk a t-edik lépésben:

Expectation-Maximisation (EM) Maximum Likelihood kiterjesztése arra az esetre ha vannak rejtett változóink is Keressük azt a Φ paramétervektort ami a megfigyelhető X és rejtett Z változók együttes előfordulásának valószínűségéz maximalizálják

Expectation-Maximisation (EM) Iteratív algoritmus. l-edik lépésben: (E)xpectation lépés: megbecsüljük Z értékeit (várható érték) Φl alapján (M)aximization lépés: Maximum likelihood a Z értékeinek rögzítésével Bizonyítottan konvergál:

EM példa Adott két cinkelt pénzérme. Egyszerre dobunk, de csak a fejek összegét tudjuk megfigyelni: h(0)=4 h(1)=9 h(2)=2 Mennyire cinkelt a két érme? Φ1=P1(H), Φ2=P2(H) ?

EM példa egyetlen z rejtett változó: a h(1)=9 esetből hányszor volt az első érme fej init Φ10=0,2 Φ20=0,5 E-lépés

EM példa M-lépés

Baum-Welch algoritmus (folytatás) Baum-Welch egy EM algoritmus Rejtett változók: Célváltozók:

Baum-Welch algoritmus E-lépés (forward-backward algoritmussal kiszámoljuk) M-lépés

Diszkriminatív szekvencia jelölők

Diszkriminatív szekvencia jelölők P(D|c) P(c|D)

Maximum Entrópia Markov Modell MEMM Balról jobbra haladva yi=argmax P(y|xi,yi-1)

A label-bias probléma Lokális döntések, a megfigyelés későbbi elemeinek abszolút nincsen hatása a döntésnél

Conditional Random Fields Egyetlen feltételes (exponenciális) modell ami az egész eseményegyüttest kezeli

Lánc (linear-chain) CRF

Dekóder lánc-CRFnél

Viterbi lánc-CRFhez inicializáció:

CRF tanulás   gradiens alapú módszerek…

Struktúrált perceptron online tanulás aktuális paraméterekkel (az egész struktúrára vonatkozik a jellemzőtér) dekódolás ha nem egyezik az igazi struktúrával frissítjük a modellt frissítés a két jellemzővektor különbségével

Struktúrált perceptron Viterbi dekóder szekvenciajelölésnél: Paraméterek frissítése:

A szekvenciákon túl...

Fa predikcó - PCFG

Fa predikció – CYK algoritmus