Emlékeztető Az előző órán az adatok eloszlását Gauss-eloszlással közelítettük Célfüggvénynek a Maximum Likelihood kritériumot használtuk A paramétereket.

Az előadások a következő témára: "Emlékeztető Az előző órán az adatok eloszlását Gauss-eloszlással közelítettük Célfüggvénynek a Maximum Likelihood kritériumot használtuk A paramétereket."— Előadás másolata:

1 Gauss-keverékmodell és tanítása az Expectation Maximization algoritmussal

2 Emlékeztető Az előző órán az adatok eloszlását Gauss-eloszlással közelítettük Célfüggvénynek a Maximum Likelihood kritériumot használtuk A paramétereket a derivált segítségével számoltuk ki

3 A Gauss-keverékmodell
A gyakorlatban általában nyilván nem Gauss-eloszlásból származnak az adatok Új modell: Gauss-eloszlások súlyozott összege Sokkal rugalmasabb, a komponensek számának növelésével tetszőleges alakot fölvehet

4 Szemléltetés 2D-ben

5 A modell és a célfüggvény
Az általános keverékmodell (λ paraméterekkel): Konkrétan a Gauss-os esetben (N a normális eloszlás): ahol a cj pozitív súlyok összege 1 A λ paramétereket (cj, μj és Σj minden j-re) ismét a Maximum Likelihood célfüggvénnyel szeretnénk optimalizálni!

6 A Log-likelihood célfüggvény és az Expectation segédfüggvény
A ML-célfüggvény (helyett a logaritmusa): egyetlen Gauss esetén zárt képlettel tudtuk maximalizálni (a derivált zérushelyét nézve) Több Gauss esetén ez nem megy, ezért az alábbi segédfüggvényt fogjuk maximalizálni: Miért? Mert általában ezt könnyebb kezelni (pl. deriválni)

7 Az Expectation Maximization általános tulajdonságai
Iteratív: egy iterációban az aktuális λ’ paraméterek mellett olyan új λ paramétereket keres, amelyekre az expectation célfüggvény nagyobb (nem kisebb) Lokális optimum megtalálását garantálja Bármely olyan modell esetén alkalmazható, amely a keverékmodell-sémára épül: A következőkben azt az általános elvet bizonyítjuk, hogy az expectation érték növelése a log-likelihood értéket is növeli; hogy az expectation hogyan növelhető, azt minden modellre külön le kell vezetni!

8 Az EM működési elve Azt akarjuk garantálni, hogy az aktuális iteráció előtti λ’ és utáni λ paraméterekre teljesüljön, hogy Megmutatjuk, hogy Azaz ha λ maximizálja az expectation függvényt az aktuális λ’ paraméterek esetén, akkor a ML likelihood célfüggvényre értéke is nő

9 Az EM-elv bizonyítása =1 ≤0 (Jensen-egyenlőtlenség)

10 A Jensen-egyenlőtlenség
Felhasználtuk: Ez általában, tetszőleges p és q eloszlásra is igaz:

11 Miért hívják „expectation” maximization”-nek?
Az expectation célfüggvény feltételes várható értéke (expectation!) az adott xn példák és λ’ modell mellett The EM-algoritmus egy iterációja két lépésből fog állni: „Expectation” (vagy estimation): kiszámoljuk az expectation számításához szükséges értékeket „Maximization”: az adott értékek mellett maximalizáljuk a célfüggvényt λ -ra

12 Alkalmazás a Gauss-keverékmodell esetén
Az expectation függvény a derivált vizsgálatával zárt képlet formájában maximalizálható Az egész iteratív folyamat inicializálása, azaz a kezdőértékek beállítása: k-közepű klaszterezéssel