Sűrűségfüggvény Parzen becslés Mintapontszám, szigma
Küszöb hatása távolságnál
Skálázás hatása
Skálázás hatása
K-means
Kohonen map
Kiinduló adatok
SOM (Kohonen) kiinduló számos iteráció után
Kohonen map
SOM eredmény Szövegbányászati alkalmazás Több mint 12000 dokumentum feldolgozás Világos helyek sűrűsödések
NN klaszterezés: két Gauss eloszlású mintakészlet; hozzáadva egy pontot a helyzet nagyon megváltozik
Példa PCA alkalmazására képtömörítésnél.
Sajátértékek alakulása
Az első 20 legfontosabb sajátvektor (sajátkép)
A 141-160 saját értékekhez tartozó sajátképek
Kernel PCA A sajátvektorok normalizálása A sajátvektorra vett vetület:
A nulla várhatóérték biztosítása a jellemzőtérben Kapcsolat a nulla várhatóértékű és az eredeti kernelmátrixok között
Nemlineáris főkomponens probléma: tesztfeladatok
Kernel PCA egyre magasabb-fokú polinom kernellel fokszám: 1 2 3 4 Az első három sajátvektor „irány” a bemeneti térben ábrázolva Konstans főkom- ponens értékek vonalai a bemeneti térben ábrázolva
PCA-KPCA zajszűrő hatás összehasonlítása Gauss zaj pontszerű zaj eredeti zajos M=1 4 16 64 256 PCA KPCA Gauss kernel
Független komponens analízis, ICA Alapprobléma: Statisztikai függetlenség és korrelálatlanság Nemgauss-ság szupergauss (pl. exponenciális), szubgauss (pl. egyenletes) Mintapéldák időfüggvények, hangfájlok, 2D mintapontkészlet http://research.ics.aalto.fi/ica/cocktail/cocktail_en.cgi
3 eredeti jel
3 megfigyelt kevert jel
3 visszaállított jel
3 eredeti jel 3 visszaállított jel
ICA Momentumok, centrális momentumok kurtózis, normalizált kurtózis, fehérített eset
ICA Információelméleti alapfogalmak entrópia Differenciális entrópia (folytonos valószínűségi változónál)
ICA z1=1 és z2=0 vagy fordítva Különböző megközelítések Nemgauss-ság alapon, kurtózis, mivel a Gauss kurtózisa nulla szub Gauss, szuper Gauss Keressük z1-et és z2-t z1=1 és z2=0 vagy fordítva
Nemgauss-ság alapon, negentrópia, mivel a Gauss entrópiája maximális (ha a kovariancia mátrix azonos) A negentrópia mindig nemnegatív és csak akkor nulla, ha y Gauss
Kölcsönös információ minimalizálása alapján A komponensenkénti entrópiák összege és az együttes entrópia különbsége ... ML becslés alapon Megfelelő vetítési irány keresése alapon Nemlineáris PCA alapon Előfeldolgozás: fehérítés Gyors algoritmusok:
Mi maradt ki: Sokminden : regresszió, osztályozás, klaszterezés dinamikus modellek (pl. HMM) hiányzó adatok kezelése, inputation, EM algoritmus ...