Sűrűségfüggvény Parzen becslés Mintapontszám, szigma.

Az előadások a következő témára: "Sűrűségfüggvény Parzen becslés Mintapontszám, szigma."— Előadás másolata:

1 Sűrűségfüggvény Parzen becslés Mintapontszám, szigma

2 Küszöb hatása távolságnál

3 Skálázás hatása

4 Skálázás hatása

5 K-means

6

7 Kohonen map

8

9

10 Kiinduló adatok

11 SOM (Kohonen) kiinduló számos iteráció után

12 Kohonen map

13 SOM eredmény Szövegbányászati alkalmazás Több mint dokumentum feldolgozás Világos helyek sűrűsödések

14 NN klaszterezés: két Gauss eloszlású mintakészlet;
hozzáadva egy pontot a helyzet nagyon megváltozik

15 Példa PCA alkalmazására képtömörítésnél.

16 Sajátértékek alakulása

17 Az első 20 legfontosabb sajátvektor (sajátkép)

18 A 141-160 saját értékekhez tartozó sajátképek

19 Kernel PCA A sajátvektorok normalizálása A sajátvektorra vett vetület:

20 A nulla várhatóérték biztosítása a jellemzőtérben
Kapcsolat a nulla várhatóértékű és az eredeti kernelmátrixok között

21 Nemlineáris főkomponens probléma: tesztfeladatok

22 Kernel PCA egyre magasabb-fokú polinom kernellel
fokszám: Az első három sajátvektor „irány” a bemeneti térben ábrázolva Konstans főkom- ponens értékek vonalai a bemeneti térben ábrázolva

23 PCA-KPCA zajszűrő hatás összehasonlítása
Gauss zaj pontszerű zaj eredeti zajos M=1 4 16 64 256 PCA KPCA Gauss kernel

24

25

26 Független komponens analízis, ICA
Alapprobléma: Statisztikai függetlenség és korrelálatlanság Nemgauss-ság szupergauss (pl. exponenciális), szubgauss (pl. egyenletes) Mintapéldák időfüggvények, hangfájlok, 2D mintapontkészlet

27

28 3 eredeti jel

29 3 megfigyelt kevert jel

30 3 visszaállított jel

31 3 eredeti jel 3 visszaállított jel

32

33 ICA Momentumok, centrális momentumok
kurtózis, normalizált kurtózis, fehérített eset

34 ICA Információelméleti alapfogalmak entrópia
Differenciális entrópia (folytonos valószínűségi változónál)

35 ICA z1=1 és z2=0 vagy fordítva Különböző megközelítések
Nemgauss-ság alapon, kurtózis, mivel a Gauss kurtózisa nulla szub Gauss, szuper Gauss Keressük z1-et és z2-t z1=1 és z2=0 vagy fordítva

36 Nemgauss-ság alapon, negentrópia, mivel a Gauss entrópiája maximális (ha a kovariancia mátrix azonos) A negentrópia mindig nemnegatív és csak akkor nulla, ha y Gauss

37 Kölcsönös információ minimalizálása alapján
A komponensenkénti entrópiák összege és az együttes entrópia különbsége ... ML becslés alapon Megfelelő vetítési irány keresése alapon Nemlineáris PCA alapon Előfeldolgozás: fehérítés Gyors algoritmusok:

38

39 Mi maradt ki: Sokminden : regresszió, osztályozás, klaszterezés dinamikus modellek (pl. HMM) hiányzó adatok kezelése, inputation, EM algoritmus ...