Többváltozós adatelemzés

Az előadások a következő témára: "Többváltozós adatelemzés"— Előadás másolata:

1 Többváltozós adatelemzés
12. előadás

2 Regresszió fák Regressziós fák elmélete nagyban hasonlít a klasszifikációs fák elméletéhez, itt azonban az eredményváltozó egy legalább intervallum szinten mért folytonos változó. A tisztasági mérték általában az átlagos négyzetes eltérés szokott lenni az algoritmusok esetében

3 CRT algoritmus A tisztasági mérték az átlagos négyzetes eltérés
A fa növesztésére és a metszéshez is ezt használja

4 CRT algoritmus

5 CRT algoritmus

6 CHAID algoritmus CHAID algoritmus esetén nem függtelenséget tesztel, hanem ANOVA tesztet használ, mind a kategóriák egyesítésénél, mind pedig elágaztatáskor.

7 CHAID algoritmus

8 Egyéb algoritmusok Diszkriminancia elemzés Boosting Neurális hálók
Kohonen hálók (Self Organizing Map, SOM) Neurális főkomponens elemzés Support Vector Machine (SVM)

9 Diszkriminancia elemzés
Klasszikus statisztikai eljárás Szigorú előfeltevései vannak Eredményváltozó kategória változó Magyarázó változók legalább intervallum szinten mért változók Sajátérték feladat Lineáris modellt feltételez

10 Boosting Adott egy egyszerű osztályozó
Hogyan lehetne feljavítani az osztályozó jóságát? Az egyszerű osztályozót egymás után alkalmazom többször. Az egyik modell végeredménye a következő bemenete. Azok a megfigyelések, amiket nem jól sorol be a modell nagyobb súlyt kapnak, amiket jól sorol be kisebbet

11 Boosting A végső osztályozás az összes addigi osztályozás lineáris kombinációja A boosting algoritmus segítségével egyszerű osztályozók segítségével is le lehet írni bonyolult összefüggéseket. A boosting algoritmus során az egyszerű osztályozó lehet pl. döntési fa is.

12 Boosting

13 Neurális hálók Forrás:

14 Neurális hálók ‘Fekete doboz’ eljárás
Csak a végeredmény ismert, kevés mutatószám áll rendelkezésre Bonyolult, de determinisztikus kapcsolatok esetén jól teljesít (mérnöki tudományokban jól használható) Sztochasztikus kapcsolatok esetén a teljesítménye nem annyira vonzó Mostanában szövegfelismerési feladatokra szokták sikeresen alkalmazni

15 Kohonen hálók Neurális háló alapú klaszterező eljárás
Nem kizárólag klaszterező eljárás Érdekesség, hogy nincs eredményváltozó K*N-es hálót hoz létre, aminek a csúcspontjai reprezentálják a klaszterközepeket

16 Kohonen hálók Minden megfigyelést hozzárendel a legközelebbi klaszterközéphez. Amennyiben nem pontos az illeszkedés a klaszterközepet elmozdítja a pont irányába. A Kohonen háló specialitása, hogy nem csak a legközelebbi klaszterközép értéket módosítja, hanem a szomszédságba tartozókét is.

17 Kohonen hálók

18 Neurális főkomponens elemzés
Az ‘Input’ és ‘Output layer’ megegyezik, a közbülső réteg viszont kevesebb neuront tartalmaz, mint az első és utolsó Attól függően, hogy a középső réteg hány neuront tartalmaz lehet szabályozni a megőrzött információ nagyságát A neuronok esetén lehet nemlineáris transzformáció is.

19 Support Vector Machine (SVM)
Az egyik legújabb ‘trónkövetelő’ A versenyeket általában valamilyen SVM algoritmussal szokták nyerni Az alapötlet az, hogy úgy különítsük el a csoportokat, hogy a köztük lévő ‘mezsgye’ a lehető legszélesebb legyen

20 Support Vector Machine (SVM)
Forrás:

21 Support Vector Machine (SVM)