PLS útelemzés, avagy változóblokkok kapcsolati elemzése

Az előadások a következő témára: "PLS útelemzés, avagy változóblokkok kapcsolati elemzése"— Előadás másolata:

1 PLS útelemzés, avagy változóblokkok kapcsolati elemzése
Dr. Kovács Sándor

2 PLS modellcsalád /Herman Wold, Svante Wold, Harald Martens and Jan-Bernd Lohmöller/
1. NIPALS (Nonlinear Iterative Partial Least Squares) 2. PLS Regression (Partial Least Squares Regression) 3. PLS Discriminant Analysis 4. SIMCA (Soft Independent Modeling by Class Analogy) 5. PLS Approach to Structural Equation Modeling, Path modelling 6. N-way PLS 7. PLS Logistic Regression 8. PLS Generalized Linear Model

3 PLS útelemzéses modell

4 PLS útelemzéses modell

5 Strukturált Egyenletek Modellezése (SEM) (PLS megközelítést Herman Wold alkotta)
Cél: látens változók (LV) lineáris kapcsolatrendszerének tanulmányozása Egy látens változót egy magyarázó változókból álló csoport ír le Egy látens változó összefoglalja a magyarázó változók értékének együttesét Típusok: Ordinális, nominális, arányskála (nem kell normalitás) Nem szükséges túl nagy elemszámú minta Regresszió és faktorelemzés kombinációja

6 Gazdasági egyenlőtlenség és politikai instabilitás, Russett (1964) adatbázisa
Mezőgazdasági fejlettség GINI : Földterületek eloszlásának koncentráltsága FARM : Gazdálkodók %-a akik földtulajdonosok (>50%) RENT : Gazdálkodók %-a akik bérlik a földjüket Ipari fejlettség GNPR : Egy főre jutó Bruttó Nemzeti Össztermék ($ 1955) LABO : A mezőgazdaságban alkalmazott munkaerő %-a Politikai instabilitás INST : végrehajtó szervek instabilitása ( ) ECKS : erőszakos belső háborús incidensek aránya ( ) DEAT : Polgári erőszak megölt áldozatainak aránya ( ) D-STAB : Demokrácia stabilitása D-UNST : Demokrácia instabilitása DICT : Dictatorship

7 Gazdasági egyenlőtlenség és politikai instabilitás, Russett (1964) adatbázisa

8 Gazdasági egyenlőtlenség és politikai instabilitás modellje, Russett (1964) adatbázisa
Reflektív modell Dummy változók Összevonhatók Egy változóba

9 A PLS modellezés: az algoritmusa
Külső faktormodell (measurement, outer model) Reflektív modell (Mode A) (a látens változó megvilágítja a magyarázó változókat) Minden magyarázó Xjq változót felírhatunk így: Formatív modell (Mode B) a magyarázó változók formálják a látens változót) A látens j változó az Xj –val jelölt blokk változóinak a lineáris függvénye: Belső strukturált modell (structural, inner model) A látens változók között is létezik egy lineáris strukturális modell: Politikai instabilitás (3) = 1Mezőgazd. fejlettség (1) + 2Ipari fejlettség (2) + HIBA

10 A PLS modellezés: az algoritmusa

11 A PLS modellezés: a látens változók becslése
(1) Külső modell (outer) becslése, Yj standardizált külső becslése j-nek (2) Belső modell (inner) becslése, Zj standardizált belső becslése j-nek : előjeles korreláció Yi és Yj között Yi és Yj között van út (3) A wj –val jelölt súlyok becslése wjq = cor(Zj , Xjq)

12 A PLS modellezés: a látens változók becslése I.
Külső modell becslése, Yj és j kapcsolata Képlettel: Yj = Xjwj Példánkban: Y1 = w11Gini + w12Farm + w13Rent Y2 = w21GNPR + w22 LABO Y3 = w31 INST + w32 ECKS + w33DEAT + w34DEMO

13 A PLS modellezés: a látens változók becslése II.
korrelációstruktúra 1 2 3 + - (2) Belső modell becslés, Zj és j kapcsolata Képlettel: Példánkban: Sign(Cor(1 ,3))= + Sign(Cor(2 ,3))= - Z1 = sign(cor(1, 3)Y3 = (+1)Y3 Z2 = sign(cor(2, 3)Y3 = (-1)Y3 Z3 = sign(cor(3, 1)Y1 + sign(cor(3, 2)Y2 = (+1)Y1 + (-1)Y2

14 A PLS modellezés: a súlyok becslése
A wh-val jelölt súlyok becslése wjq = cor(Xjq , Zj) w11 = cor(Gini , Z1) w12 = cor(Farm , Z1) w13 = cor(Rent , Z1) w21 = cor(GNPR , Z2) w22 = cor(LABO , Z2) w31 = cor(INST , Z3) w32 = cor(ECKS , Z3) w33 = cor(DEAR , Z3) w34 = cor(DEMO , Z3)

15 Súlyok inicializálása, iteratív algoritmus
eset: minden súly egyenlő kezdetben 1-gyel Eset: minden súly egyenlő 1-gyel, kivéve egy, az pedig -1 lesz Példánkban Az algoritmus kezdeti súlyokkal indul, aztán új súlyok képződnek az – 3) lépések ismétlésével egészen addig, míg a súlyok értéke beáll és nem változik érdemben GINI: w11 = 1 RENT: w12 = 1 FARM: w13 = 1 GNPR: w21 = 1 LABO: w22 = -1

16 Az általánosított PLS algoritmus
Yj =  Xjwj Külső model (standardizált) Yj2 Yj1 Yjm Zj ej1 ej2 ejm Belső strukturális model wj Kezdés Mode A: wj = Mode B: wj = w  cor(X,Z) Opciók a súlyok becslésére Előjeles korreláció (centroid) Korreláció (factor) Regressziós paraméter (Path) A korrelációk (loadings) becslése érdekes

17 A PLS modell becslése R-ben, eredmények
library(plspm) #szortvercsomag betöltése View(russa) # adatok megjelenítése data("russa") #adatok használatbavétele Vagy data("russett") #struktúra leírása kapcsolati mátrix-szal mgf = c(0,0,0) #mezőgazdasági fejlettség ipf = c(0,0,0) #Ipari fejlettség pi = c(1,1,0) #Politikai instabilitás

18 A PLS modell becslése R-ben, eredmények
sens_path = rbind(mgf,ipf,pi) # látens változók neve colnames(sens_path) = rownames(sens_path) #kapcsolati mx innerplot(sens_path) #kapcsolati mx sens_blocks = list(1:3,4:5,6:11) # változóblokkok megadása sens_modes = c("A", "A", "A") # A: reflektív, B: formatív sens_pls = plspm(russett, sens_path, sens_blocks, modes = sens_modes) #modell becslése itt történik plot(sens_pls, arr.width = 0.2) #ábrák plot(sens_pls, what = "loadings", arr.width = 0.1) #súlyok

19 A PLS modell becslése R-ben, eredmények

20 A PLS modell becslése R-ben, eredmények

21 A PLS modell becslése R-ben, eredmények

22 A PLS modell becslése R-ben, eredmények
Politikai Instabilitás = 0.215*Mezőgazd. Fejlettség *Ipari fejlettség (2.21*) (-7.13**) A zárójeles érték a Student-t statisztika a többváltozós regresszióból

23 Eredmények, Strukturális belső modell
Az LV legalább 50%-át magyarázza a blokk varianciájának (Konvergencia validitása) R2 : >0,6 (erős);0,3-0,6 (közepes);<0,3 (gyenge) Average Communality = (3*AvCommun1 + 2*AvCommun2 + 6*AvCommun3)/11 = 6,723/11=0,611 GOF2=0,622*0, GOF =0,617

24 Eredmények, külső mérési modell
Average = 0.28 Communality = Cor(Xjq, Yj)2 = Loading2 Endogén (bemeneti) LV : Redundancia = Cor2(Xjq, Yj)*R2(Yj, Yj –t magyarázó LV-k )

25 Eredmények, keresztkorrelációk
Változók lojalitása, a keresztkorrelációk alacsonyabbak, mint a saját LV-vel való korreláció, demoinst megsérti ezt a feltételt

26 Eredmények, külső modell egydimenzióssága
Változók homogenitása, DG rho és a C.alpha < 0.7 Egydimenziósság, 1. érték >1, a 2. érték <1 Ipf egydimenziós, mgf homogén változókból áll

27 Eredmények, diszkriminálás validitása
AVE(Yj) (Average Variance Extracted), átlagos magyarázott variancia > cor2(Yj,Yi) minden i-re Az LV sokkal többet magyaráz a hozzá tartozó változókból, mint más LV-k

28 Eredmények, Direkt és Indirekt hatások
P1 P3 P2 P2 P3 P1 P1

29 Eredmények, Direkt és Indirekt hatások
P1= * =0,210365 P2= * * = P3= * = Total= =0,309728

30 Eredmények, Direkt és Indirekt hatások
Motivációnak közvetett hatása: 29,72% Strat.use közvetett hatása: 6,63% Összes = Összes hatás Csak közvetlen hatás (63,65%) Movitáció hatása: 38.60% Strat.Use hatása: 40.97% Vocabulary hatása: 20,43% Movitáció hatása: 8.88% Strat.Use hatása: 34.34% Vocabulary hatása: 20,43%

31 Eredmények, Direkt és Indirekt hatások
MG hatás 23,64% (+) Ipar hatás 76,36% (-) Az ipar hatása több mint 3x akkora

32 Eredmények, Bootstrap validáció
Nem parametrikus eljárás a PLS, a paraméterbecslés parametrikus úton nem lehetséges, a becslések pontossága bootsrap mintavétellel tőrténik, ebből nyerjük a standard hiba becslését. N mintát veszünk visszatevéses mintavétellel, ismétléssel az eredeti adatokból N modell, illetve N paraméterbecslés adódik, ebből számolható az átlag, szórás és a standard hiba (szórás osztva megfigyelések számának a gyöke) N értéke között lehet, a javasolt érték 500 Futtatás: Boot.val=TRUE, br=500 a plspm() parancson belül Az utolsó két oszlop a 95%-os konfidenciancia intervallumokat mutatja!!!

33 Eredmények, Bootstrap validáció
A paraméter szignifikáns, ha értéke kétszerese legalább a st. Hibának Ezenkívül a konfidencia intervallum nem szabad, hogy tartalmazza a 0-t

34 Eredmények, Bootstrap validáció

35 Speciális lehetőségek, kanonikus korreláció

36 Eredmények, Kanonikus korreláció, 1. dimenzió
Mezőgazdasági fejlettség (X) GINI INST -.292 -.462 ECKS .814 FARM -.682 -.534 DEAT -.715 RENT -.028 1 3 D-STB .885 -.974 GNPR D-UNS -.957 LABO DICT Ipari fejlettség (X) Politikai instabilitás (Y)

37 Eredmények, Kanonikus korreláció, 2. dimenzió
Mezőgazdasági fejlettség (X) GINI INST .333 .336 ECKS .646 FARM -.057 .159 DEAT .525 RENT .610 1 3 D-STB .127 -.161 GNPR D-UNS -.033 LABO DICT Ipari fejlettség (X) Politikai instabilitás (Y)

38 Speciális lehetőségek, Faktorelemzés

39 Speciális lehetőségek, Változó klaszterezés

40 Köszönöm a megtisztelő figyelmet!