Nemparaméteres próbák

Az előadások a következő témára: "Nemparaméteres próbák"— Előadás másolata:

1 Nemparaméteres próbák
Gazdaságinformatikus MSc

2 N E M P A R A M É T E R E S P R Ó B Á K
ILLESZKEDÉSVIZSGÁLAT H0 : Az elemzett változó eloszlása megegyezik a hipotetikussal 2-próba, egymintás Kolmogorov-Szmirnov, P-P grafikon FÜGGETLENSÉVIZSGÁLAT H0 : Az elemzett változók függetlenek 2-próba, nominális változókra, ordinális változókra HOMOGENITÁSVIZSGÁLAT H0 : Az elemzett változók eloszlása azonos 2-próba, kétmintás Kolmogorov-Szmirnov, Wilcoxon, McNemar, Kruskal-Wallis, Friedmann Dr Ketskeméty László

3 2-próbák Ezen a tulajdonságon alapulnak a 2-négyzet próbák!
Dr Ketskeméty László

4 2-próbák tiszta illeszkedés vizsgálat
statisztikai minta a minta hipotetikus eloszlásfüggvénye Ellenőrizni akarjuk azt a feltevést, hogy a minta elméleti eloszlásfüggvénye éppen ez a függvény: Dr Ketskeméty László

5 2-próbák tiszta illeszkedés vizsgálat
Adjuk meg a minta értékkészletének egy tetszőleges r diszjunkt intervallumból álló felosztását: Ha a nullhipotézis igaz, akkor Dr Ketskeméty László

6 2-próbák tiszta illeszkedés vizsgálat
teljes eseményrendszer az esemény bekövetkezéseinek a gyakorisága Tehát, ha a nullhipotézis igaz: Dr Ketskeméty László

7 2-próbák tiszta illeszkedés vizsgálat
a kritikus érték: Döntés: a nullhipotézist akkor fogadjuk el az  szignifikancia-szineten, ha Az elsőfajú hibavalószínűség most csak aszimptotikusan lesz . Dr Ketskeméty László

8 2-próbák becsléses illeszkedés vizsgálat
statisztikai minta a minta hipotetikus eloszlásfüggvénye Az eloszlásfüggvény most k db paramétertől függ, aminek értékét nem ismerjük! Ellenőrizni akarjuk azt a feltevést, hogy a minta elméleti eloszlásfüggvénye éppen ez a függvény: Dr Ketskeméty László

9 2-próbák becsléses illeszkedés vizsgálat
Első lépésben tekintjük a k db paraméter konzisztens becsléseit a mintából: Második lépésben az eloszlásfüggvény képletébe behelyettesítjük a becsléseket: Harmadik lépésben végrehajtunk egy tiszta illeszkedésvizsgálati tesztet a mintán, azzal a különbséggel, hogy a szabadági fokot csökkentjük a paraméterek számával: r -1-k Dr Ketskeméty László

10 Példa 2-próbával illeszkedésvizsgálatra
A World 95 állományban ellenőrizzük, hogy az országok egyenletesen vannak-e szétosztva az egyes gazdasági régiókban! Dr Ketskeméty László

11 Példa 2-próbával illeszkedésvizsgálatra
Dr Ketskeméty László

12 Példa 2-próbával illeszkedésvizsgálatra
Az országok eloszlása a régiókban egyenletesnek tekinthető! Dr Ketskeméty László

13 2-próbák függetlenségvizsgálat
Dr Ketskeméty László

14 2-próbák függetlenségvizsgálat
Dr Ketskeméty László

15 2-próbák függetlenségvizsgálat
Ha a nullhipotézis igaz, a próbastatisztika eloszlása Dr Ketskeméty László

16 Példa 2-próbával függetlenségvizsgálatra
Független-e a kor a fogyasztás mennyiségétől? Dr Ketskeméty László

17 Példa 2-próbával függetlenségvizsgálatra
Dr Ketskeméty László

18 Példa 2-próbával függetlenségvizsgálatra
Dr Ketskeméty László

19 Példa 2-próbával függetlenségvizsgálatra
Dr Ketskeméty László

20 Példa 2-próbával függetlenségvizsgálatra
A jelentős szignifikancia-szint arra utal, hogy a függetlenséget feltételező nullhipotézis igaz! A páciens korától nem függ a fogyás mennyisége! Dr Ketskeméty László

21 Példa 2-próbával függetlenségvizsgálatra
Független-e a vérzsírcsökkenés (triglicerid) a fogyasztás mennyiségétől? Dr Ketskeméty László

22 Példa 2-próbával függetlenségvizsgálatra
A jelentős szignifikancia-szint arra utal, hogy a függetlenséget feltételező nullhipotézis igaz! A vérzsírtartalom nem függ a fogyás mennyiségétől! Dr Ketskeméty László

23 2-próbák homogenitásvizsgálat
Ha a nullhipotézis igaz, azaz a két mintának ugyanaz az eloszlásfüggvénye: Dr Ketskeméty László

24 Egymintás Kolmogorov-Szmirnov próba
Most is illeszkedésvizsgálatról van szó! ahol Ha a nullhipotézis igaz, a próbastatisztika aszimptotikusan Kolmogorov-eloszlást követ. A kritikus értéket ez alapján az eloszlás alapján határozzuk meg a szignifikancia szinthez. DÖNTÉS Dr Ketskeméty László

25 Az empirikus eloszlásfüggvény és az elméleti eloszlásfüggvény átfedése 100 elemű minta esetén:
Dr Ketskeméty László

26 A Kolmogorov eloszlás Dr Ketskeméty László

27 Példa egymintás Kolmogorov-Szmirnov próbára
Normális eloszlást követ-e a fogyás? Dr Ketskeméty László

28 Példa egymintás Kolmogorov-Szmirnov próbára
Dr Ketskeméty László

29 Példa egymintás Kolmogorov-Szmirnov próbára
Jelentős nagyságú a szignifikancia szint, el kell hogy fogadjuk a nullhipotézist! A fogyás jól illeszkedik a normális eloszláshoz! Dr Ketskeméty László

30 Kétmintás Kolmogorov-Szmirnov próba
Most homogenitásvizsgálatról van szó! Ha a nullhipotézis igaz, a próbastatisztika most is aszimptotikusan Kolmogorov-eloszlást követ. A kritikus értéket ez alapján az eloszlás alapján határozzuk meg a szignifikancia szinthez. DÖNTÉS Dr Ketskeméty László

31 Példa kétmintás Kolmogorov-Szmirnov próbára
Ellenőrizzük, hogy a kezdeti súly azonos eloszlású-e a végsúllyal! Dr Ketskeméty László

32 Példa kétmintás Kolmogorov-Szmirnov próbára
Dr Ketskeméty László

33 Példa kétmintás Kolmogorov-Szmirnov próbára
A súlyeloszlások homogenitása fennáll! Dr Ketskeméty László

34 Két független minta homogenitásának vizsgálata Mann-Whitney próbával
Egy X minta adatait két részre osztjuk egy Y csoport-képző változó segítségével. Megvizsgáljuk, hogy a két minta azonos eloszlásfüggvényhez tartozik-e. Pl. azonos eloszlást követ-e a GDP eloszlása a latin-amerikai és a kelet-európai országok esetében? Dr Ketskeméty László

35 Két független minta homogenitásának vizsgálata Mann-Whitney próbával
Tekintsük az és mintákat! Legyen N=n+m. A két minta "összefésüléséből" képezzük a rendezett mintát! a két mintához tartozó rangszámösszegek Dr Ketskeméty László

36 Két független minta homogenitásának vizsgálata Mann-Whitney próbával
Abban az esetben, ha n, m elég nagy, az RX eloszlása aszimptotikusan normális lesz és paraméterekkel, így standard normális eloszlású! Kis minták esetén a Mann-Whitney táblázatot használjuk. Dr Ketskeméty László

37 Példa Mann-Whitney próbára
Azonos eloszlást követ-e a GDP eloszlása a latin-amerikai és a kelet-európai országok esetében? A world 95 adatmátrixban most X a gdp_cap, az Y csoportképző változó pedig a region. Dr Ketskeméty László

38 Példa Mann-Whitney próbára
Dr Ketskeméty László

39 Példa Mann-Whitney próbára
Kelet-Európában magasabbak a GDP értékek! A próba nem fogadható el! Dr Ketskeméty László

40 Több független minta együttes homogenitás-vizsgálata Kruskal-Wallis próbával
Ellenőrizni szeretnénk azt a nullhipotézist, hogy p független minta ugyanabból az eloszlásból származik-e, vagyis a mintáknak közös-e az eloszlásfüggvényük. Pl. A gépkocsik fogyasztása azonos eloszlást követ-e a gyártási hely szerint? A dolgozói fizetések azonosak-e a munkabeosztásokban? a gdp eloszlása azonos-e az egyes földrészeken? Dr Ketskeméty László

41 Több független minta együttes homogenitás-vizsgálata Kruskal-Wallis próbával
A p független mintát egy Y tördelő változó segítségével fogjuk előállítani. Az egyes mintákhoz az X változó azon esetei tartoznak majd, amelyiknél az Y azonos értéket vesz fel. Dr Ketskeméty László

42 Több független minta együttes homogenitás-vizsgálata Kruskal-Wallis próbával
Egy X változó eseteit egy Y tördelő változó segítségével p részre csoportosítunk. X folytonos változó Y diszkrét (kategória) változó, csoportképző változó a p rész-minta , ,…, N az adatmátrix összes esetszáma Dr Ketskeméty László

43 Több független minta együttes homogenitás-vizsgálata Kruskal-Wallis próbával
jelöli az X minta rendezett realizáltját r1 például azt adja meg, hogy az első minta első eleme a teljes rendezett mintában a hányadik helyen áll! az első minta rangszámai a második minta rangszámai a p-edik minta rangszámai a megfelelő rangszámösszegek Dr Ketskeméty László

44 Több független minta együttes homogenitás-vizsgálata Kruskal-Wallis próbával
Megmutatható, hogy a minták homogenitásának feltételezése mellett a rendstatisztika aszimptotikusan p -1 szabadságfokú 2-eloszlást követ. Dr Ketskeméty László

45 Példa Kruskal-Wallis próba alkalmazására
Ellenőrizzük, hogy a world 95 állományban a férfiak és a nők várható élettartamai azonos eloszlást követnek-e a különböző éghajlati viszonyok között! A lifeexpm, lifeexpf változók vannak az X szerepében, A climate változó lesz az Y tördelő változó. Az uralkodó klima szerint fogjuk csoportosítani a lifeexpm és lifeexpf értékeit! Dr Ketskeméty László

46 Példa Kruskal-Wallis próba alkalmazására
X Y Dr Ketskeméty László

47 Dr Ketskeméty László

48 Példa Kruskal-Wallis próba alkalmazására
Alacsonyak a szignifikancia szintek, azaz az életkorok másként alakulnak más klimatikus régiókban! Alacsonyak a szignifikancia szintek, azaz az életkorok másként alakulnak más klimatikus régiókban! Dr Ketskeméty László

49 Két összetartozó minta homogenitásának ellenőrzése Wilcoxon próbával
Nullhipotézis: az adatmátrix X és Y változója azonos eloszlásfüggvényhez tartozik-e? az X,Y változópár adatsora a differenciák sora az előjelek sora az abszolút eltérések sora Dr Ketskeméty László

50 Két összetartozó minta homogenitásának ellenőrzése Wilcoxon próbával
az abszolút eltérések rendezett mintája az abszolút eltérések rangszámai a pozitív differenciák rangszám-összege a negatív differenciák rangszám-összege Dr Ketskeméty László

51 Két összetartozó minta homogenitásának ellenőrzése Wilcoxon próbával
Ezután a Wilcoxon-táblázatból adott  >0 elsőfajú hiba megválasztás után kiolvassuk a megfelelő kritikus értékeket, és a nullhipotézist akkor fogadjuk el, ha R+ a két kritikus érték közé esik. Pl.  =0,01 esetén n=6-hoz a 1<R+ <20 relációnak kell fennállnia. Dr Ketskeméty László

52 Két összetartozó minta homogenitásának ellenőrzése Wilcoxon próbával
Ha az n minta elemszám nagy (több mint 25), akkor megmutatható, hogy R+ közel normális eloszlású lesz paraméterekkel. Ilyenkor a nullhipotézis eldöntéséhez az reláció teljesülését kell ellenőrizni, ahol Dr Ketskeméty László

53 Példa a Wilcoxon próba alkalmazására
Ellenőrizzük, hogy a dietstudy állományban a kezdetisúly és végsúly azonos eloszlást követnek-e! A vizsgált összetar-tozó változók A vizsgált összetar-tozó változók Dr Ketskeméty László

54 Példa a Wilcoxon próba alkalmazására
Dr Ketskeméty László

55 Példa a Wilcoxon próba alkalmazására
Természetesen a szignifikancia szint ennek megfelelően 0! Mindegyik differencia negatív volt, vagyis mind a 16 páciens fogyott! Dr Ketskeméty László

56 Több összetartozó minta homogenitásának ellenőrzése Friedman próbával
Összesen p változó azonos eloszláshoz tartozását ellenőrizzük. az adatmátrix Pl. a különböző időpontokban vett súlyok azonos eloszlásúak-e. Dr Ketskeméty László

57 Több összetartozó minta homogenitásának ellenőrzése Friedman próbával
Készítsük el az adatmátrix minden sorának rangszámait: azt a rangszámot jelenti, hogy hányadik legkisebb elem az adatmátrix első sorában. Dr Ketskeméty László

58 Több összetartozó minta homogenitásának ellenőrzése Friedman próbával
az egyes oszlopokhoz tartozó rangszám-összegek. Ha a homogenitás feltétele (a nullhipotézis) igaz, rangstatisztika aszimptotikusan p-1 szabadságfokú 2-eloszlást követ. Dr Ketskeméty László

59 Több összetartozó minta homogenitásának ellenőrzése Friedman próbával
Ha az n minta elemszám kicsi, akkor a Friedman-táblázatot használjuk. Abban az esetben, ha a homogenitást el kellett vetni, akkor az összes (i,j) párokra vonatkozó kétdimenziós mintákon egyenként ellenőrizzük a homogenitás fennállását, pl. Wilcoxon próbával. Dr Ketskeméty László

60 Példa a Friedman próba alkalmazására
Ellenőrizzük, hogy a dietstudy állományban a különböző időpontokban mért testsúlyok azonos eloszlást követnek-e! Dr Ketskeméty László

61 Példa a Friedman próba alkalmazására
Dr Ketskeméty László

62 Példa a Friedman próba alkalmazására
a súlyok rangszámai csökkenő trendet mutatnak A nullhipotézist elutasítjuk Dr Ketskeméty László

63 Páronkénti Wilcoxon-próbák
Az összes párosítást beállítjuk! Dr Ketskeméty László

64 Egyik párnál sem fogadható el a homogenitás!
Dr Ketskeméty László

65 A fontosabb nemparaméteres próbák áttekintő táblázata
Dr Ketskeméty László

66 A fontosabb nemparaméteres próbák áttekintő táblázata
Dr Ketskeméty László

67 A fontosabb nemparaméteres próbák áttekintő táblázata
Dr Ketskeméty László