Informatikai Tudományok Doktori Iskola

Informatikai Tudományok Doktori Iskola
Hipotéziselmélet Informatikai Tudományok Doktori Iskola

Dr Ketskeméty László előadása
Statisztikai próbák I. Dr Ketskeméty László előadása

Statisztikai próbák II. Döntési eljárást dolgozunk ki annak eldöntésére, hogy a nullhipotézis igaz-e. Ha úgy kell döntenünk, hogy a nullhipotézis nem igaz, automatikusan az alternatív hipotézist fogjuk elfogadni. A döntésünkhöz szignifikancia szintet fogunk rendelni, amivel jellemezzük, hogy a nullhipotézisünk melletti döntés milyen erős. Dr Ketskeméty László előadása

Statisztikai próbák III. Paraméteres esetben: Dr Ketskeméty László előadása

Statisztikai próbák IV. Dr Ketskeméty László előadása

Statisztikai próbák V. Elfogadási tartomány: Kritikus tartomány: Döntés: Dr Ketskeméty László előadása

Statisztikai hiba HELYES DÖNTÉS MÁSODFAJÚ HIBA ELSŐFAJÚ HIBA H0 IGAZ H1 IGAZ H1-et Fogad- juk el H0-at Elfogad- juk Döntés Valóság Dr Ketskeméty László előadása

Statisztikai próbák VI. Elsőfajú hibavalószínűség: Másodfajú hibavalószínűség: Akkor követjük el, ha igaz a nullhipotézis, de a mintrealizáció mégis a kritikus tartományba esik, és a döntésünk elutasító! Az elsőfajú hibavalószínűség , amit mi állítunk be! Akkor követjük el, ha elfogadjuk a nullhipotézist, holott valójában nem igaz. Értéke nehezebben állapítható meg. Dr Ketskeméty László előadása

lószínűség. Általában 5-10%-ra választjuk Másodfajú hibavalószínűség
A statisztikai hibavalószínűségek szemléltetése Eloszlás a nullhipotézis mellett A valódi eloszlás p Az első fajú hibava-, lószínűség. Általában 5-10%-ra választjuk (m0) (m) Másodfajú hibavalószínűség Dr Ketskeméty László előadása

A statisztikai hibavalószínűségek szemléltetése
Eloszlás a nullhipotézis mellett A valódi eloszlás p Az elsőfajú hibava- lószínűség (kisebbre választva) (m0) (m) A másodfajú hibavalószínűség (nő) Dr Ketskeméty László előadása

Az eloszlás a nullhipotézis mellett A valódi eloszlás p Az elsőfajú hibava-lószínűség (még kisebbre választva) (m0) (m) A másodfajú hibavalószínűség (tovább nő) Dr Ketskeméty László előadása

A statisztikai hibavalószínűségek szemléltetése A helyzet javul, ha a mintaelemszámot növeljük, hiszen a két sűrűségfüggvény szórása kisebb lesz, azaz távolodnak egymástól! Dr Ketskeméty László előadása

Az eloszlás a nullhipotézis mellett (még nagyobb minta alapján) A valódi eloszlás (még nagyobb minta alapján) p Az elsőfajú hibavalószínűség (m0) (m) A másodfajú hibavalószínűség Dr Ketskeméty László előadása

Az eloszlás a nullhipotézis mellett (még az előzőnél is nagyobb minta alapján) A valódi eloszlás (még az előzőnél is nagyobb minta alapján) p Az elsőfajú hibavalószínűség (m0) (m) A másodfajú hibavalószínűség Dr Ketskeméty László előadása

Statisztikai próbák VII. A próba erőfüggvénye A próba ereje A próba torzítatlansága (Ha a nullhipotézis nem áll fenn, akkor nagyobb valószínűséggel utasítjuk el, mint amikor fennáll!) Dr Ketskeméty László előadása

Statisztikai próbák VIII. A próba konzisztenciája Az egyenletesen legjobb próba Dr Ketskeméty László előadása

Neyman-Pearson fundamentális lemma Feltételek: Dr Ketskeméty László előadása

Neyman-Pearson fundamentális lemma Állítás: A tétel arról szól, hogyan lehet adott n mintaelemszámú minta esetén rögzített elsőfajú hibavalószínűséghez a lehető legkisebb másodfajú hibavalószínűségű próbát megkonstruálni Dr Ketskeméty László előadása

Neyman-Pearson fundamentális lemma Bizonyítás: Dr Ketskeméty László előadása

Stein-lemma Dr Ketskeméty László előadása

Stein-lemma Bizonyítás: Dr Ketskeméty László előadása

Paraméteres próbák A próbákban az a közös, hogy az elemzett minta eloszlása normálist követ. A nullhipotézist éppen a normális eloszlás paramétereivel kapcsolatosan fogalmazzuk meg. Várható érték a paraméter A szórás a paraméter egymintás u-próba kétmintás u-próba egymintás t-próba kétmintás t- próba független mintás összetartozó mintás Welch-próba egyszerű csoportosítás (one-way ANOVA) F-próba Bartlett-teszt Dr Ketskeméty László előadása

Egymintás u-próba Feltétel: a normális eloszlású mintának ismerjük a szórását. DÖNTÉS: Dr Ketskeméty László előadása

Egymintás u-próba Az elsőfajú hiba valószínűsége: Az elsőfajú hibavalószínűség éppen az e szignifikancia-szint! Dr Ketskeméty László előadása

Egymintás u-próba A másodfajú hibavalószínűség: Ugyanis most: Dr Ketskeméty László előadása

Egymintás u-próba Az u-próba erőfüggvénye: Az u-próba tulajdonságai: a próba torzítatlan és konzisztens! Ráadásul egyenletesen legjobb próba is! Dr Ketskeméty László előadása

Egymintás u-próba Bizonyítás: A konzisztencia bizonyítása. Dr Ketskeméty László előadása

Egymintás u-próba A torzítatlanság bizonyítása. Dr Ketskeméty László előadása

Egymintás u-próba Megjegyzés: A gyakorlatban akkor is alkalmazzák az u-próbát, amikor a minta nem normális eloszlású, de a mintaelemszám „nagy”. Az alkalmazás jogosságát a centrális határeloszlás-tétellel lehet indokolni. Ugyanis a próbastatisztika normális eloszlású lesz aszimptotikusan, mivel a CHT szerint a mintaátlag már közel normális eloszlású! Dr Ketskeméty László előadása

A kétmintás u-próba Adottak az és az egymástól független statisztikai minták. A minták független normális eloszlásúak, a szórásaik ismertek. Dr Ketskeméty László előadása

A kétmintás u-próba Ha feltesszük, hogy a null-hipotézis igaz, akkor  DÖNTÉS:  -t elfogadjuk Dr Ketskeméty László előadása

Egymintás t-próba DÖNTÉS: Dr Ketskeméty László előadása

Kétmintás t-próba (független minták) A minták szórásai egyenlőeknek tekintendők. Különben nem alkalmazható a próba. Ennek ellenőrzése F-próbával. DÖNTÉS: Dr Ketskeméty László előadása

Kétmintás t-próba (összetartozó minták) DÖNTÉS: Dr Ketskeméty László előadása

A Welch-próba I. Ha az F-próbát el kell vetnünk, nem alkalmazható a két független mintás t-próba a két minta várható értékei egyezésének ellenőrzésére. Erre az esetre dolgozta ki Welch a most ismertetendő robusztus próbát: X1,X2,…,Xn N(X,X ) és Y1,Y2,…Ym N(Y,Y) egymástól független normális eloszlású statisztikai minták, X és Y nem ismert . Dr Ketskeméty László előadása

A Welch-próba II. Megmutatható, hogy a nullhipotézis fennállása esetén a próbastatisztika közelítőleg Student-eloszlású [f] (egészrész f) szabadságfokkal, ahol Dr Ketskeméty László előadása

F-próba X1,X2,…,Xn N(X,X ) és Y1,Y2,…Ym N(Y,Y) egymástól független normális eloszlású statisztikai minták, X és Y nem ismert . Ha feltesszük, hogy a null-hipotézis igaz, akkor igaz lesz, hogy Dr Ketskeméty László előadása

Bartlett-próba Adott p normális eloszlású minta, amik függetlenek egymástól. Az a nulhipotézisünk, hogy a minták szórásai nem különböznek egymástól: A próbastatisztika most: ahol Megmutatható, hogy ha H0 fennáll, akkor B eloszlása p-1 szabadságfokú 2- eloszlást (Chi-négyzet) követ. Dr Ketskeméty László előadása

Nemparaméteres próbák Ha az alapsokaság (a statisztikai minta) eloszlását nem tekintjük eleve ismertnek, akkor nemparaméteres próbákról beszélünk. Ilyenkor tehát az előzetes feltevéseink nagyon általánosak, de természetesek; pl. feltesszük, hogy a minta eloszlása folytonos, vagy feltesszük, hogy a szórás véges, stb. Mivel kevesebb feltételt követelünk meg kiinduláskor (a priori feltevések), a következtetéseink levonásához nagyobb elemszámú mintákra lesz szükségünk, mint a paraméteres próbák esetén. A próbastatisztikák eloszlását csak aszimptotikusan ismerjük. Dr Ketskeméty László előadása

Nemparaméteres próbák területei ILLESZKEDÉSVIZSGÁLAT H0 : Az elemzett változó eloszlása megegyezik a hipotetikussal 2-próba, egymintás Kolmogorov-Szmirnov, P-P grafikon FÜGGETLENSÉVIZSGÁLAT H0 : Az elemzett változók függetlenek 2-próba, nominális változókra, ordinális változókra HOMOGENITÁSVIZSGÁLAT H0 : Az elemzett változók eloszlása azonos 2-próba, kétmintás Kolmogorov-Szmirnov, Wilcoxon, McNemar, Kruskal-Wallis, Friedmann Dr Ketskeméty László előadása

Nemparaméteres próbák c2-próbák Kolmogorov-Szmirnov próbák Mann.Whitney-próba Kruskal-Wallis próba Wilcoxon próba Friedman próba Levene-próba Dr Ketskeméty László előadása

2-próbák Ezen a tulajdonságon alapulnak a 2-négyzet próbák! Dr Ketskeméty László előadása

2-próbák: tiszta illeszkedés vizsgálat statisztikai minta a minta hipotetikus eloszlásfüggvénye Ellenőrizni akarjuk azt a feltevést, hogy a minta elméleti eloszlásfüggvénye éppen ez a függvény: Dr Ketskeméty László előadása

2-próbák: tiszta illeszkedés vizsgálat Adjuk meg a minta értékkészletének egy tetszőleges r diszjunkt intervallumból álló felosztását: Ha a nullhipotézis igaz, akkor Dr Ketskeméty László előadása

2-próbák: tiszta illeszkedés vizsgálat teljes eseményrendszer az esemény bekövetkezéseinek a gyakorisága Tehát, ha a nullhipotézis igaz: Dr Ketskeméty László előadása

2-próbák: tiszta illeszkedés vizsgálat a kritikus érték: Döntés: a nullhipotézist akkor fogadjuk el az  szignifikancia-szineten, ha Az elsőfajú hibavalószínűség most csak aszimptotikusan lesz . Dr Ketskeméty László előadása

2-próbák: becsléses illeszkedés vizsgálat statisztikai minta a minta hipotetikus eloszlásfüggvénye Az eloszlásfüggvény most k db paramétertől függ, aminek értékét nem ismerjük! Ellenőrizni akarjuk azt a feltevést, hogy a minta elméleti eloszlásfüggvénye éppen ez a függvény: Dr Ketskeméty László előadása

2-próbák: becsléses illeszkedés vizsgálat Első lépésben tekintjük a k db paraméter konzisztens becsléseit a mintából: Második lépésben az eloszlásfüggvény képletébe behelyettesítjük a becsléseket: Harmadik lépésben végrehajtunk egy tiszta illeszkedésvizsgálati tesztet a mintán, azzal a különbséggel, hogy a szabadági fokot csökkentjük a paraméterek számával: r -1-k Dr Ketskeméty László előadása

2-próbák: függetlenségvizsgálat Dr Ketskeméty László előadása

2-próbák: függetlenségvizsgálat Ha a nullhipotézis igaz, a próbastatisztika eloszlása Dr Ketskeméty László előadása

2-próbák: homogenitásvizsgálat Ha a nullhipotézis igaz, azaz a két mintának ugyanaz az eloszlásfüggvénye: Dr Ketskeméty László előadása

Egymintás Kolmogorov-Szmirnov próba Most is illeszkedésvizsgálatról van szó! ahol Ha a nullhipotézis igaz, a próbastatisztika aszimptotikusan Kolmogorov-eloszlást követ. A kritikus értéket ez alapján az eloszlás alapján határozzuk meg a szignifikancia szinthez. DÖNTÉS Dr Ketskeméty László előadása

Egymintás Kolmogorov-Szmirnov próba Az empirikus eloszlásfüggvény és az elméleti eloszlásfüggvény átfedése 100 elemű minta esetén: Dr Ketskeméty László előadása

A Kolmogorov eloszlás Dr Ketskeméty László előadása

Kétmintás Kolmogorov-Szmirnov próba Most homogenitásvizsgálatról van szó! Ha a nullhipotézis igaz, a próbastatisztika most is aszimptotikusan Kolmogorov-eloszlást követ. A kritikus értéket ez alapján az eloszlás alapján határozzuk meg a szignifikancia szinthez. DÖNTÉS Dr Ketskeméty László előadása

Két független minta homogenitásának vizsgálata Mann-Whitney próbával Egy X minta adatait két részre osztjuk egy Y csoport-képző változó segítségével. Megvizsgáljuk, hogy a két minta azonos eloszlásfüggvényhez tartozik-e. Pl. azonos eloszlást követ-e a GDP eloszlása a latin-amerikai és a kelet-európai országok esetében? Dr Ketskeméty László előadása

Két független minta homogenitásának vizsgálata Mann-Whitney próbával Tekintsük az és mintákat! Legyen N=n+m. A két minta "összefésüléséből" képezzük a rendezett mintát! a két mintához tartozó rangszámösszegek Dr Ketskeméty László előadása

Két független minta homogenitásának vizsgálata Mann-Whitney próbával Abban az esetben, ha n, m elég nagy, az RX eloszlása aszimptotikusan normális lesz és paraméterekkel, így standard normális eloszlású! Kis minták esetén a Mann-Whitney táblázatot használjuk. Dr Ketskeméty László előadása

Több független minta együttes homogenitás-vizsgálata Kruskal-Wallis próbával Ellenőrizni szeretnénk azt a nullhipotézist, hogy p független minta ugyanabból az eloszlásból származik-e, vagyis a mintáknak közös-e az eloszlásfüggvényük. Pl. A gépkocsik fogyasztása azonos eloszlást követ-e a gyártási hely szerint? A dolgozói fizetések azonosak-e a munkabeosztásokban? a gdp eloszlása azonos-e az egyes földrészeken? Dr Ketskeméty László előadása

Több független minta együttes homogenitás-vizsgálata Kruskal-Wallis próbával A p független mintát egy Y tördelő változó segítségével fogjuk előállítani. Az egyes mintákhoz az X változó azon esetei tartoznak majd, amelyiknél az Y azonos értéket vesz fel. Dr Ketskeméty László előadása

Több független minta együttes homogenitás-vizsgálata Kruskal-Wallis próbával Egy X változó eseteit egy Y tördelő változó segítségével p részre csoportosítunk. X folytonos változó Y diszkrét (kategória) változó, csoportképző változó a p rész-minta , ,…, N az adatmátrix összes esetszáma Dr Ketskeméty László előadása

Több független minta együttes homogenitás-vizsgálata Kruskal-Wallis próbával jelöli az X minta rendezett realizáltját r1 például azt adja meg, hogy az első minta első eleme a teljes rendezett mintában a hányadik helyen áll! az első minta rangszámai a második minta rangszámai a p-edik minta rangszámai a megfelelő rangszámösszegek Dr Ketskeméty László előadása

Több független minta együttes homogenitás-vizsgálata Kruskal-Wallis próbával Megmutatható, hogy a minták homogenitásának feltételezése mellett a rendstatisztika aszimptotikusan p -1 szabadságfokú 2-eloszlást követ. Dr Ketskeméty László előadása

Két összetartozó minta homogenitásának ellenőrzése Wilcoxon próbával Nullhipotézis: az adatmátrix X és Y változója azonos eloszlásfüggvényhez tartozik-e? az X,Y változópár adatsora a differenciák sora az előjelek sora az abszolút eltérések sora Dr Ketskeméty László előadása

Két összetartozó minta homogenitásának ellenőrzése Wilcoxon próbával az abszolút eltérések rendezett mintája az abszolút eltérések rangszámai a pozitív differenciák rangszám-összege a negatív differenciák rangszám-összege Dr Ketskeméty László előadása

Két összetartozó minta homogenitásának ellenőrzése Wilcoxon próbával Ezután a Wilcoxon-táblázatból adott  >0 elsőfajú hiba megválasztás után kiolvassuk a megfelelő kritikus értékeket, és a nullhipotézist akkor fogadjuk el, ha R+ a két kritikus érték közé esik. Pl.  =0,01 esetén n=6-hoz a 1<R+ <20 relációnak kell fennállnia. Dr Ketskeméty László előadása

Két összetartozó minta homogenitásának ellenőrzése Wilcoxon próbával Ha az n minta elemszám nagy (több mint 25), akkor megmutatható, hogy R+ közel normális eloszlású lesz paraméterekkel. Ilyenkor a nullhipotézis eldöntéséhez az reláció teljesülését kell ellenőrizni, ahol Dr Ketskeméty László előadása

Több összetartozó minta homogenitásának ellenőrzése Friedman próbával Összesen p változó azonos eloszláshoz tartozását ellenőrizzük. az adatmátrix Pl. a különböző időpontokban vett súlyok azonos eloszlásúak-e. Dr Ketskeméty László előadása

Több összetartozó minta homogenitásának ellenőrzése Friedman próbával Készítsük el az adatmátrix minden sorának rangszámait: azt a rangszámot jelenti, hogy hányadik legkisebb elem az adatmátrix első sorában. Dr Ketskeméty László előadása

Több összetartozó minta homogenitásának ellenőrzése Friedman próbával az egyes oszlopokhoz tartozó rangszám-összegek. Ha a homogenitás feltétele (a nullhipotézis) igaz, rangstatisztika aszimptotikusan p-1 szabadságfokú 2-eloszlást követ. Dr Ketskeméty László előadása

Több összetartozó minta homogenitásának ellenőrzése Friedman próbával Ha az n minta elemszám kicsi, akkor a Friedman-táblázatot használjuk. Abban az esetben, ha a homogenitást el kellett vetni, akkor az összes (i,j) párokra vonatkozó kétdimenziós mintákon egyenként ellenőrizzük a homogenitás fennállását, pl. Wilcoxon próbával. Dr Ketskeméty László előadása

Szekvenciális próbák Felmerül a kérdés, hogy nem lehetne olyan próbát szerkeszteni, ami az első és második hibavalószínűség összegét minimalizálja? Wald Ábrahám ( ) olyan szekvenciális eljárást dolgozott ki, amely adott hibavalószínűségek mellett minimalizálja a szükséges mintaelemek várható számát Ennek a módszernek akkor van nagy jelentősége, amikor a mintavétel költséges, mert a vizsgált termék roncsolásával jár. Ilyen pl. a lőszervizsgálat, izzó élettartam-vizsgálat, élelmiszer összetétel-elemzés, stb. Dr Ketskeméty László előadása

Szekvenciális próbák Két paraméter közül szeretnénk választani: Jelölje a két paraméterhez tartozó sűrűségfüggvényeket: A felállított hipotézis a valódi paraméterre vonatkozik: Dr Ketskeméty László előadása

Szekvenciális próbák Legyen egy végtelen hosszú statisztikai minta. Ennek alapján szekvenciális döntésünk (n=1,2,…) a következő: 1. Ha akkor elfogadjuk a nullhipotézist és megállunk; 2. Ha akkor elfogadjuk az alternatívhipotézist és megállunk; 3. Ha akkor további mintát veszünk. Dr Ketskeméty László előadása

Wald-Wolforwitz tétel Az összes olyan (szekvenciális és nem szekvenciális) döntési eljárás közül, amelynek első- és másodfajú hibavalószínűségei nem nagyobbak mint e1 illetve e2 és a szükséges N (véletlen) mintaelemszám várható értéke mindkét hipotézis fennállása esetén véges, a fenti eljárás minimalizálja EN–t. Dr Ketskeméty László előadása

Egzakt tesztek paraméteres próbák (u-, t-, F-, Welch-, stb.) Gn(x)= P(Tn< x) ilyenkor ismert: =1- Gn(t) aszimptotikus nemparaméteres próbák (2-, Kolmogorov-Szmirnov, Wilcoxon-, stb.) Gn(x)= P(Tn< x)G(x) ilyenkor aszimptotikusan ismert: 1- G(t) egzakt tesztek kombinatórikus módszerekkel kiszámoljuk a P(Tn t) valószínűséget! P(Tn t)= szekvenciális próbák adott elsőfajú és másodfajú hibavalószínűséghez számoljuk az n mintaelemszámot Monte Carlo módszerek -t véletlenszám generálással, szimulációval közelítőleg számoljuk Szignifikancia próbák: kiszámoljuk a t számított értékhez tartozó valószínűséget P(Tn t)= Dr Ketskeméty László előadása

Statisztikai hibavalószínűség Az elsőfajú hiba valószínűsége paraméteres próbáknál az  szignifikancia-szint, nemparaméteres próbáknál aszimptotikusan lesz . Viszont kismintás kísérleteknél kérdéses, hogy a próbastatisztika eloszlása milyen közel van a határeloszláshoz. Ilyenkor az aszimptotikus próbák végrehajtása bizonytalansághoz vezet, nagy a másodfajú hibavalószínűség nagysága. Ilyenkor alkalmazandók az egzakt tesztek, amelyek az adott kismintás minta-realizációhoz pontosan kiszámolják az elsőfajú hibavalószínűséget. Dr Ketskeméty László előadása

Mikor alkalmazzunk egzakt tesztet? Azon n mintaméret, amikor érdemes a szignifikancia szintet egzakt teszttel számolni: Egymintás egzakt tesztek: 2 illeszkedésvizsgálat n ≤ 30 Binominális teszt n ≤ 100, 000 Futam-próba (Runs test) n ≤ 20 Egymintás Kolmogorov-Szmirnov próba n ≤ 30 Összetartozó kétmintás egzakt tesztek: Előjel-próba (Sign test) n ≤ 50 Wilcoxon előjel-rangpróba n ≤ 50 McNemar teszt n ≤ 100, 000 Marginális homogenitás teszt n ≤ 50 Dr Ketskeméty László előadása

Mikor alkalmazzunk egzakt tesztet? Független kétmintás egzakt tesztek: Mann-Whitney próba n ≤ 30 Kétmintás Kolmogorov-Smirnov próba n ≤ 30 Wald-Wolfowitz futam próba n ≤ 30 K összetartozó mintás tesztek: Friedman próba n ≤ 30 Kendall-féle W próba n ≤ 30 Cochran-féle Q próba n ≤ 30 K független mintás tesztek: Medián próba n ≤ 50 Kruskal-Wallis próba n ≤ 15, K ≤ 4 Jonckheere-Terpstra próba n ≤ 20, K ≤ 4 kétmintás medián próba n ≤ 100, 000 Dr Ketskeméty László előadása

Mikor alkalmazzunk egzakt tesztet? 22-es kontingencia-táblázatok függetlenségének ellenőrzésére Pearson-féle 2-próba n ≤ 100, 000 Fisher-féle egzakt teszt n ≤ 100, 000 Likelihood-arány próba n ≤ 100, 000 rc-s kontingencia-táblázatok függetlenségének ellenőrzésére Pearson-féle 2-próba n ≤ 30 és min{r, c} ≤ 3 Fisher-féle egzakt teszt n ≤ 30 és min{r, c} ≤ 3 Likelihood-arány próba n ≤ 30 és min{r, c} ≤ 3 Lineáris asszociációs teszt n ≤ 30 és min{r, c} ≤ 3 Dr Ketskeméty László előadása

Egy tea-ízlelési probléma Egyszer egy angol társaságban egy hölgy azt találta mondani, hogy ő meg tudja különböztetni azt, hogy a csészébe először töltik a tejet és arra a teát, vagy pedig a teára öntik rá a tejet. A társaság azonnal szaván fogta, és eléraktak 4-4 csészét összekeverve, hogy állapítsa meg, melyikbe öntötték később a teát. Dr Ketskeméty László előadása

Egy tea-ízlelési probléma Az alábbi eredményt kapták: A kísérlet eredménye alátámasztja-e a hölgy állítását? Dr Ketskeméty László előadása

Egy tea-ízlelési probléma Nullhipotézis: A tea keverése és a hölgy tippje függetlenek egymástól Alternatív hipotézis: A hölgy korrektül meg tudja tippelni a keverés sorrendjét Dr Ketskeméty László előadása

Egy tea-ízlelési probléma Döntés Pearson-féle Chi-négyzet próbával: Dr Ketskeméty László előadása

Egy tea-ízlelési probléma Mivel az alternatív hipotézis az volt, hogy a nő az átlagosnál jobban tippel, ezért egyoldali próbát kell venni, azaz a szignifikancia szint =0,079. Ez alapján 0,05-ös szignifikancia-szinten a nullhipotézis elfogadható. Kérdés: alkalmazható-e ebben az esetben a Chi-négyzet próba, hiszen az csak aszimptotikusan igaz, amikor a mintaelemszám tart végtelenhez. Most csak n=8 elemű mintánk volt! Dr Ketskeméty László előadása

Sir Ronald Aylmer Fisher ( ) „ … a statisztikai módszertan tradicionális gépezete teljesen alkalmatlan a gyakorlati kutatás céljaihoz. Nem elég, hogy ágyúval lő verébre, de mégcsak el sem találja! A végtelen nagy minták gondosan kidolgozott elmélete nem elég pontos az egyszerű laboratóriumi adatokhoz. Csak a kis mintás problémák szisztematikus érdembeli vizsgálatával látszik elérhetőnek, hogy gyakorlati adatokra pontos teszteket alkalmazzunk.” Dr Ketskeméty László előadása

Egy ellenvélemény… Karl Pearson ( ) „Csak huncut sörfőzők foglalkoznak kis mintákkal…” Dr Ketskeméty László előadása

Egy 2x2 -es kontingencia táblázatban, ha a marginális gyakoriságokat fixnek vesszük, a cella-gyakoriságok a hipergeometriai eloszlás alapján képződhetnek. R. A. Fisher jött rá, hogy az elsőfajú hibát ezzel pontosan számolni tudjuk. Tekintsük az általános 2x2-es kontingencia-táblázatot: a négy cella-gyakoriság és a sor-marginálisok és az oszlop-marginálisok a mintaelem-szám Ha et megadjuk, a többi gyakoriság már meghatározott! Annak valószínűsége, hogy az első cella- gyakoriság éppen legyen: Dr Ketskeméty László előadása

Hipergeometriai valószínűség
lehetséges értékei 0,1,2,3,4 lehetnek, így elvileg az alábbi 2x2-es kontingencia-táblázatok jöhetnek ki: Hipergeometriai valószínűség  érték Dr Ketskeméty László előadása

Végrehajtás SPSS-sel Dr Ketskeméty László előadása

A Fisher-féle függetlenségi egzakt próba  szignifikancia szintje (azaz a próba elsőfajú hibája) azoknak a hipergeometriai képlettel számolt valószínűségeknek az összege, amelyeknél cellagyakoriság legalább olyan kedvező az alternatív hipotézishez, mint az, ami ténylegesen megfigyelt volt! Azt kaptuk, hogy jóval szignifikánsabb a nullhipotézis, mint amit a Pearson-féle Chi-négyzet próbánál kaptunk! A tea-kóstolás kísérlete nem győz meg bennünket a hölgy állításáról! Mi történt volna, ha kétszeres, vagy háromszoros mintán produkálta volna a hölgy azt, hogy háromszor annyiszor eltalálja a tea-keverést, mint eltéveszti azt? Dr Ketskeméty László előadása

Eredeti gyakoriságok n=8, =0,242 Látható, hogy 24 tea elfogyasztásánál, már meggyőző lett volna az állítása! Kétszeres gyakoriság n=16, =0,066 Háromszoros gyakoriság n=24, =0,020 Dr Ketskeméty László előadása

Binomiális próba *Minőségellenőrzéskor azt vizsgálják, hogy a gyártáskor keletkező selejtarány nem haladja-e meg az eltűrt π0=0,05 szintet. Egy N=10 elemű mintában k0=3 selejteset találtak. Hogyan döntsünk? * Conover: Practical nonparametric statistics, J. Wiley, 1999, p. 96 Dr Ketskeméty László előadása

Binomiális próba Az N=10 elemű mintában a selejtesek száma XB(N,π) binomiális eloszlást követ, ahol π a tényleges selejtarány a teljes populációban. H0: π ≤ π0 H1: π > π0 A nullhipotézis fennállása esetén annak valószínűsége, hogy selejtesek száma 3, vagy annál is több legyen : Dr Ketskeméty László előadása

Binomiális próba Ha elfogadjuk a nullhipotézist, akkor az elsőfajú hiba, a szignifikanciaszint maximum (π=π0=0,05 esetén) 0, lehet: Tehát =0,05 szinten elvetjük a nullhipotézist! Dr Ketskeméty László előadása

Végrehajtás SPSS-sel Dr Ketskeméty László előadása

Mann-Whitney próba (Wilcoxon, 1945) X1,X2,…,Xn1 az egyik minta, melynek eloszlásfüggvénye F1 Y1,Y2,…,Yn2 a másik minta, melynek eloszlásfüggvénye F2 H0: F1=F2 H1: F1(x)=F2(x-)  az ismeretlen eltolási paraméter ha  előjele ismert, egyoldali a próba ha  előjele nem ismert, kétoldali a próba x1,x2,…,xn1 és y1,y2,…,yn2 a két minta realizációja, n1+n2=N az egyesített minta elemszáma, z1,z2,…,zN az egyesített (összefésült) mintarealizáció a[1] ≤ a[2] ≤ … ≤ a[N] az összefésült minta rangszámai Dr Ketskeméty László előadása

Mann-Whitney próba (Wilcoxon, 1945) A z1,z2,…,zN az egyesített mintát elvileg ( ) féleképpen lehet két részre tördelni. Ha igaz a nullhipotézis, akkor bármilyen szétosztáskor a minták azonos eloszlást kell, hogy kövessenek! N n1 A T próbastatisztika az első mintához tartozó rangszám-összeg T(x1,x2,…,xn1 )=t a mintarealizációhoz tartozó számított érték Jelölje w a minta egy lehetséges két részre bontását! Minden felbontás azonos esélyű: A számított érték valószínűsége: A szignifikancia-szint: Dr Ketskeméty László előadása

Mann-Whitney próba (Wilcoxon, 1945) Jelölje r1, r2,…,rn1 illetve w1,w2,…,wn2 a minták rangszámait! T= r1+ r2+…+rn1 a próbastatisztika E(T) = n1(n1 + n2 + 1) ⁄ 2 Var(T)= n1 n2 ⁄ 12  [n1 + n2 + 1-(g l=1 el(el2-1)) ⁄ (n1+ n2 )(n1 + n2 - 1)] g a különböző rangszámok száma az első mintában Egzakt egyoldali szignifikancia szint: p1=minP(Tt), P(Tt) Egzakt kétoldali szignifikancia szint: p2=P(|T-E(T)|  |t-E(T)|) Dr Ketskeméty László előadása

Mann-Whitney próba (Wilcoxon, 1945) Például: első n1=5 elemű mintarealizáció: 27, 30, 55, 72, 18 második n2=3 elemű mintarealizáció: 38, 9, 27 N=8, összesen 56 szétosztás (permutáció) lehetséges az összefésült minta: 27, 30, 55, 72, 18, 38, 9, 27 a rendezett minta: 9, 18, 27, 27, 30, 38, 55, 72 a rangszámok: 1, 2, 3.5, 3.5, 5, 6, 7, 8 az első minta rangszámai: 3.5, 5, 7, 8, 2 a második minta rangszámai: 6, 1, 3.5 Az első minta rangszám összege: =25.5 Dr Ketskeméty László előadása

h(w)=1/56 E(T)=22,5 t=25,5 P(Tt)=13/56 P(T=t)=4/56 P(Tt)=47/56 p1=13/56 p2=26/56 Dr Ketskeméty László előadása

Végrehajtás SPSS-sel t 26/56 13/56 4/56 Dr Ketskeméty László előadása

Példa 2-próbával illeszkedésvizsgálatra A World 95 állományban ellenőrizzük, hogy az országok egyenletesen vannak-e szétosztva az egyes gazdasági régiókban! Dr Ketskeméty László előadása

Példa 2-próbával illeszkedésvizsgálatra Dr Ketskeméty László előadása

Példa 2-próbával illeszkedésvizsgálatra Az országok eloszlása a régiókban egyenletesnek tekinthető! Dr Ketskeméty László előadása

Példa 2-próbával függetlenségvizsgálatra Független-e a kor a fogyasztás mennyiségétől? Dr Ketskeméty László előadása

Példa 2-próbával függetlenségvizsgálatra Dr Ketskeméty László előadása

Példa 2-próbával függetlenségvizsgálatra A jelentős szignifikancia-szint arra utal, hogy a függetlenséget feltételező nullhipotézis igaz! A páciens korától nem függ a fogyás mennyisége! Dr Ketskeméty László előadása

Példa 2-próbával függetlenségvizsgálatra Független-e a vérzsírcsökkenés (triglicerid) a fogyasztás mennyiségétől? Dr Ketskeméty László előadása

Példa 2-próbával függetlenségvizsgálatra A jelentős szignifikancia-szint arra utal, hogy a függetlenséget feltételező nullhipotézis igaz! A vérzsírtartalom nem függ a fogyás mennyiségétől! Dr Ketskeméty László előadása

Példa egymintás Kolmogorov-Szmirnov próbára Normális eloszlást követ-e a fogyás? Dr Ketskeméty László előadása

Példa egymintás Kolmogorov-Szmirnov próbára Dr Ketskeméty László előadása

Példa egymintás Kolmogorov-Szmirnov próbára Jelentős nagyságú a szignifikancia szint, el kell hogy fogadjuk a nullhipotézist! A fogyás jól illeszkedik a normális eloszláshoz! Dr Ketskeméty László előadása

Példa kétmintás Kolmogorov-Szmirnov próbára Ellenőrizzük, hogy a kezdeti súly azonos eloszlású-e a végsúllyal! Dr Ketskeméty László előadása

Példa kétmintás Kolmogorov-Szmirnov próbára Dr Ketskeméty László előadása

Példa kétmintás Kolmogorov-Szmirnov próbára A súlyeloszlások homogenitása fennáll! Dr Ketskeméty László előadása

Példa Mann-Whitney próbára Azonos eloszlást követ-e a GDP eloszlása a latin-amerikai és a kelet-európai országok esetében? A world 95 adatmátrixban most X a gdp_cap, az Y csoportképző változó pedig a region. Dr Ketskeméty László előadása

Példa Mann-Whitney próbára Dr Ketskeméty László előadása

Példa Mann-Whitney próbára Kelet-Európában magasabbak a GDP értékek! A próba nem fogadható el! Dr Ketskeméty László előadása

Példa Kruskal-Wallis próba alkalmazására Ellenőrizzük, hogy a world 95 állományban a férfiak és a nők várható élettartamai azonos eloszlást követnek-e a különböző éghajlati viszonyok között! A lifeexpm, lifeexpf változók vannak az X szerepében, A climate változó lesz az Y tördelő változó. Az uralkodó klima szerint fogjuk csoportosítani a lifeexpm és lifeexpf értékeit! Dr Ketskeméty László előadása

Példa Kruskal-Wallis próba alkalmazására X Y Dr Ketskeméty László előadása

Dr Ketskeméty László előadása

Példa Kruskal-Wallis próba alkalmazására Alacsonyak a szignifikancia szintek, azaz az életkorok másként alakulnak más klimatikus régiókban! Alacsonyak a szignifikancia szintek, azaz az életkorok másként alakulnak más klimatikus régiókban! Dr Ketskeméty László előadása

Példa a Wilcoxon próba alkalmazására Ellenőrizzük, hogy a dietstudy állományban a kezdetisúly és végsúly azonos eloszlást követnek-e! A vizsgált összetar-tozó változók A vizsgált összetar-tozó változók Dr Ketskeméty László előadása

Példa a Wilcoxon próba alkalmazására Dr Ketskeméty László előadása

Példa a Wilcoxon próba alkalmazására Természetesen a szignifikancia szint ennek megfelelően 0! Mindegyik differencia negatív volt, vagyis mind a 16 páciens fogyott! Dr Ketskeméty László előadása

Példa a Friedman próba alkalmazására Ellenőrizzük, hogy a dietstudy állományban a különböző időpontokban mért testsúlyok azonos eloszlást követnek-e! Dr Ketskeméty László előadása

Példa a Friedman próba alkalmazására Dr Ketskeméty László előadása

Példa a Friedman próba alkalmazására a súlyok rangszámai csökkenő trendet mutatnak A nullhipotézist elutasítjuk Dr Ketskeméty László előadása

Páronkénti Wilcoxon-próbák Az összes párosítást beállítjuk! Dr Ketskeméty László előadása

Egyik párnál sem fogadható el a homogenitás! Dr Ketskeméty László előadása

A fontosabb nemparaméteres próbák áttekintő táblázata Dr Ketskeméty László előadása

Informatikai Tudományok Doktori Iskola

Hasonló előadás

Az előadások a következő témára: "Informatikai Tudományok Doktori Iskola"— Előadás másolata:

Hasonló előadás

Projectumról

Visszajelzés

Bejelentkezés

A társadalmi hálózaton keresztül belépni:

Informatikai Tudományok Doktori Iskola

Hasonló előadás

Az előadások a következő témára: "Informatikai Tudományok Doktori Iskola"— Előadás másolata:

Hasonló előadás

Projectumról

Visszajelzés