Gyakorlati probléma 20 különböző gyógyszert próbálunk ki, t-próbával összehasonlítva a kezelt és a kontrol csoportot A nullhipotézis elfogadásáról vagy.

Az előadások a következő témára: "Gyakorlati probléma 20 különböző gyógyszert próbálunk ki, t-próbával összehasonlítva a kezelt és a kontrol csoportot A nullhipotézis elfogadásáról vagy."— Előadás másolata:

1 Gyakorlati probléma 20 különböző gyógyszert próbálunk ki, t-próbával összehasonlítva a kezelt és a kontrol csoportot A nullhipotézis elfogadásáról vagy elvetéséről 5%-os szignifikancia-szinten döntünk Ha a nullhipotézis mind a 20 esetben igaz, mi a valószínűsége, hogy 1, 2, 3 stb. esetben mégis elvetjük a nullhipotézist? Az elsőfajú hiba elkövetésének száma milyen nevezetes eloszlást követ és milyen paraméterekkel?

2 „Statistical fishing”
Addig mártogatjuk a statisztika hálóját az adatok tengerébe, amíg nem fogunk vele szignifikáns eredményt A nem szignifikáns eredményeket is közölni kell!

3 per comparison error rate: annak a valószínűsége, hogy egy statisztikai teszt elvégzésekor elkövetjük az elsőfajú hibát experimentwise error rate (Pa*): annak valószínűsége, hogy egy kísérlet kiértékelése során (ami állhat több páros összehasonlításból is) legalább egyszer elkövetjük az elsőfajú hibát Ha az összehasonlítások egymástól függetlenek és c darab összehasonlítást végzünk: Ha az összehasonlítások nem függetlenek (például minden lehetséges párosításban elvégezzük az összehasonlítást) nagyon megnő az experimentwise error rate.

4 Az elsőfajú hibás döntések számának eloszlása 10 összehasonlítás esetén. (1) ha az összehasonlítások függetlenek, (2) ha 5 mintát hasonlítunk össze az összes lehetséges párosításban.

5 Megoldások az experimentwise error megnövekedése okozta problémákra
Előzetes adatfeltárást végzünk  csak kevés összehasonlítást kell elvégeznünk a bizonyító vizsgálatban Olyan tesztet végzünk, amelynél a nullhipotézis az, hogy minden érték egyenlő, az alternatív hipotézis, hogy legalább egy érték különbözik a többitől várhatóértékek összehasonlítása: ANOVA varianciák összehasonlítása: Bartlett próba ha nem tudunk ilyen tesztet végezni (pl. korrelációt számoltunk 5 változó között minden párosításban) Bonferroni-korreció szekvenciális Bonferroni-korrekció Mindkettő túl konzervatív! False Discovery Rate-re vonatkozó korrekció (Benjamini-Hochberg módszer)

6 Bonferroni-korrekció
Előre eldöntjük az experimentwise error rate maximális még elfogadható értékét (a*) Az egyes teszteknél korrigált szignifikancia szintet (acorr) használunk, amit úgy állapítunk meg, hogy az experimentwise error rate pont a* legyen

7 Szekvenciális Bonferroni-korrekció
Először arról az összehasonlításról döntünk, ahol a legkisebb az elsőfajú hiba valószínűsége Ha itt elfogadjuk a null-hipotézist, akkor a többi esetben is el kell fogadnunk Ha elvetjük a null-hipotézist akkor megismételjük az eljárást a maradék összehasonlításokra, úgy mintha eleve csak annyi összehasonlítást végeztünk volna

8 A Bonferroni-korrekció veszélyei
Nagyon megnőhet a másodfajú hiba valószínűsége Egyes szerzők vitatják az alkalmazásának szükségességét

9 Benjamini-Hochberg módszer I.
False discovery rate: azoknak az eseteknek a száma amikor hibásan vetjük el a nullhipotézist / az összes olyan eset száma amikor elvetjük a nullhipotézist Experimentwise error rate: annak a valószínűsége, hogy legalább egyszer hibásan vetjük el a nullhipotézist

10 Benjamini-Hochberg módszer II.
Rakjuk az összehasonlításokat az elsőfajú hiba szerint növekvő sorrendbe Az i-dik összehasonlításra a szignifikancia szint i*a/m (m=az összehasonlítások száma) vagyis a legkisebb p-értéket a/m-hez hasonlítjuk, a legnagyobbat a-hoz ha egy összehasonlítás szignifikáns, akkor az összes nála kisebb elsőfajú hibájú is az. Forrás: García, L. V Controlling the false discovery rate in ecological research. Trends in Ecology and Evolution 18: Verhoeven, K. J. F., Simonsen, K. L., McIntyre, L. M Implementing false discovery rate control: increasing your power. Oikos 108:

11 ANOVA

12 A próba célja Kettőnél több várhatóérték összehasonlítása a becsléseik (mintaátlagok) alapján

13 A próba logikája Az átlagok közötti különbséget a csoportokon belüli, a becslésből adódó különbségekhez hasonlítjuk Akkor különbözik két várhatóérték, ha az átlagok különbsége, lényegesen nagyobb a csoporton belüli különbségnél

14 A próba feltételei A csoportokon belül az adatok normális eloszlásúak
A csoportokra jellemző eloszlások várhatóértéke lehet eltérő, de szórása nem Mindkét feltétel teljesülését ellenőrizhetjük, ha képezzük a csoportátlagtól vett eltéréseket (reziduálisok) és megvizsgáljuk, hogy az összes csoportra együtt normális eloszlásúak-e. (Nagyobb elemszám  robosztusabb eredmény)

15 A próba elméleti háttere
Az adatainkat p darab csoportba soroljuk, és a csoportok várhatóértékeit hasonlítjuk össze Az i-dik csoportban ni darab adat van, összesen N darab adatunk van Jelöljük az i-dik csoport k-dik adatát yik-val. Jelöljük az i-dik csoport átlagát yi.-tal, az összes adat átlagát y..-tal

16 A próba elméleti háttere 2.
Nem formalizált nullhipotézis: a várhatóérték minden csoportban azonos Formalizált nullhipotézis: yik=N(m+ai,s) minden ai=0

17 A próba elméleti háttere 3. Az eltérésnégyzetösszeg felbontása
az mennnyiséget teljes eltérésnégyzetösszegnek nevezzük ez két komponensre bontható: az adatok eltérése a csoportátlagtól a csoportátlagok eltérése a főátlagtól SQT=SQA+SQE

18 A próba elméleti háttere 4.
Ha a nullhipotézis igaz, az alapsokaság szórását mind a három eltérésnégyzetösszeg alapján becsülhetjük:

19 A próba elméleti háttere 5.
A varianciabecslések nevezőiben szereplő szabadsági fokok is additívak, de a varianciák nem Az nem független a másik két variancia-becsléstől, ezért a hipotézisvizsgálat során a másik két becslést hasonlítjuk össze

20 A próba elméleti háttere 6.
Variancia-táblázat (lásd a kiosztott anyagban) A varianciákra vonatkozó hipotézisek: H0: H1: Mindig egyoldali az alternatív hipotézis! Ezt a nullhipotézist a korábban tanult módon F-próbával tesztelhetjük!

21 Mi van ha elvetjük a nullhipotézist?
Csak annyit tudunk, hogy nem minden várhatóérték egyenlő Ha meg akarjuk keresni azt is, hogy mi különbözik mitől, a teendőnk attól függ, hogy: tervezett vagy nem tervezett összehasonlításokat végzünk ortogonálisak vagy nem az összehasonlítások

22 Tervezett összehasonlítás: előre (elmélet vagy más adatok alapján) eldöntjük, hogy milyen összehasonlításokat fogunk elvégezni Nem tervezett összehasonlítás: az adatok ismeretében döntünk arról, hogy mit hasonlítunk össze. Nem tervezett összehasonlítás, ha mindent-mindennel összehasonlítunk.

23 Kontrasztok (páros összehasonlításnál): az egyik összehasonlítandó kezelésnek -1, a másiknak 1, a többi kezelésnek nulla a kontrasztja. Orthogonális összhasonlítás: a két összehasonlítás kontrasztjait kezelésenként összeszorozzuk. Ha a szorzatok összege nulla, a két összehasonlítás ortogonális.

24 tervezett, de nem ortogonális összehasonlítások
tervezett és ortogonális összehasonlítások  kétmintás t-próba + korrekció tervezett, de nem ortogonális összehasonlítások általában: úgy kezeljük, mintha nem tervezett lenne (konzervatív teszt) vagy kétmintás t-próba és Benjamini-Hochberg korrekció speciális eset: egy kontroll csoport összehasonlítása az összes többivel  Dunnett teszt nem tervezett összehasonlítások  számos post hoc teszt közül lehet választani, javasolt a Tukey teszt

25 Fix és random faktorok Fix faktor: ha a kezelés szintjeit előre megállapítjuk és kontrolláljuk (pl. mennyi műtrágyát adunk) Random faktorok: az értékeket a lehetséges értékek halmazából random vákasztjuk (pl. melyik táblán csináljuk a kísérletet) Az eddigiek a fix faktorokra vonatkoztak A random faktoroknál a levezetés más lenne, de ugyanazt az F-próbát kell elvégezni Random faktoroknál csak az a kérdés, hogy van-e a faktornak hatása  nem végzünk páronkénti összehasonlítást