Gyakorlati probléma 20 különböző gyógyszert próbálunk ki, t-próbával összehasonlítva a kezelt és a kontrol csoportot A nullhipotézis elfogadásáról vagy elvetéséről 5%-os szignifikancia-szinten döntünk Ha a nullhipotézis mind a 20 esetben igaz, mi a valószínűsége, hogy 1, 2, 3 stb. esetben mégis elvetjük a nullhipotézist? Az elsőfajú hiba elkövetésének száma milyen nevezetes eloszlást követ és milyen paraméterekkel?

„Statistical fishing” Addig mártogatjuk a statisztika hálóját az adatok tengerébe, amíg nem fogunk vele szignifikáns eredményt A nem szignifikáns eredményeket is közölni kell!

per comparison error rate: annak a valószínűsége, hogy egy statisztikai teszt elvégzésekor elkövetjük az elsőfajú hibát experimentwise error rate (Pa*): annak valószínűsége, hogy egy kísérlet kiértékelése során (ami állhat több páros összehasonlításból is) legalább egyszer elkövetjük az elsőfajú hibát Ha az összehasonlítások egymástól függetlenek és c darab összehasonlítást végzünk: Ha az összehasonlítások nem függetlenek (például minden lehetséges párosításban elvégezzük az összehasonlítást) nagyon megnő az experimentwise error rate.

Az elsőfajú hibás döntések számának eloszlása 10 összehasonlítás esetén. (1) ha az összehasonlítások függetlenek, (2) ha 5 mintát hasonlítunk össze az összes lehetséges párosításban.

Megoldások az experimentwise error megnövekedése okozta problémákra Előzetes adatfeltárást végzünk  csak kevés összehasonlítást kell elvégeznünk a bizonyító vizsgálatban Olyan tesztet végzünk, amelynél a nullhipotézis az, hogy minden érték egyenlő, az alternatív hipotézis, hogy legalább egy érték különbözik a többitől várhatóértékek összehasonlítása: ANOVA varianciák összehasonlítása: Bartlett próba ha nem tudunk ilyen tesztet végezni (pl. korrelációt számoltunk 5 változó között minden párosításban) Bonferroni-korreció szekvenciális Bonferroni-korrekció Mindkettő túl konzervatív! False Discovery Rate-re vonatkozó korrekció (Benjamini-Hochberg módszer)

Bonferroni-korrekció Előre eldöntjük az experimentwise error rate maximális még elfogadható értékét (a*) Az egyes teszteknél korrigált szignifikancia szintet (acorr) használunk, amit úgy állapítunk meg, hogy az experimentwise error rate pont a* legyen

Szekvenciális Bonferroni-korrekció Először arról az összehasonlításról döntünk, ahol a legkisebb az elsőfajú hiba valószínűsége Ha itt elfogadjuk a null-hipotézist, akkor a többi esetben is el kell fogadnunk Ha elvetjük a null-hipotézist akkor megismételjük az eljárást a maradék összehasonlításokra, úgy mintha eleve csak annyi összehasonlítást végeztünk volna

A Bonferroni-korrekció veszélyei Nagyon megnőhet a másodfajú hiba valószínűsége Egyes szerzők vitatják az alkalmazásának szükségességét

Benjamini-Hochberg módszer I. False discovery rate: azoknak az eseteknek a száma amikor hibásan vetjük el a nullhipotézist / az összes olyan eset száma amikor elvetjük a nullhipotézist Experimentwise error rate: annak a valószínűsége, hogy legalább egyszer hibásan vetjük el a nullhipotézist

Benjamini-Hochberg módszer II. Rakjuk az összehasonlításokat az elsőfajú hiba szerint növekvő sorrendbe Az i-dik összehasonlításra a szignifikancia szint i*a/m (m=az összehasonlítások száma) vagyis a legkisebb p-értéket a/m-hez hasonlítjuk, a legnagyobbat a-hoz ha egy összehasonlítás szignifikáns, akkor az összes nála kisebb elsőfajú hibájú is az. Forrás: García, L. V. 2003. Controlling the false discovery rate in ecological research. Trends in Ecology and Evolution 18: 553-554. Verhoeven, K. J. F., Simonsen, K. L., McIntyre, L. M. 2005. Implementing false discovery rate control: increasing your power. Oikos 108:643-647.

ANOVA

A próba célja Kettőnél több várhatóérték összehasonlítása a becsléseik (mintaátlagok) alapján

A próba logikája Az átlagok közötti különbséget a csoportokon belüli, a becslésből adódó különbségekhez hasonlítjuk Akkor különbözik két várhatóérték, ha az átlagok különbsége, lényegesen nagyobb a csoporton belüli különbségnél

A próba feltételei A csoportokon belül az adatok normális eloszlásúak A csoportokra jellemző eloszlások várhatóértéke lehet eltérő, de szórása nem Mindkét feltétel teljesülését ellenőrizhetjük, ha képezzük a csoportátlagtól vett eltéréseket (reziduálisok) és megvizsgáljuk, hogy az összes csoportra együtt normális eloszlásúak-e. (Nagyobb elemszám  robosztusabb eredmény)

A próba elméleti háttere Az adatainkat p darab csoportba soroljuk, és a csoportok várhatóértékeit hasonlítjuk össze Az i-dik csoportban ni darab adat van, összesen N darab adatunk van Jelöljük az i-dik csoport k-dik adatát yik-val. Jelöljük az i-dik csoport átlagát yi.-tal, az összes adat átlagát y..-tal

A próba elméleti háttere 2. Nem formalizált nullhipotézis: a várhatóérték minden csoportban azonos Formalizált nullhipotézis: yik=N(m+ai,s) minden ai=0

A próba elméleti háttere 3. Az eltérésnégyzetösszeg felbontása az mennnyiséget teljes eltérésnégyzetösszegnek nevezzük ez két komponensre bontható: az adatok eltérése a csoportátlagtól a csoportátlagok eltérése a főátlagtól SQT=SQA+SQE

A próba elméleti háttere 4. Ha a nullhipotézis igaz, az alapsokaság szórását mind a három eltérésnégyzetösszeg alapján becsülhetjük:

A próba elméleti háttere 5. A varianciabecslések nevezőiben szereplő szabadsági fokok is additívak, de a varianciák nem Az nem független a másik két variancia-becsléstől, ezért a hipotézisvizsgálat során a másik két becslést hasonlítjuk össze

A próba elméleti háttere 6. Variancia-táblázat (lásd a kiosztott anyagban) A varianciákra vonatkozó hipotézisek: H0: H1: Mindig egyoldali az alternatív hipotézis! Ezt a nullhipotézist a korábban tanult módon F-próbával tesztelhetjük!

Mi van ha elvetjük a nullhipotézist? Csak annyit tudunk, hogy nem minden várhatóérték egyenlő Ha meg akarjuk keresni azt is, hogy mi különbözik mitől, a teendőnk attól függ, hogy: tervezett vagy nem tervezett összehasonlításokat végzünk ortogonálisak vagy nem az összehasonlítások

Tervezett összehasonlítás: előre (elmélet vagy más adatok alapján) eldöntjük, hogy milyen összehasonlításokat fogunk elvégezni Nem tervezett összehasonlítás: az adatok ismeretében döntünk arról, hogy mit hasonlítunk össze. Nem tervezett összehasonlítás, ha mindent-mindennel összehasonlítunk.

Kontrasztok (páros összehasonlításnál): az egyik összehasonlítandó kezelésnek -1, a másiknak 1, a többi kezelésnek nulla a kontrasztja. Orthogonális összhasonlítás: a két összehasonlítás kontrasztjait kezelésenként összeszorozzuk. Ha a szorzatok összege nulla, a két összehasonlítás ortogonális.

tervezett, de nem ortogonális összehasonlítások tervezett és ortogonális összehasonlítások  kétmintás t-próba + korrekció tervezett, de nem ortogonális összehasonlítások általában: úgy kezeljük, mintha nem tervezett lenne (konzervatív teszt) vagy kétmintás t-próba és Benjamini-Hochberg korrekció speciális eset: egy kontroll csoport összehasonlítása az összes többivel  Dunnett teszt nem tervezett összehasonlítások  számos post hoc teszt közül lehet választani, javasolt a Tukey teszt

Fix és random faktorok Fix faktor: ha a kezelés szintjeit előre megállapítjuk és kontrolláljuk (pl. mennyi műtrágyát adunk) Random faktorok: az értékeket a lehetséges értékek halmazából random vákasztjuk (pl. melyik táblán csináljuk a kísérletet) Az eddigiek a fix faktorokra vonatkoztak A random faktoroknál a levezetés más lenne, de ugyanazt az F-próbát kell elvégezni Random faktoroknál csak az a kérdés, hogy van-e a faktornak hatása  nem végzünk páronkénti összehasonlítást