Kísérlettervezés és értékelés

Az előadások a következő témára: "Kísérlettervezés és értékelés"— Előadás másolata:

1 Kísérlettervezés és értékelés
Honlap:

2 Általános bevezetés Koncepcionális meggondolások a kísérletek és a statisztikai szemlélet kapcsolatáról A teljes folyamat áttekintése Tervezési szakasz Adatgyűjtési szakasz Értékelési szakasz exploráló adatelemzés statisztikai elemzés Jegyzőkönyvezés, dokumentálás

3 Ezen előadás legfontosabb mondanivalói
A véletlen változékonyságot, szóródást okoz A kísérletező(k) vágyai befolyásolják az eredményeket A kutatás legfontosabb lépése a tervezés A tervezés és az értékelés szorosan összefüggenek Az eredmények értékelésében kell a statisztikai szemlélet néhány számítási módszert magunk is elvégezhetünk

4 André-Marie Ampēre (Andre-Marie Ampere, 1775-1836)
1. A researcher invents a new hypothesis about some area of experience (on the basis of earlier research, intuition, and logic) 2. A researcher infers an empirically testable implication of the hypothesis. 3. A researcher then performs an empirical research project to test whether the implication is actually present in the area of experience. 4. If evidence of the implication is found (and in the absence of a reasonable alternative explanation), the community with prime interest in the area of experience will (by informal consensus) accept (or will be more inclined to accept) the hypothesis framed in step 1 as being correct.

5 A kísérletező pszichológiája, érdekei
T. C. Chamberlin: The Method of Multiple Working Hypotheses. With this method the dangers of parental affection for a favorite theory can be circumvented. Science (old series): 15, 92, 1890 Science 148: (1965), reprinted Premature theories Ruling theories linger A family of hypotheses Drawbacks of the method Multiple hypotheses and practical affairs Danger vacillation Imperfections of knowledge

6 A társadalom érdeke, hogy a kutató objektiv legyen
A kutatás objektivitását egyre több jogszabály, előírás próbálja biztosítani. Ez különösen fontos a gyógyszerek, készülékek, eljárások kipróbálásakor Ez ugyanolyan fontos az elméleti hipotézisek vizsgálatánál Good Laboratory Practice Good Clinical Practice

7 A statisztikai meggondolásokra (konzultációra) a kisérlet előtt kerüljön sor

8 Változók kiválasztása
Kutatási kérdések Hypotézisek Predikciók Elővizsgálatok Változók kiválasztása Adatfelvételi módszer Adatgyüjtés Explorativ adatelemzés Konfirmativ adatelemzés Précsényi István: Alapvető kutatástervezési, statisztikati,…. Debrecen, 1995

9 A „feltáró” kutatás (elővizsgálatok)
Van feltételezésünk, de keveset tudunk: A kísérletben alkalmazott módszerekről A módszer hibájáról A várható szóródásról Kísérleti beavatkozásainktól várható változások (?) irányáról és méretéről A kísérletezés költségeiről, komplikációkról

10 „Bizonyító” kutatás Ennek tervezéséhez
van határozott ismeretünk (előkísérletből) a célról a populációról a változókról a várható szóródásról a kiértékelés módszeréről a várható, vagy megismerni kívánt mértékű (nagyságú) eredményről (szükséges a vizsgálat erejének számításához)

11 1. Megfigyeléses vizsgálatok (elsősorban klinikai, epidemiológiai kutatásban, nem részletezzük)
Eset-sorozat (case-series), leíró Eset-kontroll (case-control), retrospektiv Keresztmetszeti felmérés, jelenlegi helyzet jellemzésére Kohorsz tanulmány, prospektiv, előretekintő Historikus kohorsz tanulmány, részben retrospektiv, onnan előre elemez

12 2. Beavatkozások vizsgálata
Vizsgálatok, kontrollhoz hasonlitással Parallel kontrollok randomizált nem-randomizált Szekvenciális kontrollok önkontrollos cross-over, önkontrollos Külső kontroll (benne a történeti kontroll) Kontroll nélküli vizsgálatok (?) Abszolút érték meghatározása (standardhoz hasonlítással)

13 Az adatok integritása Minden adat rögzítendő
Minden nem tervezett tulajdonság jegyzőkönyvezendő „Hibás adat” azonosítása, kezelése, eltávolítása hogyan történhet? Outlier adat sorsa (nincs ismert hibája, csak az értéke „kilóg”) A rögzített adatok ellenőrizendők számitás előtt és után (gyakori hibaforrás?)

14 A szoftver, a számítások integritása
Jó és hiteles szoftvert használjunk A célnak pontosan megfelelő számítást végezzünk Az elemzett adatok köre rögzítendő A rögzített adatok ellenőrizendők számítás előtt és után Az elemzés menete, eredménye ellenőrizendő, fileba, papirra nyomtatandó Statisztikai jegyzőkönyvezés (is) kell (GLP) Példa:

15 Jelentések, közlemények, adatok
Az eredmények tárgyszerű közlése A módszerek ismételhetőségét bemutatni Az értékelés módszere, megismételhetőségét illusztrálni kell

16 A szisztémás hibák elleni védekezés (minimalizálásuk) eszköze
a randomizálás Segít biztosítani a módszer kinduló feltételeinek teljesülését (véletlen minta) Sokféleképen lehet randomizálni egyszerűen blokkokban rétegezetten A vak és a kettős vak módszer véd a szubjektív hibák ellen (blind, double blind: „vak” – vagy „redőny, ”? Lásd Chamberlin cikkét Néha a vak kisérletezés nem könnyű

17 Kísérleti elrendezések egyes típusai (a megvalósítás terve)
Random elrendezés (véletlenszerűen kiválasztott k csoport) Randomizált blokk elrendezés, (ahol kísérlet-technikai csoportosítás is történik) Független alanyok, kísérleti egységek önkontroll, egy alanyon több mérés vegyes: egyes tényezők független alanyon, más tényezők önkontrollos elrendezésben Faktoriális elrendezés (ahol sok szempont, faktor szerinti elrendezést vizsgálunk) Latin négyzet elrendezés (ahol kevés alanyon kell sok szempont szerint vizsgálni)

18 A vizsgálat kiterjedése
Vizsgálat alanyai Változók Fő változó(k) Másodlagos változók (mit érdemes mérni, mit nem) Összetett változók Összefüggés a változók között Kategorizálás, mérés Mérési skálák

19 Az összehasonlítás tipusai
Kontroll (placebo, és/vagy kezeletlen) -- kezelés “Konvencionális” -- új kezelés Ekvivalencia (x anyag -- y anyag összehasonlítása) Dózis--hatás összefüggés, függvény keresése Receptor kötés (kötési paraméterek) enzimaktivitás (enzim paraméterek) Kölcsönhatások vizsgálata

20 Lebonyolítás Legyen-e közbülső elemzés, vagy fix méret, végső elemzéssel Kizárási feltételek (egyes adat, alany „kiesése”) Meddig folytassuk? Cut your losses? Döntésig Előre tervezett időpontig, vagy mennyiségig?

21 Jegyzőkönyvezés (statisztikai...)
Az adatok részletes vizsgálatának alapja Outliers és a jegyzőkönyv Outliers és statisztikai kritériumok Outliers és a report, cikk irása Kizárási feltételeket előre kell(ene) megadni A hiányzó értékek esete (“pótlás”, dummy)

22 Transzformálás (szisztémás adatátalakítás)
Mindig történik (valamilyen) transzformálás A mérés során (műszerbe építetten, kalibrálásnál, számolásnál) gyakori a lineáris, vagy nem líneáris transzformáció A mérési célú transzformációnak van (?) szaktudományos alapja Példa: logit transzformáció radioimmun mérések kiértékelésénél linearizálja a kalibrációs görbét A statisztikai célú transzformáció a kiértékelés lehetőségeit módosítja Példa: a szórás arányos a csoport átlagával – a logaritmikus transzformáció ezt eltüntetheti Lehetőleg a tervezési szakaszban meg kell adni a lehetséges eljárást. Ne attól tegyük függővé a transzformálást, hogy utána kijön-e a kívánt eredmény….

23 Kiinduló feltételezések
A mért változó nominális skálán ordinális skálán numerikus skálán (eloszlása nem standard normális) A null hipotézis eloszlások azonossága a mediánok azonossága A minták száma Lehet 1, 2, >2

24 A hipotézis vizsgálat kimenetele

25 A döntési küszöbök értékei
Elsőfajú hiba (alfa), második fajú hiba (béta) A nem paraméteres módszereknél a béta meghatározása nehéz, a “power”, a módszer ereje gyakran ismeretlen

26 A módszer választáshoz útmutatás
Függ: A kutatási kérdéstől Kísérleti elrendezéstől A mérés skálájától (nominális, rang, intervallum) Az elemszámtól Van-e különbség? 1 csoport 2 csoport 3, vagy több csoport Van-e összefüggés? Hány független változó van?

27 Módszerek választása (nem paraméteres eset, bevezető kurzus)

28 Módszerek választása (haladó)