HOGYAN OLVASSUNK KRITIKUSAN ORVOSI FOLYÓIRATOKBAN MEGJELENT CIKKEKET?

Az előadások a következő témára: "HOGYAN OLVASSUNK KRITIKUSAN ORVOSI FOLYÓIRATOKBAN MEGJELENT CIKKEKET?"— Előadás másolata:

1 HOGYAN OLVASSUNK KRITIKUSAN ORVOSI FOLYÓIRATOKBAN MEGJELENT CIKKEKET?

2 EMLÉKEZTETŐ, MIELŐTT ELKEZDENÉNK, A KONFIDENCIA INTERVALLUM ((megbízhatósági tartomány)
Mérni csak a mintát tudjuk, de az egész mérésnek csak akkor van értelme, ha a mintából a populációra tudunk következtetni.!!! A teljes populációt vagy soha sem fogjuk megismerni (pl. minta = a Kútvölgyi Kórházban eradikált H. pylori infekciók, populáció = az összes magyar (európai, fejlett országokban lévő, valamennyi) kórházában eradikált H. pylori infekciók) vagy a mintavétel időpontjában még nem ismerhetjük, de később ismeretessé válik (minta = exit poll, populáció = valamennyi szavazni elment választó). Az orvostudományban csak az első eset lehetséges. Konfidencia intervallum: a mintában végzett mérés alapján a teljes populációra vonatkozó becslés pontossága

3 Az arány, átlag vagy bármely más statisztikai paraméter konfidencia intervalluma = annak a valószínűsége, hogy a mért paraméter százalékos előfordulása, átlaga, stb. a populáción belül egy adott, a mintában mért százalékos előfordulást, átlagot, stb. körülvevő tartományba esik. 95%-os konfidencia intervallum: 95% annak a valószínűsége, hogy a mért paraméter valódi előfordulási gyakorisága (átlaga, stb) a populáción belül a mintában mért előfordulási gyakoriság (átlag) konfidencia intervallumába esik, tehát 5% annak a valószínûsége, hogy nem esik ebbe a tartományba.

4 Az arány konfidencia intervalluma
Az júliusi egyik közvélemény kutatás szerint 2002-ben Bergengóciában a választók 33%-a szavaz majd a Nemzeti Bergengóc Pártra (NBP)-re. 100 %-os biztonsággal akarjuk tudni előre az eredményt. Ez lehetetlen, hiszen csak az 100%-osan biztos, hogy a választók 0-100%-a szavaz majd az MBP-re. Könnyen belátható, hogy ennek nincs értelme, a szélsőértékek valószínűsége extrém módon alacsony. Ezért szűkíteni kell az interavallumot, racionális valószínűségi értékekkel kell dolgozni, ilyen pl. a 95%-os vagy 99%-os valószínűség.

5 Az arány konfidencia intervalluma (folyt.)
95%-os konfidencia intervallum: 95% annak a valószínûsége, hogy a szavazók majdani aránya a jelenlegi minta (33%) konfidencia intervallumába esik, tehát 5% annak a valószínűsége, hogy nem esik ebbe a tartományba. 99%-os konfidencia intervallum: 95% annak a valószínűsége, hogy a szavazók majdani aránya a jelenlegi minta (33%) konfidencia intervallumába esik, tehát 1% annak a valószínűsége, hogy nem esik ebbe a tartományba.

6 Az arány konfidencia intervalluma (folyt.)
A konfidencia intervallum (confidence interval, CI) táblázatból olvasható le, képletből számítható ki vagy számítógép programok adják ki. Így kiszámítva szerint a CI 31 és 37 % között van. A CI helyes kifejezési módja: 31%-tól 37%-ig, vagy [0.31,0,37], de nem 33  2 %

7 Az arányszám 95%-os CI-jének megközelítő meghatározása képlettel:
A CI alsó határa: A CI felső határa: MIÉRT NEM ESHET AZ 1 a CI ALSÓ ÉS FELSŐ HATÁRA KÖZÉ, HA AZ ARÁNY SZIGNIFIKÁNSAN KÜLÖNBÖZIK A KONTROLLBAN KAPOTTÓL? 0 hipotézis: nincs különbség p/1-p=1, ha elvetjük, akkor azt mondjuk, hogy 95% annak a valószínűsége, hogy ez az arány 1-nél nagyobb, ill. 1-nél kisebb (pl. egy adott genetikai rendellenesség egy adott betegségben gyakrabban vagy ritkábban forduljon elő, mint az össznépességben

8 A GÉNHIBA RITKÁBB A BETEGEKNÉL, P<0.05
CI felső 0,25 CI alsó 0,5 1 Génhiba gyakoriság aránya a betegek és a kontrollok között

9 Génhiba gyakoriság aránya a betegek és a kontrollok között
A GÉNHIBA RITKÁBB A BETEGEKNÉL, DE A KÜLÖNBSÉG A SZIGNIFIKANCIA HATÁRÁN VAN P=0.05 CI alsó CI felső 0,25 1 0,5 Génhiba gyakoriság aránya a betegek és a kontrollok között

10 Génhiba gyakoriság aránya a betegek és a kontrollok között
A GÉNHIBA NEM RITKÁBB, DE NEM IS GYAKORIBB A BETEGEKNÉL, A KÜLÖNBSÉG NEM SZIGNIFIKÁNS P>0.05 CI alsó CI felső 0,5 2 1 Génhiba gyakoriság aránya a betegek és a kontrollok között

11 Az átlag különbségek CI-ának kiszámítása
A CI alsó határa A CI felső határa MIÉRT NEM ESHET A NULLA A CI ALSÓ ÉS FELSŐ HATÁRA KÖZÉ, HA AZ ÁTLAGOK KÜLÖNBSÉGE SZIGNIFIKÁNSAN KÜLÖNBÖZIK A KONTROLLBAN KAPOTTÓL? 0 hipotézis: nincs különbség, tehát a különbség=0, ha elvetjük, akkor azt mondjuk, hogy 95% annak a valószínűsége, hogy ez a különbség 0-nál nagyobb, ill. kisebb (pl. egy adott laboratóriumi mért érték átlaga egy adott betegségben szenvedőkben nagyobb, vagy kisebb , mint az össznépességben)

12 A HSP60 ANTITEST SZINT MAGASABB A BETEGEKNÉL, P<0.05
CI felső 1 CI alsó 500 1000 Hsp60 antitest szint különbség átlaga a betegek és a kontrollok között, AU/ml

13 A HSP60 ANTITEST SZINT ÁTLAGA MAGASABB A BETEGEKNÉL, DE A KÜLÖNBSÉG A SZIGNIFIKANCIA HATÁRÁN VAN P=0.05 CI alsó CI felső 400 200 Hsp60 antitest szint különbség átlaga a betegek és a kontrollok között, U/ml

14 A HSP60 ANTITEST SZINTJE NEM MAGASABB, DE NEM IS ALACSONYABB A BETEGEKNÉL, A KÜLÖNBSÉG NEM SZIGNIFIKÁNS P>0.05 CI alsó CI felső -100 200 Hsp60 antitest szint különbség átlaga a betegek és a kontrollok között, AU/ml

15 Az S.D és a 95%-os CI viszonya.

16 Az olvasás egyik célja egy adott témáról való általános tájékozódás
Az olvasás egyik célja egy adott témáról való általános tájékozódás. Erre a legcélszerűbb az összefoglaló tanulmányokat elolvasni, mert az élet rövid és mert, ezeket a tanulmányokat olyanok írják akik nagyon értenek a témához és ezért már az összefoglalt dolgozatokat is kritikusan olvassák. Azoknak a témák esetében, amely az olvasót közelebbről érintik (egy az orvos által először diagnosztizált betegség, új gyógyszer, szűkebb kutatási téma) az olvasó feladata a cikkek kritikai értékelése (ennek hiszek, ennek nem). Ilyenkor arra is törekszünk, hogy a legújabb cikkeket is megismerjük.

17 A kritikai szemlélet a cikk minden részére ki kell terjedjen
A kritikai szemlélet a cikk minden részére ki kell terjedjen. A cikkírásnál elkövetett leggyakoribb hibák a következők (minél rangosabb egy folyóirat, annál ritkábbak benne a hibák, de azért benne maradhatnak (pl. egy 9-es impakt faktorú folyóiratban azt közölték, hogy egy bizonyos immunológiai marker magas értékei esetében a halálozás valószínűsége nagyobb, mint az alacsony értékek esetében, csak azt “felejtették el” megírni, hogy a vizsgált egyének miben haltak meg)

18 A cikk fő részei: 1. Strukturált összefoglaló 2. Bevezetés
3.   Anyagok és módszerek (vizsgált egyének) 4.   Eredmények (alcímekkel!) 5.   Megbeszélés, célja? 6.   Köszönetnyilvánítás 7.   Irodalomjegyzék 8.   Táblázatok 9.   Ábramagyarázat 10. Ábrák HOGYAN KEZDJÜNK CIKKET ÍRNI???

19 A három legfontosabb kritikai kérdés:
1.   Jól volt-e a vizsgálat megtervezve, értékelve és végrehajtva? 2.   Ha igen, a kapott eredmények fontosak-e tudományos szempontból, adatak-e új információt 3.   Ha a különbségek statisztikailag szignifikánsak, szignifikánsak-e tudományos szempontból is. Ha nem, elég beteget (kontrollt) vontak-e be a vizsgálatba?

20 A típusú hiba A cikkben (általában a bevezetés utolsó mondatai tartalmazzák ezt) a szerzők nem írják meg, hogy miért végezték el a vizsgálatot. E mögött gyakran az áll, hogy a szerzők nem is tudták előre, hogy miért hajtották ezt végre. A kiindulópont ekkor: végezzük el a vizsgálatot, gyűjtsünk minél több adatot (ha lehet olyat, amelyet mások még nem néztek) és nézzük meg, hogy van-e ezek között összefüggés. (HALÁSZ-KIRÁNDULÁS). Van, amikor utólag, a véletlenszerűen kapott adatok ismeretében utólag kreálnak célkitűzéseket a vizsgálatnak. (:

21 Megjegyzés Ha a halászkirándulás végén a halakat megfelelően szortírozzák és becsületesen bevallják, hogy ilyen kirándulásra indultak, akkor az ilyen típusú vizsgálat is hozhat új eredményt, születhet belőle új hipotézis. A baj csak az, ha ezeket a véletlenszerűen kijött összefüggéseket sem a szerzők, sem mások nem igyekeznek reprodukálni. Ha neves szerzők közölnek ilyen eredményeket, akkor sokszor ellenőrzés nélkül ezek az eredmények még tankönyvi adatokká is válhatnak.

22 B típusú hiba: mintakiválasztás. Torzítások I
Prevalencia vagy incidencia torzulás: egy adott faktor hatását vizsgálják egy betegségre, a hatást azonban nem a diagnózis felállítása után azonnal, hanem később vizsgálják. Közben azonban a legsúlyosabb esetek meghaltak. Lehetséges, hogy a halálozásban éppen ez a faktor játszott szerepet. Nagy korai letalitású betegségek esetében néhány nap késés is számíthat.

23 10 évig tartó prospektív vizsgálat, 10 éves követés után értékelve
hypertónia Él, CVB Exit, stroke Él, nincs CVB-je igen 50 nem 250

24 A 10. év végén értékelve hypertónia Él, CVB igen 50 nem 700

25 Torzítások II A kórházi felvételből adódó torzulás. Ha kórházban kezelt betegek esetében egy rizikófaktor hatását vizsgáljuk, de azokat a betegeket, akiknél a rizikófaktor fennáll, gyakrabban veszik fel kórházba, mint azokat, akiknél ez nem áll fenn.

26 Torzítások III A csoportba sorolásból adódó torzulás. Pl. paradox megfigyelés: a veszélyes munkahelyeken dolgozók egészségi állapota jobb, mint a veszélytelen munkahelyeken dolgozóké. Miért? Az veszélyes munkahelyre csak az egészséges embereket veszik fel, a többi esetében ezt nem veszik figyelembe

27 Torzítások IV Az eljárásra való kiválasztás torzulása. Ez akkor állhat fenn, ha az adott kezelésre a betegek egy csoportját (pl. súlyosabb betegeket) nagyobb gyakorisággal választják ki, mint a kontrollcsoportba. Ez elsősorban akkor fordul elő, ha nem történik randomizálás

28 C típusú hiba. Hiba a vizsgálat elvégzésében I
     A kezelt betegek több figyelmet kapnak, mint a kontrollok. Emiatt sokkal jobban betartják az orvosi előírásokat, mint a kontrollcsoport tagjai. HIV vakcináció és biztonságos szex.     

29 C típusú hiba. Hiba a vizsgálat elvégzésében II
A betegeket arra kérik, hogy emlékezzen vissza egy bizonyos eseményre (pl. HIV pozitívoknál a fertőződés idejét jelző akut HIV betegségre). Lehet, hogy egyes csoportok tagjai jobban képesek erre visszaemlékezni. Betegnapló.

30 C típusú hiba. Hiba a vizsgálat elvégzésében III
A használt műszer csak a súlyosabb eltéréseket mutatja ki, a vizsgálat közben érzékenyebb műszerre váltottak és nem egyforma mértékben alkalmazták a két műszert az egyes csoportokban.     Osteoporosis Rtg densitometria

31 C típusú hiba. Hiba a vizsgálat elvégzésében IV
A betegek compliance-különbségéből jelentős torzulás adódhat különböző gyógyszerek összehasonlításából, akkor, ha az egyik gyógyszert mellékhatásai miatt a betegek nem veszik be. Megfigyelés alatt történő gyógyszerbeadás.

32 D típusú hiba az outcome meghatározásában
A kezelés, beavatkozás eredményét mérő változót (outcome variable) nem határozták meg a szerzők egyértelműen. Pl. a betegség-mentes periódus hosszát vizsgálták a szerzők, de nem definiálták egyértelműen, hogy ez mit jelentett.

33 Egyéb hibák I A betegszám nem volt elég a kívánt különbség bizonyításához A használt statisztikai módszerek nincsenek leírva, ill. nem egyértelmű, hogy melyik vizsgálatban milyen módszert használtak.

34 Egyéb hibák II A közölt adatok validitása nem ítélhető meg, mert
·     a vizsgálatba bevont csoport(ok) legfontosabb jellemzőit a szerzők nem írták le. ·     a szerzők nem megfelelő statisztikai eljárásokat használtak az adatok értékelésére (l. az előadás korábbi részeit) ·     eltérés áll fenn a táblázatokban (ábrákon) található adatok és az Eredmények rész szöveges részében leírt interpretációjuk között. Ha több ilyen eltérést találunk, fennáll annak a gyanúja, hogy a szerzők manipulálták az adataikat. Ezt a kritikus olvasásnál mindig komolyan kell értékelni!

35 A szignifikáns különbség eléréséhez szükséges mintaszám kiszámítása
Miért fontos ez? Elhanyagolt terület, a legtöbb klinikai randomizált kontrollált vizsgálatnál nem veszik figyelembe és az adatok analízise során kiderül, hogy a betegszám még a legdurvább eltérés biztos igazolására sem alkalmas. EFFECT SIZE = a hatás (elérni szándékozott) mértéke, szakmai fogalom. Pl. célul tűzzük ki, hogy egy szer csökkentse le ·     20 Hgmm-el a szisztolés vérnyomást, ·     15%-al a koleszterin szintet, de egy ezredrészére a HIV-RNS szintet.

36 A hatás mértéke mindig az eddig ismert adatoktól függ, és úgy kell megszabni, hogy orvosilag ennek értelme legyen. Legtöbbször (a HIV kivétel!) 50%-os, de már 25%-os különbség (csökkenés vagy növekedés) is igen erős hatást jelent, a gyógyszerkipróbálások legtöbbször ennél sokkal kisebb mértékű hatás elérését tűzik ki célul. Tehát várható, hogy a legtöbb gyógyszer kipróbálási vizsgálatba annyi beteget, ill. kontrollt vonnak be, amely legalább, 50%-os, de akár 25%-os mértékű változást is képes kimutatni. Az ehhez szükséges esetszám kiszámítható (l. később) vagy számítógépes programokkal meghatározható.

37 Ezzel szemben a valóság EZÉRT KELL A LEGJOBB ORVOSI FOLYÓIRATOKAT STATISZTIKAI SZEMPONTBÓL IS KRITIKUSAN OLVASNI Moher D et al. JAMA 272, 122, 1998 A JAMA, a Lancet, és a New Engl.J.Med ös, 1980-as, 1985-ös és 1990-es teljes évfolyamának minden (összesen 383) olyan cikkének az elemzése, amely randomizált kontrollált vizsgálatokról szólt. Ezek közül 70 negatív eredménnyel zárul. Kérdés: elegendő volt-e az esetszám ahhoz, hogy 25%-os vagy akárcsak 50%-os különbséget (effect size) ki tudjon mutatni a kontroll és a kezelt csoport között?

38 25%, a kri-tériumnak megfelelő cikkek száma (%-a)
Év 25%, a kri-tériumnak megfelelő cikkek száma (%-a) 50%, a kri-tériumnak meg-felelő cikkek száma (%-a) 1975 16 (12%) 16 (15%) 1980 15 (13%) 15 (47%) 1985 15 (7%) 15 (27%) 1990 24 (25%) 24 (42%) A negatív eredménnyel végződött összes vizsgálatnak csak 32%-ában szerepel mintaszám kalkuláció, ez azonban javuló tendenciát mutat (0%-ról 43%-ra).

39 A mintaszám kiszámításának legegyszerűbb módszere (Campbell et al
Terminológia: a    érték: a szignifikancia általunk választott határa b    érték: annak a valószínűsége, hogy II. típusú hibát követünk el, azaz igaznak fogadjuk el a hamis null-hipotézist (van a két csoport között különbség, de azt mondjuk, hogy nincs) ·     (1-) érték (power, a próba ereje): annak a valószínűsége, hogy elvetjük a null hipotézist, amikor hamis (van a két csoport között különbsége és ezt így is ítéljük meg).

40 A hatás mértéke A számítás módját jelentősen befolyásolja az, hogy a kontroll és a kezelt csoport elemszáma azonos-e. Ez sokszor nem érhető el a gyakorlatban, ha a különbség nem nagy, pl. 1:2, akkor a próba ereje csak kissé (5%-al) csökken, 1:5 arány esetén viszont már 25%-al lesz kisebb az (1-) érték. Tehát nagyobb elemszám szükséges a szignifikáns különbsége eléréséhez.

41 Példa: Van-e kapcsolat egy bizonyos ujjlenyomattípus (csigavonal) és a szisztolés vérnyomás között (Godfrey et al BMJ 307,405,1993) 46 embernek, akinek az ujjlenyomatán nem volt csigavonal, 136 Hgmm volt az átlagos vérnyomása, míg 93 olyannak, akinek legalább egy csigavonala volt 144 Hgmm. De biztosan fennáll-e két csoport között a minimális mértékű különbség (effect size) ()? Ezt 5 Hgmm-nek vesszük, mert orvosilag ennél kevesebbnek nincs jelentősége. A becsült S.D. mindkét csoportban 17 Hgmm. Így a d=/S.D.=5 Hgmm/17 Hgmm= 0.294, kereken 0,3. az -t 0.05-nek, az 1--7 0,80-nak vesszük.

42 A számítás módja Nagyon jó számítógépes programok vannak erre a célra, pl. a GraphPad StatMate szoftvere. Itt beütjük, hogy kétmintás t próbával dolgozunk, megadjuk az  értéket (0.05) és az SD értéket is beírjuk. Egy táblázatot kapunk eredményül, ahol különböző 1- értékhez és a csoportonkénti elemszámhoz tartozó különbségek vannak feltüntetve. a 0.80-as 1- értékhez és a 180-as csoportonkénti elemszámhoz tartozó  érték: 5,04. E szoftver tehát 180-as csoportonkénti betegszámot javasol, összesen 360 beteget.

43 ELLENŐRZŐ KÉRDÉSEK (checklist) Strukturált összefoglaló
·     a vizsgálat célja fontos-e és érdemes-e tanulmányozni? ·     A vizsgálat célja különbség vagy összefüggés meghatározása-e, pontosan tudható-e ez a cikkből? ·     Mi a vizsgálat kimenetelének a fő mérési kritériuma (outcome)? Ez folyamatos vagy kategórikus változó-e? ·     A vizsgált betegek olyanok-e, akik az olvasó praxisában is előfordulnak? Ha a különbségek statisztikailag szignifikánsak, jelentősek-e klinikailag?

44 ELLENŐRZŐ KÉRDÉSEK (checklist) Bevezetés
·     Ha nincs strukturált összefoglaló, a fenti információk itt kell szerepeljenek + Eddig milyen vizsgálatok történtek a vizsgált témával kapcsolatban és ezeknek mi volt az eredménye? Várható-e, hogy a cikk új információkat ad-e?

45 ELLENŐRZŐ KÉRDÉSEK (checklist) Módszerek
·     A vizsgálat tervezése megfelel-e a célnak? ·     A vizsgálati periódus elég hosszú-e és nem túl hosszú-e? ·     Világosan le vannak-e írva a vizsgálatba beválogatás és a kizárás kritériumai? Ettől függ, hogy a konklúziók általánosíthatók-e ·     A mérési módszerek ismertek-e, megfelelő referenciák szerepelnek-e, ha új a módszer, jól, reprodukálhatóan van-e leírva? ·     A használt statisztikai módszerek le vannak-e írva és megfelelőek-e ·     Le van-e írva, hogy hány beteg volt szükséges a kívánt hatás-mérték (effect size) eléréséhez?

46 ELLENŐRZŐ KÉRDÉSEK (checklist) Eredmények I
·     A leírt megfigyelések a feltett kérdésekre adott válaszoknak tekinthetők-e? ·     Az eredmények prezentálása (átlag, S.D. S.E.M., medián, stb) fel van-e tüntetve és a táblázatból tudjuk-e hogy mi micsoda ·     Nincs-e túl sok p érték (minden 20. összehasonlításnál véletlenszerűen is p<0.05)     

47 ELLENŐRZŐ KÉRDÉSEK (checklist) Eredmények II
Az összehasonlítandó csoportok alapértékei azonosak-e? Ha nem, akkor ezt a szerzők figyelembe vették-e (egyáltalán leírják-e?) és ha igen, hogyan tudták a confounding variables hatását kiküszöbölni? ·     Az ábrák és táblázatok egymagukban is érthetőek-e? Ha a cikk egy diagnosztikai eljárásról szól, akkor ennek specificitása és érzékenysége le van-e írva. Ha a szerzők megadják az eljárás prediktív értékét, beszámították-e ebbe a vizsgált betegség prevalenciáját?

48 ELLENŐRZŐ KÉRDÉSEK (checklist) 1 Megbeszélés
·     A feltett kérdések és leírt megfigyelések megfelelően diszkutálva vannak-e? ·     A levont következtetések a kapott eredményeken alapulnak-e? A következtetések nem túl általánosak-e? ·     A fontos idevonatkozó irodalom meg van-e említve és a saját eredményeit szerzők ezekkel összevetették-e? ·     A vizsgálat limitációit, esetleges hibáit, torzításait megtárgyalják-e a szerzők?