1 Minőség a statisztikában Szép Katalin MTA Statisztikai Bizottsága december 16.

2 Csapatmunka a KSH-ban Kezdetektől: György Erika, Földesi Erika, Mag Kornélia, Szalai Eszter, Vigh Judit Csatlakozott: Kajdi László, Kárpáti József, Katona Szilvia és még sokan mások

3 Vázlat 1.Előzmények 2.A statisztika minőségének fogalma, mérése 3.Minőségügyi keretrendszer és működése 4.Összegzés

4 A minőség koncepció fejlődése a gazdasági életben ( ) –Minőségellenőrzés •szabványosítás •végtermék ellenőrzése, mérés –Minőségbiztosítás •megelőzés •folyamatok ellenőrzése –Minőségirányítás •A szervezet egészének irányítására, erőforrásaira is kiterjed

5 A minőség koncepció terjedése a statisztikában –Minőség koncepció értelmezhetősége a statisztikában –Terjedése a statisztikában •70-es évektől vezető statisztikai hivatalokban •KSH 2005-től a stratégia részeként •Nemzetközi statisztikai szervezetekben •EU Statisztikai törvénye 223/2009/EK –MST, OST, MTA SB napirendjén •legutóbb: Marton Ádám április 4.

6 A minőség koncepció jelentősége –Statisztikák szerepe bővül •Globalizáció, EU •Gazdasági döntések közvetlenül statisztikai mutatókhoz kötöttek (pl. EMU belépési kritériumai, régiók támogatási feltétele) –Növekvő igények, korlátozott erőforrások, csökkenő adatszolgáltatói hajlandóság: tömegtermelés •végtermék ellenőrzése, mérés •Szabványosítás ….

7 Vázlat 1.Előzmények 2.A statisztika minőségének fogalma, mérése 3.Minőségügyi keretrendszer és működése 4.Összegzés

8 A statisztikai minőség fogalma „A minőség az egység (termék vagy szolgáltatás) azon jellemzőinek összessége, amelyek befolyásolják azt a képességét, hogy meghatározott és elvárt igényeket kielégítsen.” (MSZ EN ISO 8402 – 1996) Felhasználásra való alkalmasság – „Fitness for use”

9 A statisztika minőségének összetevői  Relevancia  Pontosság  Időszerűség  Időbeli pontosság  Hozzáférhetőség  Érthetőség  Koherencia és összehasonlíthatóság

10 Minőség-összetevők kapcsolatai Időszerűség – pontosság Relevancia – pontosság Relevancia – időbeni összehasonlíthatóság Pontosság – időbeni összehasonlíthatóság Pontosság – földrajzi összehasonlíthatóság Térbeli – időbeli összehasonlíthatóság

11 Minőség-összetevők

12 Összetevők jellemzése •szövegesen •minőségindikátorokkal

13 Jelenség, fogalom mérése indikátorokkal •A jelenség, fogalom egyértelmű definiálása, értelmezése •A jelenség különböző összetevői, struktúrája leírása •A jellemző változók kiválasztásának szempontjai pl. input, output, folyamat •Indikátorok leírása, minőségének értékelése

14 Értelmezés és elemzés Elgondolás operacionalizálása Elvi koncepció, elgondolás Adat Mérés Elemző rendszer kialakítása és tesztelése Döntéshozatal Valóság Információ a döntéshozó részére Egy információs rendszer Forrás: Brinckman [1983] Statisztikai folyamatminőségmérése Statisztikai termék minőségmérése

15 Minőségindikátorok (1) Minőség összetevők KSH Júniustól /tervezett/ EUROSTAT Relevancia (R1) Felhasználói elégedettség index R1 Rendelkezésre álló statisztikák aránya az (ESR-ben előírt=100) (R2) Hivatkozás a közsajtóban (Idézettség) Pontosság (P1) Becslés relatív szórása (CV)A1 Becslés relatív szórása (CV) (P5) A lefedettségi többlet és az osztályozási hibák arányai A2 Lefedettségi többlet (P4) Editálási arányok és hányadokA3 Editálási arányok és hányadok (P2) Egység szintű válaszolási arányok (súlyozott/súlyozatlan) és további beérkezési arányszámok A4 Egység szintű válaszolási arányok A5 Tétel szintű válaszolási arányok (súlyozott/súlyozatlan) (P3) Imputálási arányok és hányadok A6 Imputálási arányok és hányadok (P6) Revíziók átlagos nagyságaA8 Revíziók átlagos nagysága

16 Minőségindikátorok (2) Minőség összetevők KSH Júniustól /tervezett/ EUROSTAT Időszerűség (I1) A vizsgált időszak vége és az első eredmények megjelenése között eltelt időtartam T1 A vizsgált időszak vége és az első eredmények megjelenése között eltelt időtartam (I2) A vizsgált időszak vége és a végleges eredmények megjelenése között eltelt időtartam T2 A vizsgált időszak vége és a végleges eredmények megjelenése között eltelt időtartam Időbeli pontosság (IP1) A tényleges publikálás megvalósulásának pontossága T3 A tényleges publikálás megvalósulásának pontossága Hozzá- férhetőség (H1) A statisztika elsődleges közlésére használt eszközök típusai AC1 A fő papíralapú publikációk előfizetéseinek száma, ill. eladott db. (H2) Az adatbázisokhoz való hozzáférések száma AC2 Az adatbázishoz való hozzáférések száma Érthetőség (É1) A metainformációk teljességének aránya a közölt statisztikáknál Összehasonlít- hatóság és koherencia (Ö1) Az összehasonlítható idősorok hossza CC1 Az összehasonlítható idősorok hossza CC2 Tükörstatisztikák asszimetriái

17 Példa az indikátorok számítására: válaszolási arány Összes egység (kezdeti minta) [1] Ismert egységek [2] Célsokasághoz tartozó [4] Célsokasághoz nem tartozó [5] Válaszolók [6] Nem-válaszolók [7] Meggyőzött megtagadók [11] Egyéb válaszoló [12] Megtagadók [13] Nem elérhetők [14] Egyéb nem- válaszolók [15] Nem létező egységek, egyéb célsokasághoz nem tartozók [8] Időlegesen nem célsokasághoz tartozók [9] Állandóan nem célsokasághoz tartozók [10] Célsokaságba tartozók, becsült [3A] Célsokaságba nem tartozók, becsült [3b] Ismeretlenek [3]

18 •Válaszolási arány •Megtagadási arány •Nem-válaszolási arány •Sikertelen kapcsolatfelvétel aránya Lehetséges válaszolási arányok

19 TENDENCIÁK

20 Regiszterek kiválasztása Felvételi keret meghatározása Célok, felhasználás és felhasználók meghatározása Fogalmak, definíciók és osztályozások meghatározása Felhasználható igazgatási adatok számbavétele Kérdőív és segédanyagainak tervezése Adatgyűjtés szervezése és adatgyűjtés Adatok előkészítése (rögzítés, editálás) Imputálás (pótlás) Súlyozás, becslés és mintavételi hiba számítása Indexszámok képzése Makrovalidálás Szezonális kiigazítás A mintavételi terv kialakítása Elemzések készítése Adatok bizalmas kezelése Tájékoztatás Archiválás Lefedettségi hiba Válaszolási arány Editálási arány, hányad Imputálási arány, hányad Mintavételi hiba Revíziók átlagos nagysága

21 Adatminőség jellemzése, dokumentálása Felhasználók számára az egyes össze- tevők különböző mértékben fontosak Ezért minden összetevő mentén jellemezni és dokumentálni kell a termékminőséget Minőségjelentés

22 Minőségjelentés Statisztikai adatok (szakstatisztikánként) minőségét írja le •a minőség-összetevők mentén •szövegesen •minél több számszerűen kifejezhető minőségindikátor felhasználásával •strukturált formában. Például: Pontosságon belül a nem-válaszolásból eredő hibák jellemzése részsokaságonként, a nem-válaszolásból eredő torzítás várható mértéke, iránya. Koherencia és összehasonlíthatóság esetében alig van indikátor, így: koncepcionális és módszertani különbségek, ezek lehetséges hatása, EU szabályoktól való eltérés leírása

23 Folyamatminőség mérése Adatelőállítási folyamat monitorozása Folyamatminőségindikátor katalógus : A katalógus célja olyan általánosan alkalmazható, standard indikátorok meghatározása, melyeket a megfelelő specifikálást követően a legtöbb adatfelvétel esetén alkalmazni lehet. Pl: beérkezési arány, sürgetések aránya, sikertelen kapcsolatfelvétel aránya

24 Vázlat 1.Előzmények 2.A statisztika minőségének fogalma, mérése 3.Minőségügyi keretrendszer és működése 4.Összegzés

25 Minőségügyi keretrendszer elemei •Minőségpolitika – KSH minőségpolitika •Minőségfogalom •Minőségi követelmények, célok, standardok, irányelvek – minőségi irányelvek •Minőségmérési eszközök – indikátorok, minőségjelentés •Minőségértékelési eszközök – önértékelési kérdőívek •Minőségjavítási eljárások

26 Minőségügyi keretrendszer működése Minőségi követelmények Értékelési eszközök Mért minőség- jellemzők Mérés a minőségfogalom szerint Valóság FolyamatváltozókMinőségjelentés Minőségindikátorok Standardok, irányelvek, előírások, felhasználói igények Külső-, belső audit Felhasználói fórum Önértékelés Intéz- kedé- si terv Statisztikai adat Stat. adatelőállítási folyamat

27 Egyik legfontosabb felhasználónk: Eurostat •Elvárások: EU acquis, Gyakorlati Kódex, EU Statisztikai törvény •Eurostatnak kiküldött minőségjelentések (2007) 33 szakterület érintett •Munkaerőfelvétel felülvizsgálata: 43 ajánlás •Nemzeti számlák auditjai

28 Intézményre is kiterjesztve Teljeskörű minőségirányítás (Total Quality Management) három alapelve: 1. Vevőközpontúság 2. Folyamatos fejlesztés 3. Teljes körű részvétel

29 Teljeskörű minőségirányítás (TQM) kiegészítő elvei 1. Tények alapján történő vezetés 2. Hibamegelőzés, proaktivitás 3. Folyamatorientáció 4. A munkatársak bevonása, felhatalmazása, motiválása 5. Oktatás és képzés 6. Mérés és értékelés 4. Kommunikáció

30 ENSZ alapelvek a hivatalos statisztikára (1) _schema=PORTAL 1.Pártatlan módon nyújtani használható, releváns statisztikát. 2.Megalapozott módszertan alkalmazása (szigorú szakmai és etikai szempontok) a teljes adat-előállítási folyamatban. 3.Metaadatok biztosítása a forrásokról és az alkalmazott módszertanról. 4.Észrevételezés joga a téves adatértelmezés esetén. 5.Adminisztratív adatok felhasználásakor is az adatminőség és az adatszolgáltatói terhek mérséklése a cél.

31 ENSZ alapelvek a hivatalos statisztikára (2) 6.Bizalmas adatkezelés (adatvédelem). 7.A statisztikai rendszer működésére nyilvános törvények és előírások megléte. 8.Nemzetközi együttműködés koordinációja a konzisztencia és hatékonyság érdekében. 9.Nemzetközi együttműködés a fogalmak, osztályozások és módszerek használatában. 10.Két- és többoldalú együttműködés a statisztikai rendszerek fejlesztésében.

32 Az Európai Statisztika Gyakorlati Kódexe, 2005 Intézményi környezet Statisztikai eljárások Statisztikai termékek 1. Szakmai függetlenség7. Megalapozott módszertan 11. Relevancia 2. Adatgyűjtésre való felhatalmazás 8. Megfelelő statisztikai eljárások 12. Pontosság és megbízhatóság 3. Megfelelő források9. Adatszolgáltatók terheinek csökkentése 13. Gyorsaság és időbeli pontosság 4. Minőség iránti elkötelezettség 10. Költséghatékonyság14. Koherencia és összehasonlíthatóság 5. Adatok bizalmas kezelése 15. Hozzáférhetőség és érthetőség 6. Pártatlanság és objektivitás

33 Vázlat 1.Előzmények 2.A statisztika minőségének fogalma, mérése 3.Minőségügyi keretrendszer és működése 4.Összegzés

34 Eredmények –A KSH-ban kialakítottuk a minőségügyi keretrendszer elemeit nemzeközi összehasonlításra alkalmas módon –Hozzájárul(t)unk EU rendszer fejlesztéséhez: DatQM, Folyamatminőség grant, Minőség munkacsoport Háttéranyagok elérhetők: EUROSTAT és KSH honlapján

35 További feladatok •Felhasználók tájékoztatása, bevonása az értékelésbe •Értékelések alapján konkrét intézkedések •Kapacitáskorlát, munka rovására, •Teljesítményméréssel kapcsolva kockázat a torzításra •Hivatalos statisztikai szolgálatra való kiterjesztés •Indikátorfejlesztés (más terméktípusokra is)

36 Tapasztalat, vélemény, javaslatkérés –Elvégzett munkáról, –További feladatokról, –Minőségmérés hasznosíthatóságáról –Igényeikről –Fejlesztési javaslatok, közreműködés lehetséges területei