A statisztika adat-előállítási folyamatát támogató informatikai rendszerek Györki Ildikó MTA Statisztikai Albizottság 2012.09.25.

Az előadások a következő témára: "A statisztika adat-előállítási folyamatát támogató informatikai rendszerek Györki Ildikó MTA Statisztikai Albizottság 2012.09.25."— Előadás másolata:

1 A statisztika adat-előállítási folyamatát támogató informatikai rendszerek
Györki Ildikó MTA Statisztikai Albizottság

2 A statisztikai szervezet tevékenységének folyamatszakaszai
STATISZTIKAI SZERVEZET TEVÉKENYSÉGE STATISZTIKAI ALAPTEVÉKENYSÉG Regiszterek karbantartása Felvétel-tervezés Felhasználói igények megh. Tájékoztatás Adattárolás, visszanyerés, elemzés Adatgyűjtés-szervezés Adatelő-készítés Adatbegyűjtés Feldolgozás M e t a d o k Regiszterek Adatgyűjtés-szervezési adatok Rögzítési adatbázis Termelési adatbázis Adattárház Tájékoztatási adatbázis Minőségbiztosítás Metaadat-kezelés Stratégia, tervezés, irányítás Piackutatás, marketing Logisztika (beszerzés, értékesítés) Humán erőforrás- gazdálkodás Adminisztr., hivatali munka Pénzügyi folyamatok, elszámoló r. 2 2

3 A rendszerfejlesztés fő elve
Standard, adatgyűjtés-független funkciók Integrált rendszerek Közös adatbázis Feldolgozási lépések egymásra épülése Metaadat-vezérelt rendszerek Tervezési, fejlesztési konvenciók

4 Funkciók-IT rendszerek
Kutatószoba Tájékoztatási ab. Szakstat. dok.

5 Metaadat-kezelés STATISZTIKAI SZERVEZET TEVÉKENYSÉGE
STATISZTIKAI ALAPTEVÉKENYSÉG Regiszterek karbantartása Felvétel-tervezés Felhasználói igények megh. Tájékoztatás Adattárolás, visszanyerés, elemzés Adatgyűjtés-szervezés Adatelő-készítés Adatbegyűjtés Feldolgozás M e t a d o k Regiszterek Adatgyűjtés-szervezési adatok Rögzítési adatbázis Termelési adatbázis Adattárház Tájékoztatási adatbázis Minőségbiztosítás Metaadat-kezelés Stratégia, tervezés, irányítás Piackutatás, marketing Logisztika (beszerzés, értékesítés) Humán erőforrás- gazdálkodás Adminisztr., hivatali munka Pénzügyi folyamatok, elszámoló r. 5 5

6 Metaadat alapfogalmak
Olyan adat, amely meghatároz, leír más adatokat és folyamatokat Statisztikai metaadat Adat a statisztikai adatról. A statisztikai adatok tartalmát, formáját, jellemzőit, forrását, minőségét, az előállítás során alkalmazott eljárásokat, módszertant leíró szöveges, vagy számszerű adatok Strukturális metaadat (információelemek és kapcsolataik) Referencia metaadat (tartalmi, módszertani, minőséget leíró) Egyéb metaadatok (feldolgozási folyamatot leíró, vezérlő) Metainformációs rendszer Gyűjti, feldolgozza, tárolja a metaadatokat és tájékoztat magáról és a segítségével a tárgy információrendszerről.

7 A metarendszer legfontosabb alrendszerei
Témastruktúra Adatforrások Adattárház metaadatai Adatgyűjtések Szakstatisztikák Adminisztratív adatforrások Fogalmak Mutatók Adatátvétel más szakstat.-tól Termelési adatbázis metaadatai Nómenkl. Osztályo-zás Jogi alapok Nómenkl. osztályozás Regiszterek, nyilvántartások Szervezet, munkamegoszt. metaadatai Adatgyűjtés- szervezés metaadatai Adat- előkészítés metaadatai Feldolgozás metaadatai Forrás: Baracza Lajosné

8 Mire használható? Tájékoztatás Standardizálás
Redundancia mentesség biztosítása Konzisztens, harmonizált rendszer biztosítása Koordináció hivatalok között Metavezérelt standard alkalmazási rendszerekhez Rend, átláthatóság biztosítása Hatékonyság > Erőforrás Aktív metaadat = Aktuális metaadat

9 Metainformációk a KSH honlapon
Elérhetőség: oldalon Adatok/Módszertani információk/

10 Regiszterkezelés STATISZTIKAI SZERVEZET TEVÉKENYSÉGE
STATISZTIKAI ALAPTEVÉKENYSÉG Regiszterek karbantartása Felvétel-tervezés Felhasználói igények megh. Tájékoztatás Adattárolás, visszanyerés, elemzés Adatgyűjtés-szervezés Adatelő-készítés Adatbegyűjtés Feldolgozás M e t a d o k Regiszterek Adatgyűjtés-szervezési adatok Rögzítési adatbázis Termelési adatbázis Adattárház Tájékoztatási adatbázis Minőségbiztosítás Metaadat-kezelés Stratégia, tervezés, irányítás Piackutatás, marketing Logisztika (beszerzés, értékesítés) Humán erőforrás- gazdálkodás Adminisztr., hivatali munka Pénzügyi folyamatok, elszámoló r. 10 10

11 Regiszterek szerepe a statisztikai folyamatban
Felvételi, mintakeretek forrása Statisztikai egységek demográfiájának alapja Minőség meghatározó eleme A regiszterek, a megfigyelt sokaság elemeit leíró, az adatgyűjtések gyakoriságának megfelelően karbantartott nyilvántartások, a statisztikai folyamat szinte minden szakaszában fontos szerepet játszanak. Csak példaszerűen: Az adatgyűjtés-szervezésnél a felvételi keret kijelölése a regiszter befagyasztott állapotaira épül. A regiszterekben levő adat minősége, az egységek besorolása, címek jósága szerepet játszik a mintaválasztás, kérdőív megszemélyesítés, adatszolgáltatóhoz eljuttatás sikerében. A regiszterre épülő felvételi keretek az adatgyűjtések teljességellenőrzésének alapjai, és az egységek besoroláshoz kötött ellenőrzésének alapjai is. A feldolgozás során is a felvételi keretek csoportosító ismérvei szolgálnak a csoportképzések, aggregálások, becslések alapjául. Arról nem is beszélve, hogy több regiszterből, az egységek demográfiájáról önálló tájékoztatás készül.

12 Regiszter-karbantartás
Összetett források Adminisztratív regiszterek Adatgyűjtések Szakstatisztikáktól átvett adatok Egyéb források Aktuális állapot mellett történeti adatok kezelése, változások oka, forrása, hatálya

13 A KSH fő regiszterei GSZR Országok Települések Címek
Kereskedelmi szálláshelyek Szociális intézmények Extrastat GSZR Nonprofit szervezetek Mezőgazd. szervezetek és egyéni gazdaságok Ültetvények Kutatóhelyek Intrastat. Egészségügyi szervezetek Nonprofit szálláshelyek Kereskedelmi egységek Vállalatcsoportok Országok Települések Címek Gazdasági szervezetek Telepek Szakosodott egységek

14 Adatgyűjtés-szervezés
STATISZTIKAI SZERVEZET TEVÉKENYSÉGE STATISZTIKAI ALAPTEVÉKENYSÉG Regiszterek karbantartása Felvétel-tervezés Felhasználói igények megh. Tájékoztatás Adattárolás, visszanyerés, elemzés Adatgyűjtés-szervezés Adatelő-készítés Adatbegyűjtés Feldolgozás M e t a d o k Regiszterek Adatgyűjtés-szervezési adatok Rögzítési adatbázis Termelési adatbázis Adattárház Tájékoztatási adatbázis Minőségbiztosítás Metaadat-kezelés Stratégia, tervezés, irányítás Piackutatás, marketing Logisztika (beszerzés, értékesítés) Humán erőforrás- gazdálkodás Adminisztr., hivatali munka Pénzügyi folyamatok, elszámoló r. 14 14

15 Adatgyűjtés-szervezési rendszer feladata
Az adatgyűjtés előkészítése Az adatgyűjtések felvételi keretének kijelölése Mintaválasztás Az adatszolgáltatók megismertetése adatszolgáltatási kötelezettségükkel Az elektronikus adatgyűjtési formák felkészítése az adatszolgáltatásra Munkaszervezés támogatása Postai adatgyűjtésnél a munkamegosztás meghatározása, leírása, alkalmazása Interjú típusú adatgyűjtésnél körzetesítés, összeírók feladata, szerződések támogatása Az adatgyűjtés A beérkező válaszok regisztrálása A beérkezés monitorozása A hiányzó kérdőívek sürgetése A hiányzó és nemleges válaszok okának felderítése, regisztrálása Adatszolgáltatókkal való kapcsolattartás információinak karbantartása Az adatgyűjtés eredményének kiértékelése Összeírók elszámolása Minőségi mutatók számítása Adatszolgáltatói terhelés mutatók számítása Visszacsatolás

16 A KSH adatgyűjtés-szervezési rendszerei
Kereskedelmi szálláshelyek Szociális intézmények Extrastat GSZR Gazdasági szervezetek Nonprofit szervezetek Mezőgazd. szervezetek és egyéni gazdaságok Vállalatcsoportok Ültetvények Kutatóhelyek Intrastat. Egészségügyi szervezetek Nonprofit szálláshelyek Kereskedelmi egységek Telepek Szakosodott egységek Címek LAKOS: Lakossági adatgyűjtések rendszere GÉSA: Gazdasági szervezetek és adatszolgáltatásaik

17 GÉSA: Felvételi keretek és minták kijelölése, integrálás támogatása

18 GÉSA elv Bármely adatgyűjtésre Adatgyűjtések leírása metaadatbázisban
Felvételi keretek egységes szerkezete Egységes paraadatok Egységes kódok Új adatgyűjtés bekerülése csak metaadat leírást igényel Egységes kiértékelés valamennyi adatgyűjtésre

19 GÉSA: Adatgyűjtések kiértékelése egységes rendszerben

20 Adatbegyűjtés STATISZTIKAI SZERVEZET TEVÉKENYSÉGE
STATISZTIKAI ALAPTEVÉKENYSÉG Regiszterek karbantartása Felvétel-tervezés Felhasználói igények megh. Tájékoztatás Adattárolás, visszanyerés, elemzés Adatgyűjtés-szervezés Adatelő-készítés Adatbegyűjtés Feldolgozás M e t a d o k Regiszterek Adatgyűjtés-szervezési adatok Rögzítési adatbázis Termelési adatbázis Adattárház Tájékoztatási adatbázis Minőségbiztosítás Metaadat-kezelés Stratégia, tervezés, irányítás Piackutatás, marketing Logisztika (beszerzés, értékesítés) Humán erőforrás- gazdálkodás Adminisztr., hivatali munka Pénzügyi folyamatok, elszámoló r. 20 20

21 Adatforrások típusai Interjú típusú adatgyűjtés
PAPI – papír kérdőíves interjú CAPI – mobil eszközös interjú CATI – telefonos interjú Önkitöltő típusú adatgyűjtés Postai, papír Elektronikus – letöltött Excel WEB – internetes adatgyűjtés Direkt adatgyűjtés Adatátvétel

22 KSH-Elektra – Az új adatgyűjtő rendszer interneten keresztül
Proaktív szolgáltatások Határidőnapló Figyelmeztetés Megszemélyesített kérdőívek A kérdőív kitöltés támogatása (help, értékkészlet, ellenőrzések) Hibalista – újraküldési lehetőség A kérdőívek nyomtatása A kérdőív adatok exportja, importja Adminisztrálási lehetőség szervezeten belül Adatbenyújtó támogatása Kérdőívek archiválása

23 KSH-Elektra – fő feladatok
E-kérdőív szerkesztése – XML, XSL Felhasználók kezelése Adatszolgáltatás előkészítése Kérdőívkitöltés, feltöltés, javítás támogatása adatszolgáltatói oldalon A kérdőív-beérkezés felügyelete A beérkezett kérdőívek automatikus adatbázisba töltése, ellenőrzése Hibalista küldése Hihetőség-vizsgálat

24 KSH-Elektra - Kérdőívszerkesztő

25 KSH-Elektra – Kérdőívkitöltő alk.

26 Adatelőkészítés STATISZTIKAI SZERVEZET TEVÉKENYSÉGE
STATISZTIKAI ALAPTEVÉKENYSÉG Regiszterek karbantartása Felvétel-tervezés Felhasználói igények megh. Tájékoztatás Adattárolás, visszanyerés, elemzés Adatgyűjtés-szervezés Adatelő-készítés Adatbegyűjtés Feldolgozás M e t a d o k Regiszterek Adatgyűjtés-szervezési adatok Rögzítési adatbázis Termelési adatbázis Adattárház Tájékoztatási adatbázis Minőségbiztosítás Metaadat-kezelés Stratégia, tervezés, irányítás Piackutatás, marketing Logisztika (beszerzés, értékesítés) Humán erőforrás- gazdálkodás Adminisztr., hivatali munka Pénzügyi folyamatok, elszámoló r. 26 26

27 Adatelőkészítés Cél: elfogadott (jó) adat előállítása KSH-ban
két keretrendszer Gazdaság és társadalomstatisztikában ADEL keretrendszer (ORACLE-ra építve) több mint 100 adatgyűjtésre Lakossági összeírásoknál BLUMEN keretrendszer Blaise rendszerre építve néhány egyedi alkalmazás

28 ADEL adatelőkészítés feladata
Papír kérdőív rögzítése (on-line ellenőrzéssel vagy anélkül) Batch ellenőrzés (bármely forrásra) hibajegyek készítése Hibalisták készítése On-line adatjavítás Munkaszervezés Folyamatszabályozás Minőségellenőrzés

29 Feldolgozó rendszerek,
ADEL kapcsolatok Adatszolgáltató jellemzői, érkeztetési információk Másodlagos adatforrások GÉSA Adminisztratív adatok ADEL rendszer META ADEL-META Meta információk olvasása Feldolgozó rendszerek, EAR TÉBA (ELEKTRA, KSH- ) Adatátadás E-kérdőívek betöltése, ellenőrzési információk

30 Ellenőrzések típusai Sokasághoz tartozás ellenőrzése
Kérdőíven belüli ellenőrzés Adat érvényesség ellenőrzése Kérdőíven belüli adatösszefüggések vizsgálata Hihetőségi vizsgálatok (intervallum-ell.) Adott téma előző időszakával hasonlítás Más téma kapcsolódó adatával hasonlítás Ellenőrzések több lépésben Interaktív módon Kötegelt módon

31 Hibák típusai Figyelmeztetés (1) Elfogadható hiba (2)
javítani kell vagy magyarázattal elfogadtatható Súlyos hiba (3) javítani kell, csak superuser fogadhatja el Kritikus hiba(4) adatbevitelnél nem átléphető

32 Alapelv A feldolgozás során felmerülő hibák esetén is az elemi adatot kell javítani Majd a feldolgozást megismételni Ez biztosítja a konzisztens tájékoztatást.

33 Feldolgozás STATISZTIKAI SZERVEZET TEVÉKENYSÉGE
STATISZTIKAI ALAPTEVÉKENYSÉG Regiszterek karbantartása Felvétel-tervezés Felhasználói igények megh. Tájékoztatás Adattárolás, visszanyerés, elemzés Adatgyűjtés-szervezés Adatelő-készítés Adatbegyűjtés Feldolgozás M e t a d o k Regiszterek Adatgyűjtés-szervezési adatok Rögzítési adatbázis Termelési adatbázis Adattárház Tájékoztatási adatbázis Minőségbiztosítás Metaadat-kezelés Stratégia, tervezés, irányítás Piackutatás, marketing Logisztika (beszerzés, értékesítés) Humán erőforrás- gazdálkodás Adminisztr., hivatali munka Pénzügyi folyamatok, elszámoló r. 33 33

34 Feldolgozás Cél: a kész adat előállítása
EAR: Egységes adatfeldolgozó rendszer Metaadatra épül Standard elemekből felépülő folyamatok Folyamatot dokumentálja A végrehajtást naplózza A folyamat megismételhető Kész adatokat archiválja Beépített minőségmérés

35 META információs rendszer
V E Z É R L É S Publikációs adatbázisok Adatfeldolgozás (termelési adatbázisok) becslés, összesítés, lekérdezés, ellenőrzés, elemzés Adat-előkészítés (rögzítési adatbázisok) adatrögzítés és ellenőrzés Adatgyűjtés-szervezés számjel-állományok előállítása Nyilvántartások, regiszterek karbantartás EAR Egységes Adatfeldolgozó Rendszer (Oracle) META információs rendszer (meta-adatbázis) metaadatok karbantartása, kezelése GSZR Gazdálkodó szervezetek regisztere MEZŐREG A mezőgazdaság gazdaságainak Egyéb: regiszterként használt adatbázis; adatszolgáltatói lista GÉSA Szervezetek, gazdaságok stb. adatgyűjtés-szervező rendszere Egyéb: számjelként használt adatbázis; ADEL rendszer BLUMEN (Blaise) Egyedi adatrögzítő alkalma-zások Külső források-ból átvett adatok Tájékoztatás Adatraktározás, lekérdezés, elemzés Adattárház Tájékoztatási adatbázis Egyéb tájékoztatási eszközök Elemző ill. táblázó alkalmazások SPSS Demetra CÍMREGISZTER Magyarországi címek statisztikai regisztere LAKOS Lakossági adatgyűjtés-szervező rendszer ARGUS SAS LÉDA DEMO TARS Discoverer Egyéb Forrás: EAR rendszer

36 Feldolgozás elemei Adatkezelés (különböző források)
Adatok összekapcsolása Konzisztencia-vizsgálat, mikro- és makrovalidálás, outlier szűrés Imputálás Súlyképzés Sokasági jellemzők becslése mintából Hibaszámítás Új csoportosító mezők, mutatók képzése, számítása Aggregálás Mutatószámképzés Idősorképzés Output előállítás stb.

37 Adatraktározás, visszanyerés, elemzés, tájékoztatás
STATISZTIKAI SZERVEZET TEVÉKENYSÉGE STATISZTIKAI ALAPTEVÉKENYSÉG Regiszterek karbantartása Felvétel-tervezés Felhasználói igények megh. Tájékoztatás Adattárolás, visszanyerés, elemzés Adatgyűjtés-szervezés Adatelő-készítés Adatbegyűjtés Feldolgozás M e t a d o k Regiszterek Adatgyűjtés-szervezési adatok Rögzítési adatbázis Termelési adatbázis Adattárház Tájékoztatási adatbázis Minőségbiztosítás Metaadat-kezelés Stratégia, tervezés, irányítás Piackutatás, marketing Logisztika (beszerzés, értékesítés) Humán erőforrás- gazdálkodás Adminisztr., hivatali munka Pénzügyi folyamatok, elszámoló r. 37 37

38 Adatelérés, elemzés Adatok visszanyerése Nyers output előállítása
Validálása Szezonális kiigazítás Adatvédelem Output véglegesítése

39 Adattárház és tájékoztatási adatbázis
Szakstatisztika témákba rendezett adatkörök Homogén adatkörök (megfigyelési egység, vonatkozási kör,idő,csoportosító ismérvek, idősor alapján) Az adatok különböző dimenziók mentén, hierarchiába rendezve lekérdezhetők (mélyre ásás) Kereszttáblákban megjelenítés Személyre szabott táblázatok, grafikonok készíthetők. Az adatok nyomtathatók, letölthetők (Excel, PDF) Módszertan lekérdezhető

40 a KSH belső felhasználóinak
Adattárház modell TÁJÉKOZTATÁSI adatbázis ADATTÁRHÁZ a KSH belső felhasználóinak META- ADATOK SAS Oracle (nem szabványos táblák) TERMELÉSI ADATBÁZIS Adatállományok PC-n Forrás: Pap Imre

41 Tájékoztatási adatbázis

42 Kutatószoba Cél: hozzáférés a KSH anonimizált mikroadataihoz,
statisztikai modellek futtatása, elemzések végzése output elvitele ellenőrzést követően

43 Adatvédelmi ellenőrzés
Kutatószoba + MS Office és STATA Adatvédelmi ellenőrzés Output állomány