A statisztika adat-előállítási folyamatát támogató informatikai rendszerek Györki Ildikó MTA Statisztikai Albizottság 2012.09.25

A statisztikai szervezet tevékenységének folyamatszakaszai STATISZTIKAI SZERVEZET TEVÉKENYSÉGE STATISZTIKAI ALAPTEVÉKENYSÉG Regiszterek karbantartása Felvétel-tervezés Felhasználói igények megh. Tájékoztatás Adattárolás, visszanyerés, elemzés Adatgyűjtés-szervezés Adatelő-készítés Adatbegyűjtés Feldolgozás M e t a d o k Regiszterek Adatgyűjtés-szervezési adatok Rögzítési adatbázis Termelési adatbázis Adattárház Tájékoztatási adatbázis Minőségbiztosítás Metaadat-kezelés Stratégia, tervezés, irányítás Piackutatás, marketing Logisztika (beszerzés, értékesítés) Humán erőforrás- gazdálkodás Adminisztr., hivatali munka Pénzügyi folyamatok, elszámoló r. 2 2

A rendszerfejlesztés fő elve Standard, adatgyűjtés-független funkciók Integrált rendszerek Közös adatbázis Feldolgozási lépések egymásra épülése Metaadat-vezérelt rendszerek Tervezési, fejlesztési konvenciók

Funkciók-IT rendszerek Kutatószoba Tájékoztatási ab. Szakstat. dok.

Metaadat-kezelés STATISZTIKAI SZERVEZET TEVÉKENYSÉGE STATISZTIKAI ALAPTEVÉKENYSÉG Regiszterek karbantartása Felvétel-tervezés Felhasználói igények megh. Tájékoztatás Adattárolás, visszanyerés, elemzés Adatgyűjtés-szervezés Adatelő-készítés Adatbegyűjtés Feldolgozás M e t a d o k Regiszterek Adatgyűjtés-szervezési adatok Rögzítési adatbázis Termelési adatbázis Adattárház Tájékoztatási adatbázis Minőségbiztosítás Metaadat-kezelés Stratégia, tervezés, irányítás Piackutatás, marketing Logisztika (beszerzés, értékesítés) Humán erőforrás- gazdálkodás Adminisztr., hivatali munka Pénzügyi folyamatok, elszámoló r. 5 5

Metaadat alapfogalmak Olyan adat, amely meghatároz, leír más adatokat és folyamatokat Statisztikai metaadat Adat a statisztikai adatról. A statisztikai adatok tartalmát, formáját, jellemzőit, forrását, minőségét, az előállítás során alkalmazott eljárásokat, módszertant leíró szöveges, vagy számszerű adatok Strukturális metaadat (információelemek és kapcsolataik) Referencia metaadat (tartalmi, módszertani, minőséget leíró) Egyéb metaadatok (feldolgozási folyamatot leíró, vezérlő) Metainformációs rendszer Gyűjti, feldolgozza, tárolja a metaadatokat és tájékoztat magáról és a segítségével a tárgy információrendszerről. 2012. 04.03

A metarendszer legfontosabb alrendszerei Témastruktúra Adatforrások Adattárház metaadatai Adatgyűjtések Szakstatisztikák Adminisztratív adatforrások Fogalmak Mutatók Adatátvétel más szakstat.-tól Termelési adatbázis metaadatai Nómenkl. Osztályo-zás Jogi alapok Nómenkl. osztályozás Regiszterek, nyilvántartások Szervezet, munkamegoszt. metaadatai Adatgyűjtés- szervezés metaadatai Adat- előkészítés metaadatai Feldolgozás metaadatai Forrás: Baracza Lajosné

Mire használható? Tájékoztatás Standardizálás Redundancia mentesség biztosítása Konzisztens, harmonizált rendszer biztosítása Koordináció hivatalok között Metavezérelt standard alkalmazási rendszerekhez Rend, átláthatóság biztosítása Hatékonyság > Erőforrás Aktív metaadat = Aktuális metaadat 2012. 04.03

Metainformációk a KSH honlapon Elérhetőség: www.ksh.hu oldalon Adatok/Módszertani információk/

Regiszterkezelés STATISZTIKAI SZERVEZET TEVÉKENYSÉGE STATISZTIKAI ALAPTEVÉKENYSÉG Regiszterek karbantartása Felvétel-tervezés Felhasználói igények megh. Tájékoztatás Adattárolás, visszanyerés, elemzés Adatgyűjtés-szervezés Adatelő-készítés Adatbegyűjtés Feldolgozás M e t a d o k Regiszterek Adatgyűjtés-szervezési adatok Rögzítési adatbázis Termelési adatbázis Adattárház Tájékoztatási adatbázis Minőségbiztosítás Metaadat-kezelés Stratégia, tervezés, irányítás Piackutatás, marketing Logisztika (beszerzés, értékesítés) Humán erőforrás- gazdálkodás Adminisztr., hivatali munka Pénzügyi folyamatok, elszámoló r. 10 10

Regiszterek szerepe a statisztikai folyamatban Felvételi, mintakeretek forrása Statisztikai egységek demográfiájának alapja Minőség meghatározó eleme A regiszterek, a megfigyelt sokaság elemeit leíró, az adatgyűjtések gyakoriságának megfelelően karbantartott nyilvántartások, a statisztikai folyamat szinte minden szakaszában fontos szerepet játszanak. Csak példaszerűen: Az adatgyűjtés-szervezésnél a felvételi keret kijelölése a regiszter befagyasztott állapotaira épül. A regiszterekben levő adat minősége, az egységek besorolása, címek jósága szerepet játszik a mintaválasztás, kérdőív megszemélyesítés, adatszolgáltatóhoz eljuttatás sikerében. A regiszterre épülő felvételi keretek az adatgyűjtések teljességellenőrzésének alapjai, és az egységek besoroláshoz kötött ellenőrzésének alapjai is. A feldolgozás során is a felvételi keretek csoportosító ismérvei szolgálnak a csoportképzések, aggregálások, becslések alapjául. Arról nem is beszélve, hogy több regiszterből, az egységek demográfiájáról önálló tájékoztatás készül.

Regiszter-karbantartás Összetett források Adminisztratív regiszterek Adatgyűjtések Szakstatisztikáktól átvett adatok Egyéb források Aktuális állapot mellett történeti adatok kezelése, változások oka, forrása, hatálya

A KSH fő regiszterei GSZR Országok Települések Címek Kereskedelmi szálláshelyek Szociális intézmények Extrastat GSZR Nonprofit szervezetek Mezőgazd. szervezetek és egyéni gazdaságok Ültetvények Kutatóhelyek Intrastat. Egészségügyi szervezetek Nonprofit szálláshelyek Kereskedelmi egységek Vállalatcsoportok Országok Települések Címek Gazdasági szervezetek Telepek Szakosodott egységek

Adatgyűjtés-szervezés STATISZTIKAI SZERVEZET TEVÉKENYSÉGE STATISZTIKAI ALAPTEVÉKENYSÉG Regiszterek karbantartása Felvétel-tervezés Felhasználói igények megh. Tájékoztatás Adattárolás, visszanyerés, elemzés Adatgyűjtés-szervezés Adatelő-készítés Adatbegyűjtés Feldolgozás M e t a d o k Regiszterek Adatgyűjtés-szervezési adatok Rögzítési adatbázis Termelési adatbázis Adattárház Tájékoztatási adatbázis Minőségbiztosítás Metaadat-kezelés Stratégia, tervezés, irányítás Piackutatás, marketing Logisztika (beszerzés, értékesítés) Humán erőforrás- gazdálkodás Adminisztr., hivatali munka Pénzügyi folyamatok, elszámoló r. 14 14

Adatgyűjtés-szervezési rendszer feladata Az adatgyűjtés előkészítése Az adatgyűjtések felvételi keretének kijelölése Mintaválasztás Az adatszolgáltatók megismertetése adatszolgáltatási kötelezettségükkel Az elektronikus adatgyűjtési formák felkészítése az adatszolgáltatásra Munkaszervezés támogatása Postai adatgyűjtésnél a munkamegosztás meghatározása, leírása, alkalmazása Interjú típusú adatgyűjtésnél körzetesítés, összeírók feladata, szerződések támogatása Az adatgyűjtés A beérkező válaszok regisztrálása A beérkezés monitorozása A hiányzó kérdőívek sürgetése A hiányzó és nemleges válaszok okának felderítése, regisztrálása Adatszolgáltatókkal való kapcsolattartás információinak karbantartása Az adatgyűjtés eredményének kiértékelése Összeírók elszámolása Minőségi mutatók számítása Adatszolgáltatói terhelés mutatók számítása Visszacsatolás

A KSH adatgyűjtés-szervezési rendszerei Kereskedelmi szálláshelyek Szociális intézmények Extrastat GSZR Gazdasági szervezetek Nonprofit szervezetek Mezőgazd. szervezetek és egyéni gazdaságok Vállalatcsoportok Ültetvények Kutatóhelyek Intrastat. Egészségügyi szervezetek Nonprofit szálláshelyek Kereskedelmi egységek Telepek Szakosodott egységek Címek LAKOS: Lakossági adatgyűjtések rendszere GÉSA: Gazdasági szervezetek és adatszolgáltatásaik

GÉSA: Felvételi keretek és minták kijelölése, integrálás támogatása

GÉSA elv Bármely adatgyűjtésre Adatgyűjtések leírása metaadatbázisban Felvételi keretek egységes szerkezete Egységes paraadatok Egységes kódok Új adatgyűjtés bekerülése csak metaadat leírást igényel Egységes kiértékelés valamennyi adatgyűjtésre

GÉSA: Adatgyűjtések kiértékelése egységes rendszerben

Adatbegyűjtés STATISZTIKAI SZERVEZET TEVÉKENYSÉGE STATISZTIKAI ALAPTEVÉKENYSÉG Regiszterek karbantartása Felvétel-tervezés Felhasználói igények megh. Tájékoztatás Adattárolás, visszanyerés, elemzés Adatgyűjtés-szervezés Adatelő-készítés Adatbegyűjtés Feldolgozás M e t a d o k Regiszterek Adatgyűjtés-szervezési adatok Rögzítési adatbázis Termelési adatbázis Adattárház Tájékoztatási adatbázis Minőségbiztosítás Metaadat-kezelés Stratégia, tervezés, irányítás Piackutatás, marketing Logisztika (beszerzés, értékesítés) Humán erőforrás- gazdálkodás Adminisztr., hivatali munka Pénzügyi folyamatok, elszámoló r. 20 20

Adatforrások típusai Interjú típusú adatgyűjtés PAPI – papír kérdőíves interjú CAPI – mobil eszközös interjú CATI – telefonos interjú Önkitöltő típusú adatgyűjtés Postai, papír Elektronikus E-mail – letöltött Excel WEB – internetes adatgyűjtés Direkt adatgyűjtés Adatátvétel

KSH-Elektra – Az új adatgyűjtő rendszer interneten keresztül Proaktív szolgáltatások Határidőnapló Figyelmeztetés Megszemélyesített kérdőívek A kérdőív kitöltés támogatása (help, értékkészlet, ellenőrzések) Hibalista – újraküldési lehetőség A kérdőívek nyomtatása A kérdőív adatok exportja, importja Adminisztrálási lehetőség szervezeten belül Adatbenyújtó támogatása Kérdőívek archiválása

KSH-Elektra – fő feladatok E-kérdőív szerkesztése – XML, XSL Felhasználók kezelése Adatszolgáltatás előkészítése Kérdőívkitöltés, feltöltés, javítás támogatása adatszolgáltatói oldalon A kérdőív-beérkezés felügyelete A beérkezett kérdőívek automatikus adatbázisba töltése, ellenőrzése Hibalista küldése Hihetőség-vizsgálat

KSH-Elektra - Kérdőívszerkesztő

KSH-Elektra – Kérdőívkitöltő alk.

Adatelőkészítés STATISZTIKAI SZERVEZET TEVÉKENYSÉGE STATISZTIKAI ALAPTEVÉKENYSÉG Regiszterek karbantartása Felvétel-tervezés Felhasználói igények megh. Tájékoztatás Adattárolás, visszanyerés, elemzés Adatgyűjtés-szervezés Adatelő-készítés Adatbegyűjtés Feldolgozás M e t a d o k Regiszterek Adatgyűjtés-szervezési adatok Rögzítési adatbázis Termelési adatbázis Adattárház Tájékoztatási adatbázis Minőségbiztosítás Metaadat-kezelés Stratégia, tervezés, irányítás Piackutatás, marketing Logisztika (beszerzés, értékesítés) Humán erőforrás- gazdálkodás Adminisztr., hivatali munka Pénzügyi folyamatok, elszámoló r. 26 26

Adatelőkészítés Cél: elfogadott (jó) adat előállítása KSH-ban két keretrendszer Gazdaság és társadalomstatisztikában ADEL keretrendszer (ORACLE-ra építve) több mint 100 adatgyűjtésre Lakossági összeírásoknál BLUMEN keretrendszer Blaise rendszerre építve néhány egyedi alkalmazás

ADEL adatelőkészítés feladata Papír kérdőív rögzítése (on-line ellenőrzéssel vagy anélkül) Batch ellenőrzés (bármely forrásra) hibajegyek készítése Hibalisták készítése On-line adatjavítás Munkaszervezés Folyamatszabályozás Minőségellenőrzés

Feldolgozó rendszerek, ADEL kapcsolatok Adatszolgáltató jellemzői, érkeztetési információk Másodlagos adatforrások GÉSA Adminisztratív adatok ADEL rendszer META ADEL-META Meta információk olvasása Feldolgozó rendszerek, EAR TÉBA (ELEKTRA, KSH-EMAIL) Adatátadás E-kérdőívek betöltése, ellenőrzési információk

Ellenőrzések típusai Sokasághoz tartozás ellenőrzése Kérdőíven belüli ellenőrzés Adat érvényesség ellenőrzése Kérdőíven belüli adatösszefüggések vizsgálata Hihetőségi vizsgálatok (intervallum-ell.) Adott téma előző időszakával hasonlítás Más téma kapcsolódó adatával hasonlítás Ellenőrzések több lépésben Interaktív módon Kötegelt módon

Hibák típusai Figyelmeztetés (1) Elfogadható hiba (2) javítani kell vagy magyarázattal elfogadtatható Súlyos hiba (3) javítani kell, csak superuser fogadhatja el Kritikus hiba(4) adatbevitelnél nem átléphető

Alapelv A feldolgozás során felmerülő hibák esetén is az elemi adatot kell javítani Majd a feldolgozást megismételni Ez biztosítja a konzisztens tájékoztatást.

Feldolgozás STATISZTIKAI SZERVEZET TEVÉKENYSÉGE STATISZTIKAI ALAPTEVÉKENYSÉG Regiszterek karbantartása Felvétel-tervezés Felhasználói igények megh. Tájékoztatás Adattárolás, visszanyerés, elemzés Adatgyűjtés-szervezés Adatelő-készítés Adatbegyűjtés Feldolgozás M e t a d o k Regiszterek Adatgyűjtés-szervezési adatok Rögzítési adatbázis Termelési adatbázis Adattárház Tájékoztatási adatbázis Minőségbiztosítás Metaadat-kezelés Stratégia, tervezés, irányítás Piackutatás, marketing Logisztika (beszerzés, értékesítés) Humán erőforrás- gazdálkodás Adminisztr., hivatali munka Pénzügyi folyamatok, elszámoló r. 33 33

Feldolgozás Cél: a kész adat előállítása EAR: Egységes adatfeldolgozó rendszer Metaadatra épül Standard elemekből felépülő folyamatok Folyamatot dokumentálja A végrehajtást naplózza A folyamat megismételhető Kész adatokat archiválja Beépített minőségmérés

META információs rendszer V E Z É R L É S Publikációs adatbázisok Adatfeldolgozás (termelési adatbázisok) becslés, összesítés, lekérdezés, ellenőrzés, elemzés Adat-előkészítés (rögzítési adatbázisok) adatrögzítés és ellenőrzés Adatgyűjtés-szervezés számjel-állományok előállítása Nyilvántartások, regiszterek karbantartás EAR Egységes Adatfeldolgozó Rendszer (Oracle) META információs rendszer (meta-adatbázis) metaadatok karbantartása, kezelése GSZR Gazdálkodó szervezetek regisztere MEZŐREG A mezőgazdaság gazdaságainak Egyéb: regiszterként használt adatbázis; adatszolgáltatói lista GÉSA Szervezetek, gazdaságok stb. adatgyűjtés-szervező rendszere Egyéb: számjelként használt adatbázis; ADEL rendszer BLUMEN (Blaise) Egyedi adatrögzítő alkalma-zások Külső források-ból átvett adatok Tájékoztatás Adatraktározás, lekérdezés, elemzés Adattárház Tájékoztatási adatbázis Egyéb tájékoztatási eszközök Elemző ill. táblázó alkalmazások SPSS Demetra CÍMREGISZTER Magyarországi címek statisztikai regisztere LAKOS Lakossági adatgyűjtés-szervező rendszer ARGUS SAS LÉDA DEMO TARS Discoverer Egyéb Forrás: EAR rendszer

Feldolgozás elemei Adatkezelés (különböző források) Adatok összekapcsolása Konzisztencia-vizsgálat, mikro- és makrovalidálás, outlier szűrés Imputálás Súlyképzés Sokasági jellemzők becslése mintából Hibaszámítás Új csoportosító mezők, mutatók képzése, számítása Aggregálás Mutatószámképzés Idősorképzés Output előállítás stb.

Adatraktározás, visszanyerés, elemzés, tájékoztatás STATISZTIKAI SZERVEZET TEVÉKENYSÉGE STATISZTIKAI ALAPTEVÉKENYSÉG Regiszterek karbantartása Felvétel-tervezés Felhasználói igények megh. Tájékoztatás Adattárolás, visszanyerés, elemzés Adatgyűjtés-szervezés Adatelő-készítés Adatbegyűjtés Feldolgozás M e t a d o k Regiszterek Adatgyűjtés-szervezési adatok Rögzítési adatbázis Termelési adatbázis Adattárház Tájékoztatási adatbázis Minőségbiztosítás Metaadat-kezelés Stratégia, tervezés, irányítás Piackutatás, marketing Logisztika (beszerzés, értékesítés) Humán erőforrás- gazdálkodás Adminisztr., hivatali munka Pénzügyi folyamatok, elszámoló r. 37 37

Adatelérés, elemzés Adatok visszanyerése Nyers output előállítása Validálása Szezonális kiigazítás Adatvédelem Output véglegesítése

Adattárház és tájékoztatási adatbázis Szakstatisztika témákba rendezett adatkörök Homogén adatkörök (megfigyelési egység, vonatkozási kör,idő,csoportosító ismérvek, idősor alapján) Az adatok különböző dimenziók mentén, hierarchiába rendezve lekérdezhetők (mélyre ásás) Kereszttáblákban megjelenítés Személyre szabott táblázatok, grafikonok készíthetők. Az adatok nyomtathatók, letölthetők (Excel, PDF) Módszertan lekérdezhető

a KSH belső felhasználóinak Adattárház modell TÁJÉKOZTATÁSI adatbázis ADATTÁRHÁZ a KSH belső felhasználóinak META- ADATOK SAS Oracle (nem szabványos táblák) TERMELÉSI ADATBÁZIS Adatállományok PC-n Forrás: Pap Imre

Tájékoztatási adatbázis

Kutatószoba Cél: hozzáférés a KSH anonimizált mikroadataihoz, statisztikai modellek futtatása, elemzések végzése output elvitele ellenőrzést követően

Adatvédelmi ellenőrzés Kutatószoba + MS Office és STATA Adatvédelmi ellenőrzés Output állomány