Az előadás letöltése folymat van. Kérjük, várjon

Az előadás letöltése folymat van. Kérjük, várjon

A statisztika adat-előállítási folyamatát támogató informatikai rendszerek Györki Ildikó MTA Statisztikai Albizottság12012.09.25.

Hasonló előadás


Az előadások a következő témára: "A statisztika adat-előállítási folyamatát támogató informatikai rendszerek Györki Ildikó MTA Statisztikai Albizottság12012.09.25."— Előadás másolata:

1 A statisztika adat-előállítási folyamatát támogató informatikai rendszerek Györki Ildikó MTA Statisztikai Albizottság

2 2 A statisztikai szervezet tevékenységének folyamatszakaszai 2 STATISZTIKAI SZERVEZET TEVÉKENYSÉGE STATISZTIKAI ALAPTEVÉKENYSÉG Regiszterek karbantartása Felvétel- tervezés Felhasználói igények megh. Tájékoztatás Adattárolás, visszanyerés, elemzés Adatgyűjtés- szervezés Adatelő- készítés Adatbegyűjtés Feldolgozás MetaadatokMetaadatok Regiszterek Adatgyűjtés-szervezési adatok Rögzítési adatbázis Termelési adatbázis Adattárház Tájékoztatási adatbázis Minőségbiztosítás Metaadat-kezelés Stratégia, tervezés, irányítás Piackutatás, marketing Logisztika (beszerzés, értékesítés) Humán erőforrás- gazdálkodás Adminisztr., hivatali munka Pénzügyi folyamatok, elszámoló r.

3 A rendszerfejlesztés fő elve Standard, adatgyűjtés-független funkciók Integrált rendszerek –Közös adatbázis –Feldolgozási lépések egymásra épülése Metaadat-vezérelt rendszerek Tervezési, fejlesztési konvenciók

4 Funkciók-IT rendszerek KutatószobaTájékoztatási ab.Szakstat. dok.

5 5 Metaadat-kezelés 5 STATISZTIKAI SZERVEZET TEVÉKENYSÉGE STATISZTIKAI ALAPTEVÉKENYSÉG Regiszterek karbantartása Felvétel- tervezés Felhasználói igények megh. Tájékoztatás Adattárolás, visszanyerés, elemzés Adatgyűjtés- szervezés Adatelő- készítés Adatbegyűjtés Feldolgozás MetaadatokMetaadatok Regiszterek Adatgyűjtés-szervezési adatok Rögzítési adatbázis Termelési adatbázis Adattárház Tájékoztatási adatbázis Minőségbiztosítás Metaadat-kezelés Stratégia, tervezés, irányítás Piackutatás, marketing Logisztika (beszerzés, értékesítés) Humán erőforrás- gazdálkodás Adminisztr., hivatali munka Pénzügyi folyamatok, elszámoló r.

6 Metaadat alapfogalmak Metaadat Olyan adat, amely meghatároz, leír más adatokat és folyamatokat Statisztikai metaadat Adat a statisztikai adatról. A statisztikai adatok tartalmát, formáját, jellemzőit, forrását, minőségét, az előállítás során alkalmazott eljárásokat, módszertant leíró szöveges, vagy számszerű adatok –Strukturális metaadat (információelemek és kapcsolataik) –Referencia metaadat (tartalmi, módszertani, minőséget leíró) –Egyéb metaadatok (feldolgozási folyamatot leíró, vezérlő) Metainformációs rendszer Gyűjti, feldolgozza, tárolja a metaadatokat és tájékoztat magáról és a segítségével a tárgy információrendszerről

7 Adatgyűjtés- szervezés metaadatai Adat- előkészítés metaadatai Szakstatisztikák Fogalmak Nómenkl. osztályozás Jogi alapok Adattárház metaadatai Termelési adatbázis metaadatai Adatforrások Adatgyűjtések Adminisztratív adatforrások Adatátvétel más szakstat.-tól A metarendszer legfontosabb alrendszerei Feldolgozás metaadatai Mutatók Nómenkl. Osztályo- zás Témastruktúra Regiszterek, nyilvántartások Szervezet, munkamegoszt. metaadatai Forrás: Baracza Lajosné

8 Mire használható? Tájékoztatás Standardizálás –Redundancia mentesség biztosítása –Konzisztens, harmonizált rendszer biztosítása Koordináció hivatalok között Metavezérelt standard alkalmazási rendszerekhez Rend, átláthatóság biztosítása Hatékonyság > Erőforrás Aktív metaadat = Aktuális metaadat

9 Metainformációk a KSH honlapon oldalon Adatok/Módszertani információk/ Elérhetőség: oldalon Adatok/Módszertani információk/www.ksh.hu

10 10 Regiszterkezelés 10 STATISZTIKAI SZERVEZET TEVÉKENYSÉGE STATISZTIKAI ALAPTEVÉKENYSÉG Regiszterek karbantartása Felvétel- tervezés Felhasználói igények megh. Tájékoztatás Adattárolás, visszanyerés, elemzés Adatgyűjtés- szervezés Adatelő- készítés Adatbegyűjtés Feldolgozás MetaadatokMetaadatok Regiszterek Adatgyűjtés-szervezési adatok Rögzítési adatbázis Termelési adatbázis Adattárház Tájékoztatási adatbázis Minőségbiztosítás Metaadat-kezelés Stratégia, tervezés, irányítás Piackutatás, marketing Logisztika (beszerzés, értékesítés) Humán erőforrás- gazdálkodás Adminisztr., hivatali munka Pénzügyi folyamatok, elszámoló r.

11 Regiszterek szerepe a statisztikai folyamatban Felvételi, mintakeretek forrása Statisztikai egységek demográfiájának alapja Minőség meghatározó eleme

12 Regiszter-karbantartás Összetett források –Adminisztratív regiszterek –Adatgyűjtések –Szakstatisztikáktól átvett adatok –Egyéb források Aktuális állapot mellett történeti adatok kezelése, változások oka, forrása, hatálya

13 A KSH fő regiszterei Kereskedelmi szálláshely ek Szociális intézmények Extrastat GSZR Nonprofit szervezetek Mezőgazd. szervezetek és egyéni gazdaságok Ültetvény ek Kutatóhelyek Intrastat. Egészségügyi szervezetek Nonprofit szálláshely ek Kereskedelmi egységek Országok Települések Címek Gazdasági szervezetek Vállalatcsoportok Telepek Szakosodott egységek

14 14 Adatgyűjtés-szervezés 14 STATISZTIKAI SZERVEZET TEVÉKENYSÉGE STATISZTIKAI ALAPTEVÉKENYSÉG Regiszterek karbantartása Felvétel- tervezés Felhasználói igények megh. Tájékoztatás Adattárolás, visszanyerés, elemzés Adatgyűjtés- szervezés Adatelő- készítés Adatbegyűjtés Feldolgozás MetaadatokMetaadatok Regiszterek Adatgyűjtés-szervezési adatok Rögzítési adatbázis Termelési adatbázis Adattárház Tájékoztatási adatbázis Minőségbiztosítás Metaadat-kezelés Stratégia, tervezés, irányítás Piackutatás, marketing Logisztika (beszerzés, értékesítés) Humán erőforrás- gazdálkodás Adminisztr., hivatali munka Pénzügyi folyamatok, elszámoló r.

15 Adatgyűjtés-szervezési rendszer feladata –Az adatgyűjtés előkészítése Az adatgyűjtések felvételi keretének kijelölése Mintaválasztás Az adatszolgáltatók megismertetése adatszolgáltatási kötelezettségükkel Az elektronikus adatgyűjtési formák felkészítése az adatszolgáltatásra –Munkaszervezés támogatása Postai adatgyűjtésnél a munkamegosztás meghatározása, leírása, alkalmazása Interjú típusú adatgyűjtésnél körzetesítés, összeírók feladata, szerződések támogatása –Az adatgyűjtés A beérkező válaszok regisztrálása A beérkezés monitorozása A hiányzó kérdőívek sürgetése A hiányzó és nemleges válaszok okának felderítése, regisztrálása Adatszolgáltatókkal való kapcsolattartás információinak karbantartása –Az adatgyűjtés eredményének kiértékelése Összeírók elszámolása Minőségi mutatók számítása Adatszolgáltatói terhelés mutatók számítása –Visszacsatolás

16 A KSH adatgyűjtés-szervezési rendszerei Kereskedelmi szálláshely ek Szociális intézmények Extrastat GSZR Gazdasági szervezetek Nonprofit szervezetek Mezőgazd. szervezetek és egyéni gazdaságok Vállalatcsoportok Ültetvény ek Kutatóhelyek Intrastat. Egészségügyi szervezetek Nonprofit szálláshely ek Kereskedelmi egységek Címek GÉSA: Gazdasági szervezetek és adatszolgáltatásaik LAKOS: Lakossági adatgyűjtések rendszere Telepek Szakosodott egységek

17 GÉSA: Felvételi keretek és minták kijelölése, integrálás támogatása

18 GÉSA elv Bármely adatgyűjtésre Adatgyűjtések leírása metaadatbázisban Felvételi keretek egységes szerkezete Egységes paraadatok Egységes kódok Új adatgyűjtés bekerülése csak metaadat leírást igényel Egységes kiértékelés valamennyi adatgyűjtésre

19 GÉSA: Adatgyűjtések kiértékelése egységes rendszerben

20 20 Adatbegyűjtés 20 STATISZTIKAI SZERVEZET TEVÉKENYSÉGE STATISZTIKAI ALAPTEVÉKENYSÉG Regiszterek karbantartása Felvétel- tervezés Felhasználói igények megh. Tájékoztatás Adattárolás, visszanyerés, elemzés Adatgyűjtés- szervezés Adatelő- készítés Adatbegyűjtés Feldolgozás MetaadatokMetaadatok Regiszterek Adatgyűjtés-szervezési adatok Rögzítési adatbázis Termelési adatbázis Adattárház Tájékoztatási adatbázis Minőségbiztosítás Metaadat-kezelés Stratégia, tervezés, irányítás Piackutatás, marketing Logisztika (beszerzés, értékesítés) Humán erőforrás- gazdálkodás Adminisztr., hivatali munka Pénzügyi folyamatok, elszámoló r.

21 Adatforrások típusai Interjú típusú adatgyűjtés –PAPI – papír kérdőíves interjú –CAPI – mobil eszközös interjú –CATI – telefonos interjú Önkitöltő típusú adatgyűjtés –Postai, papír –Elektronikus – letöltött Excel WEB – internetes adatgyűjtés Direkt adatgyűjtés Adatátvétel

22 KSH-Elektra – Az új adatgyűjtő rendszer interneten keresztül Proaktív szolgáltatások –Határidőnapló –Figyelmeztetés –Megszemélyesített kérdőívek A kérdőív kitöltés támogatása (help, értékkészlet, ellenőrzések) Hibalista – újraküldési lehetőség A kérdőívek nyomtatása A kérdőív adatok exportja, importja Adminisztrálási lehetőség szervezeten belül Adatbenyújtó támogatása Kérdőívek archiválása

23 KSH-Elektra – fő feladatok E-kérdőív szerkesztése – XML, XSL Felhasználók kezelése Adatszolgáltatás előkészítése Kérdőívkitöltés, feltöltés, javítás támogatása adatszolgáltatói oldalon A kérdőív-beérkezés felügyelete A beérkezett kérdőívek automatikus adatbázisba töltése, ellenőrzése Hibalista küldése Hihetőség-vizsgálat

24 KSH-Elektra - Kérdőívszerkesztő

25 KSH-Elektra – Kérdőívkitöltő alk.

26 26 Adatelőkészítés 26 STATISZTIKAI SZERVEZET TEVÉKENYSÉGE STATISZTIKAI ALAPTEVÉKENYSÉG Regiszterek karbantartása Felvétel- tervezés Felhasználói igények megh. Tájékoztatás Adattárolás, visszanyerés, elemzés Adatgyűjtés- szervezés Adatelő- készítés Adatbegyűjtés Feldolgozás MetaadatokMetaadatok Regiszterek Adatgyűjtés-szervezési adatok Rögzítési adatbázis Termelési adatbázis Adattárház Tájékoztatási adatbázis Minőségbiztosítás Metaadat-kezelés Stratégia, tervezés, irányítás Piackutatás, marketing Logisztika (beszerzés, értékesítés) Humán erőforrás- gazdálkodás Adminisztr., hivatali munka Pénzügyi folyamatok, elszámoló r.

27 Adatelőkészítés Cél: elfogadott (jó) adat előállítása KSH-ban – két keretrendszer Gazdaság és társadalomstatisztikában ADEL keretrendszer (ORACLE-ra építve) több mint 100 adatgyűjtésre Lakossági összeírásoknál BLUMEN keretrendszer Blaise rendszerre építve  néhány egyedi alkalmazás

28 ADEL adatelőkészítés feladata Papír kérdőív rögzítése (on-line ellenőrzéssel vagy anélkül) Batch ellenőrzés (bármely forrásra) hibajegyek készítése Hibalisták készítése On-line adatjavítás Munkaszervezés Folyamatszabályozás Minőségellenőrzés

29 ADEL kapcsolatok Adatszolgáltató jellemzői, érkeztetési információk Adminisztratív adatok GÉSA META ADEL- META Feldolgozó rendszerek, EAR TÉBA (ELEKTRA, KSH- ) ADEL rendszer E-kérdőívek betöltése, ellenőrzési információk Másodlagos adatforrások Meta információk olvasása Adatátadás

30 Ellenőrzések típusai Sokasághoz tartozás ellenőrzése Kérdőíven belüli ellenőrzés –Adat érvényesség ellenőrzése –Kérdőíven belüli adatösszefüggések vizsgálata –Hihetőségi vizsgálatok (intervallum-ell.) Adott téma előző időszakával hasonlítás Más téma kapcsolódó adatával hasonlítás Ellenőrzések több lépésben –Interaktív módon –Kötegelt módon

31 Hibák típusai Figyelmeztetés (1) Elfogadható hiba (2) javítani kell vagy magyarázattal elfogadtatható Súlyos hiba (3) javítani kell, csak superuser fogadhatja el Kritikus hiba(4) adatbevitelnél nem átléphető

32 Alapelv A feldolgozás során felmerülő hibák esetén is az elemi adatot kell javítani Majd a feldolgozást megismételni Ez biztosítja a konzisztens tájékoztatást.

33 33 Feldolgozás 33 STATISZTIKAI SZERVEZET TEVÉKENYSÉGE STATISZTIKAI ALAPTEVÉKENYSÉG Regiszterek karbantartása Felvétel- tervezés Felhasználói igények megh. Tájékoztatás Adattárolás, visszanyerés, elemzés Adatgyűjtés- szervezés Adatelő- készítés Adatbegyűjtés Feldolgozás MetaadatokMetaadatok Regiszterek Adatgyűjtés-szervezési adatok Rögzítési adatbázis Termelési adatbázis Adattárház Tájékoztatási adatbázis Minőségbiztosítás Metaadat-kezelés Stratégia, tervezés, irányítás Piackutatás, marketing Logisztika (beszerzés, értékesítés) Humán erőforrás- gazdálkodás Adminisztr., hivatali munka Pénzügyi folyamatok, elszámoló r.

34 Feldolgozás Cél: a kész adat előállítása EAR: Egységes adatfeldolgozó rendszer –Metaadatra épül –Standard elemekből felépülő folyamatok –Folyamatot dokumentálja –A végrehajtást naplózza –A folyamat megismételhető –Kész adatokat archiválja –Beépített minőségmérés

35 V E Z É R L É S Publikációs adatbázisok Adatfeldolgozás (termelési adatbázisok) becslés, összesítés, lekérdezés, ellenőrzés, elemzés Adat-előkészítés (rögzítési adatbázisok) adatrögzítés és ellenőrzés Adatgyűjtés- szervezés számjel-állományok előállítása Nyilvántartások, regiszterek karbantartás EAR Egységes Adatfeldolgozó Rendszer (Oracle) META információs rendszer (meta-adatbázis) metaadatok karbantartása, kezelése GSZR Gazdálkodó szervezetek regisztere (Oracle) MEZŐREG A mezőgazdaság gazdaságainak regisztere (Oracle) Egyéb: regiszterként használt adatbázis; adatszolgáltatói lista GÉSA Szervezetek, gazdaságok stb. adatgyűjtés- szervező rendszere (Oracle) Egyéb: számjelként használt adatbázis; adatszolgáltatói lista ADEL (Oracle) rendszer BLUMEN (Blaise) rendszer Egyedi adatrögzítő alkalma- zások Külső források- ból átvett adatok Tájékoztatás Adatraktározás, lekérdezés, elemzés Adattárház (Oracle) Tájékoztatási adatbázis (Oracle) Egyéb tájékoztatási eszközök Elemző ill. táblázó alkalmazások SPSS Demetra CÍMREGISZTER Magyarországi címek statisztikai regisztere (Oracle) LAKOS Lakossági adatgyűjtés- szervező rendszer (Oracle) ARGUS SAS LÉDA DEMO TARS Discoverer Egyéb Forrás: EAR rendszer

36 Feldolgozás elemei Adatkezelés (különböző források) Adatok összekapcsolása Konzisztencia-vizsgálat, mikro- és makrovalidálás, outlier szűrés Imputálás Súlyképzés Sokasági jellemzők becslése mintából Hibaszámítás Új csoportosító mezők, mutatók képzése, számítása Aggregálás Mutatószámképzés Idősorképzés Output előállítás stb.

37 37 Adatraktározás, visszanyerés, elemzés, tájékoztatás 37 STATISZTIKAI SZERVEZET TEVÉKENYSÉGE STATISZTIKAI ALAPTEVÉKENYSÉG Regiszterek karbantartása Felvétel- tervezés Felhasználói igények megh. Tájékoztatás Adattárolás, visszanyerés, elemzés Adatgyűjtés- szervezés Adatelő- készítés Adatbegyűjtés Feldolgozás MetaadatokMetaadatok Regiszterek Adatgyűjtés-szervezési adatok Rögzítési adatbázis Termelési adatbázis Adattárház Tájékoztatási adatbázis Minőségbiztosítás Metaadat-kezelés Stratégia, tervezés, irányítás Piackutatás, marketing Logisztika (beszerzés, értékesítés) Humán erőforrás- gazdálkodás Adminisztr., hivatali munka Pénzügyi folyamatok, elszámoló r.

38 Adatelérés, elemzés Adatok visszanyerése Nyers output előállítása Validálása Szezonális kiigazítás Adatvédelem Output véglegesítése

39 Adattárház és tájékoztatási adatbázis Szakstatisztika témákba rendezett adatkörök Homogén adatkörök (megfigyelési egység, vonatkozási kör,idő,csoportosító ismérvek, idősor alapján) Az adatok különböző dimenziók mentén, hierarchiába rendezve lekérdezhetők (mélyre ásás) Kereszttáblákban megjelenítés Személyre szabott táblázatok, grafikonok készíthetők. Az adatok nyomtathatók, letölthetők (Excel, PDF) Módszertan lekérdezhető

40 Adatállományok PC-n ADATTÁRHÁZ a KSH belső felhasználóinak TERMELÉSI ADATBÁZIS SAS Oracle (nem szabványos táblák) TÁJÉKOZTATÁSI adatbázis META- ADATOK Adattárház modell Forrás: Pap Imre

41 Tájékoztatási adatbázis

42 Kutatószoba Cél: – hozzáférés a KSH anonimizált mikroadataihoz, –statisztikai modellek futtatása, elemzések végzése –output elvitele ellenőrzést követően

43 + MS Office és STATA Kutatószoba Adatvédelmi ellenőrzés Output állomány


Letölteni ppt "A statisztika adat-előállítási folyamatát támogató informatikai rendszerek Györki Ildikó MTA Statisztikai Albizottság12012.09.25."

Hasonló előadás


Google Hirdetések