Adatminőség Előadó: Angyal Gergely 2012.02.22.. Bemutatkozás  Iskolák, szakképesítések: okleveles mérnök- informatikus, bankinformatikus szakmérnök,

Az előadások a következő témára: "Adatminőség Előadó: Angyal Gergely 2012.02.22.. Bemutatkozás  Iskolák, szakképesítések: okleveles mérnök- informatikus, bankinformatikus szakmérnök,"— Előadás másolata:

1 Adatminőség Előadó: Angyal Gergely 2012.02.22.

2 Bemutatkozás  Iskolák, szakképesítések: okleveles mérnök- informatikus, bankinformatikus szakmérnök, vezetőképzés, Certified Information System Auditor (ISACA), Certified Tester (ISTQB)  Szakmai tevékenység: szoftverfejlesztés (VB, C#, SQL), IT audit, tesztelés, IT minőségbiztosítás, csoportvezetés, projektvezetés  Motiváció: komplex informatikai problémák megoldásában való közreműködés Előadó: Angyal Gergely22012.02.22.

3 Tematika  Teória  definíciók  keretrendszer (BI, DWH) az adatminőség értelmezéséhez  ellenőrzéstípusok (PreDeCo)  Praktikus szempontból  adatminőség anomáliák mező: név, cím, okmányok rekord: duplikátum  általánosság Előadó: Angyal Gergely32012.02.22.

4 Bevezetés  Minőség  Adatminőség  Elvárások  Kit érint az adatminőség  Ki tehet az adatminőségért? Előadó: Angyal Gergely42012.02.22.

5 Definíciók  minőség: az a szint, amikor a komponens, rendszer vagy folyamat megfelel a meghatározott követelményeknek és/vagy a felhasználó/ügyfél igényeinek és elvárásainak. [IEEE 610 / 24765-2010]  szoftverminőség: a szoftvertermék funkcionalitásainak és jellemzőinek az összessége, amelyek az explicit és implicit módon megadott szükségleteket elégítik ki. [ISO 9126] Előadó: Angyal Gergely52012.02.22.

6 Definíciók  transzcendencia-alapú minőség: a minőség azon formája, amit nem lehet egyértelműen meghatározni, mégis tudjuk, ha látjuk, vagy érzékeljük a hiányát, ha az nem megfelelő. A minőség az egyén, vagy egyének csoportjának érzékelésén és szubjektív érzésein múlik [Garvin]  data quality: fit for their intended uses in operations, decision making and planning [J. M. Juran, wikipedia / en] Előadó: Angyal Gergely62012.02.22.

7 Keretrendszer  BI: „adatok, információ és tudás hozzáférhetősége”  Hozzáférhetőség minőségi aspektusa: nem megfelelő minőségűek az adatok, akkor sem az adat, sem az információ nem – teljeskörűen – hozzáférhető  DWH: betöltés „elhasal”: a forrásrendszerek adatminőségi problémájára először az aznapi töltés derít fényt Előadó: Angyal Gergely72012.02.22.

8 Ellenőrzéstípusok  Preventív ellenőrzés adatbevitelkor  megelőzés: a minőség romlását megelőzzük  megfelelő adatmodellezéssel  adatvalidátorok alkalmazásával  Detektív és korrektív ellenőrzés  felderítés: a minőségi problémát felderítjük  nem megfelelő értékek megkeresése egyedileg (GUI)  nem megfelelő értékek tömeges megkeresése (SELECT), és javítása (INSERT/UPDATE) Előadó: Angyal Gergely82012.02.22.

9 Mező szintű anomáliák  Szkóp  attribútum  adatmező, adatelem  oszlop  az entitás leíró adatára vonatkozó minőségi kritéria  Szerkezet  az adat önállóan, egymagában értelmezett minősége megfelelő formátumban tárolt adat Értékkészletnek megfelelő adat  adatelemek közötti összefüggés konzisztencia Előadó: Angyal Gergely92012.02.22.

10 Mező szintű anomáliák  Adathiány, hiányzó adat, nem töltött érték  lakcímkártyaszám mező: üres  Formátumnak nem megfelelő érték  lakcímkártyaszám mezőben: AAA-999 (rendszám)  Értékkészletnek nem megfelelő érték  neme mezőben: Z (pl. F/N helyett)  Más típusú érték  születési név mezőben: 1989 Előadó: Angyal Gergely102012.02.22.

11 Formátum  Név?  Természetes személy  Jogi személy  Természetes személy Magyarországon használatos  születési név  házassági név  megkülönböztető betűjel  titulusok  utónevek  Természetes személy külföldi nevek  speciális ékezetek, írásjelek (cirill, kínai)  más formátumlogikát követ Előadó: Angyal Gergely112012.02.22.

12 Formátum  Név  Bastiano Coimbra de la Coronilla y Azevedo  Antonio Coimbra de la Coronilla y Azevedo Előadó: Angyal Gergely122012.02.22.

13 Formátum Előadó: Angyal Gergely132012.02.22.  Születési név Magyarországon  Egytagú családnév egy utónévvel  Kéttagú családnév egy utónévvel  Egytagú családnév két utónévvel  Kéttagú családnév két utónévvel

14 Előadó: Angyal Gergely142012.02.22.  Házassági név  A feleség a házasságkötés után választása szerint: kizárólag a maga teljes nevét viseli a férje teljes nevét viseli a házasságra utaló toldással a férje teljes nevét viseli a házasságra utaló toldással, amelyhez a maga teljes nevét hozzákapcsolhatja a férje családi nevét viseli a házasságra utaló toldással és ehhez a maga teljes nevét hozzákapcsolja férje családi nevéhez hozzákapcsolja a saját utónevét Formátum

15 Előadó: Angyal Gergely152012.02.22.  Házassági név 2  A férj a házasságkötés után: kizárólag a maga teljes nevét viseli a felesége családi nevéhez hozzákapcsolja a saját utónevét  A férj, illetve a feleség a házasságkötés után házassági névként családi nevüket is összekapcsolhatják, hozzáfűzve a saját utónevüket Formátum

16 Előadó: Angyal Gergely162012.02.22.  Titulusok  dr.  ifj.  id.  özv.  Titulusok  dipl. Ing  med.  Prof.  Dr. med.habil. Xxxx Yyyyyy Ph. D., D.Sc. Formátum

17 Előadó: Angyal Gergely172012.02.22.  Cím  Postai küldemény – postaláda fellelhetősége  Elérhetőség – ajtó, helyiség fellelhetősége Formátum

18 Előadó: Angyal Gergely182012.02.22.  Okmányok  Személyi igazolvány  Lakcímkártya  Egyéb okmányok Útlevél Születési anyakönyvi kivonat Vezetői engedély Formátum

19 Előadó: Angyal Gergely192012.02.22.  Reguláris kifejezések Oracle-ben (10g)  REGEXP_INSTR  REGEXP_SUBSTR  REGEXP_REPLACE  REGEXP_LIKE  Lakcímkártya-szám  REGEXP_INSTR(fieldname, [:digit:]{6}[:alpha:]{2}) Formátum

20 Előadó: Angyal Gergely202012.02.22.  Osztályokra bontás, klasszifikálás  GROUP BY  Név referencia adatbázisok  Név-adatszolgáltatás  Utónévtörzs  Cím referencia  Közterülettörzs Értékkészlet ?

21 Rekord szintű anomáliák  Tárolás struktúrája  nem felel meg az adat jellegéből adódó alkalmas struktúrának (pl. névadat egy VARCHAR mezőben)  Duplikátum  ugyanazon entitás többszörözött tárolása  keresése  kezelése Korrekciója (logikai fizikai összevonás) Előadó: Angyal Gergely212012.02.22.

22 Összefoglalás  Definíciók  minőség, adatminőség  Keretrendszer  Ellenőrzéstípusok  Mező szintű anomáliák  formátum  értékkészlet  Rekord szintű anomáliák  duplikáció Előadó: Angyal Gergely222012.02.22.

23 Kérdések 2012.02.22.Előadó: Angyal Gergely23

24 Köszönöm a figyelmet! Angyal Gergely gergely.angyal@gmail.com +36 20 492 5885 Előadó: Angyal Gergely242012.02.22.