Adatminőség Előadó: Angyal Gergely

Bemutatkozás  Iskolák, szakképesítések: okleveles mérnök- informatikus, bankinformatikus szakmérnök, vezetőképzés, Certified Information System Auditor (ISACA), Certified Tester (ISTQB)  Szakmai tevékenység: szoftverfejlesztés (VB, C#, SQL), IT audit, tesztelés, IT minőségbiztosítás, csoportvezetés, projektvezetés  Motiváció: komplex informatikai problémák megoldásában való közreműködés Előadó: Angyal Gergely

Tematika  Teória  definíciók  keretrendszer (BI, DWH) az adatminőség értelmezéséhez  ellenőrzéstípusok (PreDeCo)  Praktikus szempontból  adatminőség anomáliák mező: név, cím, okmányok rekord: duplikátum  általánosság Előadó: Angyal Gergely

Bevezetés  Minőség  Adatminőség  Elvárások  Kit érint az adatminőség  Ki tehet az adatminőségért? Előadó: Angyal Gergely

Definíciók  minőség: az a szint, amikor a komponens, rendszer vagy folyamat megfelel a meghatározott követelményeknek és/vagy a felhasználó/ügyfél igényeinek és elvárásainak. [IEEE 610 / ]  szoftverminőség: a szoftvertermék funkcionalitásainak és jellemzőinek az összessége, amelyek az explicit és implicit módon megadott szükségleteket elégítik ki. [ISO 9126] Előadó: Angyal Gergely

Definíciók  transzcendencia-alapú minőség: a minőség azon formája, amit nem lehet egyértelműen meghatározni, mégis tudjuk, ha látjuk, vagy érzékeljük a hiányát, ha az nem megfelelő. A minőség az egyén, vagy egyének csoportjának érzékelésén és szubjektív érzésein múlik [Garvin]  data quality: fit for their intended uses in operations, decision making and planning [J. M. Juran, wikipedia / en] Előadó: Angyal Gergely

Keretrendszer  BI: „adatok, információ és tudás hozzáférhetősége”  Hozzáférhetőség minőségi aspektusa: nem megfelelő minőségűek az adatok, akkor sem az adat, sem az információ nem – teljeskörűen – hozzáférhető  DWH: betöltés „elhasal”: a forrásrendszerek adatminőségi problémájára először az aznapi töltés derít fényt Előadó: Angyal Gergely

Ellenőrzéstípusok  Preventív ellenőrzés adatbevitelkor  megelőzés: a minőség romlását megelőzzük  megfelelő adatmodellezéssel  adatvalidátorok alkalmazásával  Detektív és korrektív ellenőrzés  felderítés: a minőségi problémát felderítjük  nem megfelelő értékek megkeresése egyedileg (GUI)  nem megfelelő értékek tömeges megkeresése (SELECT), és javítása (INSERT/UPDATE) Előadó: Angyal Gergely

Mező szintű anomáliák  Szkóp  attribútum  adatmező, adatelem  oszlop  az entitás leíró adatára vonatkozó minőségi kritéria  Szerkezet  az adat önállóan, egymagában értelmezett minősége megfelelő formátumban tárolt adat Értékkészletnek megfelelő adat  adatelemek közötti összefüggés konzisztencia Előadó: Angyal Gergely

Mező szintű anomáliák  Adathiány, hiányzó adat, nem töltött érték  lakcímkártyaszám mező: üres  Formátumnak nem megfelelő érték  lakcímkártyaszám mezőben: AAA-999 (rendszám)  Értékkészletnek nem megfelelő érték  neme mezőben: Z (pl. F/N helyett)  Más típusú érték  születési név mezőben: 1989 Előadó: Angyal Gergely

Formátum  Név?  Természetes személy  Jogi személy  Természetes személy Magyarországon használatos  születési név  házassági név  megkülönböztető betűjel  titulusok  utónevek  Természetes személy külföldi nevek  speciális ékezetek, írásjelek (cirill, kínai)  más formátumlogikát követ Előadó: Angyal Gergely

Formátum  Név  Bastiano Coimbra de la Coronilla y Azevedo  Antonio Coimbra de la Coronilla y Azevedo Előadó: Angyal Gergely

Formátum Előadó: Angyal Gergely  Születési név Magyarországon  Egytagú családnév egy utónévvel  Kéttagú családnév egy utónévvel  Egytagú családnév két utónévvel  Kéttagú családnév két utónévvel

Előadó: Angyal Gergely  Házassági név  A feleség a házasságkötés után választása szerint: kizárólag a maga teljes nevét viseli a férje teljes nevét viseli a házasságra utaló toldással a férje teljes nevét viseli a házasságra utaló toldással, amelyhez a maga teljes nevét hozzákapcsolhatja a férje családi nevét viseli a házasságra utaló toldással és ehhez a maga teljes nevét hozzákapcsolja férje családi nevéhez hozzákapcsolja a saját utónevét Formátum

Előadó: Angyal Gergely  Házassági név 2  A férj a házasságkötés után: kizárólag a maga teljes nevét viseli a felesége családi nevéhez hozzákapcsolja a saját utónevét  A férj, illetve a feleség a házasságkötés után házassági névként családi nevüket is összekapcsolhatják, hozzáfűzve a saját utónevüket Formátum

Előadó: Angyal Gergely  Titulusok  dr.  ifj.  id.  özv.  Titulusok  dipl. Ing  med.  Prof.  Dr. med.habil. Xxxx Yyyyyy Ph. D., D.Sc. Formátum

Előadó: Angyal Gergely  Cím  Postai küldemény – postaláda fellelhetősége  Elérhetőség – ajtó, helyiség fellelhetősége Formátum

Előadó: Angyal Gergely  Okmányok  Személyi igazolvány  Lakcímkártya  Egyéb okmányok Útlevél Születési anyakönyvi kivonat Vezetői engedély Formátum

Előadó: Angyal Gergely  Reguláris kifejezések Oracle-ben (10g)  REGEXP_INSTR  REGEXP_SUBSTR  REGEXP_REPLACE  REGEXP_LIKE  Lakcímkártya-szám  REGEXP_INSTR(fieldname, [:digit:]{6}[:alpha:]{2}) Formátum

Előadó: Angyal Gergely  Osztályokra bontás, klasszifikálás  GROUP BY  Név referencia adatbázisok  Név-adatszolgáltatás  Utónévtörzs  Cím referencia  Közterülettörzs Értékkészlet ?

Rekord szintű anomáliák  Tárolás struktúrája  nem felel meg az adat jellegéből adódó alkalmas struktúrának (pl. névadat egy VARCHAR mezőben)  Duplikátum  ugyanazon entitás többszörözött tárolása  keresése  kezelése Korrekciója (logikai fizikai összevonás) Előadó: Angyal Gergely

Összefoglalás  Definíciók  minőség, adatminőség  Keretrendszer  Ellenőrzéstípusok  Mező szintű anomáliák  formátum  értékkészlet  Rekord szintű anomáliák  duplikáció Előadó: Angyal Gergely

Kérdések Előadó: Angyal Gergely23

Köszönöm a figyelmet! Angyal Gergely Előadó: Angyal Gergely