Adatok az adatokról 2010-02-271Készítette: Fehér Péter (

Az előadások a következő témára: "Adatok az adatokról 2010-02-271Készítette: Fehér Péter ("— Előadás másolata:

1 Adatok az adatokról 2010-02-271Készítette: Fehér Péter ( peter.fhr@gmail.com)

2 Metaadatnak nevezzük a:  fizikai adatok (szoftverekben tárolt),  tudás (dolgozók által ismert),  információk a fizikai adatokról,  információk az üzleti és technikai folyamatokról,  adatszabályok és megszorítások,  adatstruktúrák összességét, melyek a céghez kapcsolódnak. 2010-02-272Készítette: Fehér Péter ( peter.fhr@gmail.com)

3 70-es évek: Adatszótárak. Inkább adat-orientáltak, mint tudás-orientáltak voltak. Definíciókat, kapcsolatokat, származásokat, előfordulásokat, (ki)használtságokat, formai információkat tartalmazott. Az adatbázis adminisztrátorok munkáját segítették, követelmények, adatmodellezés, definíciók meghatározására használták. 2010-02-273Készítette: Fehér Péter ( peter.fhr@gmail.com)

4 2010-02-27Készítette: Fehér Péter ( peter.fhr@gmail.com)4

5 80-as évek: A CASE (Computer Aided Software Engineering) eszközök megjelenésével megszülettek az első olyan eszközök, melyek metaadat szolgáltatásokat biztosítottak. A 80-as évek folyamán több cég is metaadat tároló eszközöket fejlesztett ki. 2010-02-27Készítette: Fehér Péter ( peter.fhr@gmail.com)5

6 2010-02-27Készítette: Fehér Péter ( peter.fhr@gmail.com)6

7 90-es évek: A számítógépes hálózatok fejlődésének köszönhetően megjelentek az első kliens-szerver alapú metaadat tárolók, melyek adattárház-technológiát használtak. 2010-02-27Készítette: Fehér Péter ( peter.fhr@gmail.com)7

8 2010-02-27Készítette: Fehér Péter ( peter.fhr@gmail.com)8

9 2010-02-27Készítette: Fehér Péter ( peter.fhr@gmail.com)9

10  A rendszerek rugalmatlanok és nem integráltak  A meglévő adattárházaknak és adatpiacoknak nőniük kell  Az üzleti felhasználók igényeit ki kell szolgálni  Az alkalmazottak gyakori cserélődésének kezelése 2010-02-27Készítette: Fehér Péter ( peter.fhr@gmail.com)10

11 Egy központi tár, melyben a metaadatokat tároljuk. Az üzleti és technikai folyamatokat támogatja. Hasonló, mint a könyvtárakban a katalógus. Egy könyv megkeresése egy kellően nagy könyvtár esetében eléggé időigényes folyamat. Az adatok lokalizációján kívül a metaadatok segítenek az adattárházban lévő adatok eredetének meghatározásában (lefúrás), valamint más témakörök adatainak lekérésében (átfúrás). 2010-02-27Készítette: Fehér Péter ( peter.fhr@gmail.com)11

12 2010-02-27Készítette: Fehér Péter ( peter.fhr@gmail.com)12

13  Tecnikai metaadat: A vállalat technikai felhasználói által használt metaadatok.  Üzleti metaadat: A vállalat üzleti felhasználói által használt metaadatok. 2010-02-27Készítette: Fehér Péter ( peter.fhr@gmail.com)13

14 Példák:  Futási idők (query, load, extract, stb)  Az adatok technikai struktúrája  Előfordulási értékek  Függőségek  Biztonsági adatok  Karbantartási információk (mikor, mit, kicsoda)  Stb… Tegyük fel, hogy egy cég meg akarja változtatni az egyes divíziói elnevezését. Ilyenkor a fejlesztőknek szükségük van azon táblák, eljárások nevére, melyek érintene ez a módosítás. A technikai információk ugyanakkor hasznos információval szolgálhatnak a vezetőségnek is, például, hogy az előbb említett módosítási projektbe milyen részlegek vezetőit kell bevonni. 2010-02-27Készítette: Fehér Péter ( peter.fhr@gmail.com)14

15 Lehetnek programozók, az adatbetöltéssel foglalkozó kollégák, adatmodellezők, vagy a metaadattár-csapat tagjai. Nekik azért van szükségük metaadatokra, hogy megértsék, hogy honnan és miként kerülnek az adatok az adattárházba, milyen eljárások milyen fájlokat és táblákat érintenek. 2010-02-27Készítette: Fehér Péter ( peter.fhr@gmail.com)15

16 Példák:  Üzleti definíciók  Előfordulások  Adattulajdonosok  Át- és keresztülfúrási szabályok  Az adatok üzleti struktúrája Tegyük fel, hogy egy eladó egy statisztikai adatot akar megkeresni az előre elkészített reportokból. Azonban a jelentéseket böngészve az alábbiakra bukkan: XKT09I, XKT09S. Számára sokkal beszédesebbek az alábbi nevek: „2009-es koreai bevételek”, „2009-es koreai eladások”. 2010-02-27Készítette: Fehér Péter ( peter.fhr@gmail.com)16

17 Lehetnek markating analítikusok, eladók, pénzügyi döntéshozók, stb. A metaadatokból kaphatnak információt az előre kidolgozott lekérdezésekről, jelentésekről. Legtöbbször arra használják a metaadatokat, hogy beazonosítsák az egyes adatokat és bemérjék azok pontos helyét. 2010-02-27Készítette: Fehér Péter ( peter.fhr@gmail.com)17

18 Ezek a felhasználók gyakran az IT csapatba tartoznak, mégis az üzleti területen mozognak. Nincs feltétlenül szükségük előre megírt lekérdezésekre, mert értenek az SQL nyelvhez. 2010-02-27Készítette: Fehér Péter ( peter.fhr@gmail.com)18

19  ETL eszközök  Adatmodellező eszközök  Report eszközök  Harmadik féltől származó eszközök (Third-party applications)  Egyéb források 2010-02-27Készítette: Fehér Péter ( peter.fhr@gmail.com)19

20 Metaadatok keletkeznek a  betöltések  transzformációk  tisztítások során. Ezek rögzítése legtöbbször automatikusan történik. Az ebből a forrásból származó metaadatok hasznosak lehetnek a technikai felhasználók és a power userek számára. (Pl.: Talend Open Studio, SQL*Loader, OWB) 2010-02-27Készítette: Fehér Péter ( peter.fhr@gmail.com)20

21 Metaadatok keletkeznek a  Fizikai adatmodellek  Logikai adatmodellek  Folyamatmodellek létrehozásakor. Komplett adatmodellek, attribútumok, technikai egyedek definíciói. (Pl.: Oracle Designer 2000) 2010-02-27Készítette: Fehér Péter ( peter.fhr@gmail.com)21

22 Metaadatok keletkeznek a  Jelentések futási idejéről  Felhasználói hozzáférésekről (Pl.: Business Objects, Cognos, Pentaho, Oracle Discoverer) 2010-02-27Készítette: Fehér Péter ( peter.fhr@gmail.com)22

23 Metaadatok keletkezhetnek a különböző rendszerekből érkező adatok integrálásakor. Ezen adatok lehetnek: táblák nevei, attribútumok nevei, előfordulási értékek, üzleti szabályok, stb. (Pl.: SAP, SAS) 2010-02-27Készítette: Fehér Péter ( peter.fhr@gmail.com)23

24 Minden egyéb, ami eddig nem hangzott el:  Kézikönyvek  Jegyzetek  Word, Excel fájlok  Honlapok  Dolgozók tudása 2010-02-27Készítette: Fehér Péter ( peter.fhr@gmail.com)24

25 A meta modell annak az adatbázisnak a leírása, melyben a metaadatokat tároljuk. Ezt objektum modellnek is szokás nevezni, mely nagyban különbözik a tipikus adatmodellektől: meghatározott számú egyedből áll, amelyek között a kapcsolatok fixek, ritkán változnak. A meta modell leírható hagyományos adatmodellel is, ez azonban csak akkor ajánlott, ha kevés időnk van a fejlesztésre. 2010-02-27Készítette: Fehér Péter ( peter.fhr@gmail.com)25

26 2010-02-27Készítette: Fehér Péter ( peter.fhr@gmail.com)26

27 Példa objektum modellre: 2010-02-27Készítette: Fehér Péter ( peter.fhr@gmail.com)27

28 Példa objektum modellre: 2010-02-27Készítette: Fehér Péter ( peter.fhr@gmail.com)28

29 Példa tradicionális modellre: 2010-02-27Készítette: Fehér Péter ( peter.fhr@gmail.com)29

30 2010-02-27Készítette: Fehér Péter ( peter.fhr@gmail.com)30 Példa a való életből:

31 A világ egyre inkább gyorsul, az információ iránti igény egyre nő, ezáltal a metaadat adatbázisok létjogosultsága is megkérdőjelezhetetlen. Ezen technológiák segítségével a vállalatok csökkenthetik kiadásaikat, időt spórolhatnak meg. Adat Információ Tudás Pénz 2010-02-27Készítette: Fehér Péter ( peter.fhr@gmail.com)31

32 Felhasznált irodalom: Oracle Data Warehousing Guide 10g Release 2 Fon Silvers – Building and Maintaining a Data Warehouse David Marco – Building and Managing the Metadata Repository : A Full Lifecycle Guide Wikipedia 2010-02-27Készítette: Fehér Péter ( peter.fhr@gmail.com)32