Az adattárház tervezése

Az előadások a következő témára: "Az adattárház tervezése"— Előadás másolata:

1 Az adattárház tervezése

2 Az adattárház tervezése
Kétféle módszer: Inkrementális: egy-egy adatpiacot hozunk létre egymás után „Big bang”: az összes releváns adat tárolására hozzuk létre az adattárházat 2. DM DM DM DM DM DM 3. DWH DWH 1. 1. 2. 3. DS DS DS DS DS DS

3 Az adattárház tervezése
Mindkét módszer az alábbi alapvető lépésekből áll: Üzleti igények feltérképezése  Üzleti specifikáció Logikai és fizikai rendszerterv elkészítése  Funkcionális specifikáció Fizikai megvalósítás  Rendelkezésre álló adatpiac(ok)

4 Az inkrementális módszer előnyei: gyorsabb és olcsóbb a tervezés
Az adattárház tervezése Az inkrementális módszer előnyei: gyorsabb és olcsóbb a tervezés gyorsabb és olcsóbb a megvalósítás az esetleges alapvető, koncepcionális hibák már korán megjelennek, javításuk egyszerűbb A „Big bang” módszer előnyei: a további adatpiacok kiépítése jelentősen kisebb ráfordítást igényelnek a különböző üzleti területek számára már rendelkezésre áll az adatmodell, aminek az alapján eldönthetik, hogy igénybe veszik-e, és ha igen, milyen mértékben a rendelkezésre álló adatokat az adattárház kezdeti hibái (gyerekbetegségei) mát megoldottak a továbbfejlesztés kezdetekor a további ősfeltöltések nem jelentenek többletráfordítást

5 Az adattárház tervezése
Üzleti igények feltérképezése: A tudásmunkásoknak meg kell adniuk, hogy milyen mérőszámokat, és azokat milyen dimenziókra értelmezve szeretnék látni (pl.: üzleti terület: termék értékesítés; mérőszámok: értékesítések darabszáma, értékesítések összege; dimenziók: időszak, régió, hiteltípus)

6 Az adattárház tervezése
Ezzel egyidejűleg specifikálni kell a dimenziók hierarchiáit illetve az egyes hierarchiák szintjeit (pl.: időszak: év – negyedév – hónap terület: régió – megye – város – fiók hiteltípus: felhasználás jellege: szabad, lakásvásárlási futamidő: éven belüli, éven túli – féléves, egyéves; stb. hónapos)

7 Az adattárház tervezése
A leendő felhasználóknak a fejlesztőkkel együttműködve meg kell határozniuk, hogy melyik és milyen adatforrásokból szeretnék az információkat kinyerni, illetve hogy milyen eszközzel szeretnék megjeleníttetni az információkat (pl.: adatforrás: Oracle, MS Access megjelenítés: Cognos, Excel)

8 Az adattárház tervezése
Logikai és fizikai rendszerterv elkészítése A rendszerterv része a logikai adatmodell és a fejlesztés átadásnál mellékelni kell a Felhasználói kézikönyvet. A felhasználók munkáját és a továbbfejlesztést azonban nagyban segítheti valamilyen metaadat-kezelő alkalmazás használata. Ez egy olyan eszköz, amelynek a segítségével könnyen feltérképezhető az egyes adatok pontos jelentése (azaz a forrásrendszerben mit reprezentálnak) illetve, hogy milyen logika mentén történik az adatok transzformálása és/vagy szűrése.

9 Az adattárház tervezése
A modellezés során az adattárház struktúráján kívül részletesen ki kell térni (többek között) az alábbiakra: Az adatok kinyerésének módja (pl.: DB-linkek, ODBC, Excel táblázat mentése szöveges állományként) Az adatok betöltésének módja (pl.: DB-linkek, ODBC, csatolt forrásállományok) Az adatok tisztításának mikéntje (pl.: null értékek helyettesítése 0-val, szélső értékek helyettesítése átlagértékekkel) Az adatok szűrésének mikéntje (milyen attribútumokra van szükség illetve valamely attribútum mely értékeinek a fennállása esetén van szükség egy rekordra) Az adatok integritásának biztosítása (keresztellenőrzések, egyediség ellenőrzése)

10 Az adattárház egy lehetséges felépítése vázlatosan:
Az adattárház tervezése Az adattárház egy lehetséges felépítése vázlatosan: Információ kinyerése, kocka generálás, adatpia-cosítás Információs rendszerek … IS1 IS2 IS3 IS4 ISn Historikus adatok (ROLAP struktúrában) Delta képzés (histori-zálás) Szűkebb értelemben vett adattárház Metaadat-kezelő rendszer Integrált adott napi adatok (ROLAP struktúrában) Struktúra váltás, tisztítás, transzfor-málás Forrásrendszerek adott napi lenyomata (OLTP struktúrában) Szűrés, közös platformra hozás Forrásrend-szerek … DS1 DS2 DS3 DS4 DSn

11 Az adattárház tervezése
A tervezés egyes lépései (a nyilak mentén): 1. Az adatok kinyerésének meghatározása (pl.: DB-linkek, ODBC, Excel táblázat mentése szöveges állományként) Az adatok betöltésének meghatározása (pl.: DB-linkek, ODBC, csatolt forrásállományok) A közös platform kiválasztása (adatbázis típusa: pl.: Oracle, Microsoft; szerver operációs rendszere: Windows, Unix) Az adatok szűrésének mikéntje (milyen attribútumokra van szükség illetve valamely attribútum mely értékeinek a fennállása esetén van szükség egy rekordra)

12 Az adattárház tervezése
A tervezés egyes lépései (a nyilak mentén): 2. Struktúra váltás OLTP-ről ROLAP-ra: elemzésre optimalizált témakörökre alapított adathalmazok objektumainak definiálása Az adatok tisztításának mikéntjének meghatározása (pl.: null értékek helyettesítése 0-val, szélső értékek helyettesítése átlagértékekkel) Adatok transzformálása (pl.: beépített szabályok szerint a program kódjában, változtatható szabályok szerint mapping táblával)

13 Az adattárház tervezése
A tervezés egyes lépései (a nyilak mentén): 3. Historikus adatok képzése: Állományi adatoknál csak változás esetén kerül be új rekord Tranzakciós adatoknál minden tranzakcióra bekerül egy rekord RUN_DATE CUST_ID CUST_NAME … ADDR_POSTAL_CODE C012105 KOVÁCS TAMÁS 1072 2000

14 Az adattárház tervezése
A tervezés egyes lépései (a nyilak mentén): 4. Célrendszerek (Döntéstámogató Rendszerek, Vezetői Információs Rendszerek, Adatbányászati alkalmazások, Jelentéskészítő rendszerek, stb.) Célrendszerek típusa: multidimenzionális relációs irodai alkalmazás (pl.: Excel) Információ kinyerésének módja (pl.: adatbázis-linkek, felhasználói szerepkörök az adattárházban, ODBC kapcsolat)

15 Az adattárház tervezése
Metaadat-kezelés: A felhasználók, a fejlesztők és az üzemeltetők munkáját támogatandó nyilvántartásba veszik a forrásadatok és a kinyert információk közötti összefüggéseket: Üzleti metaadatok (az adatok szemantikája) Technikai metaadatok (az adatok szintaktikája) szűrés transzf. transzf. DS IS DWH

16 Az adattárház tervezése
Köszönöm a figyelmet!