Az előadás letöltése folymat van. Kérjük, várjon

Az előadás letöltése folymat van. Kérjük, várjon

Adattárház rendszerek Áttekintés Sidló Csaba

Hasonló előadás


Az előadások a következő témára: "Adattárház rendszerek Áttekintés Sidló Csaba"— Előadás másolata:

1 Adattárház rendszerek Áttekintés Sidló Csaba

2 Tartalom 1. Bevezetés, fogalmak, definíciók 2. Új követelmények: OLAP rendszerek 3. Adattárház architektúra 4. Adattárházra épülő elemző módszerek 5. Adattárház komponensek 6. Adatmodellezés, adatmodellek 7. MOLAP architektúrák 8. ROLAP architektúrák 9. Az adattárház projekt 10. Kurrens kutatási területek, trendek 11. Példák adattárház rendszerekre 12. Irodalom

3 Tartalom 1. Bevezetés, fogalmak, definíciók 2. Új követelmények: OLAP rendszerek 3. Adattárház architektúra 4. Adattárházra épülő elemző módszerek 5. Adattárház komponensek 6. Adatmodellezés, adatmodellek 7. MOLAP architektúrák 8. ROLAP architektúrák 9. Az adattárház projekt 10. Kurrens kutatási területek, trendek 11. Példák adattárház rendszerekre 12. Irodalom

4 Bevezetés Vállalati környezet – a táptalaj Vállalat vezetése: döntések sorozata gyors, jó minőségű döntések  eredményesség Tézis: a döntések minősége nagyban függ a döntéshozók informáltságától, a rendelkezésre álló adatok, információk minőségétől A döntések megfelelő támogatására jelenthet megoldást az adattárház technológia

5 Vállalati adathalmazok Adott vállalat működése során rengeteg adat halmozódhat fel Elektronikus formában, papíron, gyakran sokféle, inkonzisztens tárolási módszernek megfelelően tárolva Nagy, kevés gyakorlati hasznot jelentő vállalati adathalmazok fenntartása szükséges, de haszontalan költséget jelent (Data puddle – adattemető)

6 Vállalati információszükségleti hierarchia (Moslow nyomán)

7 Adattárház definíció Bill Inmon: "A data warehouse is a subject oriented, integrated, nonvolatile, and time variant collection of data in support of management's decisions."

8 Adattárház definíció Subject oriented (tárgy- v. témaorientált)  hagyományosan: üzleti folyamatoknak megfelelő nézőpont  most: elemzési területeknek megfelelő nézőpont, adatok az elemzés kulcsfontosságú fogalmai köré csoportosítva (Pl. vevő-lemorzsolódás, raktárkészlet alakulása, stb.) 2. Integrated (integrált)  több adatforrásból, egy helyen központosuló adatgyűjtés  egységesített, szabványos formában kezelt adatok

9 Adattárház definíció Nonvolatile (tartós)  Változatlan adatok  Alapvetően nem törlődő adatok 4. Time variant (időfüggő)  Forrásrendszerek: adott (érvényes) állapotot leíró fadatok  Adattárházak: történeti, historikus, időfüggő adatok  időfüggő elemzések, összehasonlítások, változási trendek elemzése

10 Data Warehousing "Data Warehousing is the process, whereby organizations extract value from their informational assets through the use of special stores called data warehouses." Három kulcsmozzanat: Adatkinyerés a tranzakciós (vagy más vállalat- működtetési) forrásrendszerekből A kinyert adatok átformálása riport (beszámoló) készítés számára A riportok, beszámolók elérhetővé tétele a döntéshozók számára.

11 Business Intelligence (BI, üzleti intelligencia) fogalma: „Olyan módszerek, fogalmak halmaza, melyek a döntéshozás folyamatát javítják ún. tényalapú rendszerek használatával.” (Howard Dresdner, 1989) Tényalapú rendszerek: Vezetői információs rendszerek (EIS, Executive Information System) Döntéstámogató rendszerek (DSS, Decision Support System) Vállalati információs rendszerek (Enterprise Information System) On Line Analytical Processing (OLAP) Adat- és szövegbányászat Adatvizualizáció Geográfiai Információs rendszerek (GIS) Ezek egy szeletét fedik le az adattárház megoldások.

12 Business Intelligence Platform Olyan platform, amely támogatja a következő technológiákat: Adattárház jellegű adattárolás OLAP Adatbányászat Nyílt interface-ek (OLAP, adatbányász, stb.) Ezeket támogató, megvalósító komponensek, eszközök Pl.: Oracle9i, IBM DB2, MSSQL

13 Tartalom 1. Bevezetés, fogalmak, definíciók 2. Új követelmények: OLAP rendszerek 3. Adattárház architektúra 4. Adattárházra épülő elemző módszerek 5. Adattárház komponensek 6. Adatmodellezés, adatmodellek 7. MOLAP architektúrák 8. ROLAP architektúrák 9. Az adattárház projekt 10. Kurrens kutatási területek, trendek 11. Példák adattárház rendszerekre 12. Irodalom

14 OLTP - OLAP rendszerek OLTP: On Line Transaction Processing Hagyományos adatbázis alkalmazások, nyilvántartások, vállalatok produktív rendszerei ERP rendszerek: Enterprise Resource Planning Pl.: SAP R/3, Oracle Financials, Libra, stb. OLAP: On Line Analytical Processing Elemzési célú rendszerek elterjedt követelményrendszere

15 OLAP követelményrendszer E.F.Codd, 1992: 12 pontos követelményrendszer, (a fontosabbak): Multidimenzionális adatnézet Általános dimenzió-fogalom, korlátlan dimenziószám Transzparencia: technikai részletek ismerete nélküli könnyű elérhetőség Kliens-szerver architektúra Több konkurens felhasználó támogatása

16 OLTP – OLAP tulajdonságok TulajdonságOLTPOLAP OrientációTranzakciók hatékony tárolása, végrehajtása Adatanalízis FelhasználóVállalati adminsztrátorokDöntéshozók FeladatNapi folyamatok követéseDöntéstámogatás, információszolgáltatás AdatokAktuális, up-to-dateTörténeti, archív adatok Összegzett adatokNem jellmező, részletesÖsszegzett, egyesített adatok Adatok nézeteRelációsmultidimenzionális Felhasználói hozzáférés Olvasás / írásJellemzően olvasás HangsúlyAdatbevitelenInformáció- (tudás-) kinyerésen Feldolgozandó adatAlkalmanként tizes nagyságrendű Egyszerre akár milliós rekordszám Felhasználók számaViszonylag sokNéhány, közép- és felsővezetők PrioritásÁllandó rendelkezésre állás, megbízhatóság Rugalmasság, felhasználói önállóság

17 Tartalom 1. Bevezetés, fogalmak, definíciók 2. Új követelmények: OLAP rendszerek 3. Adattárház architektúra 4. Adattárházra épülő elemző módszerek 5. Adattárház komponensek 6. Adatmodellezés, adatmodellek 7. MOLAP architektúrák 8. ROLAP architektúrák 9. Az adattárház projekt 10. Kurrens kutatási területek 11. Példák adattárház rendszerekre 12. Irodalom

18 Speciális adattárház típusok Jól skálázható technológia: Data Mart (adatpiac) lokális, szűk felhasználói kör, konkrét feladatok, kis adatfeldolgozó és analizáló egység adattárház funkciókkal Operational Data Store (ODS) Adatok tisztítására, gyűjtésére használt egység, teljes részletezettéségű operációs adatokkal Extraprise Data Warehouse Helyi megkötés nélkül összefutnak benne B2B és B2C adatok, elemzési céllal Virtuális adattárház Nem épül külön rendszer az adattárház adatainak számára, azt az OLTP rendszer keretein belül valósítják meg

19 Az adat útjának fő állomásai Forrásrendszerek Adattárház Elemző frontend alkalmazások

20 Architektúra változatok (kliens-szerver modellek)

21 Tartalom 1. Bevezetés, fogalmak, definíciók 2. Új követelmények: OLAP rendszerek 3. Adattárház architektúra 4. Adattárházra épülő elemző módszerek 5. Adattárház komponensek 6. Adatmodellezés, adatmodellek 7. MOLAP architektúrák 8. ROLAP architektúrák 9. Az adattárház projekt 10. Kurrens kutatási területek 11. Példák adattárház rendszerekre 12. Irodalom

22 OLAP elemzések Multidimenzionális adatnézet Intuitív kezelőfelület, rugalmas lekérdezések On-line, válaszidő orientált szolgáltatás Közép-felsővezetők Lehetőség összetett elemzésekre, látványos, jól használható vizualizációra

23 Adattárházak - adatbányászat Adatbányászat: „Hasznos, látens információ kinyerése adatbázisokból.” OLAP korlátok: adatmennyiség, lekérdező nyelv

24 Tudáskinyerés folyamata 1. Alkalmazási terület felmérése, előzetes ismeretek rendszerezése 2. Céladatbázis kiválasztása, létrehozása 3. Adattisztítás, előfeldolgozás 4. Adatintegráció 5. Adattér csökkentés: cél szempontjából fontos attribútumok kiemelése 6. Adatbányászati algoritmusok kiválasztása (klaszterezés, mintakeresés, osztályozás) 7. Adatbányászati algoritmus, paraméterek előállítása 8. Algoritmus alkalmazása 9. Kinyert információ értelmezése, finomítások 10. A megszerzett tudás megerősítése, összevetése az elvárásokkal, dokumentálás

25 Tudáskinyerés folyamata 1. Alkalmazási terület felmérése, előzetes ismeretek kinyerése 2. Céladatbázis kiválasztása, létrehozása 3. Adattisztítás, előfeldolgozás 4. Adatintegráció 5. Adattér csökkentés: cél szempontjából fontos attribútumok kiemelése 6. Adatbányászati algoritmusok kiválasztása (klaszterezés, mintakeresés, osztályozás) 7. Adatbányászati algoritmus, paraméterek előállítása 8. Algoritmus alkalmazása 9. Kinyert információ értelmezése, finomítások 10. A megszerzett tudás megerősítése, összevetése az elvárásokkal, dokumentálás

26 Adattárházak - adatbányászat Az adattárházak megfelelő alapot biztosíthatnak adatbányász módszerek alkalmazásához Részben hasonló célok OLAP elemzések – adatbányász elemzések: jól kiegészíthetik egymást Probléma: OLAP jellegű és adatbányász rendszerek hatékony, rugalmas illesztése Megoldást jelentheti:  Következtetési szabályok a DW-ben (induktív adatbázisok)  Megfelelő adatbányász interface alkalmazása (még nincs elfogadott szabvány)

27 Tartalom 1. Bevezetés, fogalmak, definíciók 2. Új követelmények: OLAP rendszerek 3. Adattárház architektúra 4. Adattárházra épülő elemző módszerek 5. Adattárház komponensek 6. Adatmodellezés, adatmodellek 7. MOLAP architektúrák 8. ROLAP architektúrák 9. Az adattárház projekt 10. Kurrens kutatási területek, trendek 11. Példák adattárház rendszerekre 12. Irodalom

28 Komponensek

29 Komponens csoportok ETL: Extraction Transformation and Load Adatkinyerés az operatív rendszerekből (extraction) Adattranszformáció (különböző adatformátumok, mértékegységek, nyelvek stb.) Adatminőség ellenőrzése, adattisztítás (cleaning) Adatbetöltés az adattárház struktúráiba (loading)

30 Komponens csoportok 2. OLAP Tools: OLAP lekérdezéseket lehetővé tévő komponensek (OLAP szerver, interface- ek) Felügyelet, adminisztráció adattárház működtetése, felügyelete

31 Metaadat kezelés Metaadat: „adat az adatokról” Az adattárház szerkezetét, a bent lévő adatok jellemzőit tároló szerkezet Fontos: adatintegrációhoz szabványos adatkezelés A megfelelő metaadat kezelési stratégiát gyakran említik mint az adattárház projekt kulcskérdését Példa: adatkockáink leírása, az adattöltéseink eredményei, az adatforrások mezőinek jelentése, stb.

32 Komponens csoportok 3. Frontend adatelemző alkalmazások OLAP elemzők, adatbányász eszközök, vizualizáció, egyéb kliens alkalmazások Adatbázis komponensek  ROLAP: relációs OLAP – relációs adatbáziskezelő  MOLAP: multidimenzionális OLAP, közvetelen multidimenzionális adattárolás  HOLAP: hibrid OLAP - keverék

33 Tartalom 1. Bevezetés, fogalmak, definíciók 2. Új követelmények: OLAP rendszerek 3. Adattárház architektúra 4. Adattárházra épülő elemző módszerek 5. Adattárház komponensek 6. Adatmodellezés, adatmodellek 7. MOLAP architektúrák 8. ROLAP architektúrák 9. Az adattárház projekt 10. Kurrens kutatási területek, trendek 11. Példák adattárház rendszerekre 12. Irodalom

34 Adatmodellezés (koncepcionális, logikai, fizikai)

35 OLTP adatmodellek Hagyományos, kiforrott módszerek Relációs adatmodell Relációs algebra alapú lekérdezőnyelvek, SQL Egyed/Kapcsolat Modell (E/R M), UML

36 OLAP multidimenzionális adatfogalma (szemantikai) Fogalmak: Tényadatok (mutatószámok) Dimenziók (jellemzők) Dimenzió-hierarchiák N-dimenziós adatkocka

37 Adatkocka példa: nemzetközi kereskedelmi cég értékesítési adatainak multidimenzionális nézete

38 Analízisoperátorok Műveletek: adatkocka  adatkocka Aggregáció (roll up) dimenzió elhagyása v. lépés hierarchiában felfelé Lefúrás (drill down) áttérés nagyobb részletezettségre Pivoting adatkocka elforgatása Szelekció (selection, filtering) konkrét jellemzők kiválasztása Szeletelés (slicing and dicing) adatkocka szeletének kiválasztása, részkocka kiválasztása

39 Példa hagyományos OLAP elemzőfelületre – SAP BEx Analyser

40 Oracle Discoverer frontend

41 Szemantikai réteg formális adatmodelljei ME/R modell: E/R modell multidimenzionális bővítése Nested Multidimensional Model (Lehner) Dimensional Fact Model (Golfarelli, Maio, Rizzi) Stb.

42 ME/R Modell - példa

43 Tartalom 1. Bevezetés, fogalmak, definíciók 2. Új követelmények: OLAP rendszerek 3. Adattárház architektúra 4. Adattárházra épülő elemző módszerek 5. Adattárház komponensek 6. Adatmodellezés, adatmodellek 7. MOLAP architektúrák 8. ROLAP architektúrák 9. Az adattárház projekt 10. Kurrens kutatási területek 11. Példák adattárház rendszerekre 12. Irodalom

44 MOLAP technológia Közvetlen támogatása a szemantikai multidimenzionális adatmodellnek Tényadatok / dimenziók szétválasztása Fizikai tároláskor figyelembe vesszük az adatok multidimenzionális szerkezetét Többdimenzionális tömb tárolás: az adatkocka adatainak rendezése után azokat fix helyen tároljuk, így nem kell őket indexelni; a kocka minden mezőjének (a tartalmától függetlenül) lefoglalunk egy fix tárhelyet!

45 Háromdimenziós kocka elemeinek egy rendezése

46 Háromdimenziós MOLAP dimenzió-hierarchia példa

47 MOLAP Ritka mátrix kezelés: a mátrix üres részeinek felderítése, majd a fizikai tárolás megvalósítása ezen mezők kihagyásával  helytakarékosság Korlátok: Nagy dimenzió-elemszámok esetén Ritka mátrix kezelés gyakran nehézkes Nincs elfogadott szabvány Strukturális változtatások rendkívül költségesek

48 MOLAP termékek Asztalitól kezdve „high end” alkalmazásokig, Cognos: PowerPlay Business Objects: Mercury Oracle Express Holostic Systems: Holos Adatbázis motorok: Arbor: Essbase Sinper: TM/1

49 Tartalom 1. Bevezetés, fogalmak, definíciók 2. Új követelmények: OLAP rendszerek 3. Adattárház architektúra 4. Adattárházra épülő elemző módszerek 5. Adattárház komponensek 6. Adatmodellezés, adatmodellek 7. MOLAP architektúrák 8. ROLAP architektúrák 9. Az adattárház projekt 10. Kurrens kutatási területek, trendek 11. Példák adattárház rendszerekre 12. Irodalom

50 Relációs adatbázis sémák Relációs adatbázis: a relációs adatmodellt támogató adatbázis – kiforrott módszerek, technológiák Táblák (relációk) Constraint-ek (megszorítások) Relációs séma: az adatbázisban tárolt adatokat leíró adatbázis-terv (reláció-előfordulásoktól, vagyis a konkrét adatoktól független)

51 ROLAP séma tervezésének 4 lépéses folyamata Kimball módszertana 1. Modellezendő üzleti folyamat kiválasztása pl.: raktárkészlet nyilvántartások 2. Felbontás (granularity) meghatározása pl.: raktárkészlet alakulása naponként, termékenként, raktárhelységenként, szállítónként, stb. 3. Dimenziók kidolgozása pl.: termék dimenzió: név, ID, súly, beszerzési ár, stb. 4. Tényadatok meghatározása pl.: mennyiség, súly, érték, minőségi mutatók, stb.

52 Csillagséma Cél: multidimenzionális elvi modell megvalósítása relációs adatmodellben Eszköz: speciális relációséma kialakítása Központi „tény-tábla” a tényadatok számára Hozzá idegen kulcsokkal kapcsolódnak a dimenzióelemeket tartalmazó „dimenzió-táblák”

53 Dimenziótáblák Ténytáblához képest általában kis adatmennyiség Célszerű minél több, könnyen értelmezhető és beszédes leíró jellegű atribútumot felvenni  rugalmas, felhasználóbarát elemzések lehetősége Pl.: dátum dimenzió létjogosultsága Denormalizált szerkezet – redundancia (gyors lekérdezhetőség elsődleges szerepe) Generált, adatbáziskezelő által támogatott kulcsok Változó dimenziók kezelésére megfelelő stratégia kidolgozása (slowly changing dimensions)

54 Termék dimenzió

55 Ténytábla Dimenziótáblákhoz képest nagy méretű Attribútumai mutatószámok, valamint a mutatószámokat jellemző dimenzióértékekre mutató idegen kulcsok Általában nem tartalmaznak dimenzióértékeket, csak kulcsokat

56 „Napi eladások” adatkocka csillagsémája

57 Csillagséma tulajdonságai Előnyök: Egyszerű, intuitív adatmodell Kevés join művelet lekérdezésekhez Kevés tábla olvasása Könnyű megvalósíthatóság, a modell leíró adatai egyszerűek Hátrányok: Nehézkes aggregátum (összeg) képzés Nagy dimenziótáblák esetén a hierarchiák kezelése nagyban lassítja a lekérdezéseket Dimenzióelemek tárolása redundáns, denormalizált (vagyis tárhhely-pazarló)

58 Egyéb csillagséma variánsok Hópehely séma normalizált dimenziótáblák (pl. hierarchiaszerkezetek kialakítása, stb. – hagyományos normalizálás folyamata) Konszolidált csillagséma aggregált adatok tárolása a ténytáblában „Terraced” séma – a szélsőséges eset egyetlen, elfajult ténytáblából álló séma Galaxis séma több adatkocka megvalósítása külön ténytáblákkal, de közösen használt dimenziótáblákkal „Fact consellation schema” hierarchikus kapcsolatban álló ténytáblák

59 Példa: az SAP BW hópehelysémája Text SID Table Master Hierarch. Master SID Table Text Hierarch. Master SID Table Text Hierarch. Master SID Table Text Hierarch. Master SID Table Text SID Table Master Hierarch. Text SID Table Master Hierarchies Dimension table Text SID Table Master Hierarchies Dimension table Dimension table Dimension table Hierarch. Master SID Table Text FACT Dimension table

60 ROLAP teljesítény javítása - módszerek Kritikus tulajdonság a válaszidő (elvárás: 4 másodpercnél nem hosszabb lekérdezések!) Módszerek: Denormaizáció (redundancia bevezetése) Aggregált adatok tárolása (szintén redundáns adattároláshoz vezet) Particionálás: tábla (pl. napi szinten), valamint osztott adatbázisok

61 Aggregáció Cél: elemzés során gyakran előforduló felbontással összegek, mutatószámok fizikai tárolásával a válaszidő csökkentése Fontos a tárolt aggregátumok megfelelő választása túl sok  nagy adatbázis, aggregátumok karbantartása költséges túl kevés  lassú lekérdezések Gyakran az adattárház rendszer az előforduló lekérdezések mért statisztikái alapján, dinamikusan dönt a létrehozandó aggregátumokról

62 Aggregációs rács – „n-cuboid”-ok (megfelelő tárolt aggregátumok kiválasztásához)

63 OLAP támogatás relációs adatbáziskezelőkben ( Oracle 9i példákkal ) Tábla particionálás – párhuzamos végrehajtás  Range particionálás: attribútum értékek intervallumfelosztása alapján, pl. napi adatok  Hash particionálás: attribútumértékekből számolt hash-függvény használata  List particionálás: adott értéklisták alapján create table partitioned_t ( … date_stamp date not null ) partition by range (date_stamp) ( partition part_1 values less than (TO_DATE(‘ ’)) tablespace ts1, … partition part_5 values less than (TO_DATE(‘ ’)) tablespace ts5 )

64 OLAP támogatás 2. Materializált nézetek (aggregáció)  Fizikailag tárolt nézetek  Automatikus frissítés, query kiszolgálása szintén automatikusan történik a nézetből, ha célszerű create materialized view mat_example build immediate refresh force enable query rewrite as select id, sum(amount) from sales s, customers c where s.cust_id = c.cust_id group by c.cust_id ;

65 OLAP támogatás 3. Bitmap indexelés:  hagyományos indexek (B-fa): attribútum értékek alapján meghatározza a konkrét rekord helyét  Bitmap: rekordazonosító (rowid) helyett azok egy bitsorozatos reprezentációját használjuk  Rugalmas attribútumkezelés (  rugalmasabb OLAP lekérdezések), helytakarékosság

66 OLAP támogatás 4. Külső táblák ETL folyamat integrálása adatbázison belülre külső file-ok, adatforrások hagyományos táblaként kezelhetőek OLAP query optimalizáció OLAP bővítményeket tartalmazó SQL-eken és szabványos OLAP interface-eken (Pl. Java OLAP API) keresztül történő lekérdezések optimalizációja

67 OLAP támogatás 5. Tábla tömörítés Nagy adatmennyiség esetében a tábla adatait tömöríthetjük hatékonyabb helykihasználás, gyorsabb válaszidők, de cserébe költségesebb módosító műveletek Dimenzió, hierarchia, adatkocka fogalmának bevezetése Multidimenzionális adatmodell támogatása

68 OLAP támogatás 6. SQL bővítések  Group by kiegészítői: ROLLUP, CUBE operátorok select channel_desc, calendar_month_desc, country_id, to_char(sum(amount_sold), '9,999,999,999') SALES$ from sales, customers, times, channels where sales.time_id=times.time_id and sales.cust_id=customers.cust_i and sales.channel_id= channels.channel_id and channels.channel_desc IN ('Direct Sales', 'Internet') and times.calendar_month_desc IN (' ', ' ') and country_id IN ('CA', 'US') group by cube (channel_desc,calendar_month_desc,country_id);

69 CHANNEL_DESC CALENDAR CO SALES$ Direct Sales CA 1,378,126 Direct Sales US 2,835,557 Direct Sales ,213,683 BY Channel and Month Direct Sales CA1,388,051 Direct Sales US 2,908,706 Direct Sales ,296,757 BY Channel and Month Direct Sales CA 2,766,177 BY Channel and Country Direct Sales US 5,744,263 Direct Sales 8,510,440 BY Channel Internet CA 911,739 Internet US 1,732,240 Internet ,643,979 BY Channel and Month Internet CA 876,571 Internet US 1,893,753 Internet ,770,324 BY Channel and Month Internet CA 1,788,310 BY Channel and Country Internet US 3,625,993 Internet 5,414,303 BY Channel CA 2,289,865 BY Month and Country US 4,567, ,857,662 BY Month CA 2,264, US 4,802, ,067,081 CA 4,554,487 US 9,370,256 13,924,743 Everything

70 HOLAP architektúrák Relációs és multidimenzionális megvalósítást egyszerre támogató rendszerek Trend: multidimenzionális tárolás lehetőségének bevonása relációs adatbáziskezelőkbe, a szabványos kereteken belül Pl.: Oracle – Analytic Workspaces MSSQL, IBM DB2

71 MOLAP – ROLAP eszközök skálázhatósága

72 Tartalom 1. Bevezetés, fogalmak, definíciók 2. Új követelmények: OLAP rendszerek 3. Adattárház architektúra 4. Adattárházra épülő elemző módszerek 5. Adattárház komponensek 6. Adatmodellezés, adatmodellek 7. MOLAP architektúrák 8. ROLAP architektúrák 9. Az adattárház projekt 10. Kurrens kutatási területek, trendek 11. Példák adattárház rendszerekre 12. Irodalom

73 Adattárház projekt Adattárházak bevezetése beruházási projektek keretében Hagyományos IT projektektől némileg eltérő felépítés Tervezés: felhasználói igények – rendelkezésre álló adatok nyújtotta lehetőségek

74 Fentről lefelé ill. lentről felfelé tervezés

75 Iteratív adattárház-építési folyamat

76 Tartalom 1. Bevezetés, fogalmak, definíciók 2. Új követelmények: OLAP rendszerek 3. Adattárház architektúra 4. Adattárházra épülő elemző módszerek 5. Adattárház komponensek 6. Adatmodellezés, adatmodellek 7. MOLAP architektúrák 8. ROLAP architektúrák 9. Az adattárház projekt 10. Kurrens kutatási területek, trendek 11. Példák adattárház rendszerekre 12. Irodalom

77 Kurrens kutatási területek (a teljesség igénye nélkül) Aggregátumképzés módszerei, modelljei, megfelelő aggregátumok kiválasztása, kezelése Indexek Induktív adatbázisok az adatok mellett következtetési sémákat, szabályokat is tárolunk  adatbányászat Query optimalizálás OLAP jellegű lekérdezések ekvivalens átalakításaival

78 Kurrens kutatási területek 2. SQL bővítések, OLAP lekérdező nyelvek Formális adatmodellek Elosztott adattárházak sok, független adatpiac Metaadat kezelés: szabványosítás

79 Trendek, fejlesztési irányvonalak Business Intelligence Platform – adatbáziskezelők egyre szélesebb körű szolgáltatással ROLAP-MOLAP egybeolvadás Tisztám MOLAP termékek háttérbe szorulása Adatbányász eszközök integrálása az adattárház ill. az adatbázis keretein belülre

80 Tartalom 1. Bevezetés, fogalmak, definíciók 2. Új követelmények: OLAP rendszerek 3. Adattárház architektúra 4. Adattárházra épülő elemző módszerek 5. Adattárház komponensek 6. Adatmodellezés, adatmodellek 7. MOLAP architektúrák 8. ROLAP architektúrák 9. Az adattárház projekt 10. Kurrens kutatási területek, trendek 11. Példák adattárház rendszerekre 12. Irodalom

81 Példák adattárház rendszerekre SAP BW  Robosztus, „faltól falig” megoldás  Üzleti tudás beépítése Oracle, IBM DB2  Könnyen skálázható  Rugalmasan alkalmazható komponensek, nyitottság más komponensek irányában  Adatbázis szerver  business intelligence platform

82 Clickstream adattárház Clickstream: webszerveren halmozódó logokban tárolt, a felhasználók lekéréseit tartalmazó adathalmaz Kihívás: nagy adatmennyiségek pl. [origo] portál: napi kb. 20 millió log-sor – 6 GB Cél: felhasználási szokások, trendek felismerése, alapstatisztikák nyilvántartása, a portál karbantartása, kialakítása a felhasználói igényekhez mérten Személyre szabott, célzott tartalom Adatbányász módszerek: klaszterezés, szekvencia- keresés

83 Tartalom 1. Bevezetés, fogalmak, definíciók 2. Új követelmények: OLAP rendszerek 3. Adattárház architektúra 4. Adattárházra épülő elemző módszerek 5. Adattárház komponensek 6. Adatmodellezés, adatmodellek 7. MOLAP architektúrák 8. ROLAP architektúrák 9. Az adattárház projekt 10. Kurrens kutatási területek, trendek 11. Példák adattárház rendszerekre 12. Irodalom

84 Irodalom W.H.Inmon: Building the Data Warehouse - Second Edition Ralph Kimball, Margy Ross: The Data Warehouse Toolkit - Second Edition. John Wiley & Sons, Inc., 2002 Oracle9i Data Warehousing Guide. Oracle Corporation. Business Information Warehouse Online Help


Letölteni ppt "Adattárház rendszerek Áttekintés Sidló Csaba"

Hasonló előadás


Google Hirdetések