SQL - OLAP 1. óra.

Az előadások a következő témára: "SQL - OLAP 1. óra."— Előadás másolata:

1 SQL - OLAP 1. óra

2 Az információ hatalom adatok információ

3 Információs rendszerek
Hagyományos adatforrások (legacy system) Virt. vállalati Virtual coop. Információs Informational Döntési (Decisional) Műveleti (Operational) SOAP DW WEB OLTP Report Work- flow DSS XML XML OLAP Java e-comm DM

4 Integrált megoldások az OLTP részen (Oracle)

5 Izolált megoldások a OLAP részen
A Meta Group elemzése az üzleti intelligencia szállítóiról május 5. .. még nincs olyan szoftvercég, amely valóban teljes körű üzleti intelligencia eszközkészletet kínálna. Az előrejelzés szerint ötéves távlatban várható, hogy a jelenleg élenjáró szoftvercégek termékskálájának fejlettsége lehetővé teszi az egy szállítós modell alkalmazását. A tanulmány értékelése szerint a vizsgált 20 BI szállító közül a vezetők táborába a Cognos, a Business Objects, a SAS és az SAP tartozik (+ Oracle, Microsoft, ..)

6 OLAP rendszerek célja DM Review's 2003 felmérése: A BI rendszerek alkalmazásának főbb céljai : Vevői megelégedettség növelése – 62% Költség csökkentés – 53% Forgalom növekedés –­ 48% Nyereség növelés –­ 41% Piaci részesedés növelése –­ 37% Termék fejlesztési startégia kijelölése –­ 30% Döntési szintek: operatív: mely raktárból hozzuk a kenőzsírt? taktikai: mennyi kenőzsír kell a hónapban? stratégiai: maradjunk meg a kenőzsír gyártásánál?

7 OLAP Alkalmazási területek
Bankok: tranzakció figyelés ügyfél minősítés ügyfél menedzsment beruházások tőzsde Cégek: fogyasztás alakulás piac elemzés döntés előkészítés termelés optimalizálás … ?……?. …

8 OLAP jellemzői OLTP OLAP adatmódosítás aktuális állapot nagy konkurencia konzisztencia - rövid tranzakciók homogenitás normalizált relációs és OO SQL felület ACID elvek adatvesztés elleni védelem adatlekérdezés korábbi állapotok kis konkurencia betöltés konzisztenciája - hosszú tranzakciók heterogenitás adatkocka modulokból áll nincs szabvány nem normalizált adatvesztés elleni védelem

9 OLAP rendszerek Codd szabályai
Adatrendszer multidimenzionális adatmodellen nyugszik Felhasználóbarát kezelő felület Heterogén forrásadatok Rugalmas adatbetöltés (load) Konkurrens hozzáférés Aggregált adatok és alapadatok együttese NULL érték kezelése Tetszőleges dimenziószám Nincs egységes és teljes adatmodell Nincs egységes parancsnyelv (SQL1999 ? ..) Különböző megvalósítások

10 Adattárházak OLAP igényeket kielégítő adattárolás Inmon: Témaorientált, integrált, az adatokat történetiségében tároló adatrendszer (1992) Kell hatékony QUERY modul Kell nem normalizált nézet Kell adatintegrátor, betöltő Nem kell bonyolult tranzakció kezelő Nem kell bonyolult aktív DBMS modul

11 Adattárház struktúra modellek
- - virtuális - - centralizált - - kétszintű - - elosztott - hibrid. OLTP OLAP réteg virtuális

12 Adattárház struktúra modellek
OLTP OLAP modul DW centralizált Nem rugalmas Költséges Nehéz bevezetni

13 Adattárház struktúra modellek
OLTP OLAP modul DW DataMart kétszintű DataMart: Részleg szintű Korlátozott

14 Adattárház struktúra modellek
OLTP OLAP modul DW elosztott struktúra

15 Adattárház struktúra modellek
OLTP OLAP modul DW DataMart DS hibrid Operational DataStore: operativ szintű részletező aktuális adatok összevont

16 DW rendszer logikai modellje
Adattárolási réteg Megjelenítésrétege Adat továbbító réteg Adathozzá-férési modul Adatforrás réteg Adatszótár réteg ETL Ütemező réteg Átemelés Transzformáció Betöltés Lekérdezés előkészítő réteg

17 DW rendszer adatfolyam modellje
Adattárolási réteg 21 1 Adat továbbító réteg Adathozzá-férési modul 1 3 5 Adatszótár réteg 4 Ütemező réteg 1: Bementi adatfolyam 2: Belső adatfolyam 3: Kimenő adatfolyam 4: Selejtezési adatfolyam 5: Vezérlő adatfolyam Lekérdezés előkészítő réteg

18 DW rendszer meta-adatok
Adatforrás réteg Adat továbbító réteg Adattárolási réteg Adatszótár réteg Ütemező réteg Adathozzá-férési modul Megjelenítésrétege A forrás adatokhoz kapcsolódó : ·        Forrás séma ·        Nyomtatási lehetőségek források ·        Források tárolási formátum leírása ·        URL cím ·        Tulajdonosi viszonyok ·        Adattartalom leírás ….

19 DW rendszer meta-adatok
Adatforrás réteg Adat továbbító réteg Adattárolási réteg Adatszótár réteg Ütemező réteg Adathozzá-férési modul Megjelenítésrétege A köztes tárterületen metaadatok listája: ·        DW dimenziók és változók specifikációja ·        Konverziós rutinok specifikációja ·        Kulcs generálás paraméterei ·        Adat tisztítási paraméterek ·        Adatelem leképzési szabályok ·        Adat transzformációs szabályok ·        Aggregációk definíciója ·  Védelmi adatok

20 DW rendszer meta-adatok
Adatforrás réteg Adat továbbító réteg Adattárolási réteg Adatszótár réteg Ütemező réteg Adathozzá-férési modul Megjelenítésrétege A DW rendszeren belüli, : ·        DBMS rendszer táblák ·        DBMS partíciók ·        Indexek ·        Fizikai tárolási paraméterek ·        DBMS védelmi ·        View definíciók ·        Tárolt eljárások

21 DW rendszer meta-adatok
Adatforrás réteg Adat továbbító réteg Adattárolási réteg Adatszótár réteg Ütemező réteg Adathozzá-férési modul Megjelenítésrétege A megjelenítési réteghez kapcsolódó : ·        Jelentések, lekérdezések definíciója ·        Lekérdezési segédeszközök elérése ·        Lekérdezési segédeszközök paraméterezése ·        Nyomtató paraméterezés ·        Védelmi adatok ·        Felhasználói beállítások ·        Adatelérési útvonalak Felhasználási statisztikák, naplók

22 DW struktúra

23 Data Warehouse Data Flows
DW adatfolyamok Managing meta-data Making data available to end users Adds value to data through summarizing, packaging and distribution Archiving and backing-up data Data Warehouse Data Flows

24 DW rendszer logikai modellje
fogalmi szint logikai szint fizikai szint származtatott adat származtatott adat származtatott adat DW fizikai adat DW fizikai adat DW fizikai adat OLTP forrás adat OLTP forrás adat OLTP forrás adat kocka dimenzió tény attribútum tag … rekord pointerlánc index előaggregáció … egyed kapcsolat kulcs …

25

26 Teljes OLAP forgalom forgalom forgalmazók év b$ név % Microsoft 24 Hyperion 23 Cognos 13 BO 7 MicroStrategy 5 SAP 5 Oracle 5 PwC 3 Applix 3 IBM 2 Comshare 2 SAS 1

27 Információs rendszerek típusai
SCM: ellátási lánc CRM: vevő kapcsolat SEM: vállalati stratégia CIM: gyártás tervezés ERP : erőforrás tervezés EIS: vezetői BPR : átszervezés e-commerce: kereskedelem DSS: döntéstámogatás SRM: szállítói kapcsolat MIS: menedzsment információs rendszer

28 IR modulok kapcsolata

29

30