Adattárházak és BI rendszerek megvalósítása

Az előadások a következő témára: "Adattárházak és BI rendszerek megvalósítása"— Előadás másolata:

1 Adattárházak és BI rendszerek megvalósítása
DW/BI projektek gyakorlati aspektusai Csillag Péter Ügyvezető

2 Bemutatkozás A Starschema KFT adattárházakhoz és üzleti intelligencia rendszerekhez kapcsolódó konzultációs és fejlesztési tevékenységeket végez. Konzultációs területek Üzleti igények felmérése, üzleti specifikációk készítése Eszköz kiválasztási konzultáció Tender dokumentációk elkészítése POC / Pilot projektek megvalósítása Technikai, költség, projekt tervek elkészítése Projektvezetés Üzleti és technikai felhasználók oktatása

3 Bemutatkozás Fejlesztési területek
Adattárházas / BI rendszerek bevezetése, integrációja, üzemeltetése Adattárházas / BI alkalmazások fejlesztése az üzleti igények alapján, komplett tervezési, elemzési megoldások megvalósítása Adattárházas / BI rendszerek és alkalmazások 1-2-3rd level supportja Meglévő adattárházas / BI rendszerek felmérése, elemzése, auditálása, source-to-target mapping és adatfelhasználási információk kigyűjtése saját fejlesztésű szoftveres megoldásunkkal (Business ObjectsTM és OracleTM rendszerekből) Adattárházas / BI rendszerek és alkalmazások ügyfél igények szerinti customizációja, testre szabása, egyedi funkciók, kiterjesztések integrációja (főleg Business Objects Xi Java és VB API használatával)

4 Bemutatkozás Technológiák
"Hagyományos" Business Objects reporting termékvonal Crystal reports Crystal Xcelsius BO rendszerek (BO Xi) ügyfél igények szerinti testre szabása, egyedi funkciók, kiterjesztések integrációja Java és VisualBasic API használatával Business Objects Data Integrator, ETL folyamatok megvalósítása, BO DI rendszerek üzemeltetése, tuningolása, automatikus monitoringja és customizációja Oracle adatbázis és adattárház megoldások, DBMS, OWB, Discoverer fejlesztése, üzemeltetése Oracle adatbázisok adattöltési és adatelérési, -felhasználási információinak kigyűjtése és elemzése Opensource DW / BI Adatbázistervezés Adatvizualizáció és adatbeviteli (manuális és batch ) rendszerek megvalósítása

5 Preambulum A prezentációban szereplő, illetve az előadás közben elhangzó termék vagy technológia nevek, az azokkal kapcsolatban megfogalmazott vélemények a szerző tapasztalataiból származnak. Ezek a vélemények nem támaszthatóak alá sem tényekkel, sem statisztikai adatokkal, sem mérésekkel, így nem képezhetik semmilyen komoly döntés alapját. Aki mégis messzemenő következtetéseket vonna le a prezentációban szereplő információk alapján, az azt csak a saját felelősségére teheti. A prezentációban szereplő csoportosítások, kategóriák a szerző véleményét tükrözik, nem illeszkednek semmilyen hivatalos információhoz, tartalmazhatnak hibákat, elírásokat.

6 Tartalom A DW / BI projektek csoportosítása és tipizálása
A DW / BI projektek jellemző feladatai A DW / BI technológiák csoportosítása A Business Objects termékek ismertetése Kérdések / válaszok

7 Tipikus adattárház projekt típusok
Információ igény miatt Éles verseny miatt, pl marketing adattárházak (dinamikusan változó igények) Törvényi kötelezettségek (canned reporting) Hatékonyság növelés, VIR (sok forrás, stabil struktúrák) Egyéb vállalati információ igény, pl bónusz-számítás, szatellit rendszerek Tranzakciós rendszerek tehermentesítése miatt Vezetői ambíciók miatt Ezek keveréke

8 Projekt típusok jellemzői
Marketing adattárházak Dinamikusan változó igények, adat struktúrák What if elemzések, idősorok Külső adatforrások (pl közvéleménykutatások) integrációja MOLAP + fejlett BI technológiát igényel Canned reporting Beszámolók, heti sales riportok, jelentések, stb Elvileg statikus riport igények (Magyarországon ez nem triviális) Speciális (pl meghatározott formátumú, csatornájú) disztribúciót igényel Hibamentesség elvárt (sem a folyamatban, sem az adatban nem lehet hiba)

9 Projekt típusok jellemzői
VIR A vállalaton belüli sok rendszerből használ adatot, bonyolult adatintegráció és ETL folyamatok Vannak állandó és változó riport igények is – de az adatstruktúrák általában nem változnak. A cégen belüli adatok konszolidációja miatt igényli a céges funkciók / adatszótárak konszolidációját is. Olyan bonyolult, amilyen a vállalat maga Egyéb Ha már van adattárház – az egyéb adat igényeket is szolgáljuk ki innen (pl. Bónusz számítás, adat feladások más rendszerek felé, stb)

10 Projekt fázisok / feladatok
Udvarlási fázis: Megkeresés informálódás RFP (Logikai design) Ajánlatadás / Proposal Mézes hetek: Követelmények véglegesítése Technikai design projekt terv erőforrás terv fejlesztési sztenderdek Együttélés / megvalósítás Infrastruktúra kialakítása DW adatstruktúrák design-ja Dimenziók feldolgozása Forrásrendszeri mapping Áttöltés Transzformációk, konszolidációs szabályok kialakítása Validációs riportok Tény adatok feldolgozása Transzformációk, aggregátumok kialakítása Adatfelhasználás / Reporting

11 Projekt fázisok / feladatok
Mézes hetek: Követelmények véglegesítése Technikai design (adatstruktúrák, folyamatok, ) projekt terv erőforrás terv fejlesztési sztenderdek Udvarlási fázis: Megkeresés informálódás RFP (Logikai design) Ajánlatadás / Proposal Együttélés / Megvalósítás Dimenziók feldolgozása Forrásrendszeri mapping Áttöltés Transzformációk, konszolidációs szabályok kialakítása Validációs riportok Tény adatok feldolgozása Transzformációk, aggregátumok kialakítása Infrastruktúra kialakítása (Dev/Teszt/Prod) Élesbe állás Pre- / Post GoLive Support Dokumentáció Integráció Adatfelhasználás / reporting Performancia Tesztelés Integrációs / Üzleti tesztek

12 DW / BI technológiák csoportosítása
Saját növekedéssel fejlődő technológiák Példák: SASTM, InformaticaTM, MicrostrategyTM, TeradataTM, SAPTM, stb Tulajdonságok Drágák Stabilak Fókuszáltak Akvizíciókkal növekvő technológiák Példák: Oracle, MSTM, IBMTM, SAP, Business Objects Nem stabilak (R2 előtt kifejezetten kockázatos a bevezetésük) Az adat felhasználás széles körét lefedik

13 Business Objects Tények 1990-ben alakították, Párizsban
Önmagában is a vezető BI szállítók közé sorolják IDC és Gartner elemzések szerint a vezetők között van, bizonyos szempontok szerint piacvezető Több mint ügyfél, a Fortune 500 cégeknek 50% használja 6200 alkalmazott, több mint 3000 partnercég 2007-ben felvásárolja az SAP 2008 januárjában jelennek meg az első „közös” csomagok

14 Business Objects rendszerek
Intelligence Platform Integrálja a BO funkciókat, elemeket, technológiákat Riportoló technológiák Reporting Crystal reports AdHoc Reporting Hagyományos BO vonal, WebIntelligence, DeskI Standard, Interaktív és analitikus riportok készítésére is alkalmas Analytic Reporting Voyager, SetAnalysis, TextAnalysis, MetadataManagementSystem, ...

15 Business Objects rendszerek
Information Delivery Dashboard and Visualization Xcelsius Dashboard Builder Stb. Mobile LiveOffice Information Discovery Search and Navigation Search Engine Integration

16 Business Objects rendszerek
Information Management Data Integration (ETL) Data Quality Data Federator (virtual integration) TextAnalysis Rapid Marts BO Integration

17 Business Objects rendszerek
Enterprise performance Management Strategy Management Business Planning and Consolidation Financial Consolidation Profitability and Cost Management Spend Analytics SAP / Business Objects Packages BO reporting on SAP DW on SAP

18 Business Objects rendszerek testreszabása
Hagyományos BO vonal (riporting) Szemantikus réteg használata (főleg relációs adatokra) Full kliens technológia WebIntelligence Crystal Hagyományos és beágyazott riportok Xcelsius

19 Business Objects rendszerek testreszabása
Igények, amik fölmerültek a BO (és más BI) rendszerekkel kapcsolatban Xi verziókban a repository kódolt bináris állományban van, csak API-n keresztül érhető el. A metaadatok könnyen olvashatóvá (írhatóvá) tétele lehetővé teszi: Security könyebb nyilvántartását Source-to-Target Mapping generálást Impact analízist Hibakeresést Tömeges riport módosítás. Automatikus Univerzum módosítás. Monitorozás BackUp megoldások

20 Befejezés, általános tanácsok
A módszertanok, szabványok „csak” segítséget adnak A józan ész és tapasztalat az, aminek korlátoznia kell a kreativitást Minden ügyfél / projekt / igény egyedi Ne féljünk áthágni a módszertanok szabályrendszerét, ha indokolt Ne féljünk a sokszínűségtől (az üzemeltetők úgyis korlátoznak, ha szükségét érzik), keressük meg a probléma megoldásához legjobban illeszkedő technológiát Ne döntsünk egyedül, egy adattárházas projekt túl komplex hozzá

21 Most már tényleg befejezem
Kérdések? Elérhetőségek: illetve Köszönöm a figyelmet!