Vállalati-szintű adatintegrációs megoldások

Az előadások a következő témára: "Vállalati-szintű adatintegrációs megoldások"— Előadás másolata:

1 Vállalati-szintű adatintegrációs megoldások

2 Az IT beruházások mozgatói
A külső és a belső (szervezeti) adatok összekapcsolása Sales Force Automation Alkalmazás konszolidáció Teljes körű adatfeldolgozás Termék-életciklus menedzsment Törzsadat Konszolidáció Jogszabály Követés/megfelelés Kockázat elemzés Supply Chain Management Konzisztens adatértelmezés Migráció /konszolidáció Corporate Performance Management Üzleti tevékenység támogatása Customer Relationship Management

3 A sikeres adatintegrációs projektek kritikus faktorai
A megfelelő adatminőség biztosítása A forrásadatok megfelelő értelmezése Komplex transzformációk megtervezése Adatok teljes körű leképezése Megfelelő teljesítmény biztosítása Meta adatok értelmezése Megfelelő szakemberek megléte Hozzáférés a meta adatokhoz Megfelelően skálázható rendszer hiánya Külső alkalmazások integrálása Biztonság és megbízhatóság hiánya 10 20 30 40 50 60 70 80 90 100 Forrás: TDWI World Conference 2003

4 Ascential Enterprise Integration Suite - ProfileStage
Service-Oriented Architecture Az Ascential Enterprise Integration Suite jellemzői Real-Time Integration Services Service-Oriented Architecture (SOA) Integrált profiling, quality és transzformációs eszközök Lineáris skálázhatóság/ korlátlan teljesítmény Újra használható komponensek és üzleti szabályok Meta adat menedzsment Megfelelés a szabványoknak – Web Services, XML, J2EE, JMS Natív hozzáférés minden adatforráshoz and Event Management DISCOVER PREPARE TRANSFORM and DELIVER Discover data content and structure Standardize, match, and correct data Transform, enrich, and deliver data ProfileStage QualityStage DataStage Parallel Execution Engine Meta Data Management Enterprise Connectivity

5 Forrásrendszer analízis
Mainframe manufacturing system Demographic Contact Billing / Accounts External Lists Distribution ERP from acquisition Parts BOM Adatforrások Kritikus tényezők: Nincs teljes körű információ az alkalmazott rendszerekben tárolt adatokról (legacy systems) Adatmódosulás, új adatforrások, ismeretlen külső adatok Miért? Értékek meghatározásai, valamint a kapcsolatok inkonzisztensek Fejlesztés, változás-követés nem dokumentált Adatforrás folytonosan változik, nincs jelzés a változás jellegéről Alternatív megközelítés: Munka és erőforrás igényes feladat Ritkán történik teljes körű adatfelmérés Nincs általánosan alkalmazható módszertan Az elsőgenerációs eszközök csak dokumentálják, de nem kínálnak megoldást a problémára

6 Hogyan működik a ProfileStage?
Forrás rendszer analízis - Biztosítja a forrásrendszerek megismerhetőségét Oszlop analízis Tábla analízis Elsődleges kulcs elemzés Táblák közötti kapcsolatok elemzése Normalizáció elemzés Folyamat generálási lehetőségek - Képes lerövidíteni a fejlesztési időt Forrás és cél mezők mappelése Normalizált cél adatbázis definíciók DataStage job definíciók Tábla és elsődleges kulcs elemzés Mező analízis Source 1 Source 2 Kereszt irányú tábla elemzés és kapcsolatok elemzése

7 How Ascential ProfileStage Works
Full Data Sample Data Az adat értékek alapján leírja az adatok fizikai jellemzőit Az oszlopok értékeinek megjelenítése statisztikákban /gyakoriság-eloszlás/ Meghatározza az összefüggéseket a táblák oszlopai és más táblák vonatkozásában is Szűrés lehetősége, az alkalmazott üzleti szabályok alapján Normalizált cél adatbázis létrehozása Forrás adatok mappelése alapján a cél adatbázis meghatározása DDL-ek és ETL jobok létrehozása, a specifikáció alapján Információ-megosztás modellező eszközökkel (ERWin) Cross Table Analysis Column Analysis Table Analysis Accept Reject Analyze Review Normalize & Generate Source/Target Mappings Create Data Model Generate ETL Job

8 Ascential Enterprise Integration Suite - QualityStage
Service-Oriented Architecture Az Ascential Enterprise Integration Siute jellemzői Real-Time Integration Services Service-Oriented Architecture (SOA) Integrált profiling, quality és transzformációs eszközök Lineáris skálázhatóság/ korlátlan teljesítmény Újra használható komponensek és üzleti szabályok Meta adat menedzsment Megfelelés a szabványoknak – Web Services, XML, J2EE, JMS Natív hozzáférés minden adatforráshoz and Event Management DISCOVER PREPARE TRANSFORM and DELIVER Discover data content and structure Standardize, match, and correct data Transform, enrich, and deliver data ProfileStage QualityStage DataStage Parallel Execution Engine Meta Data Management Enterprise Connectivity

9 Miért fontos az adatminőség?
Adatforrások Adattartalmak Kritikus tényezők: Konzisztens adatértelmezés Megbízható adatok a döntésekhez, szabályozásoknak való megfelelés Miért? A szükséges információk nem egységesek Ugyanazon adatok más formában, különálló rendszerekben állnak rendelkezésre Rendszerspecifikus sajátosságok Felhasználói tévedések okozta adatelírások Az adatminőség biztosítás vállalati hiánya Nincs „egy igazság” a vállalaton belül Alternatív megközelítés: Az adatminőség fontosságának figyelmen kívül hagyása Manuális, idő- és erőforrás igényes megoldások Speciális adattisztításra használt alkalmazások – nem integráltak Kentucky Fried Chicken KFC Molly Talber DBA KFC Kent Fried Chick Kentucky Fried Mrs. M. Talber John & Molly Talber Talber, KFC, ATIMA

10 A QualityStage jellemzői
Adatforrások Adattartalmak Feloldja a forrásrendszerek közötti tartalmi és formai inkonzisztenciákat Az adat struktúra és tartalom hasonlóság alapján képes felismerni az összefüggéseket Saját üzleti szabályok alkalmazása a felderítés során Konzisztens és pontos adathalmaz Hasonló szabályok minden platformon (M/F, Windows, Unix, Linux) Párhuzamos adatfeldolgozás Valószínűségen, valamint nem kétértékű (fuzzy) logikán alapuló társítási lehetőségek Nemzetközi cím egységesítési képesség Kentucky Fried Chicken KFC Molly Talber DBA KFC Kent Fried Chick Kentucky Fried Mrs. M. Talber John & Molly Talber Talber, KFC, ATIMA

11 A QualityStage funkciói
Adatok olvasása valamennyi forrásból Iparági szabványokon vagy felhasználói szabályok alkalmazásán alapuló output-ok Precízebb adatstruktúra meghatározás Valószínűségen alapuló tábla kapcsolat meghatározás Azonos címen lévő ügyfelek beazonosítása üzleti szabályok alapján Képes konszolidálni az ügyfél adatokat A különböző forrásrendszerekből származó adatok az azonosítást követően új ID-t kapnak, de megőrzik a történetiségüket is Egyszerűen kezelhető és személyre szabható Standardization Logic Normalized Results Rules Matching & Record Linkage Logic Consolidated Views Enterprise Data Warehouses, Data Marts Operational Data Stores

12 Ascential Enterprise Integration Suite - DataStage
Service-Oriented Architecture Az Ascential Enterprise Integration Siute jellemzői Real-Time Integration Services Service-Oriented Architecture (SOA) Integrált profiling, quality és transzformációs eszközök Lineáris skálázhatóság/ korlátlan teljesítmény Újra használható komponensek és üzleti szabályok Meta adat menedzsment Megfelelés a szabványoknak – Web Services, XML, J2EE, JMS Natív hozzáférés minden adatforráshoz and Event Management DISCOVER PREPARE TRANSFORM and DELIVER Discover data content and structure Standardize, match, and correct data Transform, enrich, and deliver data ProfileStage QualityStage DataStage Parallel Execution Engine Meta Data Management Enterprise Connectivity

13 Az adattranszformációról
Transactional Operational Analytical Kritikus tényezők: Fejlesztői erőforrások korlátozott rendelkezésre állása A döntéstámogató rendszerek sajátosságai Szigetrendszerek integrációs problémái Adat migrációs problémák Meta adat menedzsmentből származó problémák Inkonzisztens adatértelmezés Alternatív megközelítések: Manuális, idő- és erőforrás igényes megoldások Költség és időigényes integrációs projektek, limitált eredménnyel A projektek eredményei nem újra hasznosíthatók – eszközspecifikus meta adat DM Product Sales Shipments Consumer Portals Electronic Marketplace Trading Partners Sales Report CRM ERP SCM ODS EDW DM Historical Operational EPM Miért? Felhasználóspecifikus adatértelmezés Felhasználói igények folyamatosan bővülnek Ugyanazon adat jelentése a használat során változik Központi meta adattár hiánya

14 Az adattranszformáció jellemzői
Adatintegrációs folyamatok tervezése Az adat betöltési folyamatok rugalmas, grafikus fejlesztői környezetben készülhetnek - Adat transzformáció, tisztítás és integráció - Különböző adatforrások integrációja Integrációs folyamatok megvalósítása - Job-ok monitorozása és futtatása - Projektek hozzáadása és eltávolítása - Job monitorozási és felhasználói jogosultság paraméterezés - Server alkalmazások nyomkövetése - Job tesztelés, debug funkciók - Job futtatás történetiségéről riportok Teljeskörű integrációs folyamat kezelés - Meta adat böngészés és szerkesztés - DataStage komponensek újrahasznosítása - DataStage repository menedzsment

15 A megoldás jellemzői DataStage A DataStage jellemzői
DataStage Server Grafikus, programkód nélküli fejlesztői környezet, újrahasznosítható komponensek Adatbetöltési folyamatok megvalósítása valós időben és nagy tömegű adatok esetén egyaránt Beépített és skálázható párhuzamos műveletvégzési lehetőségek Egyszerű áttérés a fejlesztői környezetből az éles környezetre Egységes, integrált alkalmazások Natív mainframe adatintegrációs lehetőségek Input Transzformáció Minőségbiztosítás Output

16 Párhuzamos Feldolgozás & Meta Adat Menedzsment
Service-Oriented Architecture Az Ascential Enterprise Integration Siute jellemzői Real-Time Integration Services Service-Oriented Architecture (SOA) Integrált profiling, quality és transzformációs eszközök Lineáris skálázhatóság/ korlátlan teljesítmény Újra használható komponensek és üzleti szabályok Meta adat menedzsment Megfelelés a szabványoknak – Web Services, XML, J2EE, JMS Natív hozzáférés minden adatforráshoz and Event Management DISCOVER PREPARE TRANSFORM and DELIVER Discover data content and structure Standardize, match, and correct data Transform, enrich, and deliver data ProfileStage QualityStage DataStage Parallel Execution Engine Meta Data Management Enterprise Connectivity

17 Párhuzamos végrehajtás
Kritikus problémák Igények és a szolgáltatások találkozása Nem várt igények HW beruházások optimalizálása Adat forrás Transzformáció Kiegészítés Betöltés Data Warehouse Alternatív megoldások Manuális partícionálás Beégetett kódok Szűk keresztmetszetek Program váltás – HW váltás Kódolt párhuzamos adatbázis és partíciós schémák

18 A párhuzamos platform jellemzői
Integrációs projektekben nem okoz gondot az adatmennyiség és az időkorlát Partícionált adatbázis schémákat használva optimális betöltési hatékonyság Partícionálás egyszerű lépéseken keresztül Központi konfigurációjának köszönhetően nem igényel újratelepítést HW bővítés esetén Nem igényel programozási munkát egy újabb processzor bevonása Támogatja az SMP, a cluster, a GRID és MPP platformokat MPP, GRID, and Clustered Systems Uniprocessor SMP System

19 Meta adat menedzsment Kritikus problémák Alternatív megoldások
Felhasználók téves adatértelmezései Tényadatok téves kommunikálása Lehetetlen meghatározni az üzleti változásokból fakadó függőségeket Egységes, konzisztens vállalati alkalmazások hiánya Alternatív megoldások Meta adatok alkalmazásonkénti külön kezelése Meta adat hiányok A változások manuális követése Manuális módosítás és minimális testreszabhatóság Nincs konzisztens adatértelmezés Egyéni megoldások – Excel, Access, Word Zavaros, félmegoldások alkalmazása Administrator Ki az adatgazdája ennek az adatnak? Mikor módosult utoljára ez az adat? Hol használják ezt az adatot? Mi az adatok definíciója? Hol használt ez a rutin?

20 A meta adat menedzsment funkciói
Adat modellező eszköz SAP BW Business Intelligence Az adat integráció folyamán összegyűjti a különböző alkalmazások meta adatait. Adatmodellező eszközökből Üzleti intelligencia rendszerekből Adatpiacokból vagy adattárházakból Kezeli a ProfileStage, QualityStage és DataStage job-ok meta adatait is Gyűjti az üzleti-, esemény-, technikai és project jellegű meta adatokat is Lehetővé teszi az adatszármaztatás nyomonkövetését, elemzését Kezeli a meta adat változásokat Meta data Meta data Meta data MetaStage Directory MetaStage Clients SQL Hatás elemzés ProfileStage DataStage QualityStage

21 A meta adat menedzsment funkciói
Összegyűjti a meta adatokat a ProfileStage-ből, modellező eszközökből Közös meta adat kezelés a DataStage és QualityStage-en belül Képes felhasználni a DataStage job-ok és a futtatás során keletkező információk meta adatait Képes az üzleti intelligencia eszközök számára meta adatokat generálni A meta adat kezelés CWM és UML szabványoknak megfelelően Automatizálja a meta adatok publikálását, propagálását, értesíti a megfelelő felhasználókat a változásokról Data Modeling Tool SAP BW Business Intelligence Meta data Meta data Meta data MetaStage Directory MetaStage Clients SQL Függőség elemzés ProfileStage DataStage QualityStage

22 Service-Oriented Architecture & Real-Time Integration Services
Az Ascential Enterprise Integration Siute jellemzői Real-Time Integration Services Service-Oriented Architecture (SOA) Integrált profiling, quality és transzformációs eszközök Lineáris skálázhatóság/ korlátlan teljesítmény Újra használható komponensek és üzleti szabályok Meta adat menedzsment Megfelelés a szabványoknak – Web Services, XML, J2EE, JMS Natív hozzáférés minden adatforráshoz and Event Management DISCOVER PREPARE TRANSFORM and DELIVER Discover data content and structure Standardize, match, and correct data Transform, enrich, and deliver data ProfileStage QualityStage DataStage Parallel Execution Engine Meta Data Management Enterprise Connectivity

23 Szolgáltatás-Orientált Architektúra Előnyei
EAI, BPM, EII Web applications SOA funkciói Portals Dashboards A SOA alkalmazása az adatintegráció során: Teljes körű adathozzáférés biztosítása A különböző forrásból származó meta adatok összehangolása Adattisztítással és az adatminőséggel összefüggő folyamatok támogatása Adattranszformáció támogatása bármely forrás, vagy cél adatbázisba A párhuzamos adatfeldolgozás támogatása Szolgáltatások közzététele JMS, EJB és Web Services csatolókon keresztül Magas rendelkezésre állás, skálázhatóság, megbízhatóság, biztonság és teljesítmény Művelet monitorozás és teljesítmény növelés Szinkron és aszinkron tranzakciók támogatása get customer Ascential Real-Time Integration Services Packaged Apps (Siebel, SAP, Peoplesoft, etc.) Master Data Stores Legacy Apps Data Warehouses Business Partner Data

24 How Ascential RTI Services Work
Siebel Portal Oracle Financials B2B Process Integration SAP Lehetővé teszi a DataStage jobok szervizként történő újrahasznosítását Terhelés elosztás és hibakeresés több DataStage server között Jelentősen növeli a teljesítményt Eseménykezelés és naplózás Egyszerű konfigurálhatóság és monitoring JAAS & SSL titkosítás Web szervizek lokális regisztrálása Erőforrás tárolás és elosztás Szinkron és aszinkron tranzakciók kezelése Message Queue (App. to App. to Business Bus)

25 Az Ascential Enterprise Integration Siute jellemzői
Service-Oriented Architecture Az Ascential Enterprise Integration Siute jellemzői Real-Time Integration Services Service-Oriented Architecture (SOA) Integrált profiling, quality és transzformációs eszközök Lineáris skálázhatóság/ korlátlan teljesítmény Újra használható komponensek és üzleti szabályok Meta adat menedzsment Megfelelés a szabványoknak – Web Services, XML, J2EE, JMS Natív hozzáférés minden adatforráshoz and Event Management DISCOVER PREPARE TRANSFORM and DELIVER Discover data content and structure Standardize, match, and correct data Transform, enrich, and deliver data ProfileStage QualityStage DataStage Parallel Execution Engine Meta Data Management Enterprise Connectivity

26 Kapcsolati csomagok Miért az Ascential adatkapcsolati csomagok?
Adatforrások Miért az Ascential adatkapcsolati csomagok? A kapcsolati csomagok kiküszöbölik a szűk keresztmetszetből adódó problémákat Alkalmazás és üzleti folyamatok integrálása pl. Siebel (közvetlen, Business Object, EIM, Web Services) pl. SAP (ABAP, BAPI, iDoc, Web Services) Többszörös, natív, párhuzamos RDBMS interfészek Befektetés a jövőbeni kapcsolódási lehetőségekbe A legfrissebb szabványok támogatása: Web Services, XML Gyors és széleskörű kapcsolódási lehetőségek különböző platformokhoz Natív párhuzamosítás és meta adat adottságok Teradata (CLI, FastExport, MLoad, FastLoad, TPump) Előnyök: Rövid időn belül eredmény érhető el A legfontosabb adatokhoz és meta adatokhoz való hozzáférés Csökkenti a support és maintenence költségeket Egyszerű upgrade újabb verziókra PeopleSoft Web tartalom SAP Oracle legacy data Siebel Egyéb források Dokumentumok

27 Univerzális kapcsolódási lehetőségek
Általános hozzáférés Sequential File Complex Flat File File Set Data Set Named Pipe FTP (standard, secure) Compressed / Encoded Data External Command Call Parallel Wrap 3rd party applications Valós idejű WebSphere MQ SeeBeyond Java Messaging Services (JMS) Java (Client & Transformer) XML (Read / Write) XSL-T XSL-T Transformer Web Services (SOAP) Enterprise Java Beans (EJB) Vállalatirányítási rendszerek JD Edwards Oneworld (direct) Oracle Applications (Direct, Hierarchy) PeopleSoft (Direct, Trees) SAP BW (BAPI, IDOC) SAP R/3 (ABAP, BAPI, IDOC) Siebel (EIM, Business Component, Direct) Ascential kapcsolatok ADABAS/C Allbase/SQL Cache C-ISAM Datacom/DB DB2 UDB DB2/400 DBMS DS Mumps Enscribe Essbase Flat Files FOCUS IDMS/SQL ImageSQL IMS Infoman Informix Ingres KSAM M204 MS Access MS Analysis Nomad NonStopSQL Nucleus ODBC OLAP Services Oracle Progress RDB RedBrick RMS S2000 SQL Server SQL/DS Supra Sybase Sybase IQ Teradata TOTAL TurboIMage Unify VSAM ODBC Driver-ek DB2* dBASE FoxPro Informix* Oracle* Progress MS SQL Server* Sybase* Text Files (* = wire protocol) 3rd Party Trillium FirstLogic CoSort SyncSort EMC Infomover ADABAS RDBMS IBM DB2 (CLI, Bulk, Mainframe) IBM IMS VSAM Oracle (OCI, Bulk) Informix (CLI, Bulk, XPS Bulk) RedBrick (ODBC, Bulk) SQL Server (ODBC,OLE-DB, Bulk) Sybase (OC, IQBulk, Bulk) Teradata (CLI, TPUMP, MLOAD, TWB) U2 (Universe, UniData) Tandem NON-STOP SQL SAS ODBC Ascential CDC IBM DB2 (Z, I, P series) IBM zSeries IMS ADABAS Oracle MS SQL Server 2000 Adatcsere formátumok XMLS EXML EDI FIX SWIFT HIPAA

28 Ascential kapcsolati csomagok
Real-time Integration Services DISCOVER PREPARE TRANSFORM Discover data content and structure Standardize, match, and correct data Transform, enrich, and deliver data Enterprise Connectivity Enterprise Connectivity ProfileStage QualityStage DataStage Parallel Execution Engine Meta Data Management Ascential PACK for SAP BW Ascential PACK for SAP R/3 Ascential PACK for Siebel Ascential PACK for JD Edwards Ascential PACK for PeopleSoft Ascential PACK for Oracle Apps BAPI BAPI IDoc ABAP (extract) EIM BC Hierarchy Direct Direct Direct Hierarchy Direct Hierarchy Interface SAP R/3, mySAP Bus. Suite Enterprise Application JD Edwards OneWorld Oracle Applications SAP BW Siebel PeopleSoft Adatkinyerés és visszatöltés Csak adatkinyerés

29 Ascential kapcsolati csomagok

30 Köszönjük a figyelmét! 1148 Budapest, Nagy Lajos Király útja 20.
Tel.: ( 1 ) Fax.: ( 1 ) Web: