Az előadás letöltése folymat van. Kérjük, várjon

Az előadás letöltése folymat van. Kérjük, várjon

1 Vállalati-szintű adatintegrációs megoldások 2014. 07. 03.

Hasonló előadás


Az előadások a következő témára: "1 Vállalati-szintű adatintegrációs megoldások 2014. 07. 03."— Előadás másolata:

1 1 Vállalati-szintű adatintegrációs megoldások

2 2 Az IT beruházások mozgatói Sales Force Automation Üzleti tevékenység támogatása Supply Chain Management Teljes körű adatfeldolgozás Customer Relationship Management Jogszabály Követés/megfelelés Alkalmazás konszolidáció Törzsadat Konszolidáció Migráció /konszolidáció Kockázat elemzés Corporate Performance Management Konzisztens adatértelmezés A külső és a belső (szervezeti) adatok összekapcsolása Termék-életciklus menedzsment

3 3 A sikeres adatintegrációs projektek kritikus faktorai A megfelelő adatminőség biztosítása A forrásadatok megfelelő értelmezése Komplex transzformációk megtervezése Adatok teljes körű leképezése Megfelelő teljesítmény biztosítása Meta adatok értelmezése Megfelelő szakemberek megléte Hozzáférés a meta adatokhoz Megfelelően skálázható rendszer hiánya Külső alkalmazások integrálása Biztonság és megbízhatóság hiánya Forrás: TDWI World Conference 2003

4 4 Ascential Enterprise Integration Suite - ProfileStage Parallel Execution Engine DISCOVER Discover data content and structure PREPARE Standardize, match, and correct data TRANSFORM and DELIVER Transform, enrich, and deliver data ProfileStage QualityStage DataStage Meta Data Management Real-Time Integration Services Enterprise Connectivity and Event Management Service-Oriented Architecture •Service-Oriented Architecture (SOA) •Integrált profiling, quality és transzformációs eszközök •Lineáris skálázhatóság/ korlátlan teljesítmény •Újra használható komponensek és üzleti szabályok •Meta adat menedzsment •Megfelelés a szabványoknak – Web Services, XML, J2EE, JMS •Natív hozzáférés minden adatforráshoz Az Ascential Enterprise Integration Suite jellemzői

5 5 Forrásrendszer analízis Kritikus tényezők: •Nincs teljes körű információ az alkalmazott rendszerekben tárolt adatokról (legacy systems) •Adatmódosulás, új adatforrások, ismeretlen külső adatok Miért? •Értékek meghatározásai, valamint a kapcsolatok inkonzisztensek •Fejlesztés, változás-követés nem dokumentált •Adatforrás folytonosan változik, nincs jelzés a változás jellegéről Alternatív megközelítés: •Munka és erőforrás igényes feladat •Ritkán történik teljes körű adatfelmérés •Nincs általánosan alkalmazható módszertan •Az elsőgenerációs eszközök csak dokumentálják, de nem kínálnak megoldást a problémára Mainframe manufacturing system Demographic Contact Billing / Accounts External Lists Distribution ERP from acquisition Parts BOM Adatforrások

6 6 Hogyan működik a ProfileStage? 1.Forrás rendszer analízis - Biztosítja a forrásrendszerek megismerhetőségét a)Oszlop analízis b)Tábla analízis c)Elsődleges kulcs elemzés d)Táblák közötti kapcsolatok elemzése e)Normalizáció elemzés 2.Folyamat generálási lehetőségek - Képes lerövidíteni a fejlesztési időt –Forrás és cél mezők mappelése –Normalizált cél adatbázis definíciók –DataStage job definíciók Kereszt irányú tábla elemzés és kapcsolatok elemzése Tábla és elsődleges kulcs elemzés Mező analízis Source 1 Source 2

7 7 How Ascential ProfileStage Works Column Analysis Table Analysis Cross Table Analysis AnalyzeReview Accept Reject Create Data Model Normalize & Generate Source/Target Mappings Generate ETL Job Sample Data Full Data ProfileStage •Az adat értékek alapján leírja az adatok fizikai jellemzőit •Az oszlopok értékeinek megjelenítése statisztikákban /gyakoriság-eloszlás/ •Meghatározza az összefüggéseket a táblák oszlopai és más táblák vonatkozásában is •Szűrés lehetősége, az alkalmazott üzleti szabályok alapján •Normalizált cél adatbázis létrehozása •Forrás adatok mappelése alapján a cél adatbázis meghatározása •DDL-ek és ETL jobok létrehozása, a specifikáció alapján •Információ-megosztás modellező eszközökkel (ERWin)

8 8 Parallel Execution Engine DISCOVER Discover data content and structure PREPARE Standardize, match, and correct data TRANSFORM and DELIVER Transform, enrich, and deliver data ProfileStage QualityStage DataStage Meta Data Management Real-Time Integration Services Enterprise Connectivity and Event Management Service-Oriented Architecture Az Ascential Enterprise Integration Siute jellemzői •Service-Oriented Architecture (SOA) •Integrált profiling, quality és transzformációs eszközök •Lineáris skálázhatóság/ korlátlan teljesítmény •Újra használható komponensek és üzleti szabályok •Meta adat menedzsment •Megfelelés a szabványoknak – Web Services, XML, J2EE, JMS •Natív hozzáférés minden adatforráshoz Ascential Enterprise Integration Suite - QualityStage

9 9 Miért fontos az adatminőség? Kritikus tényezők: •Konzisztens adatértelmezés •Megbízható adatok a döntésekhez, szabályozásoknak való megfelelés Miért? •A szükséges információk nem egységesek •Ugyanazon adatok más formában, különálló rendszerekben állnak rendelkezésre •Rendszerspecifikus sajátosságok •Felhasználói tévedések okozta adatelírások •Az adatminőség biztosítás vállalati hiánya •Nincs „egy igazság” a vállalaton belül Alternatív megközelítés: •Az adatminőség fontosságának figyelmen kívül hagyása •Manuális, idő- és erőforrás igényes megoldások •Speciális adattisztításra használt alkalmazások – nem integráltak Kent Fried Chick Kentucky Fried Kentucky Fried Chicken KFC Molly Talber DBA KFC Mrs. M. Talber John & Molly Talber Talber, KFC, ATIMA Adatforrások Adattartalmak

10 10 A QualityStage jellemzői •Feloldja a forrásrendszerek közötti tartalmi és formai inkonzisztenciákat •Az adat struktúra és tartalom hasonlóság alapján képes felismerni az összefüggéseket •Saját üzleti szabályok alkalmazása a felderítés során •Konzisztens és pontos adathalmaz •Hasonló szabályok minden platformon (M/F, Windows, Unix, Linux) •Párhuzamos adatfeldolgozás •Valószínűségen, valamint nem kétértékű (fuzzy) logikán alapuló társítási lehetőségek •Nemzetközi cím egységesítési képesség Kent Fried Chick Kentucky Fried Kentucky Fried Chicken KFC Molly Talber DBA KFC Mrs. M. Talber John & Molly Talber Talber, KFC, ATIMA Adatforrások Adattartalmak

11 11 Standardization Logic Normalized Results Rules Matching & Record Linkage Logic Consolidated Views Operational Data Stores Enterprise Data Warehouses, Data Marts QualityStage A QualityStage funkciói •Adatok olvasása valamennyi forrásból •Iparági szabványokon vagy felhasználói szabályok alkalmazásán alapuló output-ok •Precízebb adatstruktúra meghatározás •Valószínűségen alapuló tábla kapcsolat meghatározás •Azonos címen lévő ügyfelek beazonosítása üzleti szabályok alapján •Képes konszolidálni az ügyfél adatokat •A különböző forrásrendszerekből származó adatok az azonosítást követően új ID-t kapnak, de megőrzik a történetiségüket is •Egyszerűen kezelhető és személyre szabható

12 12 Parallel Execution Engine DISCOVER Discover data content and structure PREPARE Standardize, match, and correct data TRANSFORM and DELIVER Transform, enrich, and deliver data ProfileStage QualityStage DataStage Meta Data Management Real-Time Integration Services Enterprise Connectivity and Event Management Service-Oriented Architecture Az Ascential Enterprise Integration Siute jellemzői •Service-Oriented Architecture (SOA) •Integrált profiling, quality és transzformációs eszközök •Lineáris skálázhatóság/ korlátlan teljesítmény •Újra használható komponensek és üzleti szabályok •Meta adat menedzsment •Megfelelés a szabványoknak – Web Services, XML, J2EE, JMS •Natív hozzáférés minden adatforráshoz Ascential Enterprise Integration Suite - DataStage

13 13 Az adattranszformációról Product Sales DMDM Historical Operational EPM Sales Report Shipments SCM Consumer Portals Electronic Marketpla ce Trading Partners ODSEDW CRMERP Transactional Operational Analytical DMDM DMDM Kritikus tényezők: •Fejlesztői erőforrások korlátozott rendelkezésre állása •A döntéstámogató rendszerek sajátosságai •Szigetrendszerek integrációs problémái •Adat migrációs problémák •Meta adat menedzsmentből származó problémák •Inkonzisztens adatértelmezés Alternatív megközelítések: •Manuális, idő- és erőforrás igényes megoldások •Költség és időigényes integrációs projektek, limitált eredménnyel •A projektek eredményei nem újra hasznosíthatók – eszközspecifikus meta adat Miért? •Felhasználóspecifikus adatértelmezés •Felhasználói igények folyamatosan bővülnek •Ugyanazon adat jelentése a használat során változik •Központi meta adattár hiánya

14 14 Az adattranszformáció jellemzői •Adatintegrációs folyamatok tervezése -Az adat betöltési folyamatok rugalmas, grafikus fejlesztői környezetben készülhetnek - Adat transzformáció, tisztítás és integráció - Különböző adatforrások integrációja •Integrációs folyamatok megvalósítása - Job-ok monitorozása és futtatása - Projektek hozzáadása és eltávolítása - Job monitorozási és felhasználói jogosultság paraméterezés - Server alkalmazások nyomkövetése - Job tesztelés, debug funkciók - Job futtatás történetiségéről riportok •Teljeskörű integrációs folyamat kezelés - Meta adat böngészés és szerkesztés - DataStage komponensek újrahasznosítása - DataStage repository menedzsment

15 15 A megoldás jellemzői •Grafikus, programkód nélküli fejlesztői környezet, újrahasznosítható komponensek •Adatbetöltési folyamatok megvalósítása valós időben és nagy tömegű adatok esetén egyaránt •Beépített és skálázható párhuzamos műveletvégzési lehetőségek •Egyszerű áttérés a fejlesztői környezetből az éles környezetre •Egységes, integrált alkalmazások •Natív mainframe adatintegrációs lehetőségek DataStage Input Transzformáció Minőségbiztosítás Output DataStage Server A DataStage jellemzői

16 16 Parallel Execution Engine DISCOVER Discover data content and structure PREPARE Standardize, match, and correct data TRANSFORM and DELIVER Transform, enrich, and deliver data ProfileStage QualityStage DataStage Meta Data Management Real-Time Integration Services Enterprise Connectivity and Event Management Service-Oriented Architecture Párhuzamos Feldolgozás & Meta Adat Menedzsment Az Ascential Enterprise Integration Siute jellemzői •Service-Oriented Architecture (SOA) •Integrált profiling, quality és transzformációs eszközök •Lineáris skálázhatóság/ korlátlan teljesítmény •Újra használható komponensek és üzleti szabályok •Meta adat menedzsment •Megfelelés a szabványoknak – Web Services, XML, J2EE, JMS •Natív hozzáférés minden adatforráshoz

17 17 Párhuzamos végrehajtás Adat forrás Transzformáció Kiegészítés Betöltés Data Warehouse Alternatív megoldások •Manuális partícionálás •Beégetett kódok •Szűk keresztmetszetek •Program váltás – HW váltás •Kódolt párhuzamos adatbázis és partíciós schémák Kritikus problémák • Igények és a szolgáltatások találkozása • Nem várt igények • HW beruházások optimalizálása

18 18 A párhuzamos platform jellemzői •Integrációs projektekben nem okoz gondot az adatmennyiség és az időkorlát •Partícionált adatbázis schémákat használva optimális betöltési hatékonyság •Partícionálás egyszerű lépéseken keresztül •Központi konfigurációjának köszönhetően nem igényel újratelepítést HW bővítés esetén •Nem igényel programozási munkát egy újabb processzor bevonása •Támogatja az SMP, a cluster, a GRID és MPP platformokat UniprocessorSMP System MPP, GRID, and Clustered Systems

19 19 Meta adat menedzsment Alternatív megoldások •Meta adatok alkalmazásonkénti külön kezelése •Meta adat hiányok •A változások manuális követése •Manuális módosítás és minimális testreszabhatóság •Nincs konzisztens adatértelmezés •Egyéni megoldások – Excel, Access, Word •Zavaros, félmegoldások alkalmazása Administrator Kritikus problémák •Felhasználók téves adatértelmezései •Tényadatok téves kommunikálása •Lehetetlen meghatározni az üzleti változásokból fakadó függőségeket •Egységes, konzisztens vállalati alkalmazások hiánya Ki az adatgazdája ennek az adatnak? Mikor módosult utoljára ez az adat? Hol használják ezt az adatot? Mi az adatok definíciója? Hol használt ez a rutin?

20 20 •Az adat integráció folyamán összegyűjti a különböző alkalmazások meta adatait. –Adatmodellező eszközökből –Üzleti intelligencia rendszerekből –Adatpiacokból vagy adattárházakból •Kezeli a ProfileStage, QualityStage és DataStage job-ok meta adatait is •Gyűjti az üzleti-, esemény-, technikai és project jellegű meta adatokat is •Lehetővé teszi az adatszármaztatás nyomonkövetését, elemzését •Kezeli a meta adat változásokat A meta adat menedzsment funkciói Adat modellező eszköz SAP BW Business Intelligence MetaStage Clients SQL ProfileStage QualityStage DataStage Hatás elemzés Meta data MetaStage Directory

21 21 •Összegyűjti a meta adatokat a ProfileStage-ből, modellező eszközökből •Közös meta adat kezelés a DataStage és QualityStage-en belül •Képes felhasználni a DataStage job-ok és a futtatás során keletkező információk meta adatait •Képes az üzleti intelligencia eszközök számára meta adatokat generálni •A meta adat kezelés CWM és UML szabványoknak megfelelően •Automatizálja a meta adatok publikálását, propagálását, értesíti a megfelelő felhasználókat a változásokról A meta adat menedzsment funkciói Data Modeling Tool SAP BW Business Intelligence MetaStage Clients SQL ProfileStage QualityStage DataStage Függőség elemzés Meta data MetaStage Directory

22 22 Parallel Execution Engine DISCOVER Discover data content and structure PREPARE Standardize, match, and correct data TRANSFORM and DELIVER Transform, enrich, and deliver data ProfileStage QualityStage DataStage Meta Data Management Real-Time Integration Services Enterprise Connectivity and Event Management Service-Oriented Architecture Az Ascential Enterprise Integration Siute jellemzői •Service-Oriented Architecture (SOA) •Integrált profiling, quality és transzformációs eszközök •Lineáris skálázhatóság/ korlátlan teljesítmény •Újra használható komponensek és üzleti szabályok •Meta adat menedzsment •Megfelelés a szabványoknak – Web Services, XML, J2EE, JMS •Natív hozzáférés minden adatforráshoz Service-Oriented Architecture & Real-Time Integration Services

23 23 Szolgáltatás-Orientált Architektúra Előnyei get customer Legacy Apps Packaged Apps (Siebel, SAP, Peoplesoft, etc.) Business Partner Data Data Warehouses Master Data Stores Portals EAI, BPM, EII Web applications Dashboards Ascential Real-Time Integration Services •A SOA alkalmazása az adatintegráció során: –Teljes körű adathozzáférés biztosítása –A különböző forrásból származó meta adatok összehangolása –Adattisztítással és az adatminőséggel összefüggő folyamatok támogatása –Adattranszformáció támogatása bármely forrás, vagy cél adatbázisba –A párhuzamos adatfeldolgozás támogatása •Szolgáltatások közzététele JMS, EJB és Web Services csatolókon keresztül •Magas rendelkezésre állás, skálázhatóság, megbízhatóság, biztonság és teljesítmény •Művelet monitorozás és teljesítmény növelés •Szinkron és aszinkron tranzakciók támogatása SOA funkciói

24 24 How Ascential RTI Services Work •Lehetővé teszi a DataStage jobok szervizként történő újrahasznosítását •Terhelés elosztás és hibakeresés több DataStage server között •Jelentősen növeli a teljesítményt •Eseménykezelés és naplózás •Egyszerű konfigurálhatóság és monitoring •JAAS & SSL titkosítás •Web szervizek lokális regisztrálása •Erőforrás tárolás és elosztás •Szinkron és aszinkron tranzakciók kezelése SAPPortalSiebelB2B Process Integration Oracle Financials Message Queue (App. to App. to Business Bus)

25 25 Parallel Execution Engine DISCOVER Discover data content and structure PREPARE Standardize, match, and correct data TRANSFORM and DELIVER Transform, enrich, and deliver data ProfileStage QualityStage DataStage Meta Data Management Real-Time Integration Services Enterprise Connectivity and Event Management Service-Oriented Architecture Az Ascential Enterprise Integration Siute jellemzői •Service-Oriented Architecture (SOA) •Integrált profiling, quality és transzformációs eszközök •Lineáris skálázhatóság/ korlátlan teljesítmény •Újra használható komponensek és üzleti szabályok •Meta adat menedzsment •Megfelelés a szabványoknak – Web Services, XML, J2EE, JMS •Natív hozzáférés minden adatforráshoz

26 26 Kapcsolati csomagok SAP PeopleSoft legacy data Dokumentumok Oracle Egyéb források Siebel Web tartalom Adatforrások Miért az Ascential adatkapcsolati csomagok? •A kapcsolati csomagok kiküszöbölik a szűk keresztmetszetből adódó problémákat •Alkalmazás és üzleti folyamatok integrálása –pl. Siebel (közvetlen, Business Object, EIM, Web Services) –pl. SAP (ABAP, BAPI, iDoc, Web Services) •Többszörös, natív, párhuzamos RDBMS interfészek •Befektetés a jövőbeni kapcsolódási lehetőségekbe •A legfrissebb szabványok támogatása: Web Services, XML •Gyors és széleskörű kapcsolódási lehetőségek különböző platformokhoz •Natív párhuzamosítás és meta adat adottságok •Teradata (CLI, FastExport, MLoad, FastLoad, TPump) Előnyök: •Rövid időn belül eredmény érhető el •A legfontosabb adatokhoz és meta adatokhoz való hozzáférés •Csökkenti a support és maintenence költségeket •Egyszerű upgrade újabb verziókra

27 27 Univerzális kapcsolódási lehetőségek Általános hozzáférés Sequential File Complex Flat File File Set Data Set Named Pipe FTP (standard, secure) Compressed / Encoded Data External Command Call Parallel Wrap 3 rd party applications Valós idejű WebSphere MQ SeeBeyond Java Messaging Services (JMS) Java (Client & Transformer) XML (Read / Write) XSL-T XSL-T Transformer Web Services (SOAP) Enterprise Java Beans (EJB) Vállalatirányítási rendszerek JD Edwards Oneworld (direct) Oracle Applications (Direct, Hierarchy) PeopleSoft (Direct, Trees) SAP BW (BAPI, IDOC) SAP R/3 (ABAP, BAPI, IDOC) Siebel (EIM, Business Component, Direct) Ascential kapcsolatok ADABAS/C Allbase/SQL Cache C-ISAM Datacom/DB DB2 UDB DB2/400 DBMS DS Mumps Enscribe Essbase Flat Files FOCUS IDMS/SQL ImageSQL IMS Infoman Informix Ingres KSAM M204 MS Access MS Analysis Nomad NonStopSQL Nucleus ODBC OLAP Services Oracle Progress RDB RedBrick RMS S2000 SQL Server SQL/DS Supra Sybase Sybase IQ Teradata TOTAL TurboIMage Unify VSAM RDBMS IBM DB2 (CLI, Bulk, Mainframe) IBM IMS VSAM Oracle (OCI, Bulk) Informix (CLI, Bulk, XPS Bulk) RedBrick (ODBC, Bulk) SQL Server (ODBC,OLE-DB, Bulk) Sybase (OC, IQBulk, Bulk) Teradata (CLI, TPUMP, MLOAD, TWB) U2 (Universe, UniData) Tandem NON-STOP SQL SAS ODBC ODBC Driver-ek DB2* dBASE FoxPro Informix* Oracle* Progress MS SQL Server* Sybase* Text Files (* = wire protocol) 3rd Party Trillium FirstLogic CoSort SyncSort EMC Infomover ADABAS Ascential CDC IBM DB2 (Z, I, P series) IBM zSeries IMS ADABAS Oracle MS SQL Server 2000 Adatcsere formátumok XMLS EXML EDI FIX SWIFT HIPAA

28 28 Ascential kapcsolati csomagok PeopleSoft Oracle Applications Siebel JD Edwards OneWorld SAP R/3, mySAP Bus. Suite SAP BW •Direct •Hierarchy •Direct •Hierarchy •EIM •BC •Hierarchy •Direct •BAPI •IDoc •ABAP (extract) •BAPI Interface Enterprise Application Csak adatkinyerésAdatkinyerés és visszatöltés Ascential PACK for SAP BW Ascential PACK for SAP R/3 Ascential PACK for Siebel Ascential PACK for JD Edwards Ascential PACK for PeopleSoft Ascential PACK for Oracle Apps Parallel Execution Engine DISCOVER PREPARE TRANSFORM ProfileStage QualityStage DataStage Meta Data Management Enterprise Connectivity Real-time Integration Services Enterprise Connectivity Discover data content and structure Standardize, match, and correct data Transform, enrich, and deliver data

29 29 Ascential kapcsolati csomagok

30 30 Köszönjük a figyelmét! 1148 Budapest, Nagy Lajos Király útja 20. Tel.: ( 1 ) Web: Fax.: ( 1 )


Letölteni ppt "1 Vállalati-szintű adatintegrációs megoldások 2014. 07. 03."

Hasonló előadás


Google Hirdetések