SQL Server 2005 Integration Services Kószó Károly rendszermérnök Microsoft Magyarország.

Az előadások a következő témára: "SQL Server 2005 Integration Services Kószó Károly rendszermérnök Microsoft Magyarország."— Előadás másolata:

1 SQL Server 2005 Integration Services Kószó Károly rendszermérnök Microsoft Magyarország

2 Tartalom  SQL Server Integration Services  BI Development Studio  Munkafolyam (control flow) és adatfolyam (data flow)  A munkafolyam jellemzői  Az adatfolyam jellemzői

3 SQL Server Integration Services  Platform  Nagy teljesítményű adat-integrációs megoldások építéséhez  Extract-transform-load (ETL) csomagok az adatraktárak feltöltéséhez  A DTS „utódja”, de új eszköz

4 BI Development Studio  Business Intelligence Development Studio  Az üzleti intelligencia projektek fejlesztőeszköze –Analysis Services –Reporting Services –Integration Services  Visual Studio felület  Project  Integration Services projekt típus  IS csomagok (package)  Adatforrás nézetek (Data Source View)  Egyéb fájlok  Solution  Egyéni beállítások, konfigurációk

5 A BI Development Studio eszközei  Csomagszerkesztő  Tulajdonságok (properties)  Eszköztár (toolbox)  Szerkesztő ablakok  Változók  Adatkapcsolatok  …  Tervező felület  Control Flow  Data Flow  Event Handlers  Package Explorer

6 demó  BI Development Studio

7 Az Integration Services felépítése Csomag Konténerek Standard transzformációkTestre szabott transzformációk Adat-cél adapterek Adatforrás adapterek XML csomag XML csomag Parancssor Feladatok IS tervező Varázslók Esemény kezelők

8 Munkafolyam és adatfolyam  Munkafolyam  Folyamat központú  Feladatokat (task) hajt végre  A feladatok eredménye: siker, hiba, kész  Változók (beállítás, olvasás, hatókör)  Adatfolyam  Adat központú  Adatsorokat olvas és gyárt  Több bemenet és több kimenet  Felhasználhatja a változók értékeit

9 Munkafolyam és adatfolyam elemek  Tipikus munkafolyam feladatok  File System Task  Execute SQL Task  Send Mail Task  …  Data Flow Task  Adatfolyam komponensek  Adapterek (forrás, cél) –OLEDB, SQL Server, …  Transzformációk –Oszlop másolás, konverzió, számított oszlop –Rendezés, aggregálás, illesztés –…

10 A munkafolyam jellemzői  Feladatok (task)  Precedenciák (precedence constraint)  Konténerek  Ciklus szervezés (loop)  Események (event)

11 Munkafolyam: feladatok  Adatbázis menedzsment feladatok  File System Task  File Transfer Protocol Task  Execute Process Task  Send Mail Task  Execute SQL Task  WMI Task  MSMQ Task  Execute Package Task  ActiveX script  …  Data Flow Task

12 Munkafolyam: feladat  Elemi munka egység  Egyedileg sikeres, vagy sikertelen  Egyedileg engedélyezett (enabled), vagy tiltott (disabled)

13 Munkafolyam: feltétel (constraint)  A feladatokat köti össze  Meghatározza a feladatok végrehajtási sorrendjét és feltételeit  Sikeres, sikertelen  AND/OR feltételek  Feltétel kifejezés alapján

14 Munkafolyam: konténerek  For Loop  Foreach Loop  Sequence  Feladatok részhalmaza  Logikai és/vagy vizuális csoportosítás  Változó hatókör  Enable/Disable  Elágazás kifejezés alapján

15 Munkafolyam: ciklus szervezés  Két speciális konténer  For Loop –Kifejezés alapján  Foreach Loop –Enumerátor alapján  Változók feltöltése –Az iterációs értékekhez változók kapcsolhatók

16 Munkafolyam: eseménykezelés  Valami történt (hiba)  Egy speciális konténer, ami az esemény bekövetkezésekor fut  Végrehajtási egységhez és eseményhez kötődik  Hasonló a csomaghoz  Blokkol

17 DTS Runtime - munkafolyam WMI források célok OLEDB Connection FTP HTTP FILE ODBC Managers CUSTOM FLATFILE Custom XML SQL Server Flat File FTP File OLEDB Connection FTP HTTP FILE ODBC Managers CUSTOM FLATFILE WEB FTP DB XML Task FILE FTP Task FTP Web Services Task HTTP Data Flow Task ODBC … FILE … Custom Containers WMI Event Task WMI Event Handlers Send Mail Task Variables Log Providers Task Host Custom Task Variables Log Providers XML File

18 demó  Munkafolyam

19 Az adatfolyam elemei  Komponensek  Ösvények  Gráf  Adapterek  Forrás, cél  Transzformációk

20 Az adatfolyam jellemzői  Komponensek tetszőleges gráfja  több bemenet,  több kimenet  A ki- és bemeneteket ösvények kötik össze  Egy speciális feladat (task)

21 Komponensek és ösvények  Komponensek  Adatforrás adapterek –OLE DB, síkfájl, XML, …  Adat-cél adapterek –OLE DB, síkfájl, SQL Server, OLAP feldolgozás, …  Transzformációk –Egysoros (számított oszlop, konverzió, lookup, …) –Halmaz alapú (rendezés, aggregálás, merge join, pivot, …) –Több ki-, vagy bemenet (Union All, Multicast, Conditional Split)  Ösvények  A gráfban két komponens közötti út  Hordozzák az oszlopok meta-adatait

22 Az adatfolyam XML DB Sources Flat File Dests OLEDB Data Source ODBC CUSTOM Raw Adapters FLATFILE RAW Custom DB Flat File Custom File OLEDB Data Destination ODBC CUSTOM Raw Adapters FLATFILE Számított oszlop Feltételes szétválasztás Aggregálás Fuzzy Lookup Merge Join RAW

23 demó  Munka- és adatfolyam

24 DTS – Integration Services  Adatpumpa  Egy input/output  Ciklus „kezelés”  Ön-módosító csomag  Dinamikus tulajdonságok  (Lassú) szkriptek  Data Flow Task  Több input/output  For(each) Loop  Definiált érvényességi körű változók  Konfigurációk; változó alapú tulajdonságok  Beépített (gyors) transzformációk

25 Migráció  DTS 2000 runtime  Az SQL Server upgrade után a régi csomagok működőképesek maradnak  Az SQL2005 UI-ból elérhető a DTS 2000 csomagszerkesztő  DTS 2000 package task az IS munkafolyamban  Upgrade tanácsadó  A DTS 2000 csomagok felülvizsgálata, jelentés a várható problémákról  Migrációs varázsló  Amit lehet, átalakít  Amit nem, becsomagol

26 Fejlett jellemzők  Munkafolyam  Konfigurációk  Naplózás  Belövés (töréspontok, …)  Eseménykezelés  Adatfolyam  Hiba kimenetek

27 Összegzés, további információ  Az Integration Services egy valódi, nagy teljesítményű ETL eszköz  Az SQL Server 2005 része  A Forrester jelentés: http://www.microsoft.com/sql/bi/integrate/ productinfo/foresterreport.asp

28