Adatbetöltésre való (ETL eszköz) + AdattisztításAdatprofilozás Adatbányász modellek Futtatása Szövegbányászat (szótövezés, …) … Része az SQL Server.

Az előadások a következő témára: "Adatbetöltésre való (ETL eszköz) + AdattisztításAdatprofilozás Adatbányász modellek Futtatása Szövegbányászat (szótövezés, …) … Része az SQL Server."— Előadás másolata:

1

2

3 Adatbetöltésre való (ETL eszköz) + AdattisztításAdatprofilozás Adatbányász modellek Futtatása Szövegbányászat (szótövezés, …) … Része az SQL Server 2008 programcsomagnak

4 Teljesítmény növelése Továbbfejlesztett {Data Flow} Task Továbbfejlesztett {Lookup} Task Új, {Adatprofilozást} támogató Data Profiling Task Egyéb újdonságok Új scripting Engine, új Connector-ok, SuperDump, …

5 {Optimalizálták} az egy execution tree-ből álló, szinkron transzformációk teljesítményét: Execution tree 1. Execution tree 2. Az SSIS 2005 nem vizsgálta az execution tree-n belüli munka nagyságát. Minden execution tree kapott egy szálat és x mennyiségű memóriát. Egy szál = 1 processzor

6 SSIS {2005} SSIS {2008}

7 Az SSIS {2008} képes az egy execution tree-ben található transzformációkat több szálon futtatni (Azaz a szálakat dinamikusan allokálni.) Integration Services 2005 Integration Services 2008

8 Ténytábla forrás Lookup 2008-05-07; 200805072008-05-07 PárosítottHiba 20080507 Dimtábla forrás Cache Nem talált Dataflow 2Dataflow 1 Cache Connection Manager Megosztott cache Nem talált kulcsok gyorsítótára Ténytábla forrás Dimtábla forrás LookupCache 2008-05-07; 200805072008-05-07 PárosítottNem talált 20080507 Dataflow 1 Integration Services 2005 Integration Services 2008

9 {Új scripting engine} -> C# is lehet a szkript nyelv Web szerviz hívás a Data Flow-ból {SuperDump}: A futó csomagok aktuális állapotának kipakolása txt fájlba ORACLE, Teradata, SAP BW connector (RTM után, Feature pack-ban) Connection Manager, Bulk Extract Source Bulk Load Destination, Incremental Load Destination

10 Mit nevezünk adat profilozásnak? Mire használhatjuk? Forrásrendszerek felmérése Adattárházak, üzleti intelligencia rendszerek auditálására, minőség biztosításra forrásadatok betöltés előtti ellenőrzésére Hogyan működik?

11 Kitöltöttség analízis {Column Null Ratio} Adathossz eloszlás elemzés {Column Length Distribution} kulcsképesség elemzés {Candidate Key} Minták keresése {Pattern} Oszlop statisztikák {Column statistics} Érték eloszlás analízis {Column Value Distribution} Összefüggés vizsgálat {Functional Dependency} Részhalmazok keresése {Value Inclusion}

12

13 {Teljesítmény} növelése Motor: Blokkonkénti számítás, Visszaírás, új backup szerkezet, oldalra skálázhatóság {Hősök} támogatása: Áttervezett (kézreálló formok),tervezési figyelmeztetések, grafikus attribútum reláció és aggregáció tervező, erőforrás monitorozás támogatása, … Olyan horderejű változások, mint a 2000- 2005-ös verziók esetén voltak, nem lesznek. -> könnyű lesz áttérni Olyan horderejű változások, mint a 2000- 2005-ös verziók esetén voltak, nem lesznek. -> könnyű lesz áttérni

14 Egy példa: városonként listázzuk ki, hogy hány rendelést adtak fel interneten keresztül az előző év eleje óta WITH MEMBER [Measures].[RollingSum] AS ([Date].[Calendar Year].PrevMember, [Internet Order Quantity]) + [Internet Order Quantity] SELECT [Date].[Calendar Year].&[2004] ON 0, [Customer].[City].members ON 1 FROM [Adventure Works] WHERE [Measures].[RollingSum] WITH MEMBER [Measures].[RollingSum] AS ([Date].[Calendar Year].PrevMember, [Internet Order Quantity]) + [Internet Order Quantity] SELECT [Date].[Calendar Year].&[2004] ON 0, [Customer].[City].members ON 1 FROM [Adventure Works] WHERE [Measures].[RollingSum]

15 Város 5 4 + Város 6 + Város 3 + Város 4 + [Város.*, 2004 Rendelések sz] Város 1 + Város 2 6 10 + [Város.*, 2003, Rendelések sz] Város 1 Város 5 4 Város 6 Város 3 Város 4 Város 2 16 [Város.*, 2004, RollingSum] Város 1Hátrányok Csak az erőforrást pocsékoljuk a {NULL értékek} összeadására Teljesen felesleges végig mennünk minden cellán és kiértékelnünk pl. a rekurzív hivatkozásokat!

16 Város 5 4 Város 6 Város 3 Város 4 [Város.*, 2004, Rendelések sz] Város 2 6 10 [Város.*, 2003, Rendelések sz] Város 5 4 Város 6 Város 3 Város 4 Város 2 16 [Város.*, 2004, RollingSum] Város 1 + + 1. A {nem üres} cellák felolvasása a lemezről 2. A nem üres cellákon (blokk) elvégzi az összeadást (1 darab a 8 helyett) 3. Az összes többi cella NULL marad

17 Hurrá! Fogalmazzuk át a lekérdezést úgy, hogy mutassuk meg hány olyan terméket rendeltek, amelyre legalább 5 rendelés érkezett az interneten. WITH MEMBER [Measures].[5-nel tobb interneten rendelt termek] AS Count(Filter([Product].[Product].[Product], [Measures].[Internet Order Quantity] > 5)) SELECT [Customer].[Customer Geography].[Country] ON 0, [Date].[Calendar].[Date].MEMBERS ON 1 FROM [Adventure Works] WHERE [Measures].[5-nel tobb interneten rendelt termek] WITH MEMBER [Measures].[5-nel tobb interneten rendelt termek] AS Count(Filter([Product].[Product].[Product], [Measures].[Internet Order Quantity] > 5)) SELECT [Customer].[Customer Geography].[Country] ON 0, [Date].[Calendar].[Date].MEMBERS ON 1 FROM [Adventure Works] WHERE [Measures].[5-nel tobb interneten rendelt termek]

18 Write-Back Cache Partíciók Jóváhagyott adatok visszaírása Jóváhagyott tervszámok kiolvasása Tervadatok bevitele WriteBack partíció

19 Write-Back Cache Partíciók Visszaírt adatok másolata Jóváhagyott tervszámok kiolvasása Tervadatok bevitele WriteBack partíció Visszaírt adatok Jóváhagyás (Commit)

20 1. Felösszegezni a kockákat egy erre a célra dedikált szerveren 2. Replikálni az adatbázist a lekérdező szerverekre

21 1. Felösszegezni a kockákat egy erre a célra dedikált szerveren 2. Leválasztani (Detach) az adatbázist 3. Felmásolni az adatbázist a SAN-ra 4. Becsatolni (Attach) minden egyes lekérdező szerveren (Read only módban)

22 Új belső adatszerkezet A backup készítésének sebessége nem exponenciálisan függ a mérettől és közelít a fájlmásolás sebességéhez kompatibilis a korábbi backup-okkal (Azaz vissza tudjuk állítani a 2005-ös mentéseket is)

23 A DMV-ken keresztül Lekérdezhetjük az SSAS objektumait Monitorozhatjuk az SSAS erőforrásait Olyan kérdésekre kaphatunk választ, mint… Több mint 50 DMV. Kérdezze le: Select * from $system.dbschema_tables where TABLE_SCHEMA = '$system' order by Table_name Select * from $system.dbschema_tables where TABLE_SCHEMA = '$system' order by Table_name

24 Több mint 40 tervezési irányelvet (Best Practice) építettek a BI development Studióba Egy mini BPA, ami folyamatosan elemzi, hogy mit alkot a fejlesztő Diszkrét, kikapcsolható, kommentezhető figyelmeztetések Példák Adatkockák tervezése Adatforrások tervezése Adatbázisok tervezése Dimenziók tervezése Partíciók és aggregációk tervezése

25 Ilyen volt… Ilyen lett… <-- A régi áttekinthetetlen volt Tervezési figyelmeztetések

26 Statikus nevesített halmazok Dinamikus nevesített halmazok Mire fogjuk használni? Hogyan hozhatjuk létre őket? CREATE DYNAMIC SET CURRENTCUBE.[Top 3 Ország] AS TopCount AS TopCount( [Ország].Members, [Ország].Members, 3, 3, [Measures].[Terv-tény eltérés %] [Measures].[Terv-tény eltérés %]); CREATE DYNAMIC SET CURRENTCUBE.[Top 3 Ország] AS TopCount AS TopCount( [Ország].Members, [Ország].Members, 3, 3, [Measures].[Terv-tény eltérés %] [Measures].[Terv-tény eltérés %]);

27

28

29 Architekturális változások SzolgáltatásokJelentésfeldolgozásMemóriakezelés Jelentéskészítési újdonságok Új jelentéstervező – Report Designer 2008 { Tablix } = { Tabl } e + Matr { ix } Dundas grafikonok, műszerek Formázott {szöveg} Word export Megnövelt teljesítmény

30

31 ASP.NET IIS 3 rd Party Applications Report Designer Management Studio Configuration Tool Report BuilderReport Manager SharePoint V3 Report Server Database Configuration Files Report Data Sources SharePoint V3 Databases WMI WMI Provider Windows Service Web Service SOAP / URL elérés Riport feldolgozás Bővíthetőség

32 Web Service ASP.NET IIS 3 rd Party Applications Report Designer Management Studio Configuration Tool Report BuilderReport Manager SharePoint V3 Report Server Database Configuration Files Report Data Sources SharePoint V3 Databases WMI WMI Provider Windows Service Ütemezés / kézbesítés Adatbázis karbantartás Jelentés feldolgozás Bővíthetőség

33 3 rd Party alkalmazások Report Designer Management Studio Configuration Tool Report Builder Report Manager SharePoint V3 Report Server adatbázis Konfigurációs fájlok Jelentés adat- források SharePoint V3 adatbázisok WMI WMI Provider Webszolgáltatások Háttér feldolgozások Platform Windows szolgáltatás

34 3 rd Party Applications Report Designer Management Studio Configuration Tool Report Builder SharePoint V3 Report Server Database Configuration Files Report Data Sources SharePoint V3 Databases WMI WMI Provider Platform Web Service Report Manager Background Processing Jelentés feldolgozás Ütemezés / kézbesítés Adatbázis karbantartás Bővíthetőség

35 3 rd Party Applications Report Designer Management Studio Configuration Tool Report Builder SharePoint V3 Report Server Database Configuration Files Report Data Sources SharePoint V3 Databases WMI WMI Provider Web Service Report Manager Background Processing Platform Szolgáltatás hálózati interfészei Szolgáltatás platform ASP.NET Hitelesítés App Domain kezelés Memória- menedzsment

36 Egy szolgáltatás Könnyebb telepíteni, konfigurálni és felügyelni Megszűnt az IIS függőség A Report Server eszközök biztosítják az IIS funkcionalitást Nem kell IIS-t futtatni az adatbázis szerveren Az SQL Server-rel közös belső komponensek A hálózati interfészek közösek az SQL Server-rel A Report Server szolgáltatás SQL CLR-ben implementálja az ASP.NET-net Nem változik meg a telepítési topológia Változatlan SOAP, URL Access és Report Manager támogatás A frissítések támogatottak

37 Table Matrix List Chart Group Kalk Adattár Adatok Tablix Winforms Webforms CSV XML PDF Image ROM HTML Kép HTML Excel Nyomtató Kép Hard Page előállítás Adat Soft Page előállítás Chart

38 Word formátum Az előállított jelentés Word 2000 és újabb verziókkal kompatibilis Javított CSV formátum Valódi adatformátum, nem hibrid adat/szöveg Javított Excel formátum Egymásba ágyazott adatrégiók támogatása Egymásba ágyazott aljelentések támogatása

39 Formázási és lapozási konzisztencia Elosztott ügyfél/kiszolgáló számítások Robosztus, ügyfél-oldali jelentés előállítás Gyorsabb készülnek el az első oldalak Tablix

40 Szerver oldali memóriafelügyelő infrastruktúra Dinamikus, önmagát menedzselő, memória krízisre reagáló Memória hiány esetén automatikusan csökkenti a terhelést Fájlrendszer alapú gyorsítótár Memóriahiány esetén használja Amikor a feldolgozó alrendszer további memóriát igényel Határértékeket állíthatunk be (Min, Max) A szerver azt feltételezi, hogy a Minimum értékkel jelzett memória rendelkezésre áll Több memóriát csak akkor foglal a rendszer, ha szükség van rá A Maximum határérték azt jelzi, hogy azt nem szabad túllépni Figyeli más rendszerek memóriafoglalását is

41 Az egyes lapok előállítására fordított idő közel állandó Az első lap előállítási ideje változó Jelentésfüggő Az RS 2008 adatok kisebb változatosságot mutatnak

42

43 SSRS 2008

44 { Memóriakezelés }

45

46 20012002Total 1,1151,3312,446152642794 11,15613,31224,4681,5236,4217,944 13,94621,70635,653 RetailAcme Nadir, Inc. Wholesale ABC Corp. XYZ, Ltd. Grand Total CustomerRetail Acme Nadir, Inc. Wholesale ABC Corp. XYZ, Ltd. Grand Total Growth19% 322% 19% 322% 56% Tablixe + Matr1,2671,9733,23056% 12,67919,73332,41257%

47 Mátrix +: Többszörös egymás melletti sor/oszlop elemek minden szinten Bármelyik elem lehet statikus vagy dinamikus Az elemek fejlécei elhagyhatóak Táblázat +: Dinamikus, egymásba ágyazható oszlopcsoportok Többszörös párhuzamos sorcsoportok Statikus sorok Átnyúló sorfejlécek

48 TableChair WASeattle2030 Spokane1020 ORPortland10 Eugene255 20052006 WASeattle5060 Spokane3040 ORPortland4050 Eugene2030 SQL 2005 SQL 2008 YearProduct 20052006TableChair WASeattle50602030 Spokane30401020 ORPortland405010 Eugene2030255

49 StateCityPopArea WASeattle2030 WASpokane1020 ORPortland10 OREugene255 StateCity20052006PopArea WASeattle50602030 Spokane30401020 ORPortland405010 Eugene2030255 20052006 WASeattle5060 Spokane3040 ORPortland4050 Eugene2030 SQL 2005 SQL 2008

50 20052006 WestTotal140180 Washington Total 80100 Seattle 5060 Spokane 3040 Oregon Total 6080 Portland 4050 Eugene 2030 EastTotal200220 20052006 West140180 Washington 80100 Seattle 5060 Spokane 3040 Oregon 6080 Portland 4050 Eugene 2030 East200220 SQL 2005 SQL 2008...

51 Nem összesített részletek összesítése Összesítések a részösszegekben Hatáskör specifikus összesítések Q1Q2Total ProfEnrollProfEnroll CalculusGalt25Rand3055 PhysicsEllis14Chan2135 YogaZehn42Tau5395 BiologyRasa31Starr3566 20052006 NYJoe5060 Sue80100 TotalCount22 Sales130160 Avg6580... 20052006Total Jan- Jun Jul- Dec TotalJan- Jun Jul- Dec Total $Gr$ Cog101525-112031656 Sprocket202545-223052797

52 A Dundas Software alábbi komponenseit licenszeljük: ChartGaugeMapBarcodeCalendar Grafikonok – CTP4-től Gauge-ok – CTP 6-tól Map, Barcode, Calendar?

53

54

55 A szövegdobozokban többfajta stílust használhatunk A kevert statikus szövegek, referenciák, kifejezések különböző formátumúak lehetnek Bekezdések Listák Felsorolások HTML elemek

56 {A Report Builder-t és a Report Designer-t a Report Builder 2008 } váltja ki hosszabb távon Egységes felület, teljes RDL támogatás A Report Builder modell támogatása megmarad A szemantikus jelentésmodellek megmaradnak Az SQL Server 2008 után: {a Report Builder 2008 az SQL Server 2008 megjelenését követően, önállóan jelenik meg}

57 Funkcionalitás összehasonlítása ReportDesignerReportDesigner ReportBuilder2008ReportBuilder2008 Report Builder Teljes RDL támogatás Egységes tervezőfelület Egységes párbeszéd panelek Jelentésmodellek Office 12 felület VS integráció Integrált lekérdezés és tervezés Teljes jelentésmodell támogatás Átkattintó jelentések Korlátozott RDL támogatás

58 { Tablix, Dundas, Word }

59 Legfontosabb újdonságok Egy szolgáltatás, IIS függetlenség Javított memóriakezelés, riport előállítás Word export Tablix, Dundas Miért érdemes váltani 2005-ről MegbízhatóbbGyorsabbHatékonyabbSzebb

60