Adatbetöltésre való (ETL eszköz) + AdattisztításAdatprofilozás Adatbányász modellek Futtatása Szövegbányászat (szótövezés, …) … Része az SQL Server.

Slides:



Advertisements
Hasonló előadás
2012. tavaszi félév Vitéz Gergely. A diasor ismerete nem helyettesíti a tankönyvet, és a példatárat. A diasor ismerete szükséges, de nem elégséges feltétele.
Advertisements

Adatbázis gyakorlat 1. Szerző: Varga Zsuzsanna ELTE-IK (2004) Budapest
© Kozsik Tamás Adatbáziskezelés •Relációs adatbáziskezelők •Noha a Java objektum-elvű, egyelőre nem az objektum-elvű adatbáziskezelőket támogatja.
Az Analysis Services 2005 újdonságai Kővári Attila.
SQL modellezés Turáni Balázs.
Az SQL Server 2005 relációs motorjának újdonságai
Felhasználói felületek és üzleti logika Bollobás Dávid ASP.NET
Partitioning megvalósítása egy konkrét alkalmazásban Nagyméretű adattáblák szelídítése partícionálással.
1 Informatikai Szakképzési Portál Adatbázis kezelés DCL – Adatvezérlő nyelv.
Delphi programozás alapjai
Kinek szól az előadás: Akik már ismerik valamennyire az SSIS-t Akik nem most hallanak először a BI-ról és az adattárházról Az előadás célja A legjobb.
Hatékony SQL Server 2005 Analysis Services (SSAS)-alapú BI rendszerek tervezése Kővári Attila BI tanácsadó, SQL Server MVP
SQL Server 2005 Reporting Services a gyakorlatban
– SQL 2: Adatok kezelése – Tarcsi Ádám, január 30. Adatbázis gyakorlat.
Adatbázis gyakorlat – SUBSELECT – Tarcsi Ádám március.
– Adattáblák & adatok kezelése – Tarcsi Ádám január Adatbázis gyakorlat.
SQL – DQL (Data Query Language ) adat lekérdezések
A számítógépes hálózatok világa
Adatbázis rendszerek II.
az MSAccess programmal
Delphi programozás alapjai Nagyváradi Anett PTE PMMK MIT.
2006. október 2.Markó Tamás, PTE TTK1 Az Oracle SQL 4. Összesítés és csoportosítás lekérdezésekben. Halmazműveletek.
2006. október 2.Markó Tamás, PTE TTK1 Az Oracle SQL 5. Nézettáblák létrehozása, módosítása és törlése.
SQL92 lehetőségek KL A tábla B tábla C view adatok VIEW működése utasítás: SELECT.. FROM A,B … SELECT.. FROM C Az adatok a hivatkozáskor állítódnak elő.
ADATBÁZISOK
SQL Server 2005 Integration Services Kószó Károly rendszermérnök Microsoft Magyarország.
Érettségi feladatok megoldása LINQ-kel
Elemzés az Office alkalmazásokkalMegjelenítés és csoportmunka az Office kiszolgálókkalHáttérszolgáltatások  az adatkapcsolatok, az Excel Services és.
SQL Server 2005 Reporting Services Kószó Károly rendszermérnök Microsoft Magyarország.
SQL Server 2005 relációs adattárház technológiák
Monitorozás Általános bevezető Eszközök Kiragadott példák Demó { +néhány gondolat } Hangolás.
Oktassunk adatbázis-kezelést! Micskei Zoltán Microsoft Referencia Iskola.
RDF és SPARQL. Felhasznált anyagok Marcelo Arenas, Claudio Gutierrez, Jorge Peréz: RDF and SPARQL: Database Foundations (bemutató) Claudio Gutierrez,
Összesítés és csoportosítás lekérdezésekben. Halmazműveletek.
Nézettáblák létrehozása, módosítása és törlése
Önkiszolgáló üzleti intelligencia az SQL Server 2012-ben
Microsoft BI technológiák az eszközmenedzsment szolgálatában
Szaktanácsadás SQL Server UpgradeTeljesítményoptimalizálás Replikáció kialakítás Disaster Recovery tervezés.NET Framework alapú fejlesztések.
SQL.
Az SQL nyelv alapjai.
Access XP Kifejezés-szerkesztő Összehasonlító operátorok:
Adattáblák létrehozása, módosítása, tranzakciók, megszorítások Rózsa Győző.
SQL DDL DATA DEFINITION LANGUAGE. Táblák létrehozása CREATE TABLE táblanév ( oszlopnév1 típus(méret) /DEFAULT érték/ /NOT NULL/, oszlopnév2 típus(méret)
Készítette: Tóth Ervin
Fejlesztés PHP-NUKE portál rendszerre Horváth Zoltán Második Magyarországi PHP Konferencia március 27. Copyright PHP Konferencia,
Adatbányászat és üzleti intelligencia SPSS – MicroStrategy integráció
Web Architecture. Development of Computing Architectures Monolithic mainframe programming Client Server Real Client Server Web Programming.
XML fejlesztések TSQL fejlesztések Tábla paraméter SQLCLR fejlesztések 8k limit feloldása Több paraméteres UDA-ek Ordered UDF-ek Entity Framework ADO.NET.
ORACLE ORDBMS adminisztrációs feladatok 3. rész dr. Kovács László 2004.
1 Sramó András Adatbázis-technológia V. előadás Adatbázis-technológia 5. előadás Az SQL.
– SQL 3: SELECT - 1. – Tarcsi Ádám, január 31. Adatbázis gyakorlat.
IT-DEV-CON – SQL Server ‚Denali’ Csom Gergely Microsoft Magyarország Kft.
A Microsoft Üzleti Intelligencia megoldása és platformja
1 Informatikai Szakképzési Portál Adatbázis kezelés DQL – Adatlekérdező nyelv.
5. gyakorlat Fleiner Rita.
Webprogramozó tanfolyam
Adatbázis-kezelés 3-4. Adatok lekérdezése utasítás általános formája SELECT [ALL/DISTINCT] {*/, …, } FROM [ ], …, [ ] [WHERE GROUP BY, …, HAVING ORDER.
Adatbázis-kezelés. Középszint: –1-2 tábla –SQL-nyelv és lekérdező-rács használata –Űrlap és jelentés készítés Emelt szint: –több tábla (kapcsolatok) –több.
1 Verseny 2000 gyakorlat SQL 2000 Server Portál adatbázis létrehozása.
SQL Server Integration Services
– SELECT - 1. – Tarcsi Ádám január Adatbázis gyakorlat.
13 – as Tétel! Vállalatánál adatbiztonsági okokból biztonsági mentések alkalmazását veszik fontolóra. Az Ön feladata, hogy a döntéshozók számára ismertesse.
1 Copyright © 2004, Oracle. All rights reserved. Bevezetés.
Palotás Ádám és Fodor Gergely Oracle Data Integrator Bemutató és gyakorlat
Indexek 22 Index Table Key Row pointer … WHERE key = 22.
SQL aggregálás, csoportosítás és összekapcsolás Adatbázisok 1.
Az {SQL Server 2008} Integration Services és Analysis Services újdonságai
SQL Több táblás lekérdezések. Halmazműveletek. Alkérdések
Naplóelemzés Log Parserrel
Alkalmazásfejlesztés gyakorlat
Előadás másolata:

Adatbetöltésre való (ETL eszköz) + AdattisztításAdatprofilozás Adatbányász modellek Futtatása Szövegbányászat (szótövezés, …) … Része az SQL Server 2008 programcsomagnak

Teljesítmény növelése Továbbfejlesztett {Data Flow} Task Továbbfejlesztett {Lookup} Task Új, {Adatprofilozást} támogató Data Profiling Task Egyéb újdonságok Új scripting Engine, új Connector-ok, SuperDump, …

{Optimalizálták} az egy execution tree-ből álló, szinkron transzformációk teljesítményét: Execution tree 1. Execution tree 2. Az SSIS 2005 nem vizsgálta az execution tree-n belüli munka nagyságát. Minden execution tree kapott egy szálat és x mennyiségű memóriát. Egy szál = 1 processzor

SSIS {2005} SSIS {2008}

Az SSIS {2008} képes az egy execution tree-ben található transzformációkat több szálon futtatni (Azaz a szálakat dinamikusan allokálni.) Integration Services 2005 Integration Services 2008

Ténytábla forrás Lookup ; PárosítottHiba Dimtábla forrás Cache Nem talált Dataflow 2Dataflow 1 Cache Connection Manager Megosztott cache Nem talált kulcsok gyorsítótára Ténytábla forrás Dimtábla forrás LookupCache ; PárosítottNem talált Dataflow 1 Integration Services 2005 Integration Services 2008

{Új scripting engine} -> C# is lehet a szkript nyelv Web szerviz hívás a Data Flow-ból {SuperDump}: A futó csomagok aktuális állapotának kipakolása txt fájlba ORACLE, Teradata, SAP BW connector (RTM után, Feature pack-ban) Connection Manager, Bulk Extract Source Bulk Load Destination, Incremental Load Destination

Mit nevezünk adat profilozásnak? Mire használhatjuk? Forrásrendszerek felmérése Adattárházak, üzleti intelligencia rendszerek auditálására, minőség biztosításra forrásadatok betöltés előtti ellenőrzésére Hogyan működik?

Kitöltöttség analízis {Column Null Ratio} Adathossz eloszlás elemzés {Column Length Distribution} kulcsképesség elemzés {Candidate Key} Minták keresése {Pattern} Oszlop statisztikák {Column statistics} Érték eloszlás analízis {Column Value Distribution} Összefüggés vizsgálat {Functional Dependency} Részhalmazok keresése {Value Inclusion}

{Teljesítmény} növelése Motor: Blokkonkénti számítás, Visszaírás, új backup szerkezet, oldalra skálázhatóság {Hősök} támogatása: Áttervezett (kézreálló formok),tervezési figyelmeztetések, grafikus attribútum reláció és aggregáció tervező, erőforrás monitorozás támogatása, … Olyan horderejű változások, mint a ös verziók esetén voltak, nem lesznek. -> könnyű lesz áttérni Olyan horderejű változások, mint a ös verziók esetén voltak, nem lesznek. -> könnyű lesz áttérni

Egy példa: városonként listázzuk ki, hogy hány rendelést adtak fel interneten keresztül az előző év eleje óta WITH MEMBER [Measures].[RollingSum] AS ([Date].[Calendar Year].PrevMember, [Internet Order Quantity]) + [Internet Order Quantity] SELECT [Date].[Calendar Year].&[2004] ON 0, [Customer].[City].members ON 1 FROM [Adventure Works] WHERE [Measures].[RollingSum] WITH MEMBER [Measures].[RollingSum] AS ([Date].[Calendar Year].PrevMember, [Internet Order Quantity]) + [Internet Order Quantity] SELECT [Date].[Calendar Year].&[2004] ON 0, [Customer].[City].members ON 1 FROM [Adventure Works] WHERE [Measures].[RollingSum]

Város Város 6 + Város 3 + Város 4 + [Város.*, 2004 Rendelések sz] Város 1 + Város [Város.*, 2003, Rendelések sz] Város 1 Város 5 4 Város 6 Város 3 Város 4 Város 2 16 [Város.*, 2004, RollingSum] Város 1Hátrányok Csak az erőforrást pocsékoljuk a {NULL értékek} összeadására Teljesen felesleges végig mennünk minden cellán és kiértékelnünk pl. a rekurzív hivatkozásokat!

Város 5 4 Város 6 Város 3 Város 4 [Város.*, 2004, Rendelések sz] Város [Város.*, 2003, Rendelések sz] Város 5 4 Város 6 Város 3 Város 4 Város 2 16 [Város.*, 2004, RollingSum] Város A {nem üres} cellák felolvasása a lemezről 2. A nem üres cellákon (blokk) elvégzi az összeadást (1 darab a 8 helyett) 3. Az összes többi cella NULL marad

Hurrá! Fogalmazzuk át a lekérdezést úgy, hogy mutassuk meg hány olyan terméket rendeltek, amelyre legalább 5 rendelés érkezett az interneten. WITH MEMBER [Measures].[5-nel tobb interneten rendelt termek] AS Count(Filter([Product].[Product].[Product], [Measures].[Internet Order Quantity] > 5)) SELECT [Customer].[Customer Geography].[Country] ON 0, [Date].[Calendar].[Date].MEMBERS ON 1 FROM [Adventure Works] WHERE [Measures].[5-nel tobb interneten rendelt termek] WITH MEMBER [Measures].[5-nel tobb interneten rendelt termek] AS Count(Filter([Product].[Product].[Product], [Measures].[Internet Order Quantity] > 5)) SELECT [Customer].[Customer Geography].[Country] ON 0, [Date].[Calendar].[Date].MEMBERS ON 1 FROM [Adventure Works] WHERE [Measures].[5-nel tobb interneten rendelt termek]

Write-Back Cache Partíciók Jóváhagyott adatok visszaírása Jóváhagyott tervszámok kiolvasása Tervadatok bevitele WriteBack partíció

Write-Back Cache Partíciók Visszaírt adatok másolata Jóváhagyott tervszámok kiolvasása Tervadatok bevitele WriteBack partíció Visszaírt adatok Jóváhagyás (Commit)

1. Felösszegezni a kockákat egy erre a célra dedikált szerveren 2. Replikálni az adatbázist a lekérdező szerverekre

1. Felösszegezni a kockákat egy erre a célra dedikált szerveren 2. Leválasztani (Detach) az adatbázist 3. Felmásolni az adatbázist a SAN-ra 4. Becsatolni (Attach) minden egyes lekérdező szerveren (Read only módban)

Új belső adatszerkezet A backup készítésének sebessége nem exponenciálisan függ a mérettől és közelít a fájlmásolás sebességéhez kompatibilis a korábbi backup-okkal (Azaz vissza tudjuk állítani a 2005-ös mentéseket is)

A DMV-ken keresztül Lekérdezhetjük az SSAS objektumait Monitorozhatjuk az SSAS erőforrásait Olyan kérdésekre kaphatunk választ, mint… Több mint 50 DMV. Kérdezze le: Select * from $system.dbschema_tables where TABLE_SCHEMA = '$system' order by Table_name Select * from $system.dbschema_tables where TABLE_SCHEMA = '$system' order by Table_name

Több mint 40 tervezési irányelvet (Best Practice) építettek a BI development Studióba Egy mini BPA, ami folyamatosan elemzi, hogy mit alkot a fejlesztő Diszkrét, kikapcsolható, kommentezhető figyelmeztetések Példák Adatkockák tervezése Adatforrások tervezése Adatbázisok tervezése Dimenziók tervezése Partíciók és aggregációk tervezése

Ilyen volt… Ilyen lett… <-- A régi áttekinthetetlen volt Tervezési figyelmeztetések

Statikus nevesített halmazok Dinamikus nevesített halmazok Mire fogjuk használni? Hogyan hozhatjuk létre őket? CREATE DYNAMIC SET CURRENTCUBE.[Top 3 Ország] AS TopCount AS TopCount( [Ország].Members, [Ország].Members, 3, 3, [Measures].[Terv-tény eltérés %] [Measures].[Terv-tény eltérés %]); CREATE DYNAMIC SET CURRENTCUBE.[Top 3 Ország] AS TopCount AS TopCount( [Ország].Members, [Ország].Members, 3, 3, [Measures].[Terv-tény eltérés %] [Measures].[Terv-tény eltérés %]);

Architekturális változások SzolgáltatásokJelentésfeldolgozásMemóriakezelés Jelentéskészítési újdonságok Új jelentéstervező – Report Designer 2008 { Tablix } = { Tabl } e + Matr { ix } Dundas grafikonok, műszerek Formázott {szöveg} Word export Megnövelt teljesítmény

ASP.NET IIS 3 rd Party Applications Report Designer Management Studio Configuration Tool Report BuilderReport Manager SharePoint V3 Report Server Database Configuration Files Report Data Sources SharePoint V3 Databases WMI WMI Provider Windows Service Web Service SOAP / URL elérés Riport feldolgozás Bővíthetőség

Web Service ASP.NET IIS 3 rd Party Applications Report Designer Management Studio Configuration Tool Report BuilderReport Manager SharePoint V3 Report Server Database Configuration Files Report Data Sources SharePoint V3 Databases WMI WMI Provider Windows Service Ütemezés / kézbesítés Adatbázis karbantartás Jelentés feldolgozás Bővíthetőség

3 rd Party alkalmazások Report Designer Management Studio Configuration Tool Report Builder Report Manager SharePoint V3 Report Server adatbázis Konfigurációs fájlok Jelentés adat- források SharePoint V3 adatbázisok WMI WMI Provider Webszolgáltatások Háttér feldolgozások Platform Windows szolgáltatás

3 rd Party Applications Report Designer Management Studio Configuration Tool Report Builder SharePoint V3 Report Server Database Configuration Files Report Data Sources SharePoint V3 Databases WMI WMI Provider Platform Web Service Report Manager Background Processing Jelentés feldolgozás Ütemezés / kézbesítés Adatbázis karbantartás Bővíthetőség

3 rd Party Applications Report Designer Management Studio Configuration Tool Report Builder SharePoint V3 Report Server Database Configuration Files Report Data Sources SharePoint V3 Databases WMI WMI Provider Web Service Report Manager Background Processing Platform Szolgáltatás hálózati interfészei Szolgáltatás platform ASP.NET Hitelesítés App Domain kezelés Memória- menedzsment

Egy szolgáltatás Könnyebb telepíteni, konfigurálni és felügyelni Megszűnt az IIS függőség A Report Server eszközök biztosítják az IIS funkcionalitást Nem kell IIS-t futtatni az adatbázis szerveren Az SQL Server-rel közös belső komponensek A hálózati interfészek közösek az SQL Server-rel A Report Server szolgáltatás SQL CLR-ben implementálja az ASP.NET-net Nem változik meg a telepítési topológia Változatlan SOAP, URL Access és Report Manager támogatás A frissítések támogatottak

Table Matrix List Chart Group Kalk Adattár Adatok Tablix Winforms Webforms CSV XML PDF Image ROM HTML Kép HTML Excel Nyomtató Kép Hard Page előállítás Adat Soft Page előállítás Chart

Word formátum Az előállított jelentés Word 2000 és újabb verziókkal kompatibilis Javított CSV formátum Valódi adatformátum, nem hibrid adat/szöveg Javított Excel formátum Egymásba ágyazott adatrégiók támogatása Egymásba ágyazott aljelentések támogatása

Formázási és lapozási konzisztencia Elosztott ügyfél/kiszolgáló számítások Robosztus, ügyfél-oldali jelentés előállítás Gyorsabb készülnek el az első oldalak Tablix

Szerver oldali memóriafelügyelő infrastruktúra Dinamikus, önmagát menedzselő, memória krízisre reagáló Memória hiány esetén automatikusan csökkenti a terhelést Fájlrendszer alapú gyorsítótár Memóriahiány esetén használja Amikor a feldolgozó alrendszer további memóriát igényel Határértékeket állíthatunk be (Min, Max) A szerver azt feltételezi, hogy a Minimum értékkel jelzett memória rendelkezésre áll Több memóriát csak akkor foglal a rendszer, ha szükség van rá A Maximum határérték azt jelzi, hogy azt nem szabad túllépni Figyeli más rendszerek memóriafoglalását is

Az egyes lapok előállítására fordított idő közel állandó Az első lap előállítási ideje változó Jelentésfüggő Az RS 2008 adatok kisebb változatosságot mutatnak

SSRS 2008

{ Memóriakezelés }

Total 1,1151,3312, ,15613,31224,4681,5236,4217,944 13,94621,70635,653 RetailAcme Nadir, Inc. Wholesale ABC Corp. XYZ, Ltd. Grand Total CustomerRetail Acme Nadir, Inc. Wholesale ABC Corp. XYZ, Ltd. Grand Total Growth19% 322% 19% 322% 56% Tablixe + Matr1,2671,9733,23056% 12,67919,73332,41257%

Mátrix +: Többszörös egymás melletti sor/oszlop elemek minden szinten Bármelyik elem lehet statikus vagy dinamikus Az elemek fejlécei elhagyhatóak Táblázat +: Dinamikus, egymásba ágyazható oszlopcsoportok Többszörös párhuzamos sorcsoportok Statikus sorok Átnyúló sorfejlécek

TableChair WASeattle2030 Spokane1020 ORPortland10 Eugene WASeattle5060 Spokane3040 ORPortland4050 Eugene2030 SQL 2005 SQL 2008 YearProduct TableChair WASeattle Spokane ORPortland Eugene

StateCityPopArea WASeattle2030 WASpokane1020 ORPortland10 OREugene255 StateCity PopArea WASeattle Spokane ORPortland Eugene WASeattle5060 Spokane3040 ORPortland4050 Eugene2030 SQL 2005 SQL 2008

WestTotal Washington Total Seattle 5060 Spokane 3040 Oregon Total 6080 Portland 4050 Eugene 2030 EastTotal West Washington Seattle 5060 Spokane 3040 Oregon 6080 Portland 4050 Eugene 2030 East SQL 2005 SQL

Nem összesített részletek összesítése Összesítések a részösszegekben Hatáskör specifikus összesítések Q1Q2Total ProfEnrollProfEnroll CalculusGalt25Rand3055 PhysicsEllis14Chan2135 YogaZehn42Tau5395 BiologyRasa31Starr NYJoe5060 Sue80100 TotalCount22 Sales Avg Total Jan- Jun Jul- Dec TotalJan- Jun Jul- Dec Total $Gr$ Cog Sprocket

A Dundas Software alábbi komponenseit licenszeljük: ChartGaugeMapBarcodeCalendar Grafikonok – CTP4-től Gauge-ok – CTP 6-tól Map, Barcode, Calendar?

A szövegdobozokban többfajta stílust használhatunk A kevert statikus szövegek, referenciák, kifejezések különböző formátumúak lehetnek Bekezdések Listák Felsorolások HTML elemek

{A Report Builder-t és a Report Designer-t a Report Builder 2008 } váltja ki hosszabb távon Egységes felület, teljes RDL támogatás A Report Builder modell támogatása megmarad A szemantikus jelentésmodellek megmaradnak Az SQL Server 2008 után: {a Report Builder 2008 az SQL Server 2008 megjelenését követően, önállóan jelenik meg}

Funkcionalitás összehasonlítása ReportDesignerReportDesigner ReportBuilder2008ReportBuilder2008 Report Builder Teljes RDL támogatás Egységes tervezőfelület Egységes párbeszéd panelek Jelentésmodellek Office 12 felület VS integráció Integrált lekérdezés és tervezés Teljes jelentésmodell támogatás Átkattintó jelentések Korlátozott RDL támogatás

{ Tablix, Dundas, Word }

Legfontosabb újdonságok Egy szolgáltatás, IIS függetlenség Javított memóriakezelés, riport előállítás Word export Tablix, Dundas Miért érdemes váltani 2005-ről MegbízhatóbbGyorsabbHatékonyabbSzebb