Üzleti intelligencia Adattárház fejlesztési módszertan

Az előadások a következő témára: "Üzleti intelligencia Adattárház fejlesztési módszertan"— Előadás másolata:

1 Üzleti intelligencia Adattárház fejlesztési módszertan
Célkitűzés: kontextus teremtése, az adattárház fejlesztések és az üzleti intelligencia vonatkozásában. ZH kérdések között lehet számítani: ETL KEKKH Nemzetközi BI vizsga Data mart kapcsolatos kérdésre biztosan. Más téma is lesz, ezek, amikre az előadás során felhívtam a figyelmet. Előadó: Angyal Gergely

2 Előadó: Angyal Gergely
Bemutatkozás Iskolák, szakképesítések: okleveles mérnök-informatikus, bankinformatikus szakmérnök, vezetőképzés, Certified Information System Auditor (ISACA), Certified Tester (ISTQB) Szakmai tevékenység: szoftverfejlesztés (VB, C#, SQL), IT audit, tesztelés, IT minőségbiztosítás, csoportvezetés, projektvezetés Motiváció: komplex informatikai problémák megoldásában való közreműködés Javaslom, hogy bármivel foglalkozzanak, először találják meg a helyes motivációt! Előadó: Angyal Gergely

3 Előadó: Angyal Gergely
Tematika Üzleti intelligencia alapfogalmak BI hazánkban szervezetek, kompetenciák tevékenységek, szolgáltatások architektúra Adattárház fejlesztési módszertan V modell specifikáció fejlesztés tesztelés üzemeltetés Tartalom Előadó: Angyal Gergely

4 Előadó: Angyal Gergely
Bevezetés Üzleti intelligencia – mi is az? Definíciók üzleti intelligenciára Elvárások az üzleti intelligenciával kapcsolatban Ki az üzleti intelligencia szakértő Szerepkör vagy munkakör Mivel lehet keverni Business Analyst Artificial Intelligence Fejlesztés – mi a hatókör? Beszélgettünk a definíciókkal kapcsolatban arról, hogy az üzleti intelligencia mindenképpen kapcsolatos az adatokkal, üzleti adatokkal. Beszélgettünk arról, hogy mit is jelent az, hogy versenyszférabeli profitorientált vállalat. Profit (Móricka definíció): bevétel – kiadás  A profit fontos szempont informatikai fejlesztések megrendelése, fejlesztésének kezdeményezése során, ugyanis az üzlet elsősorban profitot akar termelni és nem szép rendszereket fejleszteni. Ezért akkor rendeli meg a fejlesztést, ha attól hasznot remél. Beszélgettünk a szereposztásról egy tipikus vállalat esetén. Az üzleti terület nem homogén, több különböző érdekeltségű terület jelenti az üzletet. Az informatika nem homogén, különböző szerepkörök jelennek meg ezen belül is. Tárgyaltuk az IT szerepkörökön belül (speciálisan üzleti intelligenciával kapcsolatban) az üzleti intelligencia szakértő „híd-szerepét”, a fejlesztő szerepkört, és az üzemeltető szerepkört. A fejlesztés hatóköre kapcsán beszélgettünk arról, hogy ki mondja meg a feladatot a fejlesztőnek. Lehet, hogy a fejlesztő betölti a szakértői szerepkört is (ő is egyeztet az üzlettel), és lehet külön szereplő erre a célra, aki összeszedi és konszolidálja az igényt, majd az megfelelő formalizmussal átadja a fejlesztő részére. Előadó: Angyal Gergely

5 Előadó: Angyal Gergely
Definíciók Business Intelligence: to supply suitable information to support specific activities carried out by individuals, groups, departments, divisions, or even larger units [Hans Peter Luhn 1958] Üzleti intelligencia: módszerek, fogalmak összessége, melyek a döntéshozás folyamatát javítják az úgynevezett tényalapú rendszerek (MIS, DSS, OLAP, DM, ...) segítségével [Howard Dresner 1989] Javaslom további definíciók felkutatását és a fentiekkel való ötvözését. FONTOS: Cél, hogy értsék a kontextust, nem az, hogy a fenti szövegeket betéve tudják! Nincs egy, mindenki (ilyen típusú munkát végzők) által elfogadott egységes definíció!!! Előadó: Angyal Gergely

6 Előadó: Angyal Gergely
Definíciók Business: A business (also known as enterprise or firm) is an organization engaged in the trade of goods, services, or both to consumers. [wikipedia] Üzleti intelligencia: a szervezeten belüli adatok, információk és tudás hozzáférhetősége és felhasználási lehetősége a szervezet tagjai számára Érdemes elgondolkodni az alábbi kérdéseken: Mikor intelligens egy üzlet? Mikor üzletileg intelligens egy üzlet? Mikor üzlet egy üzlet? A tipikusan cost centerként (a vállalat működésében költséget jelentő) működő informatikai szervezet milyen motivációval működik a vállalat profittermelő képessége vonatkozásában, mi lehet egy olyan informatikai stratégia, ami a vállalat üzleti területei számára hasznosak? Előadó: Angyal Gergely

7 Előadó: Angyal Gergely
BI hazánkban Felsőoktatásban megjelent a üzleti intelligencia, mint önálló tantárgy (szakirány) Nemzetközi szakmai vizsgák tehetők a tematikából BI tematikájú blogok BI témájú rendezvények, konferenciák Házi feladat: nemzetközi szakmai vizsgákra példák keresése. Szorgalmi házi feladat azoknak, akik ezen a területen szeretnének a közeljövőben dolgozni: BI blogok, folyóiratok, fórumok felkutatása. A BI-jal kapcsolatos szakmai élet eseményeinek felkutatása (szakmai konferenciák, gyártók által szervezett konferenciák, témába vágó termékbemutatók nemzetközileg és Magyarországon) Előadó: Angyal Gergely

8 Előadó: Angyal Gergely
BI hazánkban BI állások BI rendszermérnök/tanácsadó adattárház szakértő (DW expert) adatbázis fejlesztő (Oracle / MSSQL Dev.) adatbázis elemző adat specialista, adatmenedzser adatvagyon koordinátor kontroller Javaslat: álláskeresési portálokon hasonló pozíciók kapcsán megfogalmazott követelmények összegyűjtése, és az Önök orientációjának összevetése. Miért: ha úgy gondolják, hogy ezzel szeretnének foglalkozni, akkor nézzenek körül a piacon, hogy mit is keres a piac, és milyen ismereteket érdemes megtanulni most, amikor a fő tevékenységük a tanulás, így sokkal több idejük van rá, mint amikor majd nem így lesz. Előadó: Angyal Gergely

9 Előadó: Angyal Gergely
BI hazánkban Üzleti intelligenciára szakosodott cégek jelentéskészítés (BI) szoftver tanácsadás üzleti tanácsadás adatbázis alapú fejlesztés Nem üzleti intelligenciára szakosodott cégek BI, mint önálló szervezeti egység riportfejlesztő, mint önálló munkakör riportálás, mint nem önálló feladat Feladat: körülnézni a piacon (hazai ÉS nemzetközi), hogy milyen cégek foglalkoznak BI-jal, adattárház-építéssel, és milyen cégek – akik főleg nem ezzel foglalkoznak – érintettek (keresnek ilyen szakembereket) a BI kapcsán. Segítség: olyan cégek lehetnek érintettek, akiknél vélhetően sok adat van, és vélhetően képesek profitálni az adatvagyonuk kiaknázásából. Előadó: Angyal Gergely

10 Adatáttárház és tematikus adatpiacok
Üzleti architektúra Adatbevitel Alap-, OLTP rendszerek Adattárolás Riportolás ODS DWH Adatáttöltés ETL Adatáttárház és tematikus adatpiacok DWH core Nézzük milyen vonatkozásai vannak az üzleti intelligencia területén végzett munkának. OLTP: on-line transaction processing, részletekért Nagy István előadása. ODS: Operational Data Store, operatív adattár, az adatok a forrás-, OLTP, tranzakció-kezelő rendszerekkel megegyező struktúrában kerülnek tárolásra. A tárolás során a rekordok időpecsétet kapnak és meghatározott időközönként törlésre kerülnek. Pl: mindennap az aznapi dátummal pecsételve másolásra kerülnek az adatok, DE mindig csak az utolsó 5 nap adata található meg az ODS-ben. DWH: Data Warehouse, adattárház, az adatok más szerkezetben, elemzési célra történő tárolása. Néztünk példát historizálásra, és inkrementális töltésre (akkor csinálunk új rekordot, ha változik az adatelem értéke). DM: Data Mart, adatpiac, házi feladat keresni frappáns definíciót. Általában az adattárházból töltődnek a tematikus adatpiacok. Az adattárház az egész szervezet céljait támogatja az adatpiac egy meghatározott szereplő speciális igényeit. Általában az adattárház közös ló, az adatpiacnak megvan a tulajdonosa: 1 meghatározott üzleti terület. (A DM jelenthet még Direkt Marketinget is, ami idevágó fogalom, ha az adattárház adatai alapján direkt marketing kampányokat – közvetlen ügyfélmegkereséseket - akar a cég végezni. Ha ilyesmiről van szó, akkor érdemes mihamarabb tisztázni, hogy ki mit ért DM alatt). Riportálás, adat-/információ-vizualizáció: említettem, hogy külön tudomány ügyesen megjeleníteni leválogatások, adatelemzések eredményét. Erre vannak céleszközök, házi feladat keresni ilyen riportáló, vizualizáció támogató eszközöket. Előadó: Angyal Gergely

11 Előadó: Angyal Gergely
Üzleti architektúra Adatbevitel – input GUI: tranzakciós rendszerekbe történő adatrögzítés elemzési céllal táblázatokba (spreadsheet) felvitt adatok belső, szervezeten belüli rendszerautomatizmusok által készített adatok külső, kívülről kapott adatok vásárolt adatok Adatbevitel Alaprendszerek Adattárolás Riportolás ODS DWH Input kontroll, adatbevitel ellenőrzés: a BI területen dolgozó azt látja, hogy az adatbázisban nem várt értékek is bekerülnek, és ezért ő meg tudja fogalmazni, hogy milyen data validator kontrollok megvalósítása lenne hasznos. Spreadsheet („ekszeltábla”): van, hogy az adatok nem adatbáziskezelő rendszerben vannak, hanem a user által szerkeztett táblázatban. Feladat lehet ezeket betölteni és elemezhetővé tenni. Kívülről származó, illetve vásárolt adatok: házi feladat, mi a KEKKH, és hogy kapcsolódik a külső adatok, vásárolt adatok témaköréhez!!! ZH!!! Előadó: Angyal Gergely

12 Előadó: Angyal Gergely
Üzleti architektúra Adattárolás tranzakciós rendszerekben történő adattárolás adatelemzési célokra történő előkészítés adatállomásoztatás historizálás, inkrementális töltés adattárház, adatpiac töltés Adatbevitel Alaprendszerek Adattárolás Riportolás ODS DWH Adatállomásoztatás: data staging, házi feladat frappáns definíciót alkotni/keresni. ETL: Extract Transform Load. Kinyer, átalakít, betölt, SELECT/INSERT Előadó: Angyal Gergely

13 Előadó: Angyal Gergely
Üzleti architektúra Riportálás analitikus rendszerekben (DWH, ODS) tárolt adatok leválogatása adatvizualizáció elemzések, kimutatások szegmentálás, osztályzás kutatások, kutatások támogatása Adatbevitel Alaprendszerek Adattárolás Riportolás ODS DWH Adatvizualizáció!!! Előadó: Angyal Gergely

14 Előadó: Angyal Gergely
Fejl. módszertan A módszertan általában egy probléma megoldására vonatkozó irányelv, amely fázisokat, feladatokat, módszereket, technikákat és eszközöket határoz meg. V-modell: egy keretrendszer a szoftverfejlesztési ciklus részletes leírására, a követelményspecifikációtól kezdve az üzemeltetésig. Az V-modell illusztrálja, hogy a teszttevékenység hogyan illeszthető a szoftverfejlesztési életciklusok bármely fázisába Házi feladat: további definíciókat keresni a módszertanra, és a V-modellen, illetve az ismert vízesés modellen kívül további fejlesztési módszereket keresni (pl. agile, XP). Előadó: Angyal Gergely

15 Előadó: Angyal Gergely
Fejl. módszertan Leszállítandók Teszt tevékenységek Követel- mények Átvételi teszt Logikai terv Rendszer teszt Architek- túra terv Integrá- ciós teszt Ezt, mint a vízfolyás tudni!!! Érdemes ezt is kontextusba helyezni, mi van előtte, mi van utána? Kérem gondolkozzanak el ezen! Modul terv Fejlesztői teszt Forráskód Kód review Előadó: Angyal Gergely

16 Előadó: Angyal Gergely
Fejl. módszertan V-modell és a szabványok kapcsolata AQAP 150 (Allied Quality Assurance Publication, NATO Quality Assurance Requirements for Software Development) CMMI® (Capability Maturity Model Integration) ISO (Life Cycle Management - System Life Cycle Processes) ISO 9001:2000 (Quality Management Systems - Requirements) V-Modell 97 (Development Standard for German Federal IT Systems, Process Model as of June 1997) Házi feladat olvasni a szabványokról. ZH-n a pontos számra nem lesz kérdés, kivéve ISO 9001:2000. Lényeg: a V modell előjön elismert szakmai szervezetek által alkotott szabványokban is, ezért érdemes megfontolni az alkalmazását a kerék újrafeltalálása helyett. Előadó: Angyal Gergely

17 Fejl. módszertan IGÉNY FEJLESZ TÉS FEJLESZ TŐI TESZT
FELHASZNÁLÓI TESZT ÜZLETI TESZT ÜZEMBE ÁLLÍTÁS Igényspeci-fikáció, mapping Teszt-szkriptek, jegyzőkönyv Mapping, adatelérési specifikáció Üzemeltetési dok. Egy lehetséges kotta BI-os fejlesztésre V-modell alapján. Előadó: Angyal Gergely

18 Fejl. módszertan Igényspecifikáció Leképezési logika (üzleti) Igény
Szöveges leírása a megfogalmazott igénynek Leképezési logika (üzleti) Üzleti mapping A forrás és a cél között megvalósítandó leképezés meghatározása „üzleti” nyelven A specialitásokat is meg kell határozni (pl. nem minden esetben a megadott logika szerinti töltés) IGÉNY FEJLESZ TÉS FEJLESZ TŐI TESZT FELHASZNÁLÓI TESZT ÜZLETI TESZT ÜZEMBE ÁLLÍTÁS Igényspeci-fikáció, mapping Teszt-szkriptek, jegyzőkönyv Mapping, adatelérési specifikáció Üzemeltetési dok. Igény Az igénylő által megfogalmazott adatszolgáltatási (betöltés, riportkészítés) igény A megfogalmazásában is együtt kell működni – iterációk során kell meghatározni a megvalósításra kerülő igényt Igény Előadó: Angyal Gergely

19 Fejl. módszertan Technikai mapping Adatelérési specifikáció Fejlesztés
„Mélyebb”, technikai szintű meghatározás Fejlesztőnek ad inputot Adatelérési specifikáció Adattérkép, adatmodell, adatszótár Adatgyűjtés Részletezi szövegesen az üzleti igényt (lehet annak utolsó verziója) Tartalmaz a forrásadat jellemzőivel kapcsolatos információt is IGÉNY FEJLESZ TÉS FEJLESZ TŐI TESZT FELHASZNÁLÓI TESZT ÜZLETI TESZT ÜZEMBE ÁLLÍTÁS Igényspeci-fikáció, mapping Teszt-szkriptek, jegyzőkönyv Mapping, adatelérési specifikáció Üzemeltetési dok. Fejlesztés Az igényben meghatározott feladat megvalósítása Eszközök adatbevitel adatbetöltés riportfejlesztés Fejlesztés Előadó: Angyal Gergely

20 Fejl. módszertan Tesztszkriptek Jegyzőkönyv Fejlesztői teszt
A tesztelés igazolására a legegyszerűbb a felhasznált tesztszkripteket, és a hozzárendelt eredményt tárolni, dokumentálni Jegyzőkönyv A tesztelés eredményét rögzítő dokumentum, a fejlesztő által tett bejegyzésekkel Ellenőrizni, és visszakérdezni IGÉNY FEJLESZ TÉS FEJLESZ TŐI TESZT FELHASZNÁLÓI TESZT ÜZLETI TESZT ÜZEMBE ÁLLÍTÁS Igényspeci-fikáció, mapping Teszt-szkriptek, jegyzőkönyv Mapping, adatelérési specifikáció Üzemeltetési dok. Fejlesztői teszt A fejlesztés részeként Önálló a fejlesztést vállaló szervezeti egység, más kollégája által végzett tevékenység Tervezés!!! Fejlesztői teszt Előadó: Angyal Gergely

21 Fejl. módszertan Tesztszkriptek Jegyzőkönyv Felhasználói teszt
A tesztelés igazolására a legegyszerűbb a felhasznált tesztszkripteket, és a hozzárendelt eredményt tárolni, dokumentálni Jegyzőkönyv A tesztelés eredményét rögzítő dokumentum, a tesztelő által tett bejegyzésekkel Ellenőrizni, és visszakérdezni, nyomon követni IGÉNY FEJLESZ TÉS FEJLESZ TŐI TESZT FELHASZNÁLÓI TESZT ÜZLETI TESZT ÜZEMBE ÁLLÍTÁS Igényspeci-fikáció, mapping Teszt-szkriptek, jegyzőkönyv Mapping, adatelérési specifikáció Üzemeltetési dok. Felhasználói teszt Biztosan más végzi a tesztet Szükséges támogatni a tesztelési munkát (önállóan nem tudja elvégezni) Tesztesetek UT, user test Előadó: Angyal Gergely

22 Fejl. módszertan Tesztszkriptek Jegyzőkönyv Üzleti teszt
A tesztelés igazolására a legegyszerűbb a felhasznált tesztszkripteket, és a hozzárendelt eredményt tárolni, dokumentálni Jegyzőkönyv A tesztelés eredményét rögzítő dokumentum, a tesztelő által tett bejegyzésekkel Ellenőrizni, és visszakérdezni, nyomon követni IGÉNY FEJLESZ TÉS FEJLESZ TŐI TESZT FELHASZNÁLÓI TESZT ÜZLETI TESZT ÜZEMBE ÁLLÍTÁS Igényspeci-fikáció, mapping Teszt-szkriptek, jegyzőkönyv Mapping, adatelérési specifikáció Üzemeltetési dok. Üzleti teszt Biztosan más végzi a tesztet Biztosan informatikához nem értő Szükséges folyamatosan támogatni a tesztelési munkát (önállóan nem tudja elvégezni, még szakaszait sem) Próbaüzem jellegű Fontos BI fejlesztés esetén olyan tesztet végezni, ami az „éles” (napi működés során ténylegesen felhasznált) adatokon történik. Példa adatokról a felhasználó nehezen nyilatkozik, viszont az üzleti számokat ismeri, hiszen azzal dolgozik (pl. egy kontrolling területen dolgozó szakértő). Előadó: Angyal Gergely

23 Fejl. módszertan Üzemeltetési dokumentáció Felhasználói kézikönyv
Az üzemeltetést végzők számára készül, tartalmazza a lehetségesen előforduló szituációkat, és a megoldásukat Felhasználói kézikönyv Felhasználók számára készül, szöveges Üzemeltetési napló Tapasztaltak rögzítése IGÉNY FEJLESZ TÉS FEJLESZ TŐI TESZT FELHASZNÁLÓI TESZT ÜZLETI TESZT ÜZEMBE ÁLLÍTÁS Igényspeci-fikáció, mapping Teszt-szkriptek, jegyzőkönyv Mapping, adatelérési specifikáció Üzemeltetési dok. Üzembe-helyezés Release management Release napok Üzemi stabilitás Release: kiadás. Feladat frappáns definíciót keresni a release fogalomra, és a release mgmt fogalomra. Nem lehet az üzemi stabilitást veszélyeztetni, ezért nem lehet a fejlesztést akkor üzembe helyezni, amikor elkészült. Általában szervezetten kell kezelni a telepítéseket, release napokat érdemes kijelölni valamilyen frekvenciával, és KIZÁRÓLAG azokra a napokra ütemezni az üzemi változtatásokat. Szorgalmi feladat: ITIL-nek utánanézni, mi az ITIL, mi az, hogy informatikai szolgáltatásmenedzsment – érdekességképpen. Előadó: Angyal Gergely

24 Előadó: Angyal Gergely
Összefoglalás Definíciók Üzlet, üzleti intelligencia BI hazánkban Szereplők, tevékenységek Üzleti architektúra Adatbevitel, tárolás, riportálás Fejlesztési módszertan Igény, fejlesztés, tesztelés, üzembe helyezés összefoglalás Előadó: Angyal Gergely

25 Kérdések Válasz: Fent lesz az anyag a hálózaton. 2012.02.15.
IGÉNY FEJLESZ TÉS FEJLESZ TŐI TESZT FELHASZNÁLÓI TESZT ÜZLETI TESZT ÜZEMBE ÁLLÍTÁS Igényspeci-fikáció, mapping Teszt-szkriptek, jegyzőkönyv Mapping, adatelérési specifikáció Üzemeltetési dok. Válasz: Fent lesz az anyag a hálózaton. Előadó: Angyal Gergely

26 Előadó: Angyal Gergely
Köszönöm a figyelmet! Főleg en keressenek. Előadó: Angyal Gergely