Az adatfeldolgozás forrásai

Slides:



Advertisements
Hasonló előadás
Adatbázis-kezelés Készítette: Asztalos Péter január 12.
Advertisements

Vatera-forintok a kalapács alatt Gerő Viktor. A vatera marketing céljai - Minél több vevő (több felhasználó) ‏ - Minél többször (gyakoribb tranzakció)‏
Multidimenzionális Adatbázisok Alapjai
ADATBÁZISOK.
Adatbázis gyakorlat 1. Szerző: Varga Zsuzsanna ELTE-IK (2004) Budapest
A normalizálás az adatbázis-tervezés egyik módszere
Adatmenedzsment és kontrolling. ADAT Adott folyamat pillanatnyi állapotának jellemzője, mely önmagában nem értékeli az adott folyamatot.  Mennyi?130.
UNIVERSITY OF SZEGED D epartment of Software Engineering UNIVERSITAS SCIENTIARUM SZEGEDIENSIS Adatbázis alapú rendszerek 1. Gyakorlat Követelmények / SQL.
Adatbázisok SQL. TARTALOM Szijártó M.2 Témakörök  Az SQL tulajdonságai  A műveletek fajtái  Objektum-műveletek  Lekérdezések Tulajdonságok és műveletek.
Adatbázis-kezelés.
Relációs adatbázisok készítése
Függőségek, normálformák
Adatbázis kezelés Adatbázis tervezés.
Funkcionális függés Redundancia 1NF, 2NF, 3NF
Adatbázis kezelés. Hierarchikus modell Legrégebbi modell, ma már nem használatos. Az adatokat fákban tároljuk, ahol minden pont a szegmens adatokat, és.
Számvitelszervezés Az adatmodelltől az adatbányászatig SZIE-KVA, október 15.
Adatbázis (alapfogalmak).
Számvitelszervezés Gyurkó György.
Microsoft Access I. Készítette: Rummel Szabolcs
Az adattárház tervezése
Microsoft Access V. Készítette: Rummel Szabolcs Elérhetőség:
Adattárházak kialakulása, építése és elemzése (Rövid áttekintés)
Adatbázis-kezelés.
Az adatbázissal kapcsolatos tudnivalók
KOVÁCS DÁVID. ALAPFOGALMAK Adatbázis: Olyan adatgyűjtemény, amely egy adott feladathoz kapcsolódó adatokat szervezett módon tárolja, és biztosítja az.
5. TÉTEL. Helyzetfelmérés: A feladat elvégzéséhez tudnunk kell, hogy mi a kiinduló állapot, és mit szeretnénk elérni, vagyis mi a cél. A nem rég indított.
16. Tétel. Adatbázis: Olyan adatgyűjtemény, amely egy adott feladathoz kapcsolódó adatokat szervezett módon tárolja, és biztosítja az adatokhoz való hozzáférést,
Adatbáziskezelés az MSAccess programmal Makány György 2. rész: Adattáblák létrehozása külső adatforrásból.
az MSAccess programmal
Helyzetfelmérés Helyzetfelmérés elemzése, értékelése
Üzleti intelligencia Kecskemét 2007 ősz. BI Business Intelligence Üzleti Intelligencia Bevételnövelő és költségcsökkentő lehetőségek feltárása, döntéstámogatás.
Az ABC modellezés elve A B C m o d e l l K i é r t é k e l é s
Microsoft BI technológiák az eszközmenedzsment szolgálatában
Anyagadatbank c. tárgy gyakorlat Féléves tematika Adatbázis alapfogalmak, rendszerek Adatmodellek, adatbázis tervezés Adatbázis műveletek.
Tervezés, Normalizálás
Térkép. Mi az adat? Minden információ, amit tárolni kell. Minden információ, amit tárolni kell.  szám  szöveg  dátum  hang  kép, stb.
INFORMATIKA Terület- és Településfejlesztési szak
Statisztika, kutatásmódszertan I.
Többtáblás adatbázisok
Dr. Krauszné Dr. Princz Mária Adatbázis rendszerek I.
1 Informatikai Szakképzési Portál Adatbázis kezelés Alapfogalmak.
Önálló labor munka Csillag Kristóf 2005/2006. őszi félév Téma: „Argument Mapping (és hasonló) technológiákon alapuló döntéstámogató rendszerek vizsgálata”
Nézzük, mit tudunk…. Mire gondoltam? Megjeleníti az adott adatbázishoz kapcsolódó összes objektumot : adatbázis ablak.
SQL-Structured Query Language. Parancs(utasítás) csoportok CREATE - táblák létrehozása ALTER – táblák módosítása DROP – táblák törlése DDL –Data Definition.
11. tétel Adatbázis táblái közti kapcsolatok optimalizálása
Adatbázis kezelés. Az adatbázis tágabb értelemben egy olyan adathalmaz, amelynek elemei – egy meghatározott tulajdonságuk alapján – összetartozónak tekinthetők.
Adatbázis kezelés.
Adatbázis-kezelés.
Adatbázis-kezelés Probléma: az excel kezelhetetlen túl sok adat esetén
Adatbázis-kezelés Készítette: Asztalos Péter január 12.
Kulcsok meghatározása a táblákban
Adatbázis alapfogalmak
(A logikai adatmodell kialakítása)
Normálformák Takács Gábor mérnök informatikus, okl. mérnöktanár
Adatbázis-kezelés. Alapfogalmak Adat: –észlelhető, felfogható ismeret –jelsorozat –valakinek, vagy valaminek a jellemz ő je –tény, közlés Információ:
Adatbáziskezelés. Adat és információ Információ –Új ismeret Adat –Az információ formai oldala –Jelsorozat.
Adattár alapú Vezetői Információs Rendszer (AVIR) Fejérvári Bence március 26.
 Adatbázis:  Valamilyen szempont szerint rendszerezett adathalmaz.  Adatbázis kezelés:  Adatok tárolása  Műveletek végzése az adatbázison; (Adatok.
Adatbáziskezelés. Adatbáziskezelés az ACCESS programmal 2 A relációs adatbázis fogalmai A relációs adatbázis: egymással összefüggésben lévő adatokat tartalmazó.
PÁRHUZAMOS ARCHITEKTÚRÁK – 13 INFORMÁCIÓFELDOLGOZÓ HÁLÓZATOK TUDÁS ALAPÚ MODELLEZÉSE Németh Gábor.
Adatbázisszintű adatmodellek
Bevezetés Adatbázisok használata. Mi is az adatbázis? Az adatbázisok ma már az élet számos területén alapvető fontossággal bírnak (Google, Amazon, Flickr,
Gazdasági informatika II (SZIE GTK GVAM 1. évfolyam) 2009/2010. tanév 2. félév.
Alapfogalmak Adat: rögzített ismeret
SZÖM II. Fejlesztési szint folyamata 5.1. előadás
Adatbáziskezelés.
Kovács Gergely Péter Bevezetés
Adatbáziskezelés.
Relációs adatmodell, normálformák
Adatbázis-kezelés 2. Relációs adatbázisok.
Előadás másolata:

Az adatfeldolgozás forrásai Tranzakciós adatbázis (OLTP – On-Line Transaction Processing) Operatív adattár (ODS – Operational Data Store) Adattárház (OLAP – On-Line Analytical Processing)

Az értékelés szempontjai Az alkalmazás célja A feldolgozás jellegzetességei A tervezés módja, és eredménye A használhatóság a célok alapján (előnyök, hátrányok)

Az alkalmazások célja OLTP OLAP Tranzakciók lebonyolítása (adatbevitel, -módosítás, -törlés) Lekérdezés, listázás Korlátozott bonyolultságú elemzések elvégzése OLAP Bonyolult elemzések elvégzése (idősorozat-elemzés, extrapoláció) Összefüggések felismerése (korreláció-elemzés) Lekérdezés, listázás

Jellegzetességek OLTP OLAP A tranzakciók miatt anomáliák (adatbeviteli, módosítási, törlési) Csak az aktuális állapotot tükrözi A meglévő ismeretek, összefüggések (függőségek) alapján történik a tervezés OLAP Nincs tranzakció Tartalmazza az archivált adatokat (a változások időbélyeggel ellátva) Hatalmas adatmennyiség A tervezés alapja: az elemzés szükséges adatai hatékonyan elérhetők legyenek

A tervezés célja OLTP OLAP Hatékony nyilvántartás a tulajdonságok között már felismert összefüggések alapján OLAP Hatékony nyilvántartás a tulajdonságok közötti új összefüggések felismerése érdekében

A tervezés lépései (1) OLTP OLAP A nyilvántartás céljának megfogalmazása (a Stratégia) "Milyen feladatok megoldása érdekében hozzuk létre az adatbázist?” (Például ugyanazon dolgozók adatbázisának más lesz a szerkezete egy munkaügyi, vagy egy üzemorvosi nyilvántartás esetén) OLAP Az elemzési célok megfogalmazása (a Stratégia) "Milyen elemzések érdekében hozzuk létre az adatbázist?” (Például az egyes dolgozók, vagy részlegük munkájának hatékonyságát, a gyártott termékek jövedelmezőségét vizsgáljuk, vagy a vásárlási szokások alapján értékesítési stratégiát szeretnénk kidolgozni)

A tervezés lépései (2) OLTP OLAP A nyilvántartandó tulajdonságok kijelölése (az Attribútumok) "Milyen tulajdonságok nyilvántartására van szükségünk?” (Lásd az előző példát: dolgozók munkaügyi és orvosi nyilvántartása) OLAP A nyilvántartandó tulajdonságok és azok forrásának kijelölése (Attribútumok és Adatforrások) "Milyen tulajdonságok nyilvántartására van szükségünk és azokat honnan szerezzük be?” (A források lehetnek adatbázisok, Excel táblázatok, szöveges állományok)

A tervezés lépései (3) OLTP OLAP Függőségek feltérképezése (a tulajdonságok között már ismert kapcsolatok összegyűjtése) "Milyen összefüggéseket ismerünk a tárolandó tulajdonságok (attribútumok) között?” (Például a dolgozó neve és születési dátuma meghatározza a többi adatát) OLAP Az attribútumok szétválasztása tény- és dimenzióadatokra „Melyek az elemzéshez, és melyek az értelmezéshez szükséges adatok?” (Például az egyes dolgozóknál, vagy részlegeknél keletkezett bevétel és költség adatok az elemzéshez, a dolgozók, részleges nevei, a bevétel és költség adatok dimenziói az értelmezéshez szükségesek)

A tervezés lépései (4) OLTP OLAP Függőségek normalizálása 1NF: ne legyen összetett adat 2NF: ne legyen részkulcstól függés 3NF: ne legyen belső függés a másodlagos attribútumok között BCNF: ne legyen kulcstörés (az egyes kulcsattribútumok ne függjenek más attribútumoktól) OLAP Tárolási szerkezet létrehozása a tényadatok és a dimenzióadatok szerint Csillag-struktúra Az elemzési adatok (és azonosítók) egy központi, ún. ténytáblába kerülnek (ezen történnek az elemzések) Az értelmezési adatok a dimenziótáblákba kerülnek, melyek azonosítók segítségével kapcsolódnak a ténytáblához Hópehely-struktúra (kevéssé használt) Olyan csillag-struktúra, melynél a dimenziótáblák normalizáltak (többszintűek) Galaxis-struktúra Csillag-struktúra együttes, melynél ugyanazon dimenziótáblákat több ténytábla is használja

A tervezés eredményei OLTP OLAP A normalizás eredménye több tábla keletkezik, az egyes táblák között idegen kulcs kapcsolat van OLAP A struktúra-létrehozás eredménye több tábla keletkezik, a ténytábla és a kapcsolódó dimenzió-táblák között idegen kulcs kapcsolat van

Előnyök OLTP OLAP Általános célú Célorientált, de hatékony Általános tranzakciós (adatbeviteli, módosítási, törlési) és lekérdezési, listázási feladatok hatékony kezelése A tárolt adatokon tetszőleges elemzési feladat elvégzése OLAP Célorientált, de hatékony A kitűzött elemzési feladatok hatékony elvégzése nagy adatmennyiségen Az elemzési adatok hatékony megjelenítése, listázása

Hátrányok OLTP Az összetett elemzési feladatok nagy erőforrásigényűek Több adattábla, nézettábla összekapcsolása Összekapcsolási feltételek feldolgozása OLAP A hatalmas adatmennyiség miatt nagy erőforrásigény Csak a megtervezett elemzési feladatokra hatékony A tervezettől nagyon eltérő elemzések egyáltalán nem végezhetők el

Továbbfejlesztés elemzési célokra OLTP Operatív Adattár (ODS - Operational Data Structure) Egy vagy több OLTP adatbázist használ Az archivált adatokat is tartalmazza Egy különálló szerveren futtatják (elkülönítve a tranzakciós rendszerektől) Az SQL bővítése (1) Részletező csoportosítás Analitikus függvények bevezetése Az SQL bővítése (2) Az SQL Modellezés A párhuzamos hardware architektúra (több processzor, több mag) kihasználása OLAP Relációs Adattárház (ROLAP) Ez az eddigiekben bemutatott OLAP, melynek szerkezete relációs. Előnye, hogy az SQL eszközökkel használható Hátránya, hogy az elemzéshez szükséges adatkigyűjtések táblafeldolgozásból történnek. Multidimenziós Adattárház (MOLAP) Előfeldolgozott (kigyűjtött, csoportosított, ú.n. aggregált) adatokat tárol A tárolás n-dimenziós kockákban törénik, ahol a dimenziók a ROLAP-nál mondotthoz hasonlóak. (például EladásSzám<Termék, Vásárló, Idő>)) Előnye: Igen hatékonyan elemezhető Hátránya: Még hatalmasabb és redundáns tárhely (nyilván nem vásárol minden terméket, minden vásárló, minden nap)