Az előadás letöltése folymat van. Kérjük, várjon

Az előadás letöltése folymat van. Kérjük, várjon

A Big Data – és ami alatta van Sepp Norbert IBM Magyarország.

Hasonló előadás


Az előadások a következő témára: "A Big Data – és ami alatta van Sepp Norbert IBM Magyarország."— Előadás másolata:

1 A Big Data – és ami alatta van Sepp Norbert IBM Magyarország

2 Pénzügyi korlátok Csökkenő márkahűség Növekedő piacok megcélzása Megtérülési szempontok Ügyfelekkel való együttműködés Személyes adatok védelme Globális kiszervezés Megfelelés Átláthatóság Adatrobbanás Közösségi média Eszközök és csatornák növekvő választéka Változó ügyféldemogr áfia Átlag Marketing Prioritás Mátrix Befolyásoló tényezők Felkészületlen ek aránya

3 Melyik ügyfél akar elpártolni? Melyik tranzakció utal visszaélésre? Mely termék lesz a legsikeresebb? Hogy nyerek ki értelmet az adattengerből ? A különbség… …hogy képesek lehetünk megalapozott döntést hozni – az eredmények előrejelzéséhez és alakításához Mi lenne, ha tudnánk a választ a hasonló kérdésekre?

4 Analitika: hardver, szoftver, rendszerek, megoldások, szolgáltatások kombinációja, amely lehetővé teszi a szervezeteknek, hogy az adattangerből információt nyerjenek ki, s ebből új üzleti lehetőségeket találjanak Megtérülés 5 év átlag ( ) Bevétel növekedési ráta 5 év CAGR ( ) Profit növekedési ütem 5 év CAGR ( ) >12x 12.5% 9.4% 7.3% 0.6% 32% 11.9% 9.0% 33% … az analitikába fektető cégek rendre megelőzik konkurenseiket Analitika - Business Analytics & Optimisation (BAO)

5 Statisztikai elemzés Minőségi és mennyiségi sorok Területi és idősorok Teljes körű és reprezentatív minta Viszonyszámok, gyakorisági sorok, koncentráció, sztochasztikus kapcsolat, asszociáció, korreláció Középértékek (számított: számtani, mértani, harmonikus, négyzetes / helyzeti: módusz, medián) Statisztikai következtetés (valószínűségi alapokon) becslés ( egy mintából következtetünk meg nem mért értékre – konfidencia-intervallum, megbízhatósági szint) Hipotézisvizsgálat v. próba (első- és másodfajú hiba, szignifikanciaszint, kritikus érték

6 Leginkább aktuális analitikai témák “Big Data” – Variety, Velocity, Volume, Veracity – “Nagy” és “kis” adat – sok anomália, érdekes minták. A “kis” adat hagyományos megközelítése mellett kifinomult módszerek kellenek a “nagy” adatok kezeléséhez Közösségi média analitika – Pontos, rugalmas, gyors, reagálni kell az elérhető adatokban megfogalmazódott felhasználói igényekre Valós idejű adatok – Az adatok kinyerése, átalakítás, mozgatása, feldolgozása már nem kötegelet, háttérben zajló folyamat, hanem azonnali tevékenység

7 Haladó analitika területei Statisztikai – Miért történik? Miről maradunk le? Érzelmek elemzése (Sentiment analysis ) – Mi a véleményük rólunk? Hogy viszonyulnak hozzánk? Tervezés, előrejelzés – Mit fogunk tenni? Mik a trendek? Mennyi kell és mikor? Prediktív modellezés – Mi a következő lépés? Mi lesz ennek az üzleti hatása? Szimuláció – Mi lenne, ha...? Mik az alternatívák? Optimalizálás – Hogyan javíthatunk ezen? Mi a legjobb döntés? Tartalomelemzés – A meglévő információból még mit lehet kitalálni? Identity Insight – Személyek és dolgok, közöttük lévő kapcsolatok megismerése

8 8 Komplexitás Rendszeres Jelentések Ad hoc Jelentések Lekérdezés/lefúrás Riasztás Előrejelzés Szimuláció Prediktív modellezés Optimalizálás Mi a probléma pontosan? Mi lesz akkor, ha... ? Mi történhet … ? Hova vezetnek a trendek? Mit kell tenni? Mennyi, hol, milyen gyakran? Mi történt? Sztochasztikus optimalizálás Leíró Előíró Előrejelző Hogy érjük el a legjobb eredményt? Hogy érjük el a legjobb eredményt a véletlent is figyelembe véve? Analitika a gyakorlatban

9 Rendelkezésre álló adat... … és amennyit fel tudunk dolgozni Elszalasztott lehetőség A vállalatok az új lehetőségek erdejében vakon tapogatóznak A rendelkezésre álló adatok egyre kisebb részét tudjuk feldolgozni Big Data analitikai olló

10 1010 Big Analytics

11 Probléma meghatározása Cselekvés, monitorozás, tanulás DöntésElemzésAdatgyűjtés Define Problem Act, Monitor, Learn DecideAnalys e Gath er data Define Problem Act, Monitor, Learn DecideAnalys e Gath er data Define Problem Act, Monitor, Learn DecideAnalys e Gath er data Define Problem Act, Monitor, Learn DecideAnalys e Gath er data... Döntéseink új döntések bemenő adatai Bemenet + Elemzés + Döntés + Eredmények = Új adat! Az analitikai folyamat

12 Master Data Management Data Integration Data Repositories BI / Performance Monitoring Content Management Security, Privacy & Compliance Collaboration Information Governance Advanced Analytics Business Process Management Reference Data Management Operational Orchestration Components Data Load Components CRUD Transactional Components Access Web / Services Portal Device Composite Application Sources Collaborative Application Productivity Application Enterprise Search Business Unit Application Service Management Transport & Delivery Infrastructure Extract / Subscribe Transform Load / Publish Enterprise Apps Unstructured Data Stores Informational External Web Structured Data Stores Devices Master / Reference Data Document Management Services Federation Ingestion Base Services Records Management Services Extraction Simulation Optimization Visualization Predictive Analytics Data Mining Text Analytics Reporting Planning, Forecasting, Budgeting Scorecards Guided Analysis Dashboards Querying Monitoring Operational Data Store Data Warehouse Time Persistent Repository Dimensional Layer Master Data Store Content Store Staging Area Data Quality BATCHBATCH REALTIMEREALTIME T R A N S A C TI O N A L IBM BAO referencia architektúra

13 Business Process Management Service Management Information Governance Collaboration Security, Privacy & Compliance Transport & Delivery Infrastructure Sources Content Management Master Data Management Data Integration Data Repositories BI / Performance Monitoring Advanced Analytics Access CPU MEMORYDISKNETWORK IBM BAO Referencia Architektúra

14 Business Process Management Service Management Information Governance Collaboration Security, Privacy & Compliance Transport & Delivery Infrastructure CPU MEMORY CPU NETWORK MEMORY DISK NETWORK DISK MEMORY NETWORK Sources Content Management Master Data Management Data Integration Data Repositories BI / Performance Monitoring Advanced Analytics Access IBM BAO Referencia Architektúra

15 EredményAdat BetáplálásIntegrálás AnalízisÉrtelmezés Az analitikai folyamat tipikus lépései A Big Data elemzésnél további szempontok Gyorsan kell az eredmény Sokféle adat Nagy mennyiségű adat Pontos eredmény kell Releváns válasz Megfizethető megoldás Sokak által használható megoldás

16 Variety Volume Velocity Veracity Value Az adat maga is kihívásokat teremt...

17 Variety Volume Velocity Veracity Value Műszaki fókusz Megoldás Üzleti fókusz Az analitika üzleti és műszaki szempontokat is felvet BetáplálásIntegrálás AnalízisÉrtelmezés

18 Variety Volume Velocity Veracity Value Sebesség: - Hálózat - Tároló - Memória - CPU Párhuzamosítás ? Helyben használat ? A betáplálás korlátait fizikai törvények határozzák meg Feladat: az adatot a felhasználás helyére mozgatni BetáplálásIntegrálás AnalízisÉrtelmezés

19 Médium Komponens Rendszer1GB10GB100GB1TB500TB1PB10PB Diszk100MB/s4GB/s0,25s2,5s25s4m35h69h29d Hálózat1Gb/s125 MB/s8s80s800s133m46d93d926d 10 Gb/s1250 MB/s0,8s8s80s13m5d9d93d Szalag250 MB/s 4s40s400s67m23d46d463d... a klasszikus módszerek napokat, heteket jelentenek Példa: Nagy adatmennyiség mozgatása

20 Variety Volume Velocity Veracity Value Mennyiség és sebesség: - Memória - Tároló Számítási teljesítmény Párhuzamosítás? Integrálás Cél: több helyről összeszedni, kombinálni (és megtisztítani) az adatokat BetáplálásIntegrálás AnalízisÉrtelmezés

21 Variety Volume Velocity Veracity Value Számítási teljesítmény Memória mennyisége és átbocsátóképessége Párhuzamosítás Speciális „gyorsítók” Az elemzés a komoly munka BetáplálásIntegrálás AnalízisÉrtelmezés

22 Példa: Hadoop ajánlott hardverkörnyezet

23 Variety Volume Velocity Veracity Value Vizualizáció Grafikus képességek Számítási teljesítmény Értelmezés: használhatóvá tenni az eredményt... BetáplálásIntegrálás AnalízisÉrtelmezés

24 Példa: IBM Deep Thunder

25 Használjuk majd még - hozzáférési idő - gyakoriság - teljes vagy részhalmaz Újra felhasználás / Finomítás Eldobás T... hanem a teljes adat-életciklus része Talán használjuk még - Mire? - Mely részét? Az elemzés nem egy különálló sziget... BetáplálásIntegrálás AnalízisÉrtelmezés Megtartás

26 Hagyományos (operatív) adatforrások Új adatforrások 'Cubing Services' Adattárház Virtual Sandboxes Standalone sandbox Részlegek adattárai Kiemelt felhasználó Általános felhasználó In-memory sandbox BI Server Hadoop cluster Streaming Analytics Integrálás Operatív adatok Jelentés Műszerfal Riasztások Példa

27 Cores Network SCM Storage Prediktív analitika, modellezés, szimuláció Cores Network SCM Storage Szövegelemzés, Hadoop Cores Network SCM Storage Optimalizálás Érzékenység- elemzés Az egyes analitikai feladatok más-más követelményeket támasztanak

28 Hardver: Masszív párhuzamosság, tartós memória Adat szalagon és diszken Adatmozgatás a processzorhoz Sokszintű tároló-hierarchia Adat a tartós memóriában Sok processzor veszi körül Lapos tároló-hierarchia Számításközpontú modell Adatközpontú modell Párhuzamoság Tartós memória A feladat hat a hardverválasztásra, a rendszerszoftverre, az alkalmazásokra Flash Phase Change Manycor e FPG A bemene t kimene t

29 HDD költségelőny, 1/10 SCM SCM sebességelőny, 10,000x HDD Relatív ktg Relatív késleltetés DRA M SCM 1 10 FLA SH HDD Source: Chung Lam, IBM FL AS H (Phase Change) SCM – 2015 $0.05 / GB $50K / PB $0.10 / GB $0.01 / GB Storage Class Memory

30 Analitikai megoldások megvalósulási formái Software as a Service (SaaS) - felhő Analitikai célmegoldások (PureData platform, BigInsight) Open Source Analitikai megoldások Analitikai szoftvercsomagok (SPSS, Cognos...) vs. Hagyományos rendszerek

31 A trendek... Strukturálatlan adatok mennyisége rohamosan nő Új elemzési lehetőségek és problémák Új vállalati igények Egységes, jól felhaszálható, elérhető analitika: Költséghatékonyság Felhasználóbarát, könnyen hozzáférhető megoldások Skálázhatóság, optimalizált környezet Analitika a domináns IT feladat, a hardverválasztást befolyásolja A Tera katergória és Exa (Zetta) kategória közötti folytonos átmenet Adatközpont-tervezés, fenntarthatóság... az infrastruktúra támogassa a változás lehetőségét

32 IBM Watson “a jövő analitikája” - már ma... Can we design a computing system that rivals a human’s ability to answer questions posed in natural language, interpreting meaning and context and retrieving, analyzing and understanding vast amounts of information in real-time?


Letölteni ppt "A Big Data – és ami alatta van Sepp Norbert IBM Magyarország."

Hasonló előadás


Google Hirdetések