Budapesti Műszaki és Gazdaságtudományi Egyetem Méréstechnika és Információs Rendszerek Tanszék Nyomkövetés alapú hibadetektálás Autonóm és Hibatűrő Inf.

Az előadások a következő témára: "Budapesti Műszaki és Gazdaságtudományi Egyetem Méréstechnika és Információs Rendszerek Tanszék Nyomkövetés alapú hibadetektálás Autonóm és Hibatűrő Inf."— Előadás másolata:

1 Budapesti Műszaki és Gazdaságtudományi Egyetem Méréstechnika és Információs Rendszerek Tanszék Nyomkövetés alapú hibadetektálás Autonóm és Hibatűrő Inf. Rsz. 2014 ikocsis@mit.bme.hu

2 Nyomkövetés  „Tracing”: általános fogalom  Program/(feladat)végrehajtás nyomonkövetése  Klasszikusan: fejlesztési időben o Profiling: végrehajtási idők, bevett reprezentációk  Tranzakció-nyomkövetés: o Logok o Application Response Measurement (ARM) o „Application Performance Management” (APM) termékek  Feldolgozott cikk: o Jiang, G., Chen, H., Ungureanu, C., & Yoshihira, K. (2007). Multiresolution Abnormal Trace Detection Using Varied-Length n-Grams and Automata. IEEE Transactions on Systems, Man and Cybernetics, Part C (Applications and Reviews), 37(1), 86–97. doi:10.1109/TSMCC.2006.871569

3 Profiling (Windows)

4 Event Tracing for Windows

5 CélközönségFejlesztőRendszeradminisztrátor TechnológiaETWEvent Log Eseményvezérlésszelektív (munkamenetek indításával) „Always On” Esemény-rátamagas (10 4 /s)közepes (10 2 – 10 4 /s) JellemzőkDeklaratív definíció manifest-ekben Feldolgozási (fogyasztó) API Rendelkezésre álló szolgáltatók felfedezhetősége Flexibilis adatmodell Mint az ETW-nél + távoli begyűjtés lekérdezés-támogatás központosított naplók

6 Event Tracing for Windows

7 Áttekintés: trace analízis

8 Fogalmak  n-gram a nyelvfeldolgozásban: csak az előző n-1 szó befolyásolja a következő szó valószínűségét  „local order constraints”: konzekutivitás  „global order constraints”: pl. 3 lépés távolság

9 Vissszatérés reprezentálása

10 Algoritmus 1 – N-gramok felismerése ha egy hosszabb s szekvencia helyettesíteni tudja valamely szülőjének α százalékát, akkor egy új s szekvenciát kell bevezetni mint (k+1)-gram ha egy hosszabb s szekvencia helyettesíteni tudja valamely szülőjének α százalékát, akkor egy új s szekvenciát kell bevezetni mint (k+1)-gram C i k az i-edik k-gram f(s) mutatja, hogy a szekvencia hányszor jelenik meg a tanítóhalmazban C i k az i-edik k-gram f(s) mutatja, hogy a szekvencia hányszor jelenik meg a tanítóhalmazban

11 Egyszerű példa  Bemenet:  Trace-ek: ABC, CD, ABD, AB, CBD  α = 0,7 k=1 A (3) B (3) C (2) D(2) k=2 AB (3) BD(2) BC (1) CB(1) CD(1) k=3 ABD(1)

12 Algoritmus 2 – Automata építés L = a leghosszabb n-gram hossza

13 Teljes modellépítés példa Three traces: ABCDE, CDEA, CDEBA (capital letters are the components visited during the transaction) Threshold: α = 0.6 Algorithm 1: (n-gram extraction) Algorithm 2: (automata construction) Az x-szel jelöltek nem érik el az α küszöböt!

14 Hiba detektálása - ötlet 1. szabály: a különféle n-gram halmazok közül mindig a hosszabb n- gramokat tartalmazó halmazt választjuk 2. szabály: az ugyanazon halmazban lévő n-gramok közül a gyakoribbat válasszuk Ötlet: egy trace elfogadható, ha 1.feltétel: a trace felvágható az 1. és 2. szabály szerint a meghatározott (C a ) halmazokban található n-gramokra 2.feltétel: ezen n-gramok átmenetei követik az automata átmeneteit (részhalmaz)

15 Algoritmus 3 - Detektálás C a azon n-gramok halmaza, amelyet tartalmaz az automata N a a C a –ban lévő n-gramok száma C a azon n-gramok halmaza, amelyet tartalmaz az automata N a a C a –ban lévő n-gramok száma

16 Példa - Detektálás Bemeneti trace: Automata: Nincs ilyen n-gram C a -ban Nincs ilyen átmenet az automatában

17 Kísérleti értékelés A kísérleteket a PetStore Java benchmark alkalmazással végezték, amely 27 Enterprise JavaBeanből (EJB) áll A felhasználó viselkedést emulálták Az ábra az összes N-gram számát ill. a leghosszabb N-gram hosszát mutatja az α tűréshatár függvényében

18 Kísérleti értékelés II. Az ábra az automaták méretét mutatja a különféle α tűréshatár értékek függvényében Összehasonlítva az előző ábrával: sok n-gramot nem használtunk fel az automata építése során, különösen, amikor az α tűréshatár alacsony

19 Kísérleti értékelés III. 30 hiba injektálása az EJB tesztalkalmazásba Az ábra a detektált, abnormális trace-ek számát mutatja α szerint α = 0.5…0.6 között a leghosszabb n-gram hossza 50-ről 8-ra csökken, és a detektálás pontossága 26/30-ról 12/30-ra a hamis pozitívak aránya nagyon kicsi (~1), de az injektált hibák megváltoztathatják a belső állapotot, amelyek meghibásodást okozhatnak, amúgy nem hibás trace-ekben, amiket emiatt detektálhatunk ez a félrevezető detektálás nehezíti a hibakeresést, de nagyrészt eliminálhat, ha csak az időbélyeg szerinti első hibás trace-szel foglalkozunk