F IGYELMI ALGORITMUSOKKAL VEZÉRELT HELYSZÍNANALÍZIS Persa György.

Az előadások a következő témára: "F IGYELMI ALGORITMUSOKKAL VEZÉRELT HELYSZÍNANALÍZIS Persa György."— Előadás másolata:

1 F IGYELMI ALGORITMUSOKKAL VEZÉRELT HELYSZÍNANALÍZIS Persa György

2 Á TTEKINTÉS Rendszer fejlesztése helyszínek, szituációk elemzésére videófolyamok alapján Bionikus szemüveg projekt keretein belül Figyelmi modell felhasználásával

3 B IONIKUS SZEMÜVEG PROJECT Személyi navigációs eszköz fejlesztése vakok és gyengénlátók számára Képfeldolgozási feladatokat ellátó alkalmazások mobiltelefon kamera felhasználásával Részfeladatok témakörei Otthon Munka Köztük levő út

4 H ELYSZÍNEK ÉS SZITUÁCIÓK JELENTŐSÉGE Részfeladatok használatának megkönnyítése Más szituációkban más alkalmazások Testreszabhatóság Hatékony működés Veszély, beavatkozás szükségessége Látótérben tapasztalt változások

5 C ÉLKITŰZÉS Helyszínanalízis Eltérő szituációkban különböző módon viselkedő tulajdonságok kinyerése Analízis, klasszifikáció Felhasznált eszköz: bottom-up figyelmi modell Ösztönös figyelem modellezése Lázár Anna, 2007

6 B OTTOM - UP FIGYELMI MODELL Szemmozgás mérések alapján Kép pontjainak „feltűnőségét” számítja ki Feltűnőségi térkép Eredeti modell folyamatábra, és egy megjelenített feltűnőségi térkép

7 R ENDSZERFEJLESZTÉS Feltűnőségi térképek elemzése Feltűnőségi értékek viselkedésének megfigyelése Legfeltűnőbb területek meghatározása kontúrvonalak alapján „domborzati térkép” Szintvonalak feltűnőségi értékek szerint Legfeltűnőbb területek

8 R ENDSZERFEJLESZTÉS Tracking algoritmus A megjelölt legfeltűnőbb területek követéséhez 4 állapotos modell Feltűnő területek tulajdonságai alapján egyezés keresése két képkocka között Átlagos feltűnőségi értékbeli eltérés Területbeli eltérés Középpont koordinátái Trackek adatstruktúrájában további kinyert, és a követésnél használt tulajdonságok tárolása Állapotátmenet diagram, és track adatstruktúra

9 R ENDSZERFEJLESZTÉS Statikus paraméterek Videó egyszeri futásával előállíthatók Legfeltűnőbb területeken mérhető tulajdonságokból Maximális feltűnőségi érték, átlag, szórás Legfeltűnőbb területek aggregált térképéből Aggregált térkép a videó futása közben elmozduló feltűnő területek globális elemzéséhez Szumma, lefedés, átlag Követett területek aggregált térképéből Szumma, lefedés, átlag

10 R ENDSZERFEJLESZTÉS Dinamikus paraméterek Követés során változó tulajdonságok A videóhoz tartozó minden frame-re az aktuálisan követett legfeltűnőbb területek száma, élettartama átlagos sebessége, sebesség szórása átlagos területe átlagos távolsága („csomósodás”) feltűnőségének átlaga, szórása, 3. és 4. centrális momentum lefedési aránya

11 F ELHASZNÁLÓI FELÜLET

12 H ELYSZÍNKLASSZIFIKÁCIÓ Kétfajta megközelítés Statikus paraméterek segítségével Dinamikus paraméterek segítségével 4 osztály Beltér Természet Utca Forgalom Osztályok megválasztása a figyelmi értékek megfigyelt viselkedése alapján

13 H ELYSZÍNKLASSZIFIKÁCIÓ Felügyelt tanulás statikus paraméterek segítségével Optimális viselkedés megadása osztálycímkékkel ellátott tulajdonságvektor formájában 64 felhasznált minta SVM, LDA, LDA3d 46 tanító, 18 teszt minta

14 H ELYSZÍNKLASSZIFIKÁCIÓ SVM Minden osztályra: osztályba tartozás, és nem tartozás szeparálása két tulajdonság alapján Legjobb klasszifikációs teljesítményt mutató osztályozásoknál legtöbbször szereplő tulajdonságok kiválasztása A két kiválasztott tulajdonsággal az összes osztály klasszifikálása 2 kiválasztott tulajdonság beltér vs többi természet vs többi utca vs többiforgalom vs többi szumma teljesítmény0.714290.928570.571430.615380.70742

15 H ELYSZÍNKLASSZIFIKÁCIÓ LDA, LDA3d Két tulajdonság alapján a 9 legjobb eredményt adó klasszifikáció. Minimális hiba: 0.33408 Három tulajdonság alapján a legjobb eredményt adó klasszifikáció. Hiba: 0.30456

16 H ELYSZÍNKLASSZIFIKÁCIÓ Dinamikus paraméterek Minden mintavideóra egy darab kétváltozós függvény keresése a dinamikus tulajdonságok felhasználásával Különböző osztályokból választott mintákra a szeparáció vizsgálata Legfeltűnőbb területek átlagos területének, és a feltűnőségi értékek klasszifikációs teljesítménye egy nem szeparáló tulajdonsággal kivetítve Átlagterület és feltűnőségi szórás függvénye Feltűnőségi szórás és harmadik momentum függvénye

17 E REDMÉNYEK Figyelmi modell újszerű felhasználása Klasszifikáció hatékonyság Sok esetben ígéretes viselkedés Teljesítmény nem elég a tényleges alkalmazáshoz Továbbfejlesztési lehetőségek Kifinomultabb klasszifikációs eljárások Figyelmi paraméterek egyéb hasznosítása

18 K ÖSZÖNÖM A FIGYELMET