F IGYELMI ALGORITMUSOKKAL VEZÉRELT HELYSZÍNANALÍZIS Persa György

Á TTEKINTÉS Rendszer fejlesztése helyszínek, szituációk elemzésére videófolyamok alapján Bionikus szemüveg projekt keretein belül Figyelmi modell felhasználásával

B IONIKUS SZEMÜVEG PROJECT Személyi navigációs eszköz fejlesztése vakok és gyengénlátók számára Képfeldolgozási feladatokat ellátó alkalmazások mobiltelefon kamera felhasználásával Részfeladatok témakörei Otthon Munka Köztük levő út

H ELYSZÍNEK ÉS SZITUÁCIÓK JELENTŐSÉGE Részfeladatok használatának megkönnyítése Más szituációkban más alkalmazások Testreszabhatóság Hatékony működés Veszély, beavatkozás szükségessége Látótérben tapasztalt változások

C ÉLKITŰZÉS Helyszínanalízis Eltérő szituációkban különböző módon viselkedő tulajdonságok kinyerése Analízis, klasszifikáció Felhasznált eszköz: bottom-up figyelmi modell Ösztönös figyelem modellezése Lázár Anna, 2007

B OTTOM - UP FIGYELMI MODELL Szemmozgás mérések alapján Kép pontjainak „feltűnőségét” számítja ki Feltűnőségi térkép Eredeti modell folyamatábra, és egy megjelenített feltűnőségi térkép

R ENDSZERFEJLESZTÉS Feltűnőségi térképek elemzése Feltűnőségi értékek viselkedésének megfigyelése Legfeltűnőbb területek meghatározása kontúrvonalak alapján „domborzati térkép” Szintvonalak feltűnőségi értékek szerint Legfeltűnőbb területek

R ENDSZERFEJLESZTÉS Tracking algoritmus A megjelölt legfeltűnőbb területek követéséhez 4 állapotos modell Feltűnő területek tulajdonságai alapján egyezés keresése két képkocka között Átlagos feltűnőségi értékbeli eltérés Területbeli eltérés Középpont koordinátái Trackek adatstruktúrájában további kinyert, és a követésnél használt tulajdonságok tárolása Állapotátmenet diagram, és track adatstruktúra

R ENDSZERFEJLESZTÉS Statikus paraméterek Videó egyszeri futásával előállíthatók Legfeltűnőbb területeken mérhető tulajdonságokból Maximális feltűnőségi érték, átlag, szórás Legfeltűnőbb területek aggregált térképéből Aggregált térkép a videó futása közben elmozduló feltűnő területek globális elemzéséhez Szumma, lefedés, átlag Követett területek aggregált térképéből Szumma, lefedés, átlag

R ENDSZERFEJLESZTÉS Dinamikus paraméterek Követés során változó tulajdonságok A videóhoz tartozó minden frame-re az aktuálisan követett legfeltűnőbb területek száma, élettartama átlagos sebessége, sebesség szórása átlagos területe átlagos távolsága („csomósodás”) feltűnőségének átlaga, szórása, 3. és 4. centrális momentum lefedési aránya

F ELHASZNÁLÓI FELÜLET

H ELYSZÍNKLASSZIFIKÁCIÓ Kétfajta megközelítés Statikus paraméterek segítségével Dinamikus paraméterek segítségével 4 osztály Beltér Természet Utca Forgalom Osztályok megválasztása a figyelmi értékek megfigyelt viselkedése alapján

H ELYSZÍNKLASSZIFIKÁCIÓ Felügyelt tanulás statikus paraméterek segítségével Optimális viselkedés megadása osztálycímkékkel ellátott tulajdonságvektor formájában 64 felhasznált minta SVM, LDA, LDA3d 46 tanító, 18 teszt minta

H ELYSZÍNKLASSZIFIKÁCIÓ SVM Minden osztályra: osztályba tartozás, és nem tartozás szeparálása két tulajdonság alapján Legjobb klasszifikációs teljesítményt mutató osztályozásoknál legtöbbször szereplő tulajdonságok kiválasztása A két kiválasztott tulajdonsággal az összes osztály klasszifikálása 2 kiválasztott tulajdonság beltér vs többi természet vs többi utca vs többiforgalom vs többi szumma teljesítmény

H ELYSZÍNKLASSZIFIKÁCIÓ LDA, LDA3d Két tulajdonság alapján a 9 legjobb eredményt adó klasszifikáció. Minimális hiba: Három tulajdonság alapján a legjobb eredményt adó klasszifikáció. Hiba:

H ELYSZÍNKLASSZIFIKÁCIÓ Dinamikus paraméterek Minden mintavideóra egy darab kétváltozós függvény keresése a dinamikus tulajdonságok felhasználásával Különböző osztályokból választott mintákra a szeparáció vizsgálata Legfeltűnőbb területek átlagos területének, és a feltűnőségi értékek klasszifikációs teljesítménye egy nem szeparáló tulajdonsággal kivetítve Átlagterület és feltűnőségi szórás függvénye Feltűnőségi szórás és harmadik momentum függvénye

E REDMÉNYEK Figyelmi modell újszerű felhasználása Klasszifikáció hatékonyság Sok esetben ígéretes viselkedés Teljesítmény nem elég a tényleges alkalmazáshoz Továbbfejlesztési lehetőségek Kifinomultabb klasszifikációs eljárások Figyelmi paraméterek egyéb hasznosítása

K ÖSZÖNÖM A FIGYELMET