Figyelmi algoritmusokkal vezérelt helyszínanalízis Persa György Jegyzet 2009/05/02

Használt paraméterek előállítása Eredeti videó, és a feltűnőségi térkép Feltűnőségi térkép: bottom-up figyelmi modell által előállított térkép. A kép minden pixeléhez egy „feltűnőségi” értéket számol ki, mely annak a mérőszáma, hogy egy képpont „mennyire vonzza az emberi tekintetet” (és ezt a videó minden képkockájára). A modellt Lázár Anna dolgozta ki, én a modell által kiszámolt értékeket használom alapnak a továbbiakban. Feltűnőségi értékek: sötétkék:alacsony  vörös:magas

Használt paraméterek előállítása Feltűnőségi térkép, és a legfeltűnőbb területek Legfeltűnőbb területek: egy egyszerű felső vágással (és némi konvolúciós simítással) kiválasztom a leginkább feltűnő területeket a képen Ezek a kiválasztott, legfeltűnőbb területek szolgálnak alapul egy követő (tracking) algoritmushoz A tracking alatt keletkezett paramétereket dinamikusnak, míg az egész videóra vonatkozó paramétereket statikusnak neveztem el. Végső cél: A keletkezett paraméterek segítségével a helyszín osztályozása 4 osztály: beltér, természet, utca, forgalom

Használt paraméterek előállítása Feltűnő területek követése Folyamatábra: - Eredeti videó - Feltűnőségi térkép - Legfeltűnőbb területek - Követett területek Dinamikus paraméterek: -Az adott időpillanatban követett területek száma -A követett területek átlagos sebessége -A követett területek sebességének átlagos szórása -A követett területek átlagos élettartama (mióta követjük már) -A követett területek átlagos távolsága egymástól -A követett területek átlagos feltűnőségi értéke -A követett területek átlagos orientációja Globális (statikus) paraméterek: - Maximális feltűnőségi érték - Átlagos feltűnőségi érték az egész videót tekintve -Átlagos szórás a feltűnőségi értékben -Aggregált térképből származtatott további 6 paraméter Feltűnő területek aggregált térképe

Használt paraméterek Globális (statikus) paraméterek – Egész videóra értelmezett paraméterek (itt 20 videó) Várt osztályok (0-indoor, 1-nature, 2-street, 3-traffic) Feltűnőségi statikus paraméterek -max, átlag, szórás Feltűnő területek aggregált térképéből -szumma, lefedés, átlag Követett területek aggregált térképéből -szumma, lefedés, átlag

Statikus paraméterek – LDA 2D Tanítóhalmaz: előző mátrix, összes oszlop VS összes oszlop LDA-val következő klasszikáció (err=error). Instabilnak tűnik (???)

Statikus paraméterek – LDA 3D Tanítóhalmaz: előző mátrix, legkevesebb hibát mutató megfeleltetés

Dinamikus paraméterek 7*100 mátrix, részlet: 7 dinamikus paraméter 100 frame-en keresztül megfigyelve Sorban: -Az adott időpillanatban követett területek száma -A követett területek átlagos sebessége -A követett területek sebességének átlagos szórása -A követett területek átlagos élettartama (mióta követjük már) -A követett területek átlagos távolsága egymástól -A követett területek átlagos feltűnőségi értéke -A követett területek átlagos orientációja

Dinamikus paraméterek Próbálgatás 3 tengely ….. Kék zöld piros….