Figyelmi algoritmusokkal vezérelt helyszínanalízis Persa György Jegyzet 2009/05/02.

Az előadások a következő témára: "Figyelmi algoritmusokkal vezérelt helyszínanalízis Persa György Jegyzet 2009/05/02."— Előadás másolata:

1 Figyelmi algoritmusokkal vezérelt helyszínanalízis Persa György Jegyzet 2009/05/02

2 Használt paraméterek előállítása Eredeti videó, és a feltűnőségi térkép Feltűnőségi térkép: bottom-up figyelmi modell által előállított térkép. A kép minden pixeléhez egy „feltűnőségi” értéket számol ki, mely annak a mérőszáma, hogy egy képpont „mennyire vonzza az emberi tekintetet” (és ezt a videó minden képkockájára). A modellt Lázár Anna dolgozta ki, én a modell által kiszámolt értékeket használom alapnak a továbbiakban. Feltűnőségi értékek: sötétkék:alacsony  vörös:magas

3 Használt paraméterek előállítása Feltűnőségi térkép, és a legfeltűnőbb területek Legfeltűnőbb területek: egy egyszerű felső vágással (és némi konvolúciós simítással) kiválasztom a leginkább feltűnő területeket a képen Ezek a kiválasztott, legfeltűnőbb területek szolgálnak alapul egy követő (tracking) algoritmushoz A tracking alatt keletkezett paramétereket dinamikusnak, míg az egész videóra vonatkozó paramétereket statikusnak neveztem el. Végső cél: A keletkezett paraméterek segítségével a helyszín osztályozása 4 osztály: beltér, természet, utca, forgalom

4 Használt paraméterek előállítása Feltűnő területek követése Folyamatábra: - Eredeti videó - Feltűnőségi térkép - Legfeltűnőbb területek - Követett területek Dinamikus paraméterek: -Az adott időpillanatban követett területek száma -A követett területek átlagos sebessége -A követett területek sebességének átlagos szórása -A követett területek átlagos élettartama (mióta követjük már) -A követett területek átlagos távolsága egymástól -A követett területek átlagos feltűnőségi értéke -A követett területek átlagos orientációja Globális (statikus) paraméterek: - Maximális feltűnőségi érték - Átlagos feltűnőségi érték az egész videót tekintve -Átlagos szórás a feltűnőségi értékben -Aggregált térképből származtatott további 6 paraméter Feltűnő területek aggregált térképe

5 Használt paraméterek Globális (statikus) paraméterek – Egész videóra értelmezett paraméterek (itt 20 videó) 2201.31360.5666152.9141496.31524.858607.810967.67215.2778177.52930 1889.451231.5508143.1273551.72618.1345427.141678.87217.9214150.46170 1871.25802.553199.4104676.94377.4069816.884563.47155.6187183.29110 2065.451238.6643117.4851313.41237.0975849.043177.29134.1935331.69660 1584.25705.6668152.9341428.15295.25731022.531145.55121.4489279.10980 1008.25339.615890.2535878.82247.59313090.183335.48141.7693265.21011 706.95205.917644.97431238.78580.05841420.366194.43369.1604360.6991 1649.2417.927372.9872524.12588.8573842.16766.3277.6199286.37011 1041.3452.917113.3743433.39180.91071383.097148.6775.0079360.38931 1355.55589.395122.2719320.6117.46372156.634240.0863.8415476.82322 1739.95838.5487205.5076586.35299.75541438.080841.21136.2453204.98122 2339.2838.7416178.2544518.05405.7371931.187436.61131.1948185.47372 2100.71418.1979178.865263.22550.9785736.522521.01190.5777155.11392 1988.4866.3892146.0247426.43368.21341066.277326.05176.8466220.37043 1743.45862.921198.7996282.21434.4618665.952237.77137.2317239.18923 1597.4865.5165109.0925320.26359.9274824.347751.51163.3523259.17873 2563.71499.9162.3284544.36703.2828602.99640.88261.916167.6713 20831139.1401118.5235420.39420.7702659.471159.98172.9403181.40543 2249.31467.7132105.708388.76420.7307515.136569.31172.7036230.08913 2312.351585.049164.7174393.52546.2437677.174236.34194.3261159.16753 Várt osztályok (0-indoor, 1-nature, 2-street, 3-traffic) Feltűnőségi statikus paraméterek -max, átlag, szórás Feltűnő területek aggregált térképéből -szumma, lefedés, átlag Követett területek aggregált térképéből -szumma, lefedés, átlag

6 Statikus paraméterek – LDA 2D Tanítóhalmaz: előző mátrix, összes oszlop VS összes oszlop LDA-val következő klasszikáció (err=error). Instabilnak tűnik (???)

7 Statikus paraméterek – LDA 3D Tanítóhalmaz: előző mátrix, legkevesebb hibát mutató megfeleltetés

8 Dinamikus paraméterek 7*100 mátrix, részlet: 7 dinamikus paraméter 100 frame-en keresztül megfigyelve Sorban: -Az adott időpillanatban követett területek száma -A követett területek átlagos sebessége -A követett területek sebességének átlagos szórása -A követett területek átlagos élettartama (mióta követjük már) -A követett területek átlagos távolsága egymástól -A követett területek átlagos feltűnőségi értéke -A követett területek átlagos orientációja 1241530001 2.32063.03652.94084.91861.89763.79140001.8664 02.71931.428901.44081.55050000 22.52.25422.66670002 071.3142.49240171.278121.33330000 905.7507866.9394897.2673914.4868.4368854.0190001073.5231 -18.40144514.69979051.265360000-72.8921

9 Dinamikus paraméterek Próbálgatás 3 tengely ….. Kék zöld piros….