Project 4: Visual motion based Human-Computer Interface Jaksa Zsombor Németh József Ungi Tamás Utasi Tamás.

Az előadások a következő témára: "Project 4: Visual motion based Human-Computer Interface Jaksa Zsombor Németh József Ungi Tamás Utasi Tamás."— Előadás másolata:

1 Project 4: Visual motion based Human-Computer Interface Jaksa Zsombor Németh József Ungi Tamás Utasi Tamás

2 Feladat X Y kamera elmozdulás meghatározása, alkalmazása képnézegető program vezérlésére + egyéb ötletek Z Θ

3 1. módszer feature pontok követése feature pontok szűrése transzformáció mátrix számolás mozgás utófeldolgozás feature pontok keresése Mozgáskövetés: (Hannuksela et al. 2007.) Cornerness: Feature pont választás: p : feature pont R : kép régió B : kép blokk (pl. 7x7) : számított elmozdulás W : keresési régió

4 Teszt képek és block-matching SSD

5 1. módszer feature pontok követése feature pontok szűrése transzformáció mátrix számolás mozgás utófeldolgozás feature pontok keresése Mozgáskövetés: (Hannuksela et al. 2007.) Hiba továbbvitel: Outlier analysis: 1.Minden lehetséges pontpár alapján transzformációs mátrix kiszámítása. 2.A legtöbb szavazatot kapó pontpár kiválasztása. A legtöbb szavazatot kapó pontpár "barátai" alapján BLUE módszerrel legjobb transzformáció. Mozgás modellezés: : lehetséges pontok

6 Bizonytalanság

7 A mi módszerünk feature pontok követése feature pontok szűrése transzformáció mátrix számolás mozgás utófeldolgozás feature pontok keresése A feature pontok keresése és követése OpenCV függvényekkel: cvGoodFeaturesToTrack Hessian sajátértékek alapján -> forgás invariáns sarokpontdetektálás cvCalcOpticalFlowPyrLK Lukas-Kenade módszerrel, két-szintű kép piramison követjük a feature pontok mozgását.

8 A mi módszerünk feature pontok követése feature pontok szűrése transzformáció mátrix számolás mozgás utófeldolgozás feature pontok keresése A feature pontokat RANSAC algoritmussal szűrjük: Véletlenszerű ponthármasokból affine transzformációt számítunk. Szavazatokat gyűjtünk: Az i. pont szavazata az pontokra A legtöbb szavazatot elérő pontokat, és a rájuk szavazókat tartjuk meg. A megmaradó pontokból transzformációt számítunk SVD felbontással:

9 Futásidő elemzés FP választás FP követés outlier analysis gobális mozgás sec : 1. módszer : mi módszerünk

10 Pontosság tesztelés Cél: Zölt ponttól a pirosig haladni a fekete mezőben. Hurok esetén zoom-olni.

11 Input méret és futásidő

12 Következtetések A feladat megvalósítható elérhető eszközökkel. A hiba továbbvitele kovarianciamátrix fomájában nem javítja jelentősen az eredményeket, de a futásidőt jelentősen rontja. A kamera által adott képeket érdemes tesztek alapján csökkenteni. Érdemes további alkalmazási területkhez implementálni ezt a módszert.

13 Források 1.Hannuksela J, Sangi P. Heikkilä J. Vision-based motion estimation for interaction with mobile devices. Computer Vision and Image Understanding: Special Issue on Vision for Human-Computer Interaction, 108(1-2):188-195. 2.Jilin Tu, Hai Tao and Thomas Huang. Face as mouse through visual face tracking. Computer Vision and Image Understanding. 2007 (108); 35-40. 3.http://en.wikipedia.org/wiki/Optical_flow 4.E. De Castro and C. Morandi. Registration of Translated and Rotated Images Using Finite Fourier Transforms. IEEE Transactions on pattern analysis and machine intelligence, Sept. 1987. 5.http://www.fxguide.com/article333.html 6.Lucas BD and Kanade T. An iterative image registration technique with an application to stereo vision. Proceedings of Imaging understanding workshop 1981. pp 121–130. 7.Tomasi C, Kanade T. Detection and Tracking of Point Features. Tech Report 1991. http://www.ces.clemson.edu/~stb/klt/tomasi-kanade-techreport- 1991.pdf 8.Sangi P, Heikkila J, Silven O. Motion analysis using frame differences with spatial gradient measures. Pattern Recognition, 2004. ICPR 2004. Proceedings of the 17th International Conference on, Volume 4, Issue, 23-26 Aug. 2004: 733 - 736.