Kiss Attila, Németh Tamás Budapesti Műszaki Főiskola Konzulensek: Sergyán Szabolcs, Vámossy Zoltán Mozgó objektumok sztereólátással támogatott tartalom.

Az előadások a következő témára: "Kiss Attila, Németh Tamás Budapesti Műszaki Főiskola Konzulensek: Sergyán Szabolcs, Vámossy Zoltán Mozgó objektumok sztereólátással támogatott tartalom."— Előadás másolata:

1 Kiss Attila, Németh Tamás Budapesti Műszaki Főiskola Konzulensek: Sergyán Szabolcs, Vámossy Zoltán Mozgó objektumok sztereólátással támogatott tartalom alapú felismerése

2 2005.03.22. BMF-NIK OTDK 2005 2/20 A bemutató felépítése Projekt ismertetés Rendszerfelépítés Használt technikák Sztereólátás Tartalom alapú felismerés Elért eredmények Összefoglalás, kitekintés

3 2005.03.22. BMF-NIK OTDK 2005 3/20 Projekt ismertetése Célunk egy olyan kétkamerás megfigyelőrendszer készítése, amely képes: mozgó objektumokat észlelni (Object Detecting) térben modellezni (Stereo Vision) saját adatbázisában ahhoz hasonlókat keresni (Content Based Image Retrival - CBIR)

4 2005.03.22. BMF-NIK OTDK 2005 4/20 Rendszerfelépítés Kamerakezelő rendszer Mozgásdetektálás Modell előkészítés Modellező rendszer Modellkészítés Megjelenítés Tartalom-alapú képkinyerő rendszer (CBIR) Tulajdonságkinyerés Hasonlóságmérés Visszacsatolás

5 2005.03.22. BMF-NIK OTDK 2005 5/20 Kamerakezelő rendszer Objektum detektálás Változások észlelése a háttérképhez képest A megváltozott terület jelölése Kapcsolat a CBIR-rel Kamerakép A differenciakép legkisebb határoló téglalapja A differenciakép konvex burka által meghatározott képrészlet elküldése Modell előkészítés (Jel alapú sztereo módszer) Jellemző pontok keresése a Harris-féle sarokdetektáló módszerrel C. Harris, M. Stephens – „A Combined Corner and Edge Detector”, Fourth Alvey Vision Conference, pp. 147-151, 1988.

6 2005.03.22. BMF-NIK OTDK 2005 6/20 Modellező rendszer Modellkészítő Jellemző pontok megfeleltetése a bal és jobb oldali kameraképen intenzitás kereszt korreláció segítségével Mélységinformáció kinyerése a megfeleltetett pontok diszparitásának számításával Korreláció alapú sztereó módszer Megjelenítés Az elkészült modell megjelenítése OpenGL használatával W.E. Snyder, H. Qi – “Machine Vision”, Cambridge University Press, 2004.

7 2005.03.22. BMF-NIK OTDK 2005 7/20 Tartalom alapú képkinyerés - 1 J. A. Lay, L. Guan – „Image Retrieval Based on Energy Histograms of the Low Frequency DCT Coefficients”, 2004. http://debut.cis.nctu.edu.tw/pages/slides/jeffrey/present2.pdf

8 2005.03.22. BMF-NIK OTDK 2005 8/20 Tartalom alapú képkinyerés - 2 Előfeldolgozás, zajszűrés Medián szűrő Gauss szűrő Színnormalizáció (Finlayson módszere alapján) Alacsonyszintű tulajdonságok DCT együtthatók Színhisztogramok 6 színtérben (RGB, HSV, YIQ, XYZ, L*u*v*, L*a*b*) Textúrázottság (sarkosság), horizontális és vertikális maszk Diszparitás térkép B. V. Funt, G. D. Finlayson – “Color Constant Color Indexing” IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 17, No. 5, pp. 522-529, 1995.

9 2005.03.22. BMF-NIK OTDK 2005 9/20 Tartalom alapú képkinyerés - 3 Hasonlóságmérés Minkowski-féle távolságok Hisztogram metszet (Histogram Intersection) Hierarchikus keresés (könyvtárszerkezet mintájára) Több dimenziós hasonlóság vizsgálat Visszacsatolás, Yong Rui technikája Y. Rui, T.S. Huang, M. Ortega, S. Mehrotra - Relevance Feedback - „A Power Tool for Interactive Content-Based Image Retrieval” IEEE Transactions on Circuits and Video Technology, Vol. 8, No. 5, pp. 644-655, 1998.

10 2005.03.22. BMF-NIK OTDK 2005 10/20 Pontok megfeleltetése Jellemző pontok keresése Jellemző pontok megfeleltetése

11 2005.03.22. BMF-NIK OTDK 2005 11/20 Korreláció alapú sztereó Pentagon műholdas sztereóképei és diszparitástérképe Saját képek és diszparitástérképe

12 2005.03.22. BMF-NIK OTDK 2005 12/20 Saját adatbázis elemei

13 2005.03.22. BMF-NIK OTDK 2005 13/20 Demo

14 2005.03.22. BMF-NIK OTDK 2005 14/20 Teszt eredmények (CBIR) Néhány eredmény csoport teszteléssel

15 2005.03.22. BMF-NIK OTDK 2005 15/20 Tesztelés az UW kollekcióval Pontosság a University of Washington kollekció alapján H. Müller, W. Müller, S. Marchand-Maillet, T. Pun – “A Web-Based Evaluation System for CBIR”, 2004., http://woodworm.cs.uml.edu/~rprice/ep/mueller/http://woodworm.cs.uml.edu/~rprice/ep/mueller/ UW kollekció képei Rendszer Vissza- csatolás nélkül Négy vissza- csatolással Saját rendszer 30,83%41,25% GIFT rendszer használatával 53,92%91,07%

16 2005.03.22. BMF-NIK OTDK 2005 16/20 Összefoglalás – 1 Két kamerás sztereó rendszer Mozgásészlelés Modellezés Diszparitás térkép továbbítása CBIR felé Tartalom alapú képkinyerés Indexelési technikákkal plugin-ezhető Automatikusan elkészíti az indexeket Szín alapú Textúra alapú Mélység alapú

17 2005.03.22. BMF-NIK OTDK 2005 17/20 Összefoglalás – 2 Szemantikus interpretáció Szöveges leírás Hierarchikus adatbázis kiépítés Lekérdezések típusa NN – legközelebbi szomszédok Visszacsatolás Automatikus tesztelés és kiértékelés Tárolás Összehasonlítás

18 2005.03.22. BMF-NIK OTDK 2005 18/20 Kitekintés Új tulajdonságkinyerési technikák implementálása Alkalmazott modellező algoritmusok gyorsítása és javítása OODB használata

19 2005.03.22. BMF-NIK OTDK 2005 19/20 Hivatkozások M.J. Swain, B.H. Ballard - Color Indexing” Int’l J. Computer Vision, Vol. 7, No. 1, pp. 11-32, 1991. B. V. Funt, G. D. Finlayson - “Color Constant Color Indexing” IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 17, No. 5, pp. 522-529, 1995. Y. Rui, T. S. Huang, M. Ortega, S. Mehrotra - Relevance Feedback - „A Power Tool for Interactive Content-Based Image Retrieval” IEEE Transactions on Circuits and Video Technology, Vol 8, No. 5, pp. 644-655, 1998. J. Owens, A. Hunter, E. Fletcher - „A Fast Model-Free Morphology-Based Object Tracking Algorithm” http://www.bmva.ac.uk/bmvc/2002/papers/99/full_99.pdf M. Pollefeys - „3D Modelling from Images” http://www.esat.kuleuven.ac.be/~pollefey/tutorial/ http://www.esat.kuleuven.ac.be/~pollefey/tutorial/ C. Harris, M. Stephens – „A Combined Corner and Edge Detector” Fourth Alvey Vision Conference, pp.147-151, 1988. H. Müller, W. Müller, Stephane Marchand-Maillet, Thierry Pun – “A Web-Based Evaluation System for CBIR” http://woodworm.cs.uml.edu/~rprice/ep/mueller/ W.E. Snyder, H. Qi – “Machine Vision”, Cambridge University Press, 2004.

20 2005.03.22. BMF-NIK OTDK 2005 20/20 Köszönöm a figyelmet! Elérhetőségek: Kiss Attila (wampy@freemail.hu)wampy@freemail.hu Németh Tamás (pheenix@freemail.hu)pheenix@freemail.hu Honlap: http://roberta.obuda.kando.hu/iar/2004_2005/FTT