Kiss Attila, Németh Tamás Budapesti Műszaki Főiskola Konzulensek: Sergyán Szabolcs, Vámossy Zoltán Mozgó objektumok sztereólátással támogatott tartalom alapú felismerése

BMF-NIK OTDK /20 A bemutató felépítése Projekt ismertetés Rendszerfelépítés Használt technikák Sztereólátás Tartalom alapú felismerés Elért eredmények Összefoglalás, kitekintés

BMF-NIK OTDK /20 Projekt ismertetése Célunk egy olyan kétkamerás megfigyelőrendszer készítése, amely képes: mozgó objektumokat észlelni (Object Detecting) térben modellezni (Stereo Vision) saját adatbázisában ahhoz hasonlókat keresni (Content Based Image Retrival - CBIR)

BMF-NIK OTDK /20 Rendszerfelépítés Kamerakezelő rendszer Mozgásdetektálás Modell előkészítés Modellező rendszer Modellkészítés Megjelenítés Tartalom-alapú képkinyerő rendszer (CBIR) Tulajdonságkinyerés Hasonlóságmérés Visszacsatolás

BMF-NIK OTDK /20 Kamerakezelő rendszer Objektum detektálás Változások észlelése a háttérképhez képest A megváltozott terület jelölése Kapcsolat a CBIR-rel Kamerakép A differenciakép legkisebb határoló téglalapja A differenciakép konvex burka által meghatározott képrészlet elküldése Modell előkészítés (Jel alapú sztereo módszer) Jellemző pontok keresése a Harris-féle sarokdetektáló módszerrel C. Harris, M. Stephens – „A Combined Corner and Edge Detector”, Fourth Alvey Vision Conference, pp , 1988.

BMF-NIK OTDK /20 Modellező rendszer Modellkészítő Jellemző pontok megfeleltetése a bal és jobb oldali kameraképen intenzitás kereszt korreláció segítségével Mélységinformáció kinyerése a megfeleltetett pontok diszparitásának számításával Korreláció alapú sztereó módszer Megjelenítés Az elkészült modell megjelenítése OpenGL használatával W.E. Snyder, H. Qi – “Machine Vision”, Cambridge University Press, 2004.

BMF-NIK OTDK /20 Tartalom alapú képkinyerés - 1 J. A. Lay, L. Guan – „Image Retrieval Based on Energy Histograms of the Low Frequency DCT Coefficients”,

BMF-NIK OTDK /20 Tartalom alapú képkinyerés - 2 Előfeldolgozás, zajszűrés Medián szűrő Gauss szűrő Színnormalizáció (Finlayson módszere alapján) Alacsonyszintű tulajdonságok DCT együtthatók Színhisztogramok 6 színtérben (RGB, HSV, YIQ, XYZ, L*u*v*, L*a*b*) Textúrázottság (sarkosság), horizontális és vertikális maszk Diszparitás térkép B. V. Funt, G. D. Finlayson – “Color Constant Color Indexing” IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 17, No. 5, pp , 1995.

BMF-NIK OTDK /20 Tartalom alapú képkinyerés - 3 Hasonlóságmérés Minkowski-féle távolságok Hisztogram metszet (Histogram Intersection) Hierarchikus keresés (könyvtárszerkezet mintájára) Több dimenziós hasonlóság vizsgálat Visszacsatolás, Yong Rui technikája Y. Rui, T.S. Huang, M. Ortega, S. Mehrotra - Relevance Feedback - „A Power Tool for Interactive Content-Based Image Retrieval” IEEE Transactions on Circuits and Video Technology, Vol. 8, No. 5, pp , 1998.

BMF-NIK OTDK /20 Pontok megfeleltetése Jellemző pontok keresése Jellemző pontok megfeleltetése

BMF-NIK OTDK /20 Korreláció alapú sztereó Pentagon műholdas sztereóképei és diszparitástérképe Saját képek és diszparitástérképe

BMF-NIK OTDK /20 Saját adatbázis elemei

BMF-NIK OTDK /20 Demo

BMF-NIK OTDK /20 Teszt eredmények (CBIR) Néhány eredmény csoport teszteléssel

BMF-NIK OTDK /20 Tesztelés az UW kollekcióval Pontosság a University of Washington kollekció alapján H. Müller, W. Müller, S. Marchand-Maillet, T. Pun – “A Web-Based Evaluation System for CBIR”, 2004., UW kollekció képei Rendszer Vissza- csatolás nélkül Négy vissza- csatolással Saját rendszer 30,83%41,25% GIFT rendszer használatával 53,92%91,07%

BMF-NIK OTDK /20 Összefoglalás – 1 Két kamerás sztereó rendszer Mozgásészlelés Modellezés Diszparitás térkép továbbítása CBIR felé Tartalom alapú képkinyerés Indexelési technikákkal plugin-ezhető Automatikusan elkészíti az indexeket Szín alapú Textúra alapú Mélység alapú

BMF-NIK OTDK /20 Összefoglalás – 2 Szemantikus interpretáció Szöveges leírás Hierarchikus adatbázis kiépítés Lekérdezések típusa NN – legközelebbi szomszédok Visszacsatolás Automatikus tesztelés és kiértékelés Tárolás Összehasonlítás

BMF-NIK OTDK /20 Kitekintés Új tulajdonságkinyerési technikák implementálása Alkalmazott modellező algoritmusok gyorsítása és javítása OODB használata

BMF-NIK OTDK /20 Hivatkozások M.J. Swain, B.H. Ballard - Color Indexing” Int’l J. Computer Vision, Vol. 7, No. 1, pp , B. V. Funt, G. D. Finlayson - “Color Constant Color Indexing” IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 17, No. 5, pp , Y. Rui, T. S. Huang, M. Ortega, S. Mehrotra - Relevance Feedback - „A Power Tool for Interactive Content-Based Image Retrieval” IEEE Transactions on Circuits and Video Technology, Vol 8, No. 5, pp , J. Owens, A. Hunter, E. Fletcher - „A Fast Model-Free Morphology-Based Object Tracking Algorithm” M. Pollefeys - „3D Modelling from Images” C. Harris, M. Stephens – „A Combined Corner and Edge Detector” Fourth Alvey Vision Conference, pp , H. Müller, W. Müller, Stephane Marchand-Maillet, Thierry Pun – “A Web-Based Evaluation System for CBIR” W.E. Snyder, H. Qi – “Machine Vision”, Cambridge University Press, 2004.

BMF-NIK OTDK /20 Köszönöm a figyelmet! Elérhetőségek: Kiss Attila Németh Tamás Honlap: