Mozgó Objektumok Detektálása és Követése Robotkamera Segítségével Horváth Péter Témavezető: Dr. Kató Zoltán

Összefoglalás gyors módszer optical flow real-time meghatározására mozgó objektumok követése Gaussian Mixture modell és Expectation Maximization segítségével robotkamera bemutatása (mechanikai, elektronikai felépítése, vezérlőprogram) kísérleti eredmények bemutatása a robotkamera tesztje

Optical Flow Az optical flow field egy olyan vektormező, mely megmutatja, hogy egy képkocka pixelei milyen irányban és mennyire mozdultak el.

Maximálisan egy pixel nagyságú mozgások meghatározása Futásidő = θ(NM) Segítségével lehetővé vált a real-time implementáció Kísérleteink alapján legjobbnak a következő módszer bizonyult: Környezet vizsgálata normális eloszlás sűrűségfüggvényével súlyozva:

Gauss-piramis felépítése, méretének meghatározása Ha a kép méretét felére csökkentjük a mozgások is felére csökkennek, ezt folytatva az x. művelet után a mozgások nagysága 2x-edére csökken.

Visszafelé dolgozó stratégia A piramis legfelső szintjén meghatározzuk a maximum 1 pixel nagyságú mozgásokat majd egy szinttel lejjebb ugrunk, itt a (2i, 2j), (2i+1, 2j), (2i, 2j+1) és (2i+1, 2j+1) vektorok megkapják az előző szint (i, j) vektor értékétnek kétszeresét. Ezen becslés után egy finomító lépés következik.

Optical Flow becslése — összefoglalás Az Optical Flow meghatározása: 2 szekvencia kiválasztása Gauss-piramis elkészítése a két képből A felső szinten maximálisan 1 pixel nagyságú mozgások meghatározása. Egy szinttel alacsonyabban lévő Optical Flow vektorok meghatározása: Vektorok duplázása Finomítás GOTO 4 ha nem értük el a piramis alsó szintjét Megjegyzés: Ha a gyakorlati alkalmazásban elegendő pontosságú a becsült Optical Flow, akkor ezen még javíthatunk egy opcionális ponttal, ha a Finomítás után egy simítást végzünk a vektormezőn.

Összefoglalás gyors módszer optical flow real-time meghatározására mozgó objektumok követése Gaussian Mixture modell és Expectation Maximization segítségével robotkamera bemutatása (mechanikai, elektronikai felépítése, vezérlőprogram) kísérleti eredmények bemutatása a robotkamera tesztje

Mozgó objektumok követése Cél: Adott referenciaobjektum követése

HSV, LUV színterek, 2D hisztogram RGB nem használható megfelelően HSV, LUV,… van egy komponens a fényerőnek Ezt a komponenst elhagyva egy fényre invariáns 2D színteret kapunk. 2D hisztogram készítése HSV: gyors, de nem lineáris a transzformáció LUV: az emberi szem színtávolság érzetét jól közelíti, lassú nem lineáris transzformáció a hatványozás miatt

Expectation Maximization ismeretlen eloszlás Gauss-eloszlások segítségével közelítjük Expectation Maximization Dempster et al. 1977

Expectation Maximization Várható értékek, valószínűségek (m=4 esetén):  p(j) (101.771 , 191.155) 0.182 (94.391 , 66.803) 0.267 (76.129 , 43.870) 0.231 (173.542 , 82.745) 0.319

Gaussian Mixture Model Jelölje  a követendő objektumot mely hisztogramjának sűrűségét EM-el becsültük.  legyen egy tetszőleges pont melynek ismert a színe. Annak a valószínűsége, hogy a  pixel az O objektumhoz tartozik: , ahol P(j) a j. komponens valószínűsége. Természetesen: Annak a valószínűsége pedig, hogy a -t a j. komponens tartalmazza:

Az objektum lokalizálása Az objektum a t-1. képkockán Lt-1 középpontban St-1 méretű bounding-box-szal (befoglaló téglalap) A t. képkocka az Lt: Ebből a St: Küszöbölés

Összefoglalás gyors módszer optical flow real-time meghatározására mozgó objektumok követése Gaussian Mixture modell és Expectation Maximization segítségével robotkamera bemutatása (mechanikai, elektronikai felépítése, vezérlőprogram) kísérleti eredmények bemutatása a robotkamera tesztje

A robotkamera

A robotkamera felépítése mozgatás: léptetőmotorok kommunikáció: PC párhuzamos port saját mikroprocesszor (PIC16C84)

Összefoglalás gyors módszer optical flow real-time meghatározására mozgó objektumok követése Gaussian Mixture modell és Expectation Maximization segítségével robotkamera bemutatása (mechanikai, elektronikai felépítése, vezérlőprogram) kísérleti eredmények bemutatása a robotkamera tesztje

Kísérleti eredmények – optical flow

Kísérleti eredmények

Összefoglalás gyors módszer optical flow real-time meghatározására mozgó objektumok követése Gaussian Mixture modell és Expectation Maximization segítségével robotkamera bemutatása (mechanikai, elektronikai felépítése, vezérlőprogram) kísérleti eredmények bemutatása a robotkamera tesztje

Vége Köszönöm a figyelmet!