Mozgó Objektumok Detektálása és Követése Robotkamera Segítségével

Az előadások a következő témára: "Mozgó Objektumok Detektálása és Követése Robotkamera Segítségével"— Előadás másolata:

1 Mozgó Objektumok Detektálása és Követése Robotkamera Segítségével
Horváth Péter Témavezető: Dr. Kató Zoltán

2

3 Összefoglalás gyors módszer optical flow real-time meghatározására
mozgó objektumok követése Gaussian Mixture modell és Expectation Maximization segítségével robotkamera bemutatása (mechanikai, elektronikai felépítése, vezérlőprogram) kísérleti eredmények bemutatása a robotkamera tesztje

4 Optical Flow Az optical flow field egy olyan vektormező, mely megmutatja, hogy egy képkocka pixelei milyen irányban és mennyire mozdultak el.

5 Maximálisan egy pixel nagyságú mozgások meghatározása
Futásidő = θ(NM) Segítségével lehetővé vált a real-time implementáció Kísérleteink alapján legjobbnak a következő módszer bizonyult: Környezet vizsgálata normális eloszlás sűrűségfüggvényével súlyozva:

6 Gauss-piramis felépítése, méretének meghatározása
Ha a kép méretét felére csökkentjük a mozgások is felére csökkennek, ezt folytatva az x. művelet után a mozgások nagysága 2x-edére csökken.

7 Visszafelé dolgozó stratégia
A piramis legfelső szintjén meghatározzuk a maximum 1 pixel nagyságú mozgásokat majd egy szinttel lejjebb ugrunk, itt a (2i, 2j), (2i+1, 2j), (2i, 2j+1) és (2i+1, 2j+1) vektorok megkapják az előző szint (i, j) vektor értékétnek kétszeresét. Ezen becslés után egy finomító lépés következik.

8 Optical Flow becslése — összefoglalás
Az Optical Flow meghatározása: 2 szekvencia kiválasztása Gauss-piramis elkészítése a két képből A felső szinten maximálisan 1 pixel nagyságú mozgások meghatározása. Egy szinttel alacsonyabban lévő Optical Flow vektorok meghatározása: Vektorok duplázása Finomítás GOTO 4 ha nem értük el a piramis alsó szintjét Megjegyzés: Ha a gyakorlati alkalmazásban elegendő pontosságú a becsült Optical Flow, akkor ezen még javíthatunk egy opcionális ponttal, ha a Finomítás után egy simítást végzünk a vektormezőn.

9 Összefoglalás gyors módszer optical flow real-time meghatározására
mozgó objektumok követése Gaussian Mixture modell és Expectation Maximization segítségével robotkamera bemutatása (mechanikai, elektronikai felépítése, vezérlőprogram) kísérleti eredmények bemutatása a robotkamera tesztje

10 Mozgó objektumok követése
Cél: Adott referenciaobjektum követése

11 HSV, LUV színterek, 2D hisztogram
RGB nem használható megfelelően HSV, LUV,… van egy komponens a fényerőnek Ezt a komponenst elhagyva egy fényre invariáns 2D színteret kapunk. 2D hisztogram készítése HSV: gyors, de nem lineáris a transzformáció LUV: az emberi szem színtávolság érzetét jól közelíti, lassú nem lineáris transzformáció a hatványozás miatt

12 Expectation Maximization
ismeretlen eloszlás Gauss-eloszlások segítségével közelítjük Expectation Maximization Dempster et al. 1977

13 Expectation Maximization
Várható értékek, valószínűségek (m=4 esetén):  p(j) ( , ) 0.182 ( , ) ( , ) ( , )

14 Gaussian Mixture Model
Jelölje  a követendő objektumot mely hisztogramjának sűrűségét EM-el becsültük.  legyen egy tetszőleges pont melynek ismert a színe. Annak a valószínűsége, hogy a  pixel az O objektumhoz tartozik: , ahol P(j) a j. komponens valószínűsége. Természetesen: Annak a valószínűsége pedig, hogy a -t a j. komponens tartalmazza:

15 Az objektum lokalizálása
Az objektum a t-1. képkockán Lt-1 középpontban St-1 méretű bounding-box-szal (befoglaló téglalap) A t. képkocka az Lt: Ebből a St: Küszöbölés

16 Összefoglalás gyors módszer optical flow real-time meghatározására
mozgó objektumok követése Gaussian Mixture modell és Expectation Maximization segítségével robotkamera bemutatása (mechanikai, elektronikai felépítése, vezérlőprogram) kísérleti eredmények bemutatása a robotkamera tesztje

17 A robotkamera

18 A robotkamera felépítése
mozgatás: léptetőmotorok kommunikáció: PC párhuzamos port saját mikroprocesszor (PIC16C84)

19 Összefoglalás gyors módszer optical flow real-time meghatározására
mozgó objektumok követése Gaussian Mixture modell és Expectation Maximization segítségével robotkamera bemutatása (mechanikai, elektronikai felépítése, vezérlőprogram) kísérleti eredmények bemutatása a robotkamera tesztje

20 Kísérleti eredmények – optical flow

21 Kísérleti eredmények

22 Összefoglalás gyors módszer optical flow real-time meghatározására
mozgó objektumok követése Gaussian Mixture modell és Expectation Maximization segítségével robotkamera bemutatása (mechanikai, elektronikai felépítése, vezérlőprogram) kísérleti eredmények bemutatása a robotkamera tesztje

23 Vége Köszönöm a figyelmet!