Az előadás letöltése folymat van. Kérjük, várjon

Az előadás letöltése folymat van. Kérjük, várjon

Vámossy Zoltán 2004 (Mubarak Shah, Gonzales-Woods anyagai alapján) Optical Flow.

Hasonló előadás


Az előadások a következő témára: "Vámossy Zoltán 2004 (Mubarak Shah, Gonzales-Woods anyagai alapján) Optical Flow."— Előadás másolata:

1 Vámossy Zoltán 2004 (Mubarak Shah, Gonzales-Woods anyagai alapján) Optical Flow

2 Mozgásdetektálás Optikai folyamok

3 Vámossy Zoltán IAR 2004 3 Mozgás n A valós világban (3D) történő mozgás leképzése mozgást eredményez a képsíkon (2D) – de az információ redukálódik n A 2D-s mozgás képek sorozatán jelenik meg: legalább két kép kell a meghatározásához n Általában a mozgó objektum konstans intenzitását tételezik fel a meghatározáshoz –A mozgó pixel fényessége (intenzitása) nem változik az időben (brightness constancy)

4 Vámossy Zoltán IAR 2004 4 Hol használjuk a mozgást CV-ben? n Területek –Mozgásdetektálás –Objektum követés –Kamera mozgások korrekciója (stabilizáció) –Képek egymáshoz igazítása (mozaikozás) –3D alak rekonstrukció –Videó tömörítés

5 Vámossy Zoltán IAR 2004 5 Minden egyes pixel mozgását mérjük – pl.

6 Vámossy Zoltán IAR 2004 6 Minden egyes pixel mozgását mérjük – pl.

7 Vámossy Zoltán IAR 2004 7 Mozgásdetektálás n Két frame különbsége –Közel 0, ha nincs mozgás –Nem 0, ha elmozdulás történt

8 Vámossy Zoltán IAR 2004 8 Mozaikozás n Több frame felhasználásával panoráma kép, egybefüggő környezet

9 Vámossy Zoltán IAR 2004 9 Mozaikozás

10 Vámossy Zoltán IAR 2004 10 Képszegmentálás n Mozgó objektumok könnyebben szegmentálhatók – elmozdulás-vektorok homogének

11 Vámossy Zoltán IAR 2004 11 Struktúra meghatározás mozgás alapján

12 Optical Flow Optikai folyamok vizsgálata Mubarak Shah és Gary Bradski (Stanford University) anyagai alapján

13 Vámossy Zoltán IAR 2004 13 Optical Flow Kép sorozat (egy kamera) Követett szekvenciák 3D struktúra + 3D trajektória Követés 3D alg.

14 Vámossy Zoltán IAR 2004 14 Mi az Optical Flow? Optical Flow Sebesség vektorok Általános feltétel: Képfoltok megjelenése nem változik (brightness constancy) Az Optical flow a mozgásmezőhöz való megfeleltetés: De: A pontok fizikai mozgásának 2D leképezése függ a megfigyelő és a kép pixel csoportjainak egymáshoz viszonyított helyzetétől

15 Vámossy Zoltán IAR 2004 15 Mi az Optical Flow? Speciális esetek: Minden olyan eset, amikor a pixel elmozdulások nem jelentik a térbeli pontok fizikai mozgását 1. TV illuzórikus mozgáson alapszik 2. Egyenletesen forgó gömb – semmi sem tűnik mozgónak 3. A fény intenzitásának vagy irányának változása miatt a dolgok mozgónak tűnhetnek

16 Vámossy Zoltán IAR 2004 16  * From Marc Pollefeys COMP 256 2003 Optical Flow speciális esetek Apertúra probléma

17 Vámossy Zoltán IAR 2004 17 Optical Flow feltételek: konstans fényesség * Slide from Michael Black, CS143 2003

18 Vámossy Zoltán IAR 2004 18 Optical Flow feltételek: Térbeli összetartozás * Slide from Michael Black, CS143 2003 n A kép szomszédos pontjai tipikusan ugyanahhoz az objektumhoz tartoznak és hasonló a mozgásuk n Elvárjuk, hogy a képen is közeli pontokként jelenjenek meg

19 Vámossy Zoltán IAR 2004 19 Optical Flow feltételek: Időbeli összetartozás * Slide from Michael Black, CS143 2003 n A foltok mozgása a képen fokozatos az idő függvényében

20 Vámossy Zoltán IAR 2004 20 Optical Flow n A (2D) képtérben a mozgás vektor számítása n A mozgó pixel intenzitása nem változik az időben n A jobb oldal Taylor sorba fejtése: kis elmozdulás

21 Vámossy Zoltán IAR 2004 21 Optical Flow Konstans intenzitás feltétel Az (u,v) térben ez egy egyenes egyenlete

22 Vámossy Zoltán IAR 2004 22 Optical Flow n I x, I y és I t ismert a képből n Minden pontra egy egyenletet eredményez ez n 2 ismeretlenünk van: u, v n A megoldás valahol az egyenesen van u v

23 Vámossy Zoltán IAR 2004 23 Optical Flow u v. d p Legyen ( u’, v’ ) a valódi folyam n A valódi optikai folyamnak két komponense van: –Normál irányban: d iránya –Párhuzamos irányban: p iránya n A normál folyam meghatározható (gradiens irányú komponens) n A párhuzamos (p) NEM

24 Vámossy Zoltán IAR 2004 24 Apertúra probléma n Miként jelenik meg a képen, hogy csak normális irányú mozgást érzékelünk?

25 Vámossy Zoltán IAR 2004 25 Apertúra probléma n Félreérthetőség

26 Vámossy Zoltán IAR 2004 26 Apertúra probléma

27 Vámossy Zoltán IAR 2004 27 Megoldási technikák n Horn & Schunck –Konstans intenzitás + simasági feltétel n Schunck –Általános folyam n Lukas & Kanade –Konstans intenzitás n …

28 Vámossy Zoltán IAR 2004 28 Horn & Schunck n Definiáljuk a következő energia függvényt és minimalizáljuk (fényesség konstans + kis mozgások) n Az ismeretlen u és v szerint differenciálva Laplace u Laplace v

29 Vámossy Zoltán IAR 2004 29 Horn & Schunck n Az optikai folyam simasági feltételének Laplace kifejezése –Egy megoldást kereshetünk a következő alakban:  2 u=u-u avg,  2 v=v-v avg. ahol u avg négy szomszédos pixelen számolt átlag n Átrendezve az egyenleteket 2 egyenlet 2 ismeretlennel Fejezzük ki v-t u-val Helyettesítsük be a másik egyenletbe

30 Vámossy Zoltán IAR 2004 30 Horn & Schunck n Iterációs módszerrel határozzuk meg u és v értékét –Kiszámoljuk a deriváltakat előre –Kezdetben tegyük fel, hogy u és v = 0 –Számoljuk u avg és v avg értékét a szomszédokból az iteráció során Megjegyzés: lambda

31 Vámossy Zoltán IAR 2004 31 Schunck módszere n Ha két szomszédos pixel ugyanazzal a sebességgel mozog –A hozzátartozó folyamegyenlet megoldásai egy pontban metszik egymást az (u,v) térben –Határozzuk meg a metszéspontot –A több szomszéd (Schunck 8-at használ) általában nem egy pontot, hanem egy halmazt (klasztert) határoz meg –A legnagyobb ilyen halmaz meghatározza a sebességet u v

32 Vámossy Zoltán IAR 2004 32 Lucas & Kanade módszer n Hasonló az egyenes illesztéses módszerhez –Ez is egy energia-kifejezést definiál és a minimumát keresi A deriváltja tehát 0

33 Vámossy Zoltán IAR 2004 33 Lucas & Kanade 1

34 Vámossy Zoltán IAR 2004 34 Lucas & Kanade 2

35 Vámossy Zoltán IAR 2004 35 Fontos megjegyzések n A Horn-Schunck és a Lucas-Kanade optical flow módszer csak kis mozgásokra működik n Ha az objektum gyorsan mozog, akkor a fényessége (intenzitása) gyorsan változik, és a derivált értékek nem jól közelítik a térbeli és az időbeli deriváltakat n Homogén részeknél nem alkalmazható (gradiens!), textúra is gond lehet n A piramis technika alkalmazható nagyobb mozgások esetén

36 Vámossy Zoltán IAR 2004 36 Optical flow piramis módszerrel I t kép Gauss piramisaI t+1 kép Gaussi piramisa image I t+1 image I t u=10 pixel u=5 pixel u=2.5 pixel u=1.25 pixel

37 Vámossy Zoltán IAR 2004 37 OF - nagy mozgás: hiba!

38 Vámossy Zoltán IAR 2004 38 OF piramis módszerrel - nagy mozgás

39 Vámossy Zoltán IAR 2004 39

40 Vámossy Zoltán IAR 2004 40

41 Vámossy Zoltán IAR 2004 41


Letölteni ppt "Vámossy Zoltán 2004 (Mubarak Shah, Gonzales-Woods anyagai alapján) Optical Flow."

Hasonló előadás


Google Hirdetések