Az előadás letöltése folymat van. Kérjük, várjon

Az előadás letöltése folymat van. Kérjük, várjon

Vámossy Zoltán 2004 (Mubarak Shah, Gonzales-Woods anyagai alapján) Optical Flow.

Hasonló előadás


Az előadások a következő témára: "Vámossy Zoltán 2004 (Mubarak Shah, Gonzales-Woods anyagai alapján) Optical Flow."— Előadás másolata:

1 Vámossy Zoltán 2004 (Mubarak Shah, Gonzales-Woods anyagai alapján) Optical Flow

2 Mozgásdetektálás Optikai folyamok

3 Vámossy Zoltán IAR Mozgás n A valós világban (3D) történő mozgás leképzése mozgást eredményez a képsíkon (2D) – de az információ redukálódik n A 2D-s mozgás képek sorozatán jelenik meg: legalább két kép kell a meghatározásához n Általában a mozgó objektum konstans intenzitását tételezik fel a meghatározáshoz –A mozgó pixel fényessége (intenzitása) nem változik az időben (brightness constancy)

4 Vámossy Zoltán IAR Hol használjuk a mozgást CV-ben? n Területek –Mozgásdetektálás –Objektum követés –Kamera mozgások korrekciója (stabilizáció) –Képek egymáshoz igazítása (mozaikozás) –3D alak rekonstrukció –Videó tömörítés

5 Vámossy Zoltán IAR Minden egyes pixel mozgását mérjük – pl.

6 Vámossy Zoltán IAR Minden egyes pixel mozgását mérjük – pl.

7 Vámossy Zoltán IAR Mozgásdetektálás n Két frame különbsége –Közel 0, ha nincs mozgás –Nem 0, ha elmozdulás történt

8 Vámossy Zoltán IAR Mozaikozás n Több frame felhasználásával panoráma kép, egybefüggő környezet

9 Vámossy Zoltán IAR Mozaikozás

10 Vámossy Zoltán IAR Képszegmentálás n Mozgó objektumok könnyebben szegmentálhatók – elmozdulás-vektorok homogének

11 Vámossy Zoltán IAR Struktúra meghatározás mozgás alapján

12 Optical Flow Optikai folyamok vizsgálata Mubarak Shah és Gary Bradski (Stanford University) anyagai alapján

13 Vámossy Zoltán IAR Optical Flow Kép sorozat (egy kamera) Követett szekvenciák 3D struktúra + 3D trajektória Követés 3D alg.

14 Vámossy Zoltán IAR Mi az Optical Flow? Optical Flow Sebesség vektorok Általános feltétel: Képfoltok megjelenése nem változik (brightness constancy) Az Optical flow a mozgásmezőhöz való megfeleltetés: De: A pontok fizikai mozgásának 2D leképezése függ a megfigyelő és a kép pixel csoportjainak egymáshoz viszonyított helyzetétől

15 Vámossy Zoltán IAR Mi az Optical Flow? Speciális esetek: Minden olyan eset, amikor a pixel elmozdulások nem jelentik a térbeli pontok fizikai mozgását 1. TV illuzórikus mozgáson alapszik 2. Egyenletesen forgó gömb – semmi sem tűnik mozgónak 3. A fény intenzitásának vagy irányának változása miatt a dolgok mozgónak tűnhetnek

16 Vámossy Zoltán IAR  * From Marc Pollefeys COMP Optical Flow speciális esetek Apertúra probléma

17 Vámossy Zoltán IAR Optical Flow feltételek: konstans fényesség * Slide from Michael Black, CS

18 Vámossy Zoltán IAR Optical Flow feltételek: Térbeli összetartozás * Slide from Michael Black, CS n A kép szomszédos pontjai tipikusan ugyanahhoz az objektumhoz tartoznak és hasonló a mozgásuk n Elvárjuk, hogy a képen is közeli pontokként jelenjenek meg

19 Vámossy Zoltán IAR Optical Flow feltételek: Időbeli összetartozás * Slide from Michael Black, CS n A foltok mozgása a képen fokozatos az idő függvényében

20 Vámossy Zoltán IAR Optical Flow n A (2D) képtérben a mozgás vektor számítása n A mozgó pixel intenzitása nem változik az időben n A jobb oldal Taylor sorba fejtése: kis elmozdulás

21 Vámossy Zoltán IAR Optical Flow Konstans intenzitás feltétel Az (u,v) térben ez egy egyenes egyenlete

22 Vámossy Zoltán IAR Optical Flow n I x, I y és I t ismert a képből n Minden pontra egy egyenletet eredményez ez n 2 ismeretlenünk van: u, v n A megoldás valahol az egyenesen van u v

23 Vámossy Zoltán IAR Optical Flow u v. d p Legyen ( u’, v’ ) a valódi folyam n A valódi optikai folyamnak két komponense van: –Normál irányban: d iránya –Párhuzamos irányban: p iránya n A normál folyam meghatározható (gradiens irányú komponens) n A párhuzamos (p) NEM

24 Vámossy Zoltán IAR Apertúra probléma n Miként jelenik meg a képen, hogy csak normális irányú mozgást érzékelünk?

25 Vámossy Zoltán IAR Apertúra probléma n Félreérthetőség

26 Vámossy Zoltán IAR Apertúra probléma

27 Vámossy Zoltán IAR Megoldási technikák n Horn & Schunck –Konstans intenzitás + simasági feltétel n Schunck –Általános folyam n Lukas & Kanade –Konstans intenzitás n …

28 Vámossy Zoltán IAR Horn & Schunck n Definiáljuk a következő energia függvényt és minimalizáljuk (fényesség konstans + kis mozgások) n Az ismeretlen u és v szerint differenciálva Laplace u Laplace v

29 Vámossy Zoltán IAR Horn & Schunck n Az optikai folyam simasági feltételének Laplace kifejezése –Egy megoldást kereshetünk a következő alakban:  2 u=u-u avg,  2 v=v-v avg. ahol u avg négy szomszédos pixelen számolt átlag n Átrendezve az egyenleteket 2 egyenlet 2 ismeretlennel Fejezzük ki v-t u-val Helyettesítsük be a másik egyenletbe

30 Vámossy Zoltán IAR Horn & Schunck n Iterációs módszerrel határozzuk meg u és v értékét –Kiszámoljuk a deriváltakat előre –Kezdetben tegyük fel, hogy u és v = 0 –Számoljuk u avg és v avg értékét a szomszédokból az iteráció során Megjegyzés: lambda

31 Vámossy Zoltán IAR Schunck módszere n Ha két szomszédos pixel ugyanazzal a sebességgel mozog –A hozzátartozó folyamegyenlet megoldásai egy pontban metszik egymást az (u,v) térben –Határozzuk meg a metszéspontot –A több szomszéd (Schunck 8-at használ) általában nem egy pontot, hanem egy halmazt (klasztert) határoz meg –A legnagyobb ilyen halmaz meghatározza a sebességet u v

32 Vámossy Zoltán IAR Lucas & Kanade módszer n Hasonló az egyenes illesztéses módszerhez –Ez is egy energia-kifejezést definiál és a minimumát keresi A deriváltja tehát 0

33 Vámossy Zoltán IAR Lucas & Kanade 1

34 Vámossy Zoltán IAR Lucas & Kanade 2

35 Vámossy Zoltán IAR Fontos megjegyzések n A Horn-Schunck és a Lucas-Kanade optical flow módszer csak kis mozgásokra működik n Ha az objektum gyorsan mozog, akkor a fényessége (intenzitása) gyorsan változik, és a derivált értékek nem jól közelítik a térbeli és az időbeli deriváltakat n Homogén részeknél nem alkalmazható (gradiens!), textúra is gond lehet n A piramis technika alkalmazható nagyobb mozgások esetén

36 Vámossy Zoltán IAR Optical flow piramis módszerrel I t kép Gauss piramisaI t+1 kép Gaussi piramisa image I t+1 image I t u=10 pixel u=5 pixel u=2.5 pixel u=1.25 pixel

37 Vámossy Zoltán IAR OF - nagy mozgás: hiba!

38 Vámossy Zoltán IAR OF piramis módszerrel - nagy mozgás

39 Vámossy Zoltán IAR

40 Vámossy Zoltán IAR

41 Vámossy Zoltán IAR


Letölteni ppt "Vámossy Zoltán 2004 (Mubarak Shah, Gonzales-Woods anyagai alapján) Optical Flow."

Hasonló előadás


Google Hirdetések