Vajta: Képfeldolgozás és megjelenítés 2015 tavasz Ipari képfeldolgozás és képmegjelenítés Műszaki Informatika szak BSc Gépi Látás Mechatronika szak MSc 6. hét Vajta: Képfeldolgozás és megjelenítés 2015 tavasz Vajta: Képfeldolgozás és megjelenítés 2014 tavasz

A tér érzékelése Szemmozgásból származó Látásból származó Binokuláris térérzékelés Monokuláris térérzékelés Lineáris perspektíva Relatív nagyság Relatív magasság Textúragradiens Takarás Levegőperspektíva Mozgásparallaxis Shape from shading (Egyéb források) Hallás stb.

Szemmozgás Szemmozgásból származó távolságérzet Akkomodáció: a szemlencse vastagságának változása Konvergencia: a két szemtengely által bezárt szög változása

Binokuláris látás

Lineáris perspektíva

Relatív nagyság

Relatív magasság

Textrúragradiens

Takarás

Levegőperspektíva

Mozgásparallaxis

Shape from shading

A tér érzékelése a gépi látásban(?) Szemmozgásból származó Látásból származó Binokuláris térérzékelés Monokuláris térérzékelés Lineáris perspektíva Relatív nagyság Relatív magasság Textúragradiens Takarás Levegőperspektíva Mozgásparallaxis Shape from shading

A tér érzékelése a gépi látásban(!) Szemmozgásból származó Látásból származó Binokuláris térérzékelés Monokuláris térérzékelés Lineáris perspektíva Relatív nagyság Relatív magasság Textúragradiens Takarás Levegőperspektíva Mozgásparallaxis Shape from shading

Sztereo érzékelés (Stereo vision) Vajta: Képfeldolgozás és megjelenítés 2014 tavasz

A sztereo érzékelés célja A perspektív leképzés során a közvetlen távolságinformáció elveszik Egy objektumról különböző látószögből készített képek segítségével ez a távolságinformáció visszanyerhető A sztereo érzékelés fő célja 3D struktúra felépítése két (vagy több) különböző nézőpontból készített képből Bal kép Jobb kép Távolságkép Forrás: http://axon.physik.uni-bremen.de/research/stereo/

Példák

Példák

Példák

Példák

Példák

Példák

Példák

Példák

Példák

Binokuláris diszparitás A két képen ugyanaz a térbeli pont máshová vetül  binokuláris diszparitás A két pont távolságának ismeretében következtethetünk annak térbeli helyzetére x1 x2

Perspektív transzformáció z,Z (X, Y, Z) Kameratengely Képsík y,Y f (x, y) x,X O A távolságinformáció elvesztése!!!

Sztereo geometria Párhuzamos kameratengelyek z1 (X, Y, Z) z2 y1 f b (x2, y2) z1 x1 y1 y2 x2 z2 Párhuzamos kameratengelyek

Sztereo geometria Leképzés az O1 koordinátarendszerben: A tengelyek párhuzamosak  Z1= Z2= Z X1 és X2 ugyanannak a térbeli pontnak az x koordinátája más koordinátarendszerből nézve O1 és O2 között egy x tengellyel párhuzamos, b értékű eltolás van  X2 = X1 – b Így a leképzési egyenletek a következőképpen alakulnak:

Sztereo geometria x1 – x2  binokuláris diszparitás A távolság kiszámításához tehát az optikai paraméterek és a binokuláris diszparitás szükséges. A távolság fordítottan arányos a binokuláris diszparitással Demonstráció

Sztereo geometria – Demo

Sztereo geometria – Demo

Sztereo geometria – Demo

Sztereo geometria – Demo

Sztereo geometria – Demo

? Továbblépés Eddigi feltételek Továbbiakban Ismertek a kamerarendszer-paraméterek Ismertek az összetartozó képpontpárok Továbbiakban A fenti feltételek kielégítése ?

Sztereo kamerarendszer paraméterei Belső (intrinsic) paraméterek Fókusztávolság Képközéppont Képarány Külső (extrinsic) paraméterek A két kamera relatív elhelyezkedése Rotációs (R) mátrix Transzlációs (T) mátrix pR P OL OR XL XR PL PR fL fR ZL YL ZR YR pL R, T

Epipoláris geometria – Alapfogalmak Epipoláris sík (epipolar plane) A vetítendő pont (P) és a projekciós középpontok (center of projection – COP) (O1 és O2) által kifeszített sík Epipoláris egyenes (epipolar lines) Az epipoláris sík és a képsíkok metszésegyenesei Epipólusok (epipoles) A projekciós középpontok képe a másik képsíkon P PL PR Epipoláris sík pL pR Epipoláris egyenesek eL eR OL OR Epipólusok

Epipoláris geometria – Epipoláris kényszer Epipoláris kényszer (epipolar constraint) Az összetartozó képpontok az egymáshoz tartozó epipoláris egyeneseken vannak ? pL pR=? OL OR

Epipoláris geometria – Levezetés P pont koordinátái az OL rendszerben: PL = (XL, YL, ZL) OR rendszerben: PR = (XR, YR, ZR) T = (OR – OL) Transzláció OR és OR között OL koordinátarendszerben R: Rotációs mátrix OR és OL között Összefüggés PL és PR között: PR = R(PL – T) | R-1 • R-1PR = (PL – T) | R-1 = RT RTPR = (PL – T) PL PR YL XL ZL ZR T fL fR eR OL OR XR R

Epipoláris geometria – Levezetés Az epipoláris sík egyenletéből (PL – T)T• (T × PL) = 0 Felhasználva, hogy RTPR = (PL – T) (RTPR)T• (T × PL) = 0 PRTR• (T × PL) = 0 A vektorszorzás tulajdonságát felhasználva: T × PL = S • PL PRTRSPL = 0 PL PR PL – T T × PL YR YL XL ZL ZR T fL fR eL eR OL OR XR R

Essential matrix PRT RS PL = 0 E = RS  Essential matrix PRT E PL = 0 P pont projekciói az OL rendszerben: OR rendszerben: pRT E pL = 0 PL PR pL pR YR YL XL ZL ZR T fL fR eL eR OL OR XR R

Essential matrix pRT E pL = 0 Essential matrix: E = RS Egy meghatározott pont és a másik képsík epipoláris egyenese között ad összefüggést Kapcsolat a sztereo pontpár és a sztereo kamerarendszer extrinsic paraméterei között Megjegyzés: pL, pR a kamera koordinátarendszerében vannak értelmezve, nem pedig pixel-koordinátákban (amelyet valójában mérni tudunk)  Az intrinsic paramétereket is figyelembe kell venni

Fundamental matrix Kamera koordinátarendszerből pixel koordinátarendszerbe Fókusztávolság Képközéppont M transzformációs mátrix: Kamera  Pixel (áttértünk homogén koordinátákra) Pixelkoordináták Fundamental matrix

Fundamental matrix rang(F) = 2 Az intrinsic és az extrinsic paramétereket is magában foglalja A korrelációs számítás a kamerarendszer paramétereinek ismerete nélkül is kivitelezhető Lineáris egyenlet kilenc ismeretlennel  Nyolc-pont algoritmus

Rektifikálás Képek kiegyenesítése torzítás segítségével Rektifikálás pR P OL OR PL PR eL eR pL XL XR fL fR ZL YL ZR YR Rektifikálás

Rektifikálás Rektifikálás Sztereo kamerarendszer párhuzamos optikai tengelyekkel Epipólusok a végtelenben Vízszintes epipoláris egyenesek A két kameraképen az összetartozó pixeleknek ugyanaz az y koordinátája (xL, y) OL f OR (X, Y, Z) b (xR, y) XL YL ZL ZR XR YR

Rektifikálás Képek kiegyenesítése torzítás segítségével Cél Előnyök Sztereo képek áttranszformálása általános sztereo kamerarendszerből párhuzamos tengelyű sztereo kamerarendszerbe Előnyök Egy pixel párját a másik képen ugyanabban a magasságban egy vízszintes egyenes mentén kell keresni Forgatások és skálázás segítségével történik Képtranszformációkkal (torzításokkal) valósíthatók meg

Rektifikálás – Példák

Rektifikálás – Példák http://profs.sci.univr.it/~fusiello/rectif_cvol/node6.html

Rektifikálás – Példák http://profs.sci.univr.it/~fusiello/rectif_cvol/node6.html

Epipoláris geometria – Összefoglalás Célja, feladata Az összetartozó pixelek felderítésének megkönnyítése A sztereo kamerarendszer kalibrációja Ismert intrinsic és extrensic paraméterek Epipoláris egyenes egyenlete Ismert intrinsic, de ismeretlen extrensic paraméterek Essential matrix Ismeretlen intrinsic és extrensic paraméterek Fundamental matrix Rektifikáció

Megfeleltetés problémája Correspondence problem Az összetartozó képpontok megtalálása ?

Epipoláris egyenes felhasználása Már tudjuk, hogy hol keressük a pontpárokat  epipoláris egyenes Nehézségek: Azonosság helyett hasonlóság Bizonyos részletek csupán az egyik képen láthatók ?

Korrelációs módszerek A két kép egyes régiói között keresi meg a legjobb illeszkedést BAL KÉP (xL, yL)

Korrelációs módszerek Minden (xL, yL) ponthoz a bal képen hozzárendelünk egy régiót, amelynek a középpontjában az adott pont van BAL KÉP (xL, yL)

Korrelációs módszerek A jobb kép keresési sávjában minden ponthoz tartozó régiót összevetünk az eredeti régióval JOBB KÉP

Korrelációs módszerek A jobb kép keresési sávjában minden ponthoz tartozó régiót összevetjük az eredeti régióval JOBB KÉP 1.54

Korrelációs módszerek A jobb kép keresési sávjában minden ponthoz tartozó régiót összevetjük az eredeti régióval JOBB KÉP 1.54 1.14

Korrelációs módszerek A jobb kép keresési sávjában minden ponthoz tartozó régiót összevetjük az eredeti régióval JOBB KÉP 1.54 1.14 9.96

Korrelációs módszerek A jobb kép keresési sávjában minden ponthoz tartozó régiót összevetjük az eredeti régióval JOBB KÉP 1.54 1.14 9.96 5.25

Korrelációs módszerek A legjobban illeszkedő régióhoz tartozó pont lesz a bal képpont párja JOBB KÉP 1.54 1.14 9.96 5.25

Korrelációs módszerek Előnyök Könnyű implementálás Teljes távolságkép Hátrányok Jól textúrázott képeken működik megfelelően Problémák a nagyon különböző nézőpontból készített képek esetén a megvilágításbeli különbségek miatt Egy korrelációs ablak nagyon különböző diszparitású pontokat tartalmazhat Lassú kiértékelési sebesség

Jellemzőkre épülő módszerek Feature-base approach Jellemzők Sarokpontok Élek Formák … Módszer alapelvei Jellemzők megkeresése a sztereoképeken Hasonlósági mérték definiálása Epipoláris geometria felhasználásával párok keresése

Példa LEFT IMAGE corner line structure

Példa RIGHT IMAGE corner line structure

Jellemzőkre épülő módszerek Előnyök Viszonylag érzéketlen a megvilágítás megváltozására Mesterséges környezetben (éles határok, vonalak) remekül működik Gyorsabb lehet, mint a korrelációs módszerek Hátrányok Gyengén textúrázott környezetben nem működik Ritka távolságkép Nehéz a jellemzők kinyerése és összehasonlítása

Mozgásparallaxis (Motion stereo) Vajta: Képfeldolgozás és megjelenítés 2014 tavasz

Mozgásalapú sztereo z (X, Y, Z) R Kameratengely y2 r2 x2 Képsík y1 f b D r2 r1

Mozgásalapú sztereo Így a mért távolság kifejezhető: (X, Y, Z) R y2 Így a mért távolság kifejezhető: Ha a bázistávolság b = Z2 – Z1 és b << Z1, Z2, akkor Az ábrából kiolvasható, hogy Így: r2 x2 y1 r1 b f x1 D r2 O r1

Bevezetés az optical flow számításba Vajta: Képfeldolgozás és megjelenítés 2014 tavasz

Független feldolgozás

Folyamatában történő feldolgozás

Mozgás Ha folyamatában nézzük a képeket  többletinformáció nyerhető ki  a mozgás A mozgás rengeteg információt hordoz magában Az élőlények látása Térérzet (motion parallax) Sebesség érzékelés (veszélyek felismerése) Mozgó objektum elkülönítése (objektumszegmentálás) … Érdemes átemelni a számítógépes látásba is ezt a tudást

Egy korábbi példa

A mozgás mesterséges ábrázolása

A mozgás mesterséges ábrázolása

Az optical flow definíciója Képpontokhoz vektor hozzárendelése  hogyan jutunk el a következő képkockához Vektormező  optical flow (mező) (Igazából nem elmozdulás, hanem sebességmező)

Egy másik példa

A feladat összefoglalása Bemenet: két, egymást követő képkocka Kimenet: optical flow mező Optical flow számítások t. képkocka Optical flow mező t+1. képkocka

Elmozdulás-számítás Hogyan lehet egy pixel elmozdulását kiszámítani? A t. képen egy pixel párját megkeressük t+1. képen A különbségük lesz az elmozdulás Összetartozó pixelek: ugyanannak a térbeli pontnak a két projekciója Hogyan lehet az összetartozó pixeleket megtalálni?

Állandó intenzitás leírása 1. Feltételezés: az összetartozó képpontok intenzitása (közel) állandó Egyetlen mozgó pont helyzete x(t), y(t)  a t. időpillanatban a pont koordinátái A képszekvencia leírása: E(x, y, t)  a t. időpillanatban az (x, y) pixel intenzitását adja meg A mozgó pont intenzitása a t. időpillanatban: x = x(t), y = y(t) E(x(t), y(t), t)

Állandó intenzitás leírása 2. A mozgó pont intenzitása állandó: A fenti egyenlet(ek) kifejtéséből adódik az optical flow korlátozás egyenlete:

Az optical flow korlátozás Gradiens vektor x komponense Gradiens vektor y komponense Kép időbeli változása x irányú sebesség y irányú sebesség Egyszerűsített alakok:

Geometriai értelmezés t. időpillanatban az (x, y) pont körüli területet egy olyan 3D felülettel lehet jellemezni, amelynek a meredeksége x irányban Ex, y irányban Ey Ha a felszín a t+1. időpillanatig (u, v)-t mozdul el, akkor a fényesség változása (Et) az (x, y) pontban –(Exu + Eyv) E E(x0, t) E(t+1) Ex u Et E(t) E(x0, t+1) x x0

Problémák Két ismeretlen (u, v), de csak egy egyenlet  nincs egyértelmű megoldás Csak a gradiens vektorral párhuzamos irányú elmozdulást lehet kiszámítani t t+1 ?

Apertúra probléma Bizonyos esetekben csak a gradiens vektorral párhuzamos irányú elmozdulás lehet mérni Mozgatás iránya (valós irány) Optical flow (mért irány)

Az optical flow korlátozás kiegészítése Szinte minden módszer alapját – közvetlenül, vagy közvetetten az optical flow korlátozás adja Különbségek  hogyan egészítik ki a hiányos egyenletet, hogy egyértelmű legyen a megoldás Különböző típusú technikák Differenciális módszerek Korrelációs technikák Frekvenciára épülő módszerek