Vajta: Képfeldolgozás és megjelenítés 2015 tavasz

Az előadások a következő témára: "Vajta: Képfeldolgozás és megjelenítés 2015 tavasz"— Előadás másolata:

1 Vajta: Képfeldolgozás és megjelenítés 2015 tavasz
Ipari képfeldolgozás és képmegjelenítés Műszaki Informatika szak BSc Gépi Látás Mechatronika szak MSc 6. hét Vajta: Képfeldolgozás és megjelenítés 2015 tavasz Vajta: Képfeldolgozás és megjelenítés 2014 tavasz

2 A tér érzékelése Szemmozgásból származó Látásból származó
Binokuláris térérzékelés Monokuláris térérzékelés Lineáris perspektíva Relatív nagyság Relatív magasság Textúragradiens Takarás Levegőperspektíva Mozgásparallaxis Shape from shading (Egyéb források) Hallás stb.

3 Szemmozgás Szemmozgásból származó távolságérzet
Akkomodáció: a szemlencse vastagságának változása Konvergencia: a két szemtengely által bezárt szög változása

4 Binokuláris látás

5 Lineáris perspektíva

6 Relatív nagyság

7 Relatív magasság

8 Textrúragradiens

9 Takarás

10 Levegőperspektíva

11 Mozgásparallaxis

12 Shape from shading

13 A tér érzékelése a gépi látásban(?)
Szemmozgásból származó Látásból származó Binokuláris térérzékelés Monokuláris térérzékelés Lineáris perspektíva Relatív nagyság Relatív magasság Textúragradiens Takarás Levegőperspektíva Mozgásparallaxis Shape from shading

14 A tér érzékelése a gépi látásban(!)
Szemmozgásból származó Látásból származó Binokuláris térérzékelés Monokuláris térérzékelés Lineáris perspektíva Relatív nagyság Relatív magasság Textúragradiens Takarás Levegőperspektíva Mozgásparallaxis Shape from shading

15 Sztereo érzékelés (Stereo vision)
Vajta: Képfeldolgozás és megjelenítés 2014 tavasz

16 A sztereo érzékelés célja
A perspektív leképzés során a közvetlen távolságinformáció elveszik Egy objektumról különböző látószögből készített képek segítségével ez a távolságinformáció visszanyerhető A sztereo érzékelés fő célja 3D struktúra felépítése két (vagy több) különböző nézőpontból készített képből Bal kép Jobb kép Távolságkép Forrás:

17 Példák

18 Példák

19 Példák

20 Példák

21 Példák

22 Példák

23 Példák

24 Példák

25 Példák

26 Binokuláris diszparitás
A két képen ugyanaz a térbeli pont máshová vetül  binokuláris diszparitás A két pont távolságának ismeretében következtethetünk annak térbeli helyzetére x1 x2

27 Perspektív transzformáció
z,Z (X, Y, Z) Kameratengely Képsík y,Y f (x, y) x,X O A távolságinformáció elvesztése!!!

28 Sztereo geometria Párhuzamos kameratengelyek z1 (X, Y, Z) z2 y1 f
b (x2, y2) z1 x1 y1 y2 x2 z2 Párhuzamos kameratengelyek

29 Sztereo geometria Leképzés az O1 koordinátarendszerben:
A tengelyek párhuzamosak  Z1= Z2= Z X1 és X2 ugyanannak a térbeli pontnak az x koordinátája más koordinátarendszerből nézve O1 és O2 között egy x tengellyel párhuzamos, b értékű eltolás van  X2 = X1 – b Így a leképzési egyenletek a következőképpen alakulnak:

30 Sztereo geometria x1 – x2  binokuláris diszparitás
A távolság kiszámításához tehát az optikai paraméterek és a binokuláris diszparitás szükséges. A távolság fordítottan arányos a binokuláris diszparitással Demonstráció

31 Sztereo geometria – Demo

32 Sztereo geometria – Demo

33 Sztereo geometria – Demo

34 Sztereo geometria – Demo

35 Sztereo geometria – Demo

36 ? Továbblépés Eddigi feltételek Továbbiakban
Ismertek a kamerarendszer-paraméterek Ismertek az összetartozó képpontpárok Továbbiakban A fenti feltételek kielégítése ?

37 Sztereo kamerarendszer paraméterei
Belső (intrinsic) paraméterek Fókusztávolság Képközéppont Képarány Külső (extrinsic) paraméterek A két kamera relatív elhelyezkedése Rotációs (R) mátrix Transzlációs (T) mátrix pR P OL OR XL XR PL PR fL fR ZL YL ZR YR pL R, T

38 Epipoláris geometria – Alapfogalmak
Epipoláris sík (epipolar plane) A vetítendő pont (P) és a projekciós középpontok (center of projection – COP) (O1 és O2) által kifeszített sík Epipoláris egyenes (epipolar lines) Az epipoláris sík és a képsíkok metszésegyenesei Epipólusok (epipoles) A projekciós középpontok képe a másik képsíkon P PL PR Epipoláris sík pL pR Epipoláris egyenesek eL eR OL OR Epipólusok

39 Epipoláris geometria – Epipoláris kényszer
Epipoláris kényszer (epipolar constraint) Az összetartozó képpontok az egymáshoz tartozó epipoláris egyeneseken vannak ? pL pR=? OL OR

40 Epipoláris geometria – Levezetés
P pont koordinátái az OL rendszerben: PL = (XL, YL, ZL) OR rendszerben: PR = (XR, YR, ZR) T = (OR – OL) Transzláció OR és OR között OL koordinátarendszerben R: Rotációs mátrix OR és OL között Összefüggés PL és PR között: PR = R(PL – T) | R-1 • R-1PR = (PL – T) | R-1 = RT RTPR = (PL – T) PL PR YL XL ZL ZR T fL fR eR OL OR XR R

41 Epipoláris geometria – Levezetés
Az epipoláris sík egyenletéből (PL – T)T• (T × PL) = 0 Felhasználva, hogy RTPR = (PL – T) (RTPR)T• (T × PL) = 0 PRTR• (T × PL) = 0 A vektorszorzás tulajdonságát felhasználva: T × PL = S • PL PRTRSPL = 0 PL PR PL – T T × PL YR YL XL ZL ZR T fL fR eL eR OL OR XR R

42 Essential matrix PRT RS PL = 0 E = RS  Essential matrix PRT E PL = 0
P pont projekciói az OL rendszerben: OR rendszerben: pRT E pL = 0 PL PR pL pR YR YL XL ZL ZR T fL fR eL eR OL OR XR R

43 Essential matrix pRT E pL = 0 Essential matrix: E = RS
Egy meghatározott pont és a másik képsík epipoláris egyenese között ad összefüggést Kapcsolat a sztereo pontpár és a sztereo kamerarendszer extrinsic paraméterei között Megjegyzés: pL, pR a kamera koordinátarendszerében vannak értelmezve, nem pedig pixel-koordinátákban (amelyet valójában mérni tudunk)  Az intrinsic paramétereket is figyelembe kell venni

44 Fundamental matrix Kamera koordinátarendszerből pixel koordinátarendszerbe Fókusztávolság Képközéppont M transzformációs mátrix: Kamera  Pixel (áttértünk homogén koordinátákra) Pixelkoordináták Fundamental matrix

45 Fundamental matrix rang(F) = 2
Az intrinsic és az extrinsic paramétereket is magában foglalja A korrelációs számítás a kamerarendszer paramétereinek ismerete nélkül is kivitelezhető Lineáris egyenlet kilenc ismeretlennel  Nyolc-pont algoritmus

46 Rektifikálás Képek kiegyenesítése torzítás segítségével Rektifikálás
pR P OL OR PL PR eL eR pL XL XR fL fR ZL YL ZR YR Rektifikálás

47 Rektifikálás Rektifikálás
Sztereo kamerarendszer párhuzamos optikai tengelyekkel Epipólusok a végtelenben Vízszintes epipoláris egyenesek A két kameraképen az összetartozó pixeleknek ugyanaz az y koordinátája (xL, y) OL f OR (X, Y, Z) b (xR, y) XL YL ZL ZR XR YR

48 Rektifikálás Képek kiegyenesítése torzítás segítségével Cél Előnyök
Sztereo képek áttranszformálása általános sztereo kamerarendszerből párhuzamos tengelyű sztereo kamerarendszerbe Előnyök Egy pixel párját a másik képen ugyanabban a magasságban egy vízszintes egyenes mentén kell keresni Forgatások és skálázás segítségével történik Képtranszformációkkal (torzításokkal) valósíthatók meg

49 Rektifikálás – Példák

50 Rektifikálás – Példák

51 Rektifikálás – Példák

52 Epipoláris geometria – Összefoglalás
Célja, feladata Az összetartozó pixelek felderítésének megkönnyítése A sztereo kamerarendszer kalibrációja Ismert intrinsic és extrensic paraméterek Epipoláris egyenes egyenlete Ismert intrinsic, de ismeretlen extrensic paraméterek Essential matrix Ismeretlen intrinsic és extrensic paraméterek Fundamental matrix Rektifikáció

53 Megfeleltetés problémája
Correspondence problem Az összetartozó képpontok megtalálása ?

54 Epipoláris egyenes felhasználása
Már tudjuk, hogy hol keressük a pontpárokat  epipoláris egyenes Nehézségek: Azonosság helyett hasonlóság Bizonyos részletek csupán az egyik képen láthatók ?

55 Korrelációs módszerek
A két kép egyes régiói között keresi meg a legjobb illeszkedést BAL KÉP (xL, yL)

56 Korrelációs módszerek
Minden (xL, yL) ponthoz a bal képen hozzárendelünk egy régiót, amelynek a középpontjában az adott pont van BAL KÉP (xL, yL)

57 Korrelációs módszerek
A jobb kép keresési sávjában minden ponthoz tartozó régiót összevetünk az eredeti régióval JOBB KÉP

58 Korrelációs módszerek
A jobb kép keresési sávjában minden ponthoz tartozó régiót összevetjük az eredeti régióval JOBB KÉP 1.54

59 Korrelációs módszerek
A jobb kép keresési sávjában minden ponthoz tartozó régiót összevetjük az eredeti régióval JOBB KÉP 1.54 1.14

60 Korrelációs módszerek
A jobb kép keresési sávjában minden ponthoz tartozó régiót összevetjük az eredeti régióval JOBB KÉP 1.54 1.14 9.96

61 Korrelációs módszerek
A jobb kép keresési sávjában minden ponthoz tartozó régiót összevetjük az eredeti régióval JOBB KÉP 1.54 1.14 9.96 5.25

62 Korrelációs módszerek
A legjobban illeszkedő régióhoz tartozó pont lesz a bal képpont párja JOBB KÉP 1.54 1.14 9.96 5.25

63 Korrelációs módszerek
Előnyök Könnyű implementálás Teljes távolságkép Hátrányok Jól textúrázott képeken működik megfelelően Problémák a nagyon különböző nézőpontból készített képek esetén a megvilágításbeli különbségek miatt Egy korrelációs ablak nagyon különböző diszparitású pontokat tartalmazhat Lassú kiértékelési sebesség

64 Jellemzőkre épülő módszerek
Feature-base approach Jellemzők Sarokpontok Élek Formák … Módszer alapelvei Jellemzők megkeresése a sztereoképeken Hasonlósági mérték definiálása Epipoláris geometria felhasználásával párok keresése

65 Példa LEFT IMAGE corner line structure

66 Példa RIGHT IMAGE corner line structure

67 Jellemzőkre épülő módszerek
Előnyök Viszonylag érzéketlen a megvilágítás megváltozására Mesterséges környezetben (éles határok, vonalak) remekül működik Gyorsabb lehet, mint a korrelációs módszerek Hátrányok Gyengén textúrázott környezetben nem működik Ritka távolságkép Nehéz a jellemzők kinyerése és összehasonlítása

68 Mozgásparallaxis (Motion stereo)
Vajta: Képfeldolgozás és megjelenítés 2014 tavasz

69 Mozgásalapú sztereo z (X, Y, Z) R Kameratengely y2 r2 x2 Képsík y1 f b
D r2 r1

70 Mozgásalapú sztereo Így a mért távolság kifejezhető:
(X, Y, Z) R y2 Így a mért távolság kifejezhető: Ha a bázistávolság b = Z2 – Z1 és b << Z1, Z2, akkor Az ábrából kiolvasható, hogy Így: r2 x2 y1 r1 b f x1 D r2 O r1

71 Bevezetés az optical flow számításba
Vajta: Képfeldolgozás és megjelenítés 2014 tavasz

72 Független feldolgozás

73 Folyamatában történő feldolgozás

74 Mozgás Ha folyamatában nézzük a képeket  többletinformáció nyerhető ki  a mozgás A mozgás rengeteg információt hordoz magában Az élőlények látása Térérzet (motion parallax) Sebesség érzékelés (veszélyek felismerése) Mozgó objektum elkülönítése (objektumszegmentálás) … Érdemes átemelni a számítógépes látásba is ezt a tudást

75 Egy korábbi példa

76 A mozgás mesterséges ábrázolása

77 A mozgás mesterséges ábrázolása

78 Az optical flow definíciója
Képpontokhoz vektor hozzárendelése  hogyan jutunk el a következő képkockához Vektormező  optical flow (mező) (Igazából nem elmozdulás, hanem sebességmező)

79 Egy másik példa

80 A feladat összefoglalása
Bemenet: két, egymást követő képkocka Kimenet: optical flow mező Optical flow számítások t. képkocka Optical flow mező t+1. képkocka

81 Elmozdulás-számítás Hogyan lehet egy pixel elmozdulását kiszámítani?
A t. képen egy pixel párját megkeressük t+1. képen A különbségük lesz az elmozdulás Összetartozó pixelek: ugyanannak a térbeli pontnak a két projekciója Hogyan lehet az összetartozó pixeleket megtalálni?

82 Állandó intenzitás leírása 1.
Feltételezés: az összetartozó képpontok intenzitása (közel) állandó Egyetlen mozgó pont helyzete x(t), y(t)  a t. időpillanatban a pont koordinátái A képszekvencia leírása: E(x, y, t)  a t. időpillanatban az (x, y) pixel intenzitását adja meg A mozgó pont intenzitása a t. időpillanatban: x = x(t), y = y(t) E(x(t), y(t), t)

83 Állandó intenzitás leírása 2.
A mozgó pont intenzitása állandó: A fenti egyenlet(ek) kifejtéséből adódik az optical flow korlátozás egyenlete:

84 Az optical flow korlátozás
Gradiens vektor x komponense Gradiens vektor y komponense Kép időbeli változása x irányú sebesség y irányú sebesség Egyszerűsített alakok:

85 Geometriai értelmezés
t. időpillanatban az (x, y) pont körüli területet egy olyan 3D felülettel lehet jellemezni, amelynek a meredeksége x irányban Ex, y irányban Ey Ha a felszín a t+1. időpillanatig (u, v)-t mozdul el, akkor a fényesség változása (Et) az (x, y) pontban –(Exu + Eyv) E E(x0, t) E(t+1) Ex u Et E(t) E(x0, t+1) x x0

86 Problémák Két ismeretlen (u, v), de csak egy egyenlet  nincs egyértelmű megoldás Csak a gradiens vektorral párhuzamos irányú elmozdulást lehet kiszámítani t t+1 ?

87 Apertúra probléma Bizonyos esetekben csak a gradiens vektorral párhuzamos irányú elmozdulás lehet mérni Mozgatás iránya (valós irány) Optical flow (mért irány)

88 Az optical flow korlátozás kiegészítése
Szinte minden módszer alapját – közvetlenül, vagy közvetetten az optical flow korlátozás adja Különbségek  hogyan egészítik ki a hiányos egyenletet, hogy egyértelmű legyen a megoldás Különböző típusú technikák Differenciális módszerek Korrelációs technikák Frekvenciára épülő módszerek