Az előadás letöltése folymat van. Kérjük, várjon

Az előadás letöltése folymat van. Kérjük, várjon

Ipari képfeldolgozás és képmegjelenítés Műszaki Informatika szak BSc Gépi Látás Mechatronika szak MSc 6. hét Vajta: Képfeldolgozás és megjelenítés 2015.

Hasonló előadás


Az előadások a következő témára: "Ipari képfeldolgozás és képmegjelenítés Műszaki Informatika szak BSc Gépi Látás Mechatronika szak MSc 6. hét Vajta: Képfeldolgozás és megjelenítés 2015."— Előadás másolata:

1 Ipari képfeldolgozás és képmegjelenítés Műszaki Informatika szak BSc Gépi Látás Mechatronika szak MSc 6. hét Vajta: Képfeldolgozás és megjelenítés 2015 tavasz Vajta: Képfeldolgozás és megjelenítés 2014 tavasz

2 A tér érzékelése ► Szemmozgásból származó ► Látásból származó  Binokuláris térérzékelés  Monokuláris térérzékelés ► Lineáris perspektíva ► Relatív nagyság ► Relatív magasság ► Textúragradiens ► Takarás ► Levegőperspektíva ► Mozgásparallaxis ► Shape from shading ► (Egyéb források)  Hallás stb.

3 Szemmozgás ► Szemmozgásból származó távolságérzet  Akkomodáció: a szemlencse vastagságának változása  Konvergencia: a két szemtengely által bezárt szög változása

4 Binokuláris látás

5 Lineáris perspektíva

6 Relatív nagyság

7 Relatív magasság

8 Textrúragradiens

9 Takarás

10 Levegőperspektíva

11 Mozgásparallaxis

12 Shape from shading

13 A tér érzékelése a gépi látásban(?) ► Szemmozgásból származó ► Látásból származó  Binokuláris térérzékelés  Monokuláris térérzékelés ► Lineáris perspektíva ► Relatív nagyság ► Relatív magasság ► Textúragradiens ► Takarás ► Levegőperspektíva ► Mozgásparallaxis ► Shape from shading

14 A tér érzékelése a gépi látásban(!) ► Szemmozgásból származó ► Látásból származó  Binokuláris térérzékelés  Monokuláris térérzékelés ► Lineáris perspektíva ► Relatív nagyság ► Relatív magasság ► Textúragradiens ► Takarás ► Levegőperspektíva ► Mozgásparallaxis ► Shape from shading

15 Sztereo érzékelés (Stereo vision) Vajta: Képfeldolgozás és megjelenítés 2014 tavasz

16 A sztereo érzékelés célja ► A perspektív leképzés során a közvetlen távolságinformáció elveszik ► Egy objektumról különböző látószögből készített képek segítségével ez a távolságinformáció visszanyerhető ► A sztereo érzékelés fő célja  3D struktúra felépítése két (vagy több) különböző nézőpontból készített képből Bal kép Jobb kép Távolságkép Forrás:

17 Példák

18 Példák

19 Példák

20 Példák

21 Példák

22 Példák

23 Példák

24 Példák

25 Példák

26 Binokuláris diszparitás ► A két képen ugyanaz a térbeli pont máshová vetül  binokuláris diszparitás ► A két pont távolságának ismeretében következtethetünk annak térbeli helyzetére x1x1x1x1 x2x2x2x2

27 Perspektív transzformáció (x, y) (X, Y, Z) O x,X y,Y z,Z f A távolságinformáció elvesztése!!! Képsík Kameratengely

28 Sztereo geometria ► Párhuzamos kameratengelyek (x 1, y 1 ) O1O1O1O1 f O2O2O2O2 (X, Y, Z) b (x 2, y 2 ) z1z1z1z1 x1x1x1x1 y1y1y1y1 y2y2y2y2 x2x2x2x2 z2z2z2z2

29 Sztereo geometria ► Leképzés az O 1 koordinátarendszerben: ► Leképzés az O 2 koordinátarendszerben: ► A tengelyek párhuzamosak  Z 1 = Z 2 = Z ► X 1 és X 2 ugyanannak a térbeli pontnak az x koordinátája más koordinátarendszerből nézve ► O 1 és O 2 között egy x tengellyel párhuzamos, b értékű eltolás van  X 2 = X 1 – b ► Így a leképzési egyenletek a következőképpen alakulnak:

30 Sztereo geometria ► x 1 – x 2  binokuláris diszparitás ► A távolság kiszámításához tehát  az optikai paraméterek és  a binokuláris diszparitás szükséges. ► A távolság fordítottan arányos a binokuláris diszparitással ► Demonstráció

31 Sztereo geometria – Demo

32

33

34

35

36 Továbblépés ► Eddigi feltételek  Ismertek a kamerarendszer-paraméterek  Ismertek az összetartozó képpontpárok ► Továbbiakban  A fenti feltételek kielégítése ?

37 Sztereo kamerarendszer paraméterei ► Belső (intrinsic) paraméterek  Fókusztávolság  Képközéppont  Képarány ► Külső (extrinsic) paraméterek  A két kamera relatív elhelyezkedése  Rotációs (R) mátrix  Transzlációs (T) mátrix pRpRpRpRP OLOLOLOL OROROROR XLXLXLXL XRXRXRXR PLPLPLPL PRPRPRPR fLfLfLfL fRfRfRfR ZLZLZLZL YLYLYLYL ZRZRZRZR YRYRYRYR pLpLpLpL R, T

38 Epipoláris geometria – Alapfogalmak pRpRpRpR P OLOLOLOL OROROROR PLPLPLPL PRPRPRPR eLeLeLeL eReReReR pLpLpLpL Epipoláris sík Epipolárisegyenesek Epipólusok ► Epipoláris sík (epipolar plane)  A vetítendő pont (P) és a projekciós középpontok (center of projection – COP) (O és O 2 ) által kifeszített sík  A vetítendő pont (P) és a projekciós középpontok (center of projection – COP) (O 1 és O 2 ) által kifeszített sík ► Epipoláris egyenes (epipolar lines)  Az epipoláris sík és a képsíkok metszésegyenesei ► Epipólusok (epipoles)  A projekciós középpontok képe a másik képsíkon

39 Epipoláris geometria – Epipoláris kényszer ► Epipoláris kényszer (epipolar constraint)  Az összetartozó képpontok az egymáshoz tartozó epipoláris egyeneseken vannak OLOLOLOL OROROROR pLpLpLpL p R =? ?

40 Epipoláris geometria – Levezetés ► P pont koordinátái az  O L rendszerben: P L = (X L, Y L, Z L )  O R rendszerben: P R = (X R, Y R, Z R ) ► T = (O R – O L )  Transzláció O R és O R között  O L koordinátarendszerben ► R:  Rotációs mátrix O R és O L között ► Összefüggés P L és P R között:  P R = R(P L – T) | R -1  P R = R(P L – T) | R -1  R -1 P R = (P L – T) | R -1 = R T  R T P R = (P L – T) P OLOLOLOL OROROROR PLPLPLPL PRPRPRPR eReReReR XLXLXLXL XRXRXRXR fLfLfLfL fRfRfRfR ZLZLZLZL YLYLYLYL ZRZRZRZR R T

41 Epipoláris geometria – Levezetés ► Az epipoláris sík egyenletéből  (P L – T) T (T × P L ) = 0 ► Felhasználva, hogy R T P R = (P L – T)  (R T P R ) T (T × P L ) = 0  P R T R (T × P L ) = 0 ► A vektorszorzás tulajdonságát felhasználva:  T × P L = S P L P R T RSP L = 0 P R T RSP L = 0 P OLOLOLOL OROROROR PLPLPLPL PRPRPRPR eLeLeLeL eReReReR XLXLXLXL XRXRXRXR fLfLfLfL fRfRfRfR ZLZLZLZL YLYLYLYL ZRZRZRZR YRYRYRYR R T P L – T T × P L

42 Essential matrix ► P R T RS P L = 0 ► E = RS  Essential matrix ► P R T E P L = 0 ► P pont projekciói az  O L rendszerben:  O R rendszerben: p R T E p L = 0 p R T E p L = 0 pRpRpRpR P OLOLOLOL OROROROR PLPLPLPL PRPRPRPR eLeLeLeL eReReReR pLpLpLpL XLXLXLXL XRXRXRXR fLfLfLfL fRfRfRfR ZLZLZLZL YLYLYLYL ZRZRZRZR YRYRYRYR R T

43 Essential matrix ► p R T E p L = 0 ► Essential matrix: E = RS ► Egy meghatározott pont és a másik képsík epipoláris egyenese között ad összefüggést ► Kapcsolat a sztereo pontpár és a sztereo kamerarendszer extrinsic paraméterei között ► Megjegyzés:  p L, p R a kamera koordinátarendszerében vannak értelmezve, nem pedig pixel-koordinátákban (amelyet valójában mérni tudunk)  Az intrinsic paramétereket is figyelembe kell venni

44 Fundamental matrix ► Kamera koordinátarendszerből pixel koordinátarendszerbe  Fókusztávolság  Képközéppont  M transzformációs mátrix: ► Kamera  Pixel (áttértünk homogén koordinátákra) Pixelkoordináták Fundamental matrix

45 ► ► rang(F) = 2 ► Az intrinsic és az extrinsic paramétereket is magában foglalja ► A korrelációs számítás a kamerarendszer paramétereinek ismerete nélkül is kivitelezhető ► Lineáris egyenlet kilenc ismeretlennel  Nyolc-pont algoritmus

46 Rektifikálás ► Képek kiegyenesítése torzítás segítségével pRpRpRpRP OLOLOLOL OROROROR PLPLPLPL PRPRPRPR eLeLeLeL eReReReR pLpLpLpL XLXLXLXL XRXRXRXR fLfLfLfL fRfRfRfR ZLZLZLZL YLYLYLYL ZRZRZRZR YRYRYRYR Rektifikálás

47 Rektifikálás ► Sztereo kamerarendszer párhuzamos optikai tengelyekkel  Epipólusok a végtelenben  Vízszintes epipoláris egyenesek  A két kameraképen az összetartozó pixeleknek ugyanaz az y koordinátája Rektifikálás (x L, y) OLOLOLOL f OROROROR (X, Y, Z) b (x R, y) XLXLXLXL YLYLYLYL ZLZLZLZL ZRZRZRZR XRXRXRXR YRYRYRYR

48 Rektifikálás ► Képek kiegyenesítése torzítás segítségével ► Cél  Sztereo képek áttranszformálása általános sztereo kamerarendszerből párhuzamos tengelyű sztereo kamerarendszerbe ► Előnyök  Egy pixel párját a másik képen ugyanabban a magasságban egy vízszintes egyenes mentén kell keresni ► Forgatások és skálázás segítségével történik  Képtranszformációkkal (torzításokkal) valósíthatók meg

49 Rektifikálás – Példák

50

51

52 Epipoláris geometria – Összefoglalás ► Célja, feladata  Az összetartozó pixelek felderítésének megkönnyítése  A sztereo kamerarendszer kalibrációja ► Ismert intrinsic és extrensic paraméterek  Epipoláris egyenes egyenlete ► Ismert intrinsic, de ismeretlen extrensic paraméterek  Essential matrix ► Ismeretlen intrinsic és extrensic paraméterek  Fundamental matrix ► Rektifikáció

53 Megfeleltetés problémája ► Correspondence problem ► Az összetartozó képpontok megtalálása ?

54 Epipoláris egyenes felhasználása ► Már tudjuk, hogy hol keressük a pontpárokat  epipoláris egyenes ► Nehézségek:  Azonosság helyett hasonlóság  Bizonyos részletek csupán az egyik képen láthatók ?

55 Korrelációs módszerek ► A két kép egyes régiói között keresi meg a legjobb illeszkedést (x L, y L ) BAL KÉP

56 Korrelációs módszerek ► Minden (x L, y L ) ponthoz a bal képen hozzárendelünk egy régiót, amelynek a középpontjában az adott pont van (x L, y L ) BAL KÉP

57 Korrelációs módszerek ► A jobb kép keresési sávjában minden ponthoz tartozó régiót összevetünk az eredeti régióval JOBB KÉP

58 Korrelációs módszerek ► A jobb kép keresési sávjában minden ponthoz tartozó régiót összevetjük az eredeti régióval JOBB KÉP 1.54

59 Korrelációs módszerek ► A jobb kép keresési sávjában minden ponthoz tartozó régiót összevetjük az eredeti régióval JOBB KÉP

60 Korrelációs módszerek ► A jobb kép keresési sávjában minden ponthoz tartozó régiót összevetjük az eredeti régióval JOBB KÉP

61 Korrelációs módszerek ► A jobb kép keresési sávjában minden ponthoz tartozó régiót összevetjük az eredeti régióval JOBB KÉP

62 Korrelációs módszerek ► A legjobban illeszkedő régióhoz tartozó pont lesz a bal képpont párja JOBB KÉP

63 Korrelációs módszerek ► Előnyök  Könnyű implementálás  Teljes távolságkép ► Hátrányok  Jól textúrázott képeken működik megfelelően  Problémák a nagyon különböző nézőpontból készített képek esetén a megvilágításbeli különbségek miatt  Egy korrelációs ablak nagyon különböző diszparitású pontokat tartalmazhat  Lassú kiértékelési sebesség

64 Jellemzőkre épülő módszerek ► Feature-base approach ► Jellemzők  Sarokpontok  Élek  Formák  … ► Módszer alapelvei  Jellemzők megkeresése a sztereoképeken  Hasonlósági mérték definiálása  Epipoláris geometria felhasználásával párok keresése

65 Példa LEFT IMAGE corner line structure

66 Példa RIGHT IMAGE corner line structure

67 Jellemzőkre épülő módszerek ► Előnyök  Viszonylag érzéketlen a megvilágítás megváltozására  Mesterséges környezetben (éles határok, vonalak) remekül működik  Gyorsabb lehet, mint a korrelációs módszerek ► Hátrányok  Gyengén textúrázott környezetben nem működik  Ritka távolságkép  Nehéz a jellemzők kinyerése és összehasonlítása

68 Mozgásparallaxis (Motion stereo) Vajta: Képfeldolgozás és megjelenítés 2014 tavasz

69 Mozgásalapú sztereo r1r1r1r1 (X, Y, Z) O x1x1x1x1 y1y1y1y1 z f Képsík Kameratengely b r2r2r2r2 r1r1r1r1 r2r2r2r2 R D x2x2x2x2 y2y2y2y2

70 Mozgásalapú sztereo ► Így a mért távolság kifejezhető: ► Ha a bázistávolság b = Z 2 – Z 1 és b << Z 1, Z 2, akkor ► Az ábrából kiolvasható, hogy ► Így: r1r1r1r1 (X, Y, Z) O x1x1x1x1 y1y1y1y1zf b r2r2r2r2 R x2x2x2x2 y2y2y2y2 r1r1r1r1 r2r2r2r2 D

71 Bevezetés az optical flow számításba Vajta: Képfeldolgozás és megjelenítés 2014 tavasz

72 Független feldolgozás FeldolgozásFeldolgozásFeldolgozásFeldolgozásFeldolgozás

73 Folyamatában történő feldolgozás FeldolgozásFeldolgozásFeldolgozásFeldolgozás

74 Mozgás ► Ha folyamatában nézzük a képeket  többletinformáció nyerhető ki  a mozgás ► A mozgás rengeteg információt hordoz magában  Az élőlények látása  Térérzet (motion parallax)  Sebesség érzékelés (veszélyek felismerése)  Mozgó objektum elkülönítése (objektumszegmentálás)  … ► Érdemes átemelni a számítógépes látásba is ezt a tudást

75 Egy korábbi példa

76 A mozgás mesterséges ábrázolása t.t+1.

77

78 Az optical flow definíciója ► Képpontokhoz vektor hozzárendelése  hogyan jutunk el a következő képkockához ► Vektormező  optical flow (mező) ► (Igazából nem elmozdulás, hanem sebességmező)

79 Egy másik példa

80 A feladat összefoglalása ► Bemenet: két, egymást követő képkocka ► Kimenet: optical flow mező Optical flow számítások t. képkocka t+1. képkocka Optical flow mező

81 Elmozdulás-számítás ► Hogyan lehet egy pixel elmozdulását kiszámítani?  A t. képen egy pixel párját megkeressük t+1. képen  A különbségük lesz az elmozdulás ► Összetartozó pixelek: ugyanannak a térbeli pontnak a két projekciója ► Hogyan lehet az összetartozó pixeleket megtalálni?

82 Állandó intenzitás leírása 1. ► Feltételezés: az összetartozó képpontok intenzitása (közel) állandó ► Egyetlen mozgó pont helyzete  x(t), y(t)  a t. időpillanatban a pont koordinátái ► A képszekvencia leírása:  E(x, y, t)  a t. időpillanatban az (x, y) pixel intenzitását adja meg ► A mozgó pont intenzitása a t. időpillanatban:  x = x(t), y = y(t)  E(x(t), y(t), t)

83 Állandó intenzitás leírása 2. ► A mozgó pont intenzitása állandó: ► A fenti egyenlet(ek) kifejtéséből adódik az optical flow korlátozás egyenlete:

84 Az optical flow korlátozás ► Egyszerűsített alakok: x irányú sebesség y irányú sebesség Gradiens vektor x komponense Gradiens vektor y komponense Kép időbeli változása

85 u Geometriai értelmezés ► t. időpillanatban az (x, y) pont körüli területet egy olyan 3D felülettel lehet jellemezni, amelynek a meredeksége x irányban E x, y irányban E y ► Ha a felszín a t+1. időpillanatig (u, v) -t mozdul el, akkor a fényesség változása ( E t ) az (x, y) pontban –(E x u + E y v) E(t+1) E(t)E(t) E x E(x 0, t) E(x 0, t+1) EtEt x0x0 ExEx

86 Problémák ► Két ismeretlen ( u, v ), de csak egy egyenlet  nincs egyértelmű megoldás ► Csak a gradiens vektorral párhuzamos irányú elmozdulást lehet kiszámítani t t+1 ?

87 Apertúra probléma ► Bizonyos esetekben csak a gradiens vektorral párhuzamos irányú elmozdulás lehet mérni Optical flow (mért irány) Mozgatás iránya (valós irány)

88 Az optical flow korlátozás kiegészítése ► Szinte minden módszer alapját – közvetlenül, vagy közvetetten az optical flow korlátozás adja ► Különbségek  hogyan egészítik ki a hiányos egyenletet, hogy egyértelmű legyen a megoldás ► Különböző típusú technikák  Differenciális módszerek  Korrelációs technikák  Frekvenciára épülő módszerek


Letölteni ppt "Ipari képfeldolgozás és képmegjelenítés Műszaki Informatika szak BSc Gépi Látás Mechatronika szak MSc 6. hét Vajta: Képfeldolgozás és megjelenítés 2015."

Hasonló előadás


Google Hirdetések