Kamerák és képalkotás Vámossy Zoltán 2004

Az előadások a következő témára: "Kamerák és képalkotás Vámossy Zoltán 2004"— Előadás másolata:

1 Kamerák és képalkotás Vámossy Zoltán 2004
(Stanford, Berkeley, CMU, Birmingham, ELTE, SZTAKI, SzTE anyagok alapján) Forsyth – Computer Vision cameras.ppt és Sebastian Thrun, Gary Bradski – Stanford CS 223-B L1.ppt

2 Egy kép többet jelent, mint tízezer szó!
This is the lecture 2 in Computer vision and it will include… <switch slide>

3 Témakörök A képkeletkezés geometriai és optikai elemei
Digitális képek vételezése és reprezentációja Kamerák matematikai modellje Lencsék és szenzorok

4 Digitális képek Intenzitás képek
Szokásos képek, fény és szín fotografikus kódolása. Általában kamera a képvétel eszköze Tartomány képek (range images) mélységi szenzorokat használnak az alak és a távolság mérésére: szonár vagy lézer szkennerek

5 Intenzitás képek: szürke vagy színes

6 Alapvető optika: képfókuszálás
A kép fókuszban van: a jelenet bármely pontjáról kiinduló bármely fénysugár a képsík egy pontjába tart Fókuszálás: A kamera apertúrát ponttá zsugorítjuk: pinhole Lencsék és apertúra használata

7 Kamerák - fényképezés Perspektíva vizsgálat – Brunelleschi 15. század
Camera Obscura – Leonardo rajzaiban

8 Kamerák - fényképezés Első fénykép Niepce - 1816
Első megmaradt fénykép

9 Pinhole kamera Absztrakciós modell Doboz egy kis lyukkal rajta
Gyakorlatban is működik Fordított állású kép a képsíkon

10 Pinhole kamera

11 Távolabbi objektumok kisebbek
Derive the perspective equations on notes page 1.1 Hasonló háromszögek alapján

12 Következmény: párhuzamos vonalak találkoznak
Létezik távlatpont (vanishing point) Gyakran a filmsíkot a fókuszpont elé helyezik A filmsík mozgatása csak skálázza a képet, invertálást elkerülik

13 Távlatpontok - Vanishing points
A párhuzamosoknak megfelelő vonalak a képen a nekik megfelelő távlatpontban “metszik” egymást Az egy síkban fekvő egyenesek távoli pontjai a horizonton helyezkednek el

14 Vanishing pontok Különböző irányokhoz különböző távlatpontok tartoznak
VPL VPR VP1 VP2 Különböző irányokhoz különböző távlatpontok tartoznak VP3

15 Következmény az érzékelésben*
Azonos méretű dolgok kisebbnek tűnnek Párhuzamos vonalak egy pontban találkoznak * A Cartoon Epistemology:

16 Következmény az érzékelésben 2
Térben változó ráccsal kell térképezni az érzékelés során Logaritmikus a természetben

17 Perspektívitás hatása

18 Perspektív projekció Gyenge perspektív projekció Affin projekció
Kamera modellek Perspektív projekció Gyenge perspektív projekció Affin projekció

19 Perspektív projekció modell
A világ és a kamera koordinátarendszer általában nem így helyezkedik el Feltételezések: A projekció középpontja azonos a világ origójával A kamera optikai tengelye azonos a világ z tengelyével

20 A projekció egyenletei
Elnevezések: Vetítési középpont: O origó Fókusztávolság: a képsík és O távolsága: f Optikai tengely: O-n átmenő, képsíkra merőleges egyenes Kép középpont, vagy fő pont: ahol az optikai tengely döfi a képsíkot Derékszögű koordinátákban: Hasonló háromszögekből: (x, y, z) -> (f x/z, f y/z, -f) A harmadik koordinátát elhagyjuk Ha a képsíkot a másik oldalon tételezzük fel, akkor (x, y, z) -> (f x/z, f y/z, +f)

21 Homogén koordinátákkal
Extra koordináta – skálázó faktor 2D Ekvivalencia reláció k*(X,Y,Z) ugyanaz (X,Y,Z) 3D Ekvivalencia reláció k*(X,Y,Z,T) ugyanaz (X,Y,Z,T) Megjegyzés Végtelen távoli pont reprezentálható Párhuzamosok metszésével Párhuzamos síkok ahol metszik egymást Perspektív kamera leírása mátrixként

22 A kamera mátrix Homogén koordinátás forma 3D pont (X,Y,Z,T)
Képpont (U,V,W) Ellenőrizzük!

23 P. projekció geometriai tulajdonságai
Pont pontba Vonal vonalba Síkok teljes képbe Poligonok poligonba Objektum méret fordítottan arányos a távolsággal Elfajuló esetek Fókuszponton átmenő vonal pontba (Sok az egybe leképezés) Fókuszponton átmenő sík vonalba

24 Poliéderek poligonba képződnek
(mert vonalak vonalba)

25 P. projekció tulajdonságai
Képsíkkal párhuzamos vonal skálázódik Kis fókusztávolságnál több pont kerül a képsíkra (széles látószögű kamera) Nagy fókusztávolságnál kisebb látószög Nem távolság és nem szögtartó Távlatpontok: párhuzamos vonalak képe a képsíkon olyan vonalak, melyek meghosszabbítása egy pontban metszi egymást Horizont vonal:

26 Csomópontok - kereszteződések
A “vonal címkézés” feladata Valós 3D képeken nem lehet a vonalakat és a kereszteződéseket címkézni

27 Ortografikus projekció
Párhuzamos vetítő sugarak esetében f “végtelen nagy”

28 Az ortografikus projekció mátrixa
Tulajdonságok: Párhuzamos párhuzamosba Méretek nem változnak a kamerától mért távolság függvényében

29 Gyenge perspektíva (Weak perspective)
Perspektív projekció nem lineáris Skálázott ortografikus projekció -> lineáris Feltételek: Az optikai tengelyhez közel vannak az objektumok Az objektum méretek kicsik a kamerától mért távolságukhoz viszonyítva Előny: egyszerű Hátrány: rossz

30 Gyenge perspektíva: affin projekció
a nagyítás állandó

31 Ortografikus projekciót és skálázást jelent
Gyenge perspektíva modell Ha Z konstans  x= kX és y = kY, ahol k=f/Z skálázó faktor Ortografikus projekciót és skálázást jelent

32 Összehasonlítás Gyenge perspektív Perspektív

33 Perspektív projekció feltételezése

34 Perspektív projekció feltételezése

35 A pinhole kamerák határa

36 A pinhole kamerák határa
Túl nagy pinhole - sok irányt átlagol, elmosó hatás Túl kicsi pinhole - elhajlás (kvantum effektus) elmossa a képet, kevés a fény A pinhole kamerák sötétek, mert adott pontból csak nagyon kevés fénysugár éri el a felületet.

37 Lencsék képalkotása

38 Lencsék használatának oka
Több fényt kell beengedni (Fény)nyalábok fókuszálása

39 Fénytörés Fénytörés Snell’s law Snellius – Descartes törvény (1621)
n1 sin a1 = n2 sin a2 a1 q1 z2 a2 q2 Dtn1 Dtn2 a b d e F

40 Paraxiális, vagy elsőrendű optika
Small angles, Sin a ~ a = y/r tan b ~ b = y/x Snellius-Dscartes törvény: n1 sin a1 = n2 sin a2 Kis szögek: n1 a1  n2a2 Sin a  a = y/r Tan b  b = y/x

41 Vékony lencsék Vékony lencsék
Gömbszerű lencsefelület; Tengellyel közel párhuzamos bejövő fény; vastagság << sugár; mindkét oldalon ugyanolyan együttható Comments about approximations on notes.

42 Vékony lencsék - összefoglalás

43 Mélységi élesség

44 Mélységi élesség Hasonlóan 

45 Mélységi élesség Csökken d-vel, nő Z0 -val
A bejövő fény mennyisége és a kép mélységi élessége között tartsunk egyensúlyt

46 Eltérések a gyakorlatban
Feltevések: Egy pontból kiinduló minden sugár egy pontba fókuszál Vékony lencsére feltétel 2. Minden képpont a képsíkban van 3. Nagyítás állandó Az ettől történő eltérések a leképezési hibák Marc Pollefeys

47 Leképezési hibák (aberrations)
Hibatípusok: Geometriai: Nagy szögekre nagyobb Harmadrendű optika Kromatikus A hullámhossz függvénye a törés Marc Pollefeys

48 Lencsékkel redukálhatóak ezek a hibák
Geometriai aberrációk gömbi eltérés asztigmatizmus Torzítás kóma Lencsékkel redukálhatóak ezek a hibák

49 Gömbi eltérés - szferikus aberráció
A tengellyel párhuzamos sugarak nem egy pontba konvergálnak A lencse külső pontjainak fókusztávolsága kisebb Ok: Modellezés pontatlansága - valójában nem vékony a lencse

50 Asztigmatizmus - Astigmatism
A főtengelytől távolabbi pontok leképzésénél fellépő hiba Ferdén beeső, keskeny nyaláb esetén Pontszerű kép helyett, két egymásra merőleges képvonal eltérő távolságokban (meridiánis és szaggitális síkban)

51 Torzítás - distortion Nem képélességre vonatkozó hiba
A nagyítás és fókusztávolság nem minden pontban egyforma Párna hiba (tele-photo) Hordó hiba (wide-angle) Korrigálható

52 Kóma, vagy “üstököshiba” - coma
A főtengelytől távolabbi pontok leképzésénél fellépő hiba A P tárgypontból erősen ferde és nagy nyílású sugárnyaláb esik a lencsére Pontszerű helyett üstököscsóvához hasonló folt Megoldás: rekeszeléssel és lencserendszerrel

53 Kromatikus aberráció A különböző hullámhosszú fények különböző helyen fókuszálnak Nem lehet teljesen megszüntetni Marc Pollefeys

54 Vignetting

55 Kamera típusok Két fő típus: 1. CCD 2. CMOS

56 CCD Elkülönített fotószenzorok szabályos elrendezésben
Töltés csatolt eszköz (CCDs) Terület CCD-k és lineáris CCD-k 2 terület típus: interline transfer és frame transfer fotóérzékeny tárolás

57 CCD kamera

58 CMOS Ugyanolyan szenzorelemek, mint CCD-nél
Minden fotószenzornak saját erősítője van Több zaj esetén (redukálás ‘fekete’ kép kivonásával) Alacsonyabb érzékenység Standard CMOS technológiát használ Más komponensek is lehetnek a chipen ‘Smart’ pixels

59 CCD és CMOS Régebbi technológia Különleges technológia
Magas gyártási költség Magasabb teljesítményfelvétel Magasabb kitöltési tényező Soros kiolvasás Aktuális technológia Standard IC technológia Olcsó Alacsonyabb fogyasztás Kevésbé érzékeny Pixelenkénti erősítés Véletlen pixel hozzáférés Chip-en integrált más komponensekkel

60 Színes kamerák Három típus: Prizmás (3 szenzorral) Szűrő mozaikos
Szűrő kerekes … és minden háromszorozva

61 Prizmás színes kamera Három nyalábbá elkülönített fény prizma segítségével 3 szenzort és precíz beállítást igényel Jó színfelbontás

62 Prizmás színes kamera

63 Szűrő mozaik Szűrőbevonat direkt a szenzoron

64 Csak statikus képekhez
Szűrő kerék Lencse előtt forgó szűrők Csak statikus képekhez

65 Prizma vs. mozaik vs. kerekes
Paraméterek # szenzorok Szeparáció Költség Frame rate Jellemző Hullámsáv Prizmás 3 Magas High-end kamerák Mozaik 1 Átlagos Alacsony Magas Aliasing 3 Low-end kamerák Wheel 1 jó Átlagos Alacsony Mozgás 3 vagy több Tudományos alkalmazások

66 Új színes CMOS szenzor - Foveon’s X3
gyorsabb pixelek Jobb képminőség

67 Emberi szem Szem metszete A szem optikai tengelye

68 Szenzorok és képalkotás
RGB + B/W Light

69 Szem részei

70 Csapok és pálcák A csapocskák és pálcikák eloszlása a retinában
Foveában az eloszlás Rods and cones in the periphery

71 Valós látás speciális hatásokkal

72 Valós látás speciális hatásokkal