Kamerák és képalkotás Vámossy Zoltán 2004 (Stanford, Berkeley, CMU, Birmingham, ELTE, SZTAKI, SzTE anyagok alapján) Forsyth – Computer Vision cameras.ppt és Sebastian Thrun, Gary Bradski – Stanford CS 223-B L1.ppt

Egy kép többet jelent, mint tízezer szó! This is the lecture 2 in Computer vision and it will include… <switch slide>

Témakörök A képkeletkezés geometriai és optikai elemei Digitális képek vételezése és reprezentációja Kamerák matematikai modellje Lencsék és szenzorok

Digitális képek Intenzitás képek Szokásos képek, fény és szín fotografikus kódolása. Általában kamera a képvétel eszköze Tartomány képek (range images) mélységi szenzorokat használnak az alak és a távolság mérésére: szonár vagy lézer szkennerek

Intenzitás képek: szürke vagy színes

Alapvető optika: képfókuszálás A kép fókuszban van: a jelenet bármely pontjáról kiinduló bármely fénysugár a képsík egy pontjába tart Fókuszálás: A kamera apertúrát ponttá zsugorítjuk: pinhole Lencsék és apertúra használata

Kamerák - fényképezés Perspektíva vizsgálat – Brunelleschi 15. század Camera Obscura – Leonardo rajzaiban

Kamerák - fényképezés Első fénykép Niepce - 1816 Első megmaradt fénykép - 1822

Pinhole kamera Absztrakciós modell Doboz egy kis lyukkal rajta Gyakorlatban is működik Fordított állású kép a képsíkon

Pinhole kamera

Távolabbi objektumok kisebbek Derive the perspective equations on notes page 1.1 Hasonló háromszögek alapján

Következmény: párhuzamos vonalak találkoznak Létezik távlatpont (vanishing point) Gyakran a filmsíkot a fókuszpont elé helyezik A filmsík mozgatása csak skálázza a képet, invertálást elkerülik

Távlatpontok - Vanishing points A párhuzamosoknak megfelelő vonalak a képen a nekik megfelelő távlatpontban “metszik” egymást Az egy síkban fekvő egyenesek távoli pontjai a horizonton helyezkednek el

Vanishing pontok Különböző irányokhoz különböző távlatpontok tartoznak VPL VPR VP1 VP2 Különböző irányokhoz különböző távlatpontok tartoznak VP3

Következmény az érzékelésben* Azonos méretű dolgok kisebbnek tűnnek Párhuzamos vonalak egy pontban találkoznak * A Cartoon Epistemology: http://cns-alumni.bu.edu/~slehar/cartoonepist/cartoonepist.html

Következmény az érzékelésben 2 Térben változó ráccsal kell térképezni az érzékelés során Logaritmikus a természetben

Perspektívitás hatása

Perspektív projekció Gyenge perspektív projekció Affin projekció Kamera modellek Perspektív projekció Gyenge perspektív projekció Affin projekció

Perspektív projekció modell A világ és a kamera koordinátarendszer általában nem így helyezkedik el Feltételezések: A projekció középpontja azonos a világ origójával A kamera optikai tengelye azonos a világ z tengelyével

A projekció egyenletei Elnevezések: Vetítési középpont: O origó Fókusztávolság: a képsík és O távolsága: f Optikai tengely: O-n átmenő, képsíkra merőleges egyenes Kép középpont, vagy fő pont: ahol az optikai tengely döfi a képsíkot Derékszögű koordinátákban: Hasonló háromszögekből: (x, y, z) -> (f x/z, f y/z, -f) A harmadik koordinátát elhagyjuk Ha a képsíkot a másik oldalon tételezzük fel, akkor (x, y, z) -> (f x/z, f y/z, +f)

Homogén koordinátákkal Extra koordináta – skálázó faktor 2D Ekvivalencia reláció k*(X,Y,Z) ugyanaz (X,Y,Z) 3D Ekvivalencia reláció k*(X,Y,Z,T) ugyanaz (X,Y,Z,T) Megjegyzés Végtelen távoli pont reprezentálható Párhuzamosok metszésével Párhuzamos síkok ahol metszik egymást Perspektív kamera leírása mátrixként

A kamera mátrix Homogén koordinátás forma 3D pont (X,Y,Z,T) Képpont (U,V,W) Ellenőrizzük!

P. projekció geometriai tulajdonságai Pont pontba Vonal vonalba Síkok teljes képbe Poligonok poligonba Objektum méret fordítottan arányos a távolsággal Elfajuló esetek Fókuszponton átmenő vonal pontba (Sok az egybe leképezés) Fókuszponton átmenő sík vonalba

Poliéderek poligonba képződnek (mert vonalak vonalba)

P. projekció tulajdonságai Képsíkkal párhuzamos vonal skálázódik Kis fókusztávolságnál több pont kerül a képsíkra (széles látószögű kamera) Nagy fókusztávolságnál kisebb látószög Nem távolság és nem szögtartó Távlatpontok: párhuzamos vonalak képe a képsíkon olyan vonalak, melyek meghosszabbítása egy pontban metszi egymást Horizont vonal:

Csomópontok - kereszteződések A “vonal címkézés” feladata Valós 3D képeken nem lehet a vonalakat és a kereszteződéseket címkézni

Ortografikus projekció Párhuzamos vetítő sugarak esetében f “végtelen nagy”

Az ortografikus projekció mátrixa Tulajdonságok: Párhuzamos párhuzamosba Méretek nem változnak a kamerától mért távolság függvényében

Gyenge perspektíva (Weak perspective) Perspektív projekció nem lineáris Skálázott ortografikus projekció -> lineáris Feltételek: Az optikai tengelyhez közel vannak az objektumok Az objektum méretek kicsik a kamerától mért távolságukhoz viszonyítva Előny: egyszerű Hátrány: rossz

Gyenge perspektíva: affin projekció a nagyítás állandó

Ortografikus projekciót és skálázást jelent Gyenge perspektíva modell Ha Z konstans  x= kX és y = kY, ahol k=f/Z skálázó faktor Ortografikus projekciót és skálázást jelent

Összehasonlítás Gyenge perspektív Perspektív

Perspektív projekció feltételezése

Perspektív projekció feltételezése

A pinhole kamerák határa

A pinhole kamerák határa Túl nagy pinhole - sok irányt átlagol, elmosó hatás Túl kicsi pinhole - elhajlás (kvantum effektus) elmossa a képet, kevés a fény A pinhole kamerák sötétek, mert adott pontból csak nagyon kevés fénysugár éri el a felületet.

Lencsék képalkotása

Lencsék használatának oka Több fényt kell beengedni (Fény)nyalábok fókuszálása

Fénytörés Fénytörés Snell’s law Snellius – Descartes törvény (1621) n1 sin a1 = n2 sin a2 a1 q1 z2 a2 q2 Dtn1 Dtn2 a b d e F

Paraxiális, vagy elsőrendű optika Small angles, Sin a ~ a = y/r tan b ~ b = y/x Snellius-Dscartes törvény: n1 sin a1 = n2 sin a2 Kis szögek: n1 a1  n2a2 Sin a  a = y/r Tan b  b = y/x

Vékony lencsék Vékony lencsék Gömbszerű lencsefelület; Tengellyel közel párhuzamos bejövő fény; vastagság << sugár; mindkét oldalon ugyanolyan együttható Comments about approximations on notes.

Vékony lencsék - összefoglalás http://www.phy.ntnu.edu.tw/java/Lens/lens_e.html

Mélységi élesség

Mélységi élesség Hasonlóan 

Mélységi élesség Csökken d-vel, nő Z0 -val A bejövő fény mennyisége és a kép mélységi élessége között tartsunk egyensúlyt

Eltérések a gyakorlatban Feltevések: Egy pontból kiinduló minden sugár egy pontba fókuszál Vékony lencsére feltétel 2. Minden képpont a képsíkban van 3. Nagyítás állandó Az ettől történő eltérések a leképezési hibák Marc Pollefeys

Leképezési hibák (aberrations) Hibatípusok: Geometriai: Nagy szögekre nagyobb Harmadrendű optika Kromatikus A hullámhossz függvénye a törés Marc Pollefeys

Lencsékkel redukálhatóak ezek a hibák Geometriai aberrációk gömbi eltérés asztigmatizmus Torzítás kóma Lencsékkel redukálhatóak ezek a hibák

Gömbi eltérés - szferikus aberráció A tengellyel párhuzamos sugarak nem egy pontba konvergálnak A lencse külső pontjainak fókusztávolsága kisebb Ok: Modellezés pontatlansága - valójában nem vékony a lencse

Asztigmatizmus - Astigmatism A főtengelytől távolabbi pontok leképzésénél fellépő hiba Ferdén beeső, keskeny nyaláb esetén Pontszerű kép helyett, két egymásra merőleges képvonal eltérő távolságokban (meridiánis és szaggitális síkban)

Torzítás - distortion Nem képélességre vonatkozó hiba A nagyítás és fókusztávolság nem minden pontban egyforma Párna hiba (tele-photo) Hordó hiba (wide-angle) Korrigálható

Kóma, vagy “üstököshiba” - coma A főtengelytől távolabbi pontok leképzésénél fellépő hiba A P tárgypontból erősen ferde és nagy nyílású sugárnyaláb esik a lencsére Pontszerű helyett üstököscsóvához hasonló folt Megoldás: rekeszeléssel és lencserendszerrel

Kromatikus aberráció A különböző hullámhosszú fények különböző helyen fókuszálnak Nem lehet teljesen megszüntetni Marc Pollefeys

Vignetting

Kamera típusok Két fő típus: 1. CCD 2. CMOS

CCD Elkülönített fotószenzorok szabályos elrendezésben Töltés csatolt eszköz (CCDs) Terület CCD-k és lineáris CCD-k 2 terület típus: interline transfer és frame transfer fotóérzékeny tárolás

CCD kamera

CMOS Ugyanolyan szenzorelemek, mint CCD-nél Minden fotószenzornak saját erősítője van Több zaj esetén (redukálás ‘fekete’ kép kivonásával) Alacsonyabb érzékenység Standard CMOS technológiát használ Más komponensek is lehetnek a chipen ‘Smart’ pixels

CCD és CMOS Régebbi technológia Különleges technológia Magas gyártási költség Magasabb teljesítményfelvétel Magasabb kitöltési tényező Soros kiolvasás Aktuális technológia Standard IC technológia Olcsó Alacsonyabb fogyasztás Kevésbé érzékeny Pixelenkénti erősítés Véletlen pixel hozzáférés Chip-en integrált más komponensekkel

Színes kamerák Három típus: Prizmás (3 szenzorral) Szűrő mozaikos Szűrő kerekes … és minden háromszorozva

Prizmás színes kamera Három nyalábbá elkülönített fény prizma segítségével 3 szenzort és precíz beállítást igényel Jó színfelbontás

Prizmás színes kamera

Szűrő mozaik Szűrőbevonat direkt a szenzoron

Csak statikus képekhez Szűrő kerék Lencse előtt forgó szűrők Csak statikus képekhez

Prizma vs. mozaik vs. kerekes Paraméterek # szenzorok Szeparáció Költség Frame rate Jellemző Hullámsáv Prizmás 3 Magas High-end kamerák Mozaik 1 Átlagos Alacsony Magas Aliasing 3 Low-end kamerák Wheel 1 jó Átlagos Alacsony Mozgás 3 vagy több Tudományos alkalmazások

Új színes CMOS szenzor - Foveon’s X3 gyorsabb pixelek Jobb képminőség

Emberi szem Szem metszete A szem optikai tengelye

Szenzorok és képalkotás RGB + B/W Light

Szem részei

Csapok és pálcák A csapocskák és pálcikák eloszlása a retinában Foveában az eloszlás Rods and cones in the periphery

Valós látás speciális hatásokkal

Valós látás speciális hatásokkal