Ipari képfeldolgozás és képmegjelenítés Műszaki Informatika szak BSc

Ipari képfeldolgozás és képmegjelenítés Műszaki Informatika szak BSc
4+0+0v Gépi Látás Mechatronika szak MSc 2+0+1f 1. hét Követelmények – Bevezetés - Képfeldolgozás alapfogalmai - Egy kis művészettörténet - Optikai illúziók – A látás és a térérzékelés alapjai – Fénytechnikai mértékegységek - Optoérzékelők Vajta: Képfeldolgozás és megjelenítés 2014 tavasz

Vajta: Képfeldolgozás és megjelenítés 2014 tavasz
Tudnivalók a tárgyról Előadók: Dr. Vajta László a félév első 7 hetében Dr. Loványi István a műszaki informatika hallgatóknak a félév hátralévő részében Dr. Vajta László a mechatronika MSc hallgatóknak a félév második felében a laborgyakorlatokon Vajta: Képfeldolgozás és megjelenítés 2014 tavasz

A félév beosztása Első 7 oktatási héten közös előadások (utolsó alkalom március 26. szerda) Előadások minden hétfőn és szerdán között IB017 teremben Műszaki Informatika hallgatók órái a félév hátralévő időszakában ugyanitt folytatódnak Vajta: Képfeldolgozás és megjelenítés 2014 tavasz

Mechatronika MSc hallgatók a félév hátralévő részében labor gyakorlatokon vesznek részt (3 darab 4 órás mérés hétfőnként között 4 fős csoportokban) Közös zárthelyivel fejezzük be a félév első részét. A zárthelyit a március 26.-i (szerda) előadáson írjuk. A tananyagot és egyéb információkat a topcat.iit.bme.hu/~vajta/3D címről lehet letölteni Vajta: Képfeldolgozás és megjelenítés 2014 tavasz

Követelmények Sikeres zárthelyi (pótlás a félév utolsó hetében lehetséges) Elfogadott házi feladat Gépész MSc: sikeresen teljesített 3 labor Gépész MSc osztályzat: zárthelyi 50%, házi feladat 30%, mérések osztályzat átlaga 20% Műszaki informatikus BSc: vizsga, az osztályzat: a vizsga zárthelyi 70% (de legalább elégséges), házi feladat 30% Megajánlott jegy: házi feladat prezentáció hallgatói minősítése alapján Vajta: Képfeldolgozás és megjelenítés 2014 tavasz

Házi feladat 1. A félév során egy házi feladatot kell megoldani A házi feladat egy képfeldolgozással kapcsolatos téma részletes kidolgozása, algoritmus implementálása lehet A házi feladatot csoportokban (4 fő/csoport) kell elkészíteni. A csoportbeosztás gépész hallgatóknál megegyezik a labormérések csoportbeosztásával. A házi feladatok keretében 5-10 oldalas beszámolót (Msword) és 10 perces előadás ppt prezentációt kell készíteni. A Mechatronika hallgatók a március 24.-i és 26.-i órán, a Mérnökinformatikus hallgatók a félév végén meg is tarthatják az előadást. Az előadásokat a hallgatók pontozzák, a legjobb előadásokat (szakonként 2-2 darab max) megajánlott jeggyel jutalmazzuk, amennyiben az egyéb követelményeket a csoport összes tagja teljesítette. Vajta: Képfeldolgozás és megjelenítés 2014 tavasz

Házi feladat 2. Téma javaslat és csoport összeállítási kérések: 1. oktatási hét péntek (február 14.) 18.00 Csoportbeosztás és oktatói témajavaslatok közzététele: 2. oktatási hét hétfő (február 17.) 18.00 Témaválasztás határideje: 2. oktatási hét péntek (február 21.) 18.00 Kidolgozott feladatok (word és ppt) beadási határideje és előadás tartásra jelentkezés: 6. oktatási hét hétfő (március 17.) 18.00 Jelentkezés és minden egyéb kommunikáció formája . Kötelező subject: GL2014 illetve IKM2014 FIGYELEM! A nem megfelelő subject mezővel küldött eket nem dolgozzuk fel, és a hibás mail nem képez semmilyen jogorvoslatra sem alapot!!! Vajta: Képfeldolgozás és megjelenítés 2014 tavasz

A Gépi látás tantárgy részletes tematikája (megegyezik az Ipari képfeldolgozás tantárgy 1-7. heti tematikájával) A számítógépes látás fogalmai, definíciók. Alkalmazási példák. Emberi látás alapjai. A térbeli érzékelés lehetősége monokuláris látással. Binokuláris látás. Optoelektronikai eszközök: Alapfogalmak. Fénytechnikai mértékegységek. Optikai érzékelők, CCD érzékelők, PSD érzékelők. Térbeli információk mérésére alkalmas eszközök (3D kamerák). Képalkotó diagnosztikai eszközök. Korszerű képmegjelenítő eszközök. LCD és plazma kijelzők, projektorok. Lentikuláris megjelenítők. A képek matematikai leírása. A képfüggvények tulajdonságai. Tértranszformációk szerepe a képfeldolgozásban. 2D Fourier transzformáció tulajdonságai, képi ábrázolása, interpretálása. Vajta: Képfeldolgozás és megjelenítés 2014 tavasz

Digitális kép matematikai reprezentációja: Mintavételezés, kvantálás. Koordinátageometriai alapok. Geometriai transzformációk. Kameramodellek: Pin-hole modell. A perspektív leképzés transzformációs modellje. Megvilágítás, optika, érzékelő modellezése. Árnyalási modellek. Sztereo képalkotás modellezése. Ipari képfeldolgozási példák. Bináris képek feldolgozása. Morfológiai alapműveletek. A képek szűrése a tér- és a frekvencia tartományban. Lineáris és nemlineáris szűrések. Alkalmazási példák. A képek szegmentálásának alapfogalmai. hasonlóság alapú szegmentálások. Szegmentálás a nagyfrekvenciás tulajdonságok alapján. Hough transzformáció. Alkalmazási példák. Vajta: Képfeldolgozás és megjelenítés 2014 tavasz

Optical flow feldolgozás. Motion sztereo. Mobil robotok látórendszerei. 3D látórendszerek alkalmazása a gyakorlatban. Ipari minőség-ellenőrzés. Navigáció. Közlekedési alkalmazások. Biztonságtechnika és terrorizmus elleni küzdelem. Vajta: Képfeldolgozás és megjelenítés 2014 tavasz

KÉRDÉS AZ EDDIGIEKHEZ? Vajta: Képfeldolgozás és megjelenítés 2014 tavasz

Akkor vágjunk bele! Témánk: a számítógépes képfeldolgozás Módszereink: Ockham „borotvája” Példáink: közlekedés, egészségügy, biztonságtechnika, gyártástechnológia, kutatás, virtuális valóság Mintánk: a művészetek, az emberi látás, stb. Vajta: Képfeldolgozás és megjelenítés 2014 tavasz

Micsoda tulajdonképpen Ockham borotvája?
A gazdaságossági elv. „Sokaság szükségtelenül nem tételezhető" (lat.: Pluralitas non est ponenda sine necessitate). E szerint a magyarázatoknak nem szabad az okokat szükségtelenül gyarapítani. Ha egy jelenségre két, egyenlő valószínűséggel bíró magyarázat lehetséges, akkor azt kell elfogadni, amelyik kevesebb létező feltételezésével ad magyarázatot. Például ha egy hasadt fatörzs fekszik a földön, akkor ez lehet egy villámcsapás miatt, vagy mert egy titkos kormányzati fegyverprogramot teszteltek. A legegyszerűbb kielégítő magyarázat Occam borotvája alapján a logikus is egyben: az ok a villámcsapás. William of Ockham (Guillemus Ockham, ismert Occam néven is) (kb. 1285–1348) angol nemzetiségű ferences rendi szerzetes, a skolasztikus filozófia kiemelkedő személyisége. Vajta: Képfeldolgozás és megjelenítés 2014 tavasz

Bevezetés Alkalmazási területek A vizsgálatok célja Tudományos kutatás
Ipar, szolgáltatások Orvostudomány Környezetvédelem Űrkutatás, meteorológia Építészet, gépészet Robotika stb. A vizsgálatok célja Felhasználás Mit mér? Példa Objektum Kontúrok Alkatrész felismerés felületek válogatás struktúrák Objektum Méretek Minőség- felmérés kontúrok ellenőrzés Pozíció Térbeli Robotika helyzet Adaptív Folyamat- Heggeszté- folyamatsz. változók si varratok Vajta: Képfeldolgozás és megjelenítés 2014 tavasz

A számítógépes képfeldolgozás
Vajta: Képfeldolgozás és megjelenítés 2014 tavasz

A számítógépes képfeldolgozás lépései
Szegmen- táció Lényeg- kiemelés Előfel- dolgozás Felismerés és interpretáció Tudásbázis Képbe-vitel Vajta: Képfeldolgozás és megjelenítés 2014 tavasz

A képfeldolgozás terminológiája
Mintatér, szürkeségi szint, felbontás, pixel Tulajdonságtér, lényegkiemelés Döntés Képjavítás Pontszerű, lokális és globális műveletek Két dimenziós képfeldolgozás Három dimenziós képfeldolgozás Látószög, nagyítás, mélységélesség, mélységi élesség Geometriai torzítás Vajta: Képfeldolgozás és megjelenítés 2014 tavasz

Nézzünk pár érdekes alkalmazást! Vajta: Képfeldolgozás és megjelenítés 2014 tavasz

Közlekedési alkalmazások – gyalogos detektálás

Közlekedési alkalmazások – forgalomszámlálás Vajta: Képfeldolgozás és megjelenítés 2014 tavasz

Közlekedési alkalmazások – automatikus sávkövetés Vajta: Képfeldolgozás és megjelenítés 2014 tavasz

Közlekedési alkalmazások – ütközés elhárítás Vajta: Képfeldolgozás és megjelenítés 2014 tavasz

Biztonsági alkalmazások – objektum követése Vajta: Képfeldolgozás és megjelenítés 2014 tavasz

A képek megértésében sokat segít a képzőművészet fejlődésének vizsgálata Nagy vonalakban átnézzük az egyiptomi (síkok, statikus) görög (mozgás, mélységek, színek) római (görög minta követése) gótikus (reflexiók első értelmezése) reneszánsz jellegzetességeit Vajta: Képfeldolgozás és megjelenítés 2014 tavasz

Az ókori egyiptomi festészet és domborműszobrászat összefoglaló elnevezése sík-művészet. A teret síkokra bontották föl, az időt nem ábrázolták. Vajta: Képfeldolgozás és megjelenítés 2014 tavasz

A görög festmények nagy része elveszett, vagy nagyon megrongálódott. Csak a korabeli forrásokból tudhatunk meg valamit a festészetükről. A görög festészet is az emberi alakot kezdte tanulmányozni először, majd a mozgást, a távlatot Polügnotosz, a színárnyalatokat, a fény- és árnyékhatásokat Apollodorosz kutatta. Vajta: Képfeldolgozás és megjelenítés 2014 tavasz

Philoxenosz: Nagy Sándor és Dareiosz csatája (i.e. 4.sz. vége, mozaikként maradt fenn) Vajta: Képfeldolgozás és megjelenítés 2014 tavasz

A római festészet hasonló, mint a görög. Térbeliség érzékeltetése: árnyékokkal és fényekkel, a párhuzamosok még nem összetartóak, a mélységnek az egyre halványodó színezés felel meg. Vajta: Képfeldolgozás és megjelenítés 2014 tavasz

A gótikus festészetet legfőbb jellemzője az arabeszkekhez hasonlóan burjánzó, játékosan lendülő vagy megtörő vonal, végső soron a síkdíszítmény uralma. Giotto di Bondone 1267 – 1337) firenzei festő, szobrász és építész, a korai reneszánsz, a trecento művészetének első jelentős alakja. Találkozás az Aranykapunál (Padova, Scrovegni-kápolna) Pünkösd Vajta: Képfeldolgozás és megjelenítés 2014 tavasz

A reneszánsz különböző festéstechnikai újítások, a szín és térperspektíva felfedezésének kora. Innentől beszélhetünk a képek megértésének technikájáról Jan Vermeer van Delft 1658 Rembrandt 1642 Vajta: Képfeldolgozás és megjelenítés 2014 tavasz

A fejlődés során a művészek megértették azt, hogy a képeken hogyan jelennek meg olyan jelenségek, mint A mélység A felületek görbülete Az anyagminőség A mozgás A fények játéka Technikai módszereket fejlesztettek a megértett folyamatok „mérésére”. Vajta: Képfeldolgozás és megjelenítés 2014 tavasz

Brunelleschi Kukucskáló módszere Táblaképe (elveszett) a firenzei San Giovanni keresztelőkápolnát ábrázolja. Pontosan azt mutatja be, ahogyan a kápolna a katedrális kapujából látszik. A festmény illuzionisztikus hatásának élethűségét úgy igazolta, hogy lyukat fúrt rajta azon a ponton, amelyet később enyészpontnak neveztek el. A lyukon belenézve a másik kézben tartott tükörbe, a néző összevethette a tükörben látott képet a valósággal. Vajta: Képfeldolgozás és megjelenítés 2014 tavasz

Alberti módszere Egy emberalak magasságán alapul, amit 3 „braccio”-ban határozott meg (kb. 1,8 m). A négyszög alakú képfelület alapvonalát bracciokra osztotta fel. Meghatározta az enyészpontot úgy, hogy az alapvonal középpontjából kiindulva 3 braccio hosszú, függőleges vonalat húzott. Ez a pont a művész szemével egy vonalban volt. Mindezek után „ortogonális” egyenesekkel kötötte össze az alapvonal beosztásait az enyészponttal. Vajta: Képfeldolgozás és megjelenítés 2014 tavasz

A következő fázisok szemléltetésére Alberti oldalnézetet vázolt fel, amelyen a képsík éle látszik. Felosztotta az alapsíkot bracciokra és a képsík élétől balra megjelölte a nézőpontot (meghatározva ezzel a látótávolságot). Következő lépésként látósugarakat reprezentáló egyeneseket húzott a nézőpontból az alapsík osztópontjához. Ezek a vonalak és a képsík élének metszéspontjai jelölték ki a horizontális egyenesek helyét. Ezeket Alberti rárajzolta az első fázis ábrájára, s így rövidülésben látszó kockás padlót kapott eredményül. Vajta: Képfeldolgozás és megjelenítés 2014 tavasz

Leonardo görbe vonalú perspektívája Abban az esetben, ha a szemtől az oszlopok széléig húzott vonalat egyenessel metsszük, az oldalsó oszlopok szélesebbnek látszanak, mint a középső. Ha viszont a metsző vonal félkörív, az oszlopok egyformának tűnnek. Vajta: Képfeldolgozás és megjelenítés 2014 tavasz

Leonardo da Vinci: Angyali üdvözlet Gondosan kidolgozott perspektivikus szerkezete van, az alakok azonban aránytalanul nagyok és nem olyan szabályosak, mint amilyennek első pillantásra tűnnek. Ha jól megfigyeljük, Mária karja túl hosszú a testéhez képest. A jelenetet négyzethálós alaprajzra vetítve világosan látszik, hogy Mária karjának és az olvasópultnak egy egységgel hátrébb kellene lennie, mert a kar így illeszkedne helyesen a testhez. Leonardo számára azonban fontosabb volt a történet világos elbeszélése, mint a szabályos perspektíva. Vajta: Képfeldolgozás és megjelenítés 2014 tavasz

Leonardo da Vinci: Keresztelő Szent János A megvilágított alak a homályból bukkan elő. Nehéz meghatározni a ráeső fény forrását. Vajta: Képfeldolgozás és megjelenítés 2014 tavasz

Kis kikapcsolódás: a természet furcsaságai…
Tehát nem csak a forma számít! Vajta: Képfeldolgozás és megjelenítés 2014 tavasz

Kicsit komolyabban: generáljunk mesterségesen furcsaságokat!

Számold meg a fekete pontokat! Vajta: Képfeldolgozás és megjelenítés 2014 tavasz

A vízszintes vonalak párhuzamosak vagy egymáshoz képest ferdék? Vajta: Képfeldolgozás és megjelenítés 2014 tavasz

Hány lába van az elefántnak? Vajta: Képfeldolgozás és megjelenítés 2014 tavasz

Folyamatosan nézd a fekete pontot! Egy idő után, a körülötte lévő szürke felhő mintha összeszűkülne! Vajta: Képfeldolgozás és megjelenítés 2014 tavasz

Összpontosíts a középpontban lévő fekete pontra és mozgasd a fejedet előre-hátra! Ugye milyen fura … Vajta: Képfeldolgozás és megjelenítés 2014 tavasz

1) Lazíts egy kicsit, majd összpontosíts az ábra közepén lévő 4 kis pontra kb másodpercig! 2) Majd nézz egy közeli falra (bármilyen sima, egyszínű felületre)! 3) Látni fogod, amint egy kör alakú fény kirajzolódik. 4) Pislogj egy párszor és egy arc kezd lassan megjelenni … 5) Mit látsz? Pontosabban kit látsz? Vajta: Képfeldolgozás és megjelenítés 2014 tavasz

Are the purple lines straight or bent?
A lila vonalak egyenesek vagy íveltek? Vajta: Képfeldolgozás és megjelenítés 2014 tavasz

Which circle in the middle is bigger?
A két középső kör közül melyik a nagyobb? Vajta: Képfeldolgozás és megjelenítés 2014 tavasz

Látsz szürke területeket a négyzetek között? Honnan jönnek?

You should see a man's face and also a word... Hint: Try tilting your head to the right, the world begins with 'L‘ Egy férfi arcát láthatod, de egyben egy szót is .. Segítség: fordíts egy kicsit jobbra a fejed és keress egy ‘L’ betűvel kezdődő szót! Vajta: Képfeldolgozás és megjelenítés 2014 tavasz

Is this possible!?! Ez lehetséges!?!

Akkor próbáljuk megmagyarázni: Az emberi látás alapjai Vajta: Képfeldolgozás és megjelenítés 2014 tavasz

Korai elméletek a látásról
A régi filozófusok, mint Platon és Euklidesz úgy gondolták, hogy a látás nem a szembe jutó fény érzékelésével valósul meg, hanem a szem valamilyen „részecskéket” sugároz ki, amelyek „letapogatják” az objektumokat, úgy, ahogy azt az ujjunkkal is tesszük. Erre az elméletre később még visszatérünk! Vajta: Képfeldolgozás és megjelenítés 2014 tavasz

Az emberi látás A látás első lépése az, hogy fény jut a szembe. Ezt a fényt a szaruhártya és a szemlencse fókuszálja a retinára, egy vékony idegszövet rétegre a szem hátsó részén, amely fotoérzékelőket tartalmaz. A fotoérzékelők a fényt ingerekké alakítják, melyek az agyba kerülnek. Vajta: Képfeldolgozás és megjelenítés 2014 tavasz

Mi az ami látható ? Az elektromágneses sugárzás 400 és 700 nm közé eső részét érzékeljük. Noha a teljes spektrumnak csak egy töredékét érzékeljük, mégis, mivel az atmoszférában megjelenő sugárzás 83%-a ebbe a tartományba esik, jó hatásfokkal érzékeljük az információkat. (egyes állatok olyasmiket is látnak, amit az emberek nem, pl. a pillangók érzékelik az ibolyántúli jeleket, a kígyók pedig az infravörös sugárzást). Vajta: Képfeldolgozás és megjelenítés 2014 tavasz

Hullám- hossz Látható spektrum Rádióhullámok Röntgen Infravörös Ultraibolya Vajta: Képfeldolgozás és megjelenítés 2014 tavasz

Mi a látás? A fény megváltozik az útjába eső tárgyakkal való kölcsönhatás miatt A fény visszaverődik A fény elnyelődik A fény elhajlik, szóródik A fény megtörik Vajta: Képfeldolgozás és megjelenítés 2014 tavasz

tükör Fénytörés Fényvisszaverődés Fényelnyelés Fényszóródás Vajta: Képfeldolgozás és megjelenítés 2014 tavasz

Mitől jó egy látószerv? Hány darab, milyen minőségű, és hol legyen elhelyezve? A növényevőknek általában a fejük oldalán helyezkednek el A ragadozók szeme elől található Vajta: Képfeldolgozás és megjelenítés 2014 tavasz

Hogyan lehet a legjobban érzékelni és fókuszálni a fényt?
A legegyszerűbb: a pinhole kamera Ha a blende túl nagy, életlen kép keletkezik Ha a blende túl kicsi, szóródás lép fel Kis blendével nem lehet jól látni kicsi/közepes környezeti fényben EZÉRT a fényt fókuszálni kell, ami a szaruhártya és a szemlencse feladata Vajta: Képfeldolgozás és megjelenítés 2014 tavasz

Az emberi szem felépítése

Az emberi szem külső része
Sclera: inhártya. Pupilla: lyuk. Írisz, szivárványhártya: olyan, mint a fényképezőgép blendéje - divatos színekben készül. Az írisznek elegendően sötétnek kell lennie ahhoz, hogy ne verjen vissza túl sok fényt (jusson a szembe is). Az albínóknak pl. emiatt gyenge a látása. Vajta: Képfeldolgozás és megjelenítés 2014 tavasz

A szem belső része Szaruhártya: vékony, átlátszó burkolat a szemgolyón. A szem legfontosabb fénytörő/fókuszáló része. Szemlencse: fókusztávolsága változtatható a közeli/távoli látáshoz (ld. később). Fovea, sárga folt: a retina része, a látómező középső részének felel meg. Vakfolt: a retina idegkivezetésre szolgáló része. Látóideg Csarnok/aqueous humor: folyadékkal (csarnokvízzel) töltött rész a szemlencse előtt. Hátsó kamra/vitreous humor: zselés folyadékkal(üvegtest) töltött rész a szemlencse mögött. Vajta: Képfeldolgozás és megjelenítés 2014 tavasz

Nézd mereven a kép középpontját. A szürke környezet eltűnik.
A vakfolt érzékelése: hunyd be a jobb szemed, és nézd mereven a keresztet. Változtasd az ábra távolságát, amíg a fekete pont eltűnik a vakfolton. A kitöltés érzékelése: hunyd be a jobb szemed, és nézd mereven a keresztet, ahogy az előbb.Mi történik, ha a tárcsa középpontja a vakfoltra esik? Takard le a hüvelykujjaddal a tárcsa középpontját. Mi változik? Nézd mereven a kép középpontját. A szürke környezet eltűnik. Vajta: Képfeldolgozás és megjelenítés 2014 tavasz

távolsága változtatható:
A szemlencse fókusz- távolsága változtatható: Nagy tárgytávolság: a szemizmok ellazulnak, a lencse görbülete kicsi Közeli tárgyak: a szem-izmok megfeszülnek, a szemlencse görbülete nő Vajta: Képfeldolgozás és megjelenítés 2014 tavasz

A szemlencse automatikus fókuszálása nem mindenkinél tökéletes. Ezt a hibát korrigálja a szemüveg. Vajta: Képfeldolgozás és megjelenítés 2014 tavasz

Retina fotoérzékelőket tartalmaz pálcikák és csapocskák az elnevezés a formájukra utal a pálcikák érzékenyek, a fekete-fehér látást szolgálják A pálcikák és csapocskák eloszlása a foveán és a retina szélső részein Vajta: Képfeldolgozás és megjelenítés 2014 tavasz

A csapocskák jó megvilágításnál, a színeket érzékelik, három típusuk létezik A csapocskák három típusa különböző spektrális érzékenységgel rendelkezik Vajta: Képfeldolgozás és megjelenítés 2014 tavasz

A fotoérzékelők eloszlása a retinán: a fovea szinte csak csapocskákat, a látómező széle dominánsan pálcikákat tartalmaz: Ez azt okozza, hogy a látómező közepén jó, a szélein azonban színte megszűnik a színek érzékelése Gyenge fényben a perifériás látás az érzékenyebb (a csillagok fényesebbek, ha nem nézünk közvetlenül rájuk) Éjjeli állatoknak pálcikára épül a látásuk Vajta: Képfeldolgozás és megjelenítés 2014 tavasz

A pálcikák és a csapocskák eloszlása a retinán

Adaptáció a környezeti fényhez Az éjszakai/nappali fényintenzitás aránya akár 40 milliárd ( !) is lehet A pupilla változtatásával ezt csökkenteni lehet, de még így is kb. 3 milliárdos átfogást kell érzékelni! A szem ezt a pálcikák és csapocskák közötti átkapcsolással oldja meg A pálcikák akár egyetlen fotont is képesek detektálni, míg a pálcikák praktikusan soha sem mennek telítésbe Vajta: Képfeldolgozás és megjelenítés 2014 tavasz

Az átkapcsolás azonban némi időt vesz igénybe A fényadaptáció a retina egyik legfontosabb funkciója. Fontos: az agy a feldolgozás során nem értékeli ki az abszolút intenzitást - ehelyett a környezethez képesti intenzitás különbségeket érzékeli Vajta: Képfeldolgozás és megjelenítés 2014 tavasz

A sötétségadaptáció időfüggvénye mutatja a pálcikák és csapocskák közötti átkapcsolás lezajlását. A görbén a körök azt az intenzitást jelzik, ahol az ibolya tesztszín már nem volt érzékelhető. Vajta: Képfeldolgozás és megjelenítés 2014 tavasz

A fekete-fehér látás A kontraszt: logaritmikus érzékenységre épül azonos kontrasztérzet kontrasztküszöb, függ a környezeti fénytől kontrasztküszöb-arány (Weber tört), közel állandó Vajta: Képfeldolgozás és megjelenítés 2014 tavasz

A fekete-fehér látás A háttér szerepe befolyásolja a kontrasztküszöböt A kontrasztküszöb síkfrekvencia érzékeny 1 0 ,5 0 ,1 1 10 Síkfrekvencia/látószögfok Vajta: Képfeldolgozás és megjelenítés 2014 tavasz

Piros Zöld Szűrt kék Kék Vajta: Képfeldolgozás és megjelenítés 2014 tavasz

Visszaállítás: R +G+szűrtB Vajta: Képfeldolgozás és megjelenítés 2014 tavasz

Erősen szűrt kék Vajta: Képfeldolgozás és megjelenítés 2014 tavasz

Visszaállítás: R + G + erősen szűrt B Vajta: Képfeldolgozás és megjelenítés 2014 tavasz

Eredeti Szűrt kékkel Erősen szűrt kékkel Vajta: Képfeldolgozás és megjelenítés 2014 tavasz

A fekete-fehér látás A kontrasztküszöb hirtelen ugrásoknál lokálisan csökken Az intenzitásérzékelés függ a környezettől Vajta: Képfeldolgozás és megjelenítés 2014 tavasz

A fekete-fehér látás A síkfrekvencia növekedése rontja a méret- és az irányérzékelést! Vajta: Képfeldolgozás és megjelenítés 2014 tavasz

A fekete-fehér látás - makroszerkezet prioritások: sima folytonosság zártság háttér leválasztás „szabálysértő” alakzat - mikroszerkezet „textúra”: hasonló elemeket összekapcsoljuk Vajta: Képfeldolgozás és megjelenítés 2014 tavasz

Észlelés 3D-ben Mitől látunk a térben? Vajta: Képfeldolgozás és megjelenítés 2014 tavasz

3D világban élünk Egy pontból vizsgáljuk Szemünk, fülünk és az agyunk sok módszert alakított ki az észlelésre Vajta: Képfeldolgozás és megjelenítés 2014 tavasz

A mélységi érzékelés alapjai
A világ 3 dimenziós, de a visszaverődő fény csak egy 2D leképződést idéz elő a retinán. Valahogy mégis visszaállítjuk (visszaszámítjuk?) a mélységi információkat, de hogyan? A kézenfekvő magyarázat térérzetünk működésére a sztereo látás, de tudjuk, hogy: egy szemmel (monokulárisan) is jó térérzettel rendelkezünk, sok állat két szemének látótere nem lapol át, nincs sztereopszis térérzetünk sokkal jobb, mint amit a szenzorunk analízise magyarázna Vajta: Képfeldolgozás és megjelenítés 2014 tavasz

A térlátás összetevői mai ismerteink szerint három kategóriába sorolhatók monokuláris („egy szemmel”) binokuláris („két szemmel”) extraretinális (nem látványból származó) Vajta: Képfeldolgozás és megjelenítés 2014 tavasz

Monokuláris összetevők
Árnyalás és a kontúrok A tárgy mérete Légköri torzítások Lineáris perspektíva Vajta: Képfeldolgozás és megjelenítés 2014 tavasz

Passzív (monokuláris) hatások
Néhány 3D észlelés nem függ a szemünktől, hanem a világ elrendeződéséből következik Ezért észleljük pl. egy fényképen a mélységet A festményeken is ugyanezek a hatások érvényesülnek Vajta: Képfeldolgozás és megjelenítés 2014 tavasz

Lapos a világ? Vajta: Képfeldolgozás és megjelenítés 2014 tavasz

Kép Nofertari sírjából Vajta: Képfeldolgozás és megjelenítés 2014 tavasz

Árnyékok és a megvilágítás

Árnyékolás és kontúrok
Mit ábrázolnak a képek? Vajta: Képfeldolgozás és megjelenítés 2014 tavasz

Talán egy bemélyedést? Vajta: Képfeldolgozás és megjelenítés 2014 tavasz

Vagy egy dombot? Vajta: Képfeldolgozás és megjelenítés 2014 tavasz

De ki van közelebb? Vajta: Képfeldolgozás és megjelenítés 2014 tavasz

takarások Vajta: Képfeldolgozás és megjelenítés 2014 tavasz

A tárgy (elvárt) mérete Az objektumról alkotott kép mérete nem csak a tárgy méretétől, hanem annak távolságától is függ Vajta: Képfeldolgozás és megjelenítés 2014 tavasz

A felületi textúra méretváltozásai
Az objektum elvárt méretéből levont (ösztönös) következtetés hatása különösen szabályos, ismétlődő alakzatok esetén domináns Vajta: Képfeldolgozás és megjelenítés 2014 tavasz

Szemantikai hatások ha ugyanaz a dolog közelebbi = nagyobb ‘átlagos méret’ a távolságot jelzi vagy ismert objektummal hasonlítva akár a saját testünkkel Vajta: Képfeldolgozás és megjelenítés 2014 tavasz

A kék távolabbinak tűnik
Nézz egy távoli hegyet, vagy épületet életlen, kevesebb kontraszt, fakó színek A levegő szóródási hatása Agyunk értelmezése: Kék objektumok távolabbiak Pirosak közelebbiek Kihasználjuk a vizualizációban, és VR-ben (még a kerttervezésben is alkalmazzuk!) Vajta: Képfeldolgozás és megjelenítés 2014 tavasz

Légköri torzítások Vajta: Képfeldolgozás és megjelenítés 2014 tavasz

Légköri torzítások Természeti környezetben az elmosódott részleteket távolibbnak érzékeljük. (Ezt szoktuk meg a légkör optikai hatásaként). Vajta: Képfeldolgozás és megjelenítés 2014 tavasz

Légköri torzítások Vajta: Képfeldolgozás és megjelenítés 2014 tavasz

Lineáris perspektíva Vajta: Képfeldolgozás és megjelenítés 2014 tavasz

Tapasztalataink segítik (és gátolják az észlelést), kompenzálunk

Látásunk kompenzálja a perspektíva és a távolság hatását, ez megtévesztő a természetellenes (azaz nem gyakran előforduló) elrendeződések esetén Vajta: Képfeldolgozás és megjelenítés 2014 tavasz

Binokuláris látás Vajta: Képfeldolgozás és megjelenítés 2014 tavasz

Sztereo látás – és korlátai
Nagy távolság  a bezárt szög csökken A szögkülönbség észlelése is csökken Kis távolságkülönbségek észlelése nem lehetséges Vajta: Képfeldolgozás és megjelenítés 2014 tavasz

A pálcikák és a csapocskák (diszkrét érzékelők) eloszlása a retinán
Az optikai leképzést is figyelembe véve 10 m-es távolságban csak 5 cm körüli felbontás várható, ennél mi jobbak vagyunk! Vajta: Képfeldolgozás és megjelenítés 2014 tavasz

Parallaxis a két szem között

Sztereo: a megfeleltetési probléma
Több lehetséges megfeleltetés, csak egy lehet helyes Vajta: Képfeldolgozás és megjelenítés 2014 tavasz

Extraretinális hatások a szemben
A 3D hatások egy másik része azon alapul, hogy a szemünket mozgatjuk ahhoz, hogy az objektumokat szemügyre vegyük Vajta: Képfeldolgozás és megjelenítés 2014 tavasz

Mozgásalapú sztereo Ahogy az objektum elhalad előttünk, vagy mozgatjuk a szemünket, a közeli objektumok képe jobban elmozdul Vajta: Képfeldolgozás és megjelenítés 2014 tavasz

Binokuláris/szetero látás
Nagyobb látószög Közelebbi objektum Vajta: Képfeldolgozás és megjelenítés 2014 tavasz

Fókusz a szemünket a vizsgált tárgyra fókuszáljuk az ettől közelebbi és távolabbi tárgyak életlenek ebből az abszolút és relatív távolság érzete is származtatható Vajta: Képfeldolgozás és megjelenítés 2014 tavasz

Ellentmondás! valóságban Fókusz mélység = sztereo távolság VR szemüveg két kép a szetero távolsághoz a fókusz az ernyőre áll rá  ellentmondás megzavarja az agyat Vajta: Képfeldolgozás és megjelenítés 2014 tavasz

Szemmagasság – lefelé nézünk
Kisebb szög – távolabbi objektum smaller angle = further away Vajta: Képfeldolgozás és megjelenítés 2014 tavasz

Dinamikus hatások A mozgás is fontos – főleg olyan tárgyaknál, amik messzebb vannak, így a sztereo látás feloldása nem elegendő Vajta: Képfeldolgozás és megjelenítés 2014 tavasz

Parallaxis hatás oldalirányú mozgásoknál

A közeledési sebesség Közeledünk az objektumokhoz A közelebbiek gyorsabban növekednek A távolabbiak lassabban Vajta: Képfeldolgozás és megjelenítés 2014 tavasz

Hallunk is 3D-ben? Vajta: Képfeldolgozás és megjelenítés 2014 tavasz

Bineurális hallás - sztereo hang
A hang időkülönbséggel éri el a két fülünket A különbség helyérzetet generál Csak jobb-bal irányt 1D, nem 3D! Vajta: Képfeldolgozás és megjelenítés 2014 tavasz

Valós 3D A hangot torzítja a fej, a fül, a fülcimpák Ezért a két fülünk eltérő hangot érzékel Ez már 3D pozicionálást tesz lehetővé De ez csak az igazi, természetes hangoknál működik Vajta: Képfeldolgozás és megjelenítés 2014 tavasz

Képfeldolgozás alapfogalmai

Fénytechnikai mértékegységek

OPTOÉRZÉKELŐK Vajta: Képfeldolgozás és megjelenítés 2014 tavasz

Az optikai érzékelés problémái
Az érzékelt objektumnak csak részlátványát látjuk A megvilágítás akaratunktól függetlenül változik Az objektum reflexiós tulajdonságai változnak A visszaverődések átfogása nagyságrend is lehet Több objektum takarhatja egymást Geometriai torzítások meghamisíthatják a látványt Vajta: Képfeldolgozás és megjelenítés 2014 tavasz

CCD érzékelés (Charge Coupled Devices = töltéscsatolt elem) Félvezető kivitelezésű töltéscsatolású elemek az optikai érzékelők legfontosabb képviselői. Úgy sorolvasókban, lapolvasókban mint álló és mozgóképfelvevőkben használatosak. A többszínű felvételt stúdiókameráknál három külön érzékelővel, amatőrkameráknál egy színszűrőkkel ellátott, kombinált érzékelővel szokás előállítani. Forrás: Internet Értelmező Kisszótár (Új Magyar Évezred) Vajta: Képfeldolgozás és megjelenítés 2014 tavasz

Félvezetős elektrooptikai átalakítók Az alapelvet 1970 táján fejlesztették ki a Bell Laboratóriumokban. Olyan eszközöket készítettek, melyek ún. MOS (Metal Oxide Semi-conductor, Fém-Oxid Félvezető) alapú kondenzátorokat használtak föl analóg jelek, különböző nagyságú töltéscsomagok tárolására. Ezekből a kis tárolókból többezer darabot tudtak elhelyezni egy parányi félvezető-lapocskán, s ezeket egy kiolvasó áramkörrel összekötve memóriaegységeket, optikai érzékelőket alkottak. Vajta: Képfeldolgozás és megjelenítés 2014 tavasz

MOS tárolóegység Töltéscsatolás és kiolvasás A töltéscsomagok mozgása egy háromfázisú eszközben, és az egyes fázisok feszültség-idő grafikonja Vajta: Képfeldolgozás és megjelenítés 2014 tavasz

A CCD chip felépítése A chip méretei linear array CCD area array CCD 32x32-től az 5192x5192 pixelig Vajta: Képfeldolgozás és megjelenítés 2014 tavasz

A CCD jellemzői Spektrálérzékenység Egy CCD (balra), illetve az emberi szem és egy pankromatikus fotoemulzió (szaggatott vonal) spektrálérzékenysége (jobbra) Vajta: Képfeldolgozás és megjelenítés 2014 tavasz

A CCD jellemzői Linearitás A CCD és a fotoemúlzió által detektált jel nagysága különböző megvilágításokra Vajta: Képfeldolgozás és megjelenítés 2014 tavasz

A CCD jellemzői Dinamikus tartomány Az egyszerre intenzitáshelyesen megjelenített legfényesebb és leghalványabb képpontok fényességaránya a fotográfiában körüli érték, ellenben a CCD-k esetében ugyanez mintegy 10000! Utóbbi esetben fölső határt szab a pixelek telítődése, vagyis az, hogy csak véges számú elektront tartalmazhat egy képelem. Ha ezt a határt túlléptük, a töltések "átfolynak" a szomszédos pixelekbe (blooming). (Léteznek olyan technikai megoldások, ahol ezt a jelenséget csökkenteni tudják a pixelek közötti "elvezető csatornákkal", ez az un. antiblooming gate technika.) Vajta: Képfeldolgozás és megjelenítés 2014 tavasz

Felbontás, érzékelő felület
A CCD jellemzői Felbontás, érzékelő felület 15 m-es, átlagos pixelmérettel számolva a felbontás 66 vonal/mm, ami elmarad néhány, akár vonal/mm-es felbontást elérő fotoemulzióktól. Ráadásul a valódi felbontás ennél rosszabb. A kép legkisebb rögzíteni kívánt részleteinek ugyanis legalább két-két pixelre kell esni (Shannon-féle mintavételezési tétel), különben ezek egybemosódhatnak. Az érzékelő felületének nagyságát a pixelméret és a pixelszám határozza meg. Ez általában néhány tized és pár cm2 között mozog, a legnagyobbaké is csak 36 cm2, ami szintén elmarad az óriási, több száz cm2-es fotolemezekétől. Szinte csak ezen a két területen van hátránya a CCD-knek a hagyományos technikával szemben. Vajta: Képfeldolgozás és megjelenítés 2014 tavasz

A CCD jellemzői Sötétáram, hibák Az elektronok nem csak fotonok hatására, hanem a hőmozgás során is elszabadulhatnak, s ez a filmeknél ismert "alapfátyol"-hoz hasonlóan jelenik meg a képen. Ennek értéke, eloszlása azonban teljesen véletlenszerű, erősen függ a hőmérséklettől, s az integrációs idő alatt folyamatosan gyűlnek ezek a "zavaró" elektronok is. Az egyes pixelek érzékenysége is különböző, így a rögzített kép egyes pontjainak relatív fényessége is megváltozik. Nem küszöbölhetők ki a gyártás során keletkezett pixelhibák. Gyakran előfordulnak érzéketlen, "halott" képelemek, s ezek legrosszabb esetben az egész chipet használhatatlanná tehetik. (A hibák száma alapján osztályozzák az elkészített chipeket -a legjobbakban általában 10-nél kevesebb hiba van-, s ettől függően szabják meg azok árát.) Vajta: Képfeldolgozás és megjelenítés 2014 tavasz

Színes, nagy fényérzékenységű CCD-k A Bayer minta Mikrolencse minden pixel előtt Színszűrők a pixelek előtt Vajta: Képfeldolgozás és megjelenítés 2014 tavasz

CMOS képérzékelők Míg a CCD-k gyártása bonyolultabb és költségesebb, addig a CMOS áramkörök előállítása egyszerűbb és olcsóbb. A CMOS érzékelőkben minden képponthoz elhelyezhető az elektron-feszültég átalakító, ennek köszönhetően sor- és oszlopcímzéssel rendelkezik. Vagyis az érzékelő minden egyes képpontja külön címezhető. Ezen kívül előnynek számít, hogy a lapkán belül az időzítéseket megvalósító timer-en kívül még az A/D átalakítás is elvégezhető. A CCD esetében viszont az apró érzékelők értékeit sorosan kell kiolvasni, így egy pixel megcímzésére nem igazán van lehetőség az érzékelőn belül. CMOS képérzékelő Vajta: Képfeldolgozás és megjelenítés 2014 tavasz

Hagyományos és Super CCD képelemek elrendeződése
A Fujifilm SuperCCD megoldása abból indult ki, hogy a CCD-n található egymás melletti elemi képpontok túl nagy távolságra helyezkednek el egymástól. Ha ezt a távolságot sikerül csökkenteni, akkor nagyobb felbontás érhető el. Ennek megvalósítására az elemi képpontokat 45 fokkal elforgatták, négyzetes kialakításukat nyolcszögletűre cserélték. A soronként fél képpontnyi eltolással elhelyezett elemi érzékelők ezáltal közelebb kerültek egymáshoz, mint négyzetes felépítés esetén. Vajta: Képfeldolgozás és megjelenítés 2014 tavasz

PSD detektorok Vajta: Képfeldolgozás és megjelenítés 2014 tavasz

PSD-k tipikus felhasználása Vajta: Képfeldolgozás és megjelenítés 2014 tavasz

Ipari képfeldolgozás és képmegjelenítés Műszaki Informatika szak BSc

Hasonló előadás

Az előadások a következő témára: "Ipari képfeldolgozás és képmegjelenítés Műszaki Informatika szak BSc"— Előadás másolata:

Hasonló előadás

Projectumról

Visszajelzés

Bejelentkezés

A társadalmi hálózaton keresztül belépni:

Ipari képfeldolgozás és képmegjelenítés Műszaki Informatika szak BSc

Hasonló előadás

Az előadások a következő témára: "Ipari képfeldolgozás és képmegjelenítés Műszaki Informatika szak BSc"— Előadás másolata:

Hasonló előadás

Projectumról

Visszajelzés