Az előadás letöltése folymat van. Kérjük, várjon

Az előadás letöltése folymat van. Kérjük, várjon

1 Ipari képfeldolgozás és képmegjelenítés Műszaki Informatika szak BSc 4+0+0v Gépi Látás Mechatronika szak MSc 2+0+1f 1. hét Követelmények – Bevezetés.

Hasonló előadás


Az előadások a következő témára: "1 Ipari képfeldolgozás és képmegjelenítés Műszaki Informatika szak BSc 4+0+0v Gépi Látás Mechatronika szak MSc 2+0+1f 1. hét Követelmények – Bevezetés."— Előadás másolata:

1 1 Ipari képfeldolgozás és képmegjelenítés Műszaki Informatika szak BSc 4+0+0v Gépi Látás Mechatronika szak MSc 2+0+1f 1. hét Követelmények – Bevezetés - Képfeldolgozás alapfogalmai - Egy kis művészettörténet - Optikai illúziók – A látás és a térérzékelés alapjai – Fénytechnikai mértékegységek - Optoérzékelők Vajta: Képfeldolgozás és megjelenítés 2014 tavasz

2 Tudnivalók a tárgyról Előadók: Dr. Vajta László a félév első 7 Dr. Loványi István a műszaki informatika hallgatóknak a félév hátralévő Dr. Vajta László a mechatronika MSc hallgatóknak a félév második felében a laborgyakorlatokon Vajta: Képfeldolgozás és megjelenítés 2014 tavasz 2

3 A félév beosztása Első 7 oktatási héten közös előadások (utolsó alkalom március 26. szerda) Előadások minden hétfőn és szerdán között IB017 teremben Műszaki Informatika hallgatók órái a félév hátralévő időszakában ugyanitt folytatódnak Vajta: Képfeldolgozás és megjelenítés 2014 tavasz 3

4 Mechatronika MSc hallgatók a félév hátralévő részében labor gyakorlatokon vesznek részt (3 darab 4 órás mérés hétfőnként között 4 fős csoportokban) Közös zárthelyivel fejezzük be a félév első részét. A zárthelyit a március 26.-i (szerda) előadáson írjuk. A tananyagot és egyéb információkat a topcat.iit.bme.hu/~vajta/3D címről lehet letölteni Vajta: Képfeldolgozás és megjelenítés 2014 tavasz 4

5 Követelmények Sikeres zárthelyi (pótlás a félév utolsó hetében lehetséges) Elfogadott házi feladat Gépész MSc: sikeresen teljesített 3 labor Gépész MSc osztályzat: zárthelyi 50%, házi feladat 30%, mérések osztályzat átlaga 20% Műszaki informatikus BSc: vizsga, az osztályzat: a vizsga zárthelyi 70% (de legalább elégséges), házi feladat 30% Megajánlott jegy: házi feladat prezentáció hallgatói minősítése alapján Vajta: Képfeldolgozás és megjelenítés 2014 tavasz 5

6 Házi feladat 1. A félév során egy házi feladatot kell megoldani A házi feladat egy képfeldolgozással kapcsolatos téma részletes kidolgozása, algoritmus implementálása lehet A házi feladatot csoportokban (4 fő/csoport) kell elkészíteni. A csoportbeosztás gépész hallgatóknál megegyezik a labormérések csoportbeosztásával. A házi feladatok keretében 5-10 oldalas beszámolót (Msword) és 10 perces előadás ppt prezentációt kell készíteni. A Mechatronika hallgatók a március 24.-i és 26.-i órán, a Mérnökinformatikus hallgatók a félév végén meg is tarthatják az előadást. Az előadásokat a hallgatók pontozzák, a legjobb előadásokat (szakonként 2-2 darab max) megajánlott jeggyel jutalmazzuk, amennyiben az egyéb követelményeket a csoport összes tagja teljesítette. Vajta: Képfeldolgozás és megjelenítés 2014 tavasz 6

7 Házi feladat 2. Téma javaslat és csoport összeállítási kérések: 1. oktatási hét péntek (február 14.) Csoportbeosztás és oktatói témajavaslatok közzététele: 2. oktatási hét hétfő (február 17.) Témaválasztás határideje: 2. oktatási hét péntek (február 21.) Kidolgozott feladatok (word és ppt) beadási határideje és előadás tartásra jelentkezés: 6. oktatási hét hétfő (március 17.) Jelentkezés és minden egyéb kommunikáció formája . Kötelező subject: GL2014 illetve IKM2014 FIGYELEM! A nem megfelelő subject mezővel küldött eket nem dolgozzuk fel, és a hibás mail nem képez semmilyen jogorvoslatra sem alapot!!! Vajta: Képfeldolgozás és megjelenítés 2014 tavasz 7

8 A Gépi látás tantárgy részletes tematikája (megegyezik az Ipari képfeldolgozás tantárgy 1-7. heti tematikájával) A számítógépes látás fogalmai, definíciók. Alkalmazási példák. Emberi látás alapjai. A térbeli érzékelés lehetősége monokuláris látással. Binokuláris látás. Optoelektronikai eszközök: Alapfogalmak. Fénytechnikai mértékegységek. Optikai érzékelők, CCD érzékelők, PSD érzékelők. Térbeli információk mérésére alkalmas eszközök (3D kamerák). Képalkotó diagnosztikai eszközök. Korszerű képmegjelenítő eszközök. LCD és plazma kijelzők, projektorok. Lentikuláris megjelenítők. A képek matematikai leírása. A képfüggvények tulajdonságai. Tértranszformációk szerepe a képfeldolgozásban. 2D Fourier transzformáció tulajdonságai, képi ábrázolása, interpretálása. Vajta: Képfeldolgozás és megjelenítés 2014 tavasz 8

9 Digitális kép matematikai reprezentációja: Mintavételezés, kvantálás. Koordinátageometriai alapok. Geometriai transzformációk. Kameramodellek: Pin-hole modell. A perspektív leképzés transzformációs modellje. Megvilágítás, optika, érzékelő modellezése. Árnyalási modellek. Sztereo képalkotás modellezése. Ipari képfeldolgozási példák. Bináris képek feldolgozása. Morfológiai alapműveletek. A képek szűrése a tér- és a frekvencia tartományban. Lineáris és nemlineáris szűrések. Alkalmazási példák. A képek szegmentálásának alapfogalmai. hasonlóság alapú szegmentálások. Szegmentálás a nagyfrekvenciás tulajdonságok alapján. Hough transzformáció. Alkalmazási példák. Vajta: Képfeldolgozás és megjelenítés 2014 tavasz 9

10 Optical flow feldolgozás. Motion sztereo. Mobil robotok látórendszerei. 3D látórendszerek alkalmazása a gyakorlatban. Ipari minőség-ellenőrzés. Navigáció. Közlekedési alkalmazások. Biztonságtechnika és terrorizmus elleni küzdelem. Vajta: Képfeldolgozás és megjelenítés 2014 tavasz 10

11 KÉRDÉS AZ EDDIGIEKHEZ? Vajta: Képfeldolgozás és megjelenítés 2014 tavasz 11

12 Akkor vágjunk bele! Vajta: Képfeldolgozás és megjelenítés 2014 tavasz 12 Témánk: a számítógépes képfeldolgozás Módszereink: Ockham „borotvája” Példáink: közlekedés, egészségügy, biztonságtechnika, gyártástechnológia, kutatás, virtuális valóság Mintánk: a művészetek, az emberi látás, stb.

13 Vajta: Képfeldolgozás és megjelenítés 2014 tavasz 13 Micsoda tulajdonképpen Ockham borotvája? A gazdaságossági elv. „Sokaság szükségtelenül nem tételezhető" (lat.: Pluralitas non est ponenda sine necessitate). E szerint a magyarázatoknak nem szabad az okokat szükségtelenül gyarapítani. Ha egy jelenségre két, egyenlő valószínűséggel bíró magyarázat lehetséges, akkor azt kell elfogadni, amelyik kevesebb létező feltételezésével ad magyarázatot. Például ha egy hasadt fatörzs fekszik a földön, akkor ez lehet egy villámcsapás miatt, vagy mert egy titkos kormányzati fegyverprogramot teszteltek. A legegyszerűbb kielégítő magyarázat Occam borotvája alapján a logikus is egyben: az ok a villámcsapás. William of Ockham (Guillemus Ockham, ismert Occam néven is) (kb. 1285–1348) angol nemzetiségű ferences rendi szerzetes, a skolasztikus filozófia kiemelkedő személyisége.

14 14 Bevezetés Alkalmazási területek Tudományos kutatás Ipar, szolgáltatások Orvostudomány Környezetvédelem Űrkutatás, meteorológia Építészet, gépészet Robotika stb. A vizsgálatok célja Felhasználás Mit mér? Példa Objektum Kontúrok Alkatrész felismerés felületek válogatás struktúrák Objektum Méretek Minőség- felmérés kontúrok ellenőrzés Pozíció Térbeli Robotika helyzet Adaptív Folyamat- Heggeszté- folyamatsz. változók si varratok Vajta: Képfeldolgozás és megjelenítés 2014 tavasz

15 15 A számítógépes képfeldolgozás Vajta: Képfeldolgozás és megjelenítés 2014 tavasz

16 16 A számítógépes képfeldolgozás lépései Felismerés és interpretáció Tudásbázis Képbe- vitel Előfel- dolgozás Szegmen- táció Lényeg- kiemelés Vajta: Képfeldolgozás és megjelenítés 2014 tavasz

17 17 A képfeldolgozás terminológiája Mintatér, szürkeségi szint, felbontás, pixel Tulajdonságtér, lényegkiemelés Döntés Képjavítás Pontszerű, lokális és globális műveletek Két dimenziós képfeldolgozás Három dimenziós képfeldolgozás Látószög, nagyítás, mélységélesség, mélységi élesség Geometriai torzítás Vajta: Képfeldolgozás és megjelenítés 2014 tavasz

18 18 Nézzünk pár érdekes alkalmazást!

19 Vajta: Képfeldolgozás és megjelenítés 2014 tavasz 19 Közlekedési alkalmazások – gyalogos detektálás

20 Vajta: Képfeldolgozás és megjelenítés 2014 tavasz 20 Közlekedési alkalmazások – forgalomszámlálás

21 Vajta: Képfeldolgozás és megjelenítés 2014 tavasz 21 Közlekedési alkalmazások – automatikus sávkövetés

22 Vajta: Képfeldolgozás és megjelenítés 2014 tavasz 22 Közlekedési alkalmazások – ütközés elhárítás

23 Vajta: Képfeldolgozás és megjelenítés 2014 tavasz 23 Biztonsági alkalmazások – objektum követése

24 Vajta: Képfeldolgozás és megjelenítés 2014 tavasz 24 A képek megértésében sokat segít a képzőművészet fejlődésének vizsgálata Nagy vonalakban átnézzük az egyiptomi (síkok, statikus) görög (mozgás, mélységek, színek) római (görög minta követése) gótikus (reflexiók első értelmezése) reneszánsz jellegzetességeit

25 Az ókori egyiptomi festészet és domborműszobrászat összefoglaló elnevezése sík- művészet. A teret síkokra bontották föl, az időt nem ábrázolták. 25Vajta: Képfeldolgozás és megjelenítés 2014 tavasz

26 A görög festmények nagy része elveszett, vagy nagyon megrongálódott. Csak a korabeli forrásokból tudhatunk meg valamit a festészetükről. A görög festészet is az emberi alakot kezdte tanulmányozni először, majd a mozgást, a távlatot Polügnotosz, a színárnyalatokat, a fény- és árnyékhatásokat Apollodorosz kutatta. 26Vajta: Képfeldolgozás és megjelenítés 2014 tavasz

27 Philoxenosz: Nagy Sándor és Dareiosz csatája (i.e. 4.sz. vége, mozaikként maradt fenn) 27Vajta: Képfeldolgozás és megjelenítés 2014 tavasz

28 A római festészet hasonló, mint a görög. Térbeliség érzékeltetése: árnyékokkal és fényekkel, a párhuzamosok még nem összetartóak, a mélységnek az egyre halványodó színezés felel meg. 28Vajta: Képfeldolgozás és megjelenítés 2014 tavasz

29 A gótikus festészetet legfőbb jellemzője az arabeszkekhez hasonlóan burjánzó, játékosan lendülő vagy megtörő vonal, végső soron a síkdíszítmény uralma. Giotto di Bondone 1267 – 1337) firenzei festő, szobrász és építész, a korai reneszánsz, a trecento művészetének első jelentős alakja. 29Vajta: Képfeldolgozás és megjelenítés 2014 tavasz Találkozás az Aranykapunál (Padova, Scrovegni-kápolna) Pünkösd

30 A reneszánsz különböző festéstechnikai újítások, a szín és térperspektíva felfedezésének kora. Innentől beszélhetünk a képek megértésének technikájáról 30Vajta: Képfeldolgozás és megjelenítés 2014 tavasz Jan Vermeer van Delft 1658Rembrandt 1642

31 Vajta: Képfeldolgozás és megjelenítés 2014 tavasz 31 A fejlődés során a művészek megértették azt, hogy a képeken hogyan jelennek meg olyan jelenségek, mint A mélység A felületek görbülete Az anyagminőség A mozgás A fények játéka Technikai módszereket fejlesztettek a megértett folyamatok „mérésére”.

32 Brunelleschi Kukucskáló módszere Táblaképe (elveszett) a firenzei San Giovanni keresztelőkápolnát ábrázolja. Pontosan azt mutatja be, ahogyan a kápolna a katedrális kapujából látszik. A festmény illuzionisztikus hatásának élethűségét úgy igazolta, hogy lyukat fúrt rajta azon a ponton, amelyet később enyészpontnak neveztek el. A lyukon belenézve a másik kézben tartott tükörbe, a néző összevethette a tükörben látott képet a valósággal. 32Vajta: Képfeldolgozás és megjelenítés 2014 tavasz

33 Alberti módszere Egy emberalak magasságán alapul, amit 3 „braccio”- ban határozott meg (kb. 1,8 m). A négyszög alakú képfelület alapvonalát bracciokra osztotta fel. Meghatározta az enyészpontot úgy, hogy az alapvonal középpontjából kiindulva 3 braccio hosszú, függőleges vonalat húzott. Ez a pont a művész szemével egy vonalban volt. Mindezek után „ortogonális” egyenesekkel kötötte össze az alapvonal beosztásait az enyészponttal. 33Vajta: Képfeldolgozás és megjelenítés 2014 tavasz

34 A következő fázisok szemléltetésére Alberti oldalnézetet vázolt fel, amelyen a képsík éle látszik. Felosztotta az alapsíkot bracciokra és a képsík élétől balra megjelölte a nézőpontot (meghatározva ezzel a látótávolságot). Következő lépésként látósugarakat reprezentáló egyeneseket húzott a nézőpontból az alapsík osztópontjához. Ezek a vonalak és a képsík élének metszéspontjai jelölték ki a horizontális egyenesek helyét. Ezeket Alberti rárajzolta az első fázis ábrájára, s így rövidülésben látszó kockás padlót kapott eredményül. 34Vajta: Képfeldolgozás és megjelenítés 2014 tavasz

35 Leonardo görbe vonalú perspektívája Abban az esetben, ha a szemtől az oszlopok széléig húzott vonalat egyenessel metsszük, az oldalsó oszlopok szélesebbnek látszanak, mint a középső. Ha viszont a metsző vonal félkörív, az oszlopok egyformának tűnnek. 35Vajta: Képfeldolgozás és megjelenítés 2014 tavasz

36 Leonardo da Vinci: Angyali üdvözlet Gondosan kidolgozott perspektivikus szerkezete van, az alakok azonban aránytalanul nagyok és nem olyan szabályosak, mint amilyennek első pillantásra tűnnek. Ha jól megfigyeljük, Mária karja túl hosszú a testéhez képest. A jelenetet négyzethálós alaprajzra vetítve világosan látszik, hogy Mária karjának és az olvasópultnak egy egységgel hátrébb kellene lennie, mert a kar így illeszkedne helyesen a testhez. Leonardo számára azonban fontosabb volt a történet világos elbeszélése, mint a szabályos perspektíva. 36Vajta: Képfeldolgozás és megjelenítés 2014 tavasz

37 Leonardo da Vinci: Keresztelő Szent János A megvilágított alak a homályból bukkan elő. Nehéz meghatározni a ráeső fény forrását. 37Vajta: Képfeldolgozás és megjelenítés 2014 tavasz

38 Kis kikapcsolódás: a természet furcsaságai… Tehát nem csak a forma számít! 38Vajta: Képfeldolgozás és megjelenítés 2014 tavasz

39 39Vajta: Képfeldolgozás és megjelenítés 2014 tavasz

40 40Vajta: Képfeldolgozás és megjelenítés 2014 tavasz

41 41

42 42Vajta: Képfeldolgozás és megjelenítés 2014 tavasz

43 43

44 44Vajta: Képfeldolgozás és megjelenítés 2014 tavasz

45 Kicsit komolyabban: generáljunk mesterségesen furcsaságokat! 45Vajta: Képfeldolgozás és megjelenítés 2014 tavasz

46 46Vajta: Képfeldolgozás és megjelenítés 2014 tavasz

47 47 Számold meg a fekete pontokat! Vajta: Képfeldolgozás és megjelenítés 2014 tavasz

48 48 A vízszintes vonalak párhuzamosak vagy egymáshoz képest ferdék? Vajta: Képfeldolgozás és megjelenítés 2014 tavasz

49 49 Hány lába van az elefántnak? Vajta: Képfeldolgozás és megjelenítés 2014 tavasz

50 50 Folyamatosan nézd a fekete pontot! Egy idő után, a körülötte lévő szürke felhő mintha összeszűkülne! Vajta: Képfeldolgozás és megjelenítés 2014 tavasz

51 51 Összpontosíts a középpontban lévő fekete pontra és mozgasd a fejedet előre-hátra! Ugye milyen fura … Vajta: Képfeldolgozás és megjelenítés 2014 tavasz

52 52 1) Lazíts egy kicsit, majd összpontosíts az ábra közepén lévő 4 kis pontra kb másodpercig! 2) Majd nézz egy közeli falra (bármilyen sima, egyszínű felületre)! 3) Látni fogod, amint egy kör alakú fény kirajzolódik. 4) Pislogj egy párszor és egy arc kezd lassan megjelenni … 5) Mit látsz? Pontosabban kit látsz? Vajta: Képfeldolgozás és megjelenítés 2014 tavasz

53 53Vajta: Képfeldolgozás és megjelenítés 2014 tavasz

54 54 Are the purple lines straight or bent? A lila vonalak egyenesek vagy íveltek? Vajta: Képfeldolgozás és megjelenítés 2014 tavasz

55 55 Which circle in the middle is bigger? A két középső kör közül melyik a nagyobb? Vajta: Képfeldolgozás és megjelenítés 2014 tavasz

56 56 Látsz szürke területeket a négyzetek között? Honnan jönnek? Vajta: Képfeldolgozás és megjelenítés 2014 tavasz

57 57 You should see a man's face and also a word... Hint: Try tilting your head to the right, the world begins with 'L‘ Egy férfi arcát láthatod, de egyben egy szót is.. Segítség: fordíts egy kicsit jobbra a fejed és keress egy ‘L’ betűvel kezdődő szót! Vajta: Képfeldolgozás és megjelenítés 2014 tavasz

58 58 Is this possible!?! Ez lehetséges!?! Vajta: Képfeldolgozás és megjelenítés 2014 tavasz

59 59 Akkor próbáljuk megmagyarázni: Az emberi látás alapjai Vajta: Képfeldolgozás és megjelenítés 2014 tavasz

60 60 Korai elméletek a látásról A régi filozófusok, mint Platon és Euklidesz úgy gondolták, hogy a látás nem a szembe jutó fény érzékelésével valósul meg, hanem a szem valamilyen „részecskéket” sugároz ki, amelyek „letapogatják” az objektumokat, úgy, ahogy azt az ujjunkkal is tesszük. Erre az elméletre később még visszatérünk! Vajta: Képfeldolgozás és megjelenítés 2014 tavasz

61 61 Az emberi látás A látás első lépése az, hogy fény jut a szembe. Ezt a fényt a szaruhártya és a szemlencse fókuszálja a retinára, egy vékony idegszövet rétegre a szem hátsó részén, amely fotoérzékelőket tartalmaz. A fotoérzékelők a fényt ingerekké alakítják, melyek az agyba kerülnek. Vajta: Képfeldolgozás és megjelenítés 2014 tavasz

62 62Vajta: Képfeldolgozás és megjelenítés 2014 tavasz

63 63 Mi az ami látható ? Az elektromágneses sugárzás 400 és 700 nm közé eső részét érzékeljük. Noha a teljes spektrumnak csak egy töredékét érzékeljük, mégis, mivel az atmoszférában megjelenő sugárzás 83%-a ebbe a tartományba esik, jó hatásfokkal érzékeljük az információkat. (egyes állatok olyasmiket is látnak, amit az emberek nem, pl. a pillangók érzékelik az ibolyántúli jeleket, a kígyók pedig az infravörös sugárzást). Vajta: Képfeldolgozás és megjelenítés 2014 tavasz

64 64 Hullám- hossz Rádióhullámok Látható spektrum InfravörösUltraibolya Röntgen Vajta: Képfeldolgozás és megjelenítés 2014 tavasz

65 65 Mi a látás? A fény megváltozik az útjába eső tárgyakkal való kölcsönhatás miatt A fény visszaverődik A fény elnyelődik A fény elhajlik, szóródik A fény megtörik Vajta: Képfeldolgozás és megjelenítés 2014 tavasz

66 66 FénytörésFényvisszaverődés FényelnyelésFényszóródás tükör Vajta: Képfeldolgozás és megjelenítés 2014 tavasz

67 67 Mitől jó egy látószerv? Hány darab, milyen minőségű, és hol legyen elhelyezve? A növényevőknek általában a fejük oldalán helyezkednek el A ragadozók szeme elől található Vajta: Képfeldolgozás és megjelenítés 2014 tavasz

68 68 Hogyan lehet a legjobban érzékelni és fókuszálni a fényt? A legegyszerűbb: a pinhole kamera Ha a blende túl nagy, életlen kép keletkezik Ha a blende túl kicsi, szóródás lép fel Kis blendével nem lehet jól látni kicsi/közepes környezeti fényben EZÉRT a fényt fókuszálni kell, ami a szaruhártya és a szemlencse feladata Vajta: Képfeldolgozás és megjelenítés 2014 tavasz

69 69Vajta: Képfeldolgozás és megjelenítés 2014 tavasz

70 70 Az emberi szem felépítése Vajta: Képfeldolgozás és megjelenítés 2014 tavasz

71 71 Az emberi szem külső része Sclera: inhártya. Pupilla: lyuk. Írisz, szivárványhártya: olyan, mint a fényképezőgép blendéje - divatos színekben készül. Az írisznek elegendően sötétnek kell lennie ahhoz, hogy ne verjen vissza túl sok fényt (jusson a szembe is). Az albínóknak pl. emiatt gyenge a látása. Vajta: Képfeldolgozás és megjelenítés 2014 tavasz

72 72 A szem belső része Szaruhártya: vékony, átlátszó burkolat a szemgolyón. A szem legfontosabb fénytörő/fókuszáló része. Szemlencse: fókusztávolsága változtatható a közeli/távoli látáshoz (ld. később). Fovea, sárga folt: a retina része, a látómező középső részének felel meg. Vakfolt: a retina idegkivezetésre szolgáló része. Látóideg Csarnok/aqueous humor: folyadékkal (csarnokvízzel) töltött rész a szemlencse előtt. Hátsó kamra/vitreous humor: zselés folyadékkal(üvegtest) töltött rész a szemlencse mögött. Vajta: Képfeldolgozás és megjelenítés 2014 tavasz

73 73 Nézd mereven a kép középpontját. A szürke környezet eltűnik. A vakfolt érzékelése: hunyd be a jobb szemed, és nézd mereven a keresztet. Változtasd az ábra távolságát, amíg a fekete pont eltűnik a vakfolton. A kitöltés érzékelése: hunyd be a jobb szemed, és nézd mereven a keresztet, ahogy az előbb.Mi történik, ha a tárcsa középpontja a vakfoltra esik? Takard le a hüvelykujjaddal a tárcsa középpontját. Mi változik? Vajta: Képfeldolgozás és megjelenítés 2014 tavasz

74 74 A szemlencse fókusz- távolsága változtatható: Nagy tárgytávolság: a szemizmok ellazulnak, a lencse görbülete kicsi Közeli tárgyak: a szem- izmok megfeszülnek, a szemlencse görbülete nő Vajta: Képfeldolgozás és megjelenítés 2014 tavasz

75 75 A szemlencse automatikus fókuszálása nem mindenkinél tökéletes. Ezt a hibát korrigálja a szemüveg. Vajta: Képfeldolgozás és megjelenítés 2014 tavasz

76 76 Retina fotoérzékelőket tartalmaz pálcikák és csapocskák az elnevezés a formájukra utal a pálcikák érzékenyek, a fekete-fehér látást szolgálják A pálcikák és csapocskák eloszlása a foveán és a retina szélső részein Vajta: Képfeldolgozás és megjelenítés 2014 tavasz

77 77 A csapocskák jó megvilágításnál, a színeket érzékelik, három típusuk létezik A csapocskák három típusa különböző spektrális érzékenységgel rendelkezik Vajta: Képfeldolgozás és megjelenítés 2014 tavasz

78 78 A fotoérzékelők eloszlása a retinán: a fovea szinte csak csapocskákat, a látómező széle dominánsan pálcikákat tartalmaz: Ez azt okozza, hogy a látómező közepén jó, a szélein azonban színte megszűnik a színek érzékelése Gyenge fényben a perifériás látás az érzékenyebb (a csillagok fényesebbek, ha nem nézünk közvetlenül rájuk) Éjjeli állatoknak pálcikára épül a látásuk Vajta: Képfeldolgozás és megjelenítés 2014 tavasz

79 79 A pálcikák és a csapocskák eloszlása a retinán Vajta: Képfeldolgozás és megjelenítés 2014 tavasz

80 80 Adaptáció a környezeti fényhez Az éjszakai/nappali fényintenzitás aránya akár 40 milliárd ( !) is lehet A pupilla változtatásával ezt csökkenteni lehet, de még így is kb. 3 milliárdos átfogást kell érzékelni! A szem ezt a pálcikák és csapocskák közötti átkapcsolással oldja meg A pálcikák akár egyetlen fotont is képesek detektálni, míg a pálcikák praktikusan soha sem mennek telítésbe Vajta: Képfeldolgozás és megjelenítés 2014 tavasz

81 81 Az átkapcsolás azonban némi időt vesz igénybe A fényadaptáció a retina egyik legfontosabb funkciója. Fontos: az agy a feldolgozás során nem értékeli ki az abszolút intenzitást - ehelyett a környezethez képesti intenzitás különbségeket érzékeli Vajta: Képfeldolgozás és megjelenítés 2014 tavasz

82 82 A sötétségadaptáció időfüggvénye mutatja a pálcikák és csapocskák közötti átkapcsolás lezajlását. A görbén a körök azt az intenzitást jelzik, ahol az ibolya tesztszín már nem volt érzékelhető. Vajta: Képfeldolgozás és megjelenítés 2014 tavasz

83 83 A fekete-fehér látás A kontraszt: logaritmikus érzékenységre épül azonos kontrasztérzet kontrasztküszöb, függ a környezeti fénytől kontrasztküszöb-arány (Weber tört), közel állandó Vajta: Képfeldolgozás és megjelenítés 2014 tavasz

84 84 A fekete-fehér látás A háttér szerepe befolyásolja a kontrasztküszöböt A kontrasztküszöb síkfrekvencia érzékeny Síkfrekvencia/látószögfok 0,1110 0,5 1 Vajta: Képfeldolgozás és megjelenítés 2014 tavasz

85 85Vajta: Képfeldolgozás és megjelenítés 2014 tavasz

86 86Vajta: Képfeldolgozás és megjelenítés 2014 tavasz

87 87Vajta: Képfeldolgozás és megjelenítés 2014 tavasz

88 88Vajta: Képfeldolgozás és megjelenítés 2014 tavasz

89 89 PirosZöld Kék Szűrt kék Vajta: Képfeldolgozás és megjelenítés 2014 tavasz

90 90 Visszaállítás: R +G+szűrtB Vajta: Képfeldolgozás és megjelenítés 2014 tavasz

91 91 Erősen szűrt kék Vajta: Képfeldolgozás és megjelenítés 2014 tavasz

92 92 Visszaállítás: R + G + erősen szűrt B Vajta: Képfeldolgozás és megjelenítés 2014 tavasz

93 93 Szűrt kékkelErősen szűrt kékkel Eredeti Vajta: Képfeldolgozás és megjelenítés 2014 tavasz

94 94 A fekete-fehér látás A kontrasztküszöb hirtelen ugrásoknál lokálisan csökken Az intenzitásérzékelés függ a környezettől Vajta: Képfeldolgozás és megjelenítés 2014 tavasz

95 95 A fekete-fehér látás A síkfrekvencia növekedése rontja a méret- és az irányérzékelést! Vajta: Képfeldolgozás és megjelenítés 2014 tavasz

96 96 A fekete-fehér látás - makroszerkezet prioritások: sima folytonosság zártság háttér leválasztás „szabálysértő” alakzat - mikroszerkezet „textúra”: hasonló elemeket összekapcsoljuk Vajta: Képfeldolgozás és megjelenítés 2014 tavasz

97 97 Észlelés 3D-ben Mitől látunk a térben? Vajta: Képfeldolgozás és megjelenítés 2014 tavasz

98 98 3D világban élünk Egy pontból vizsgáljuk Szemünk, fülünk és az agyunk sok módszert alakított ki az észlelésre Vajta: Képfeldolgozás és megjelenítés 2014 tavasz

99 99 A mélységi érzékelés alapjai A világ 3 dimenziós, de a visszaverődő fény csak egy 2D leképződést idéz elő a retinán. Valahogy mégis visszaállítjuk (visszaszámítjuk?) a mélységi információkat, de hogyan? A kézenfekvő magyarázat térérzetünk működésére a sztereo látás, de tudjuk, hogy: egy szemmel (monokulárisan) is jó térérzettel rendelkezünk, sok állat két szemének látótere nem lapol át, nincs sztereopszis térérzetünk sokkal jobb, mint amit a szenzorunk analízise magyarázna Vajta: Képfeldolgozás és megjelenítés 2014 tavasz

100 100 A térlátás összetevői mai ismerteink szerint három kategóriába sorolhatók monokuláris („egy szemmel”) binokuláris („két szemmel”) extraretinális (nem látványból származó) Vajta: Képfeldolgozás és megjelenítés 2014 tavasz

101 101 Monokuláris összetevők Árnyalás és a kontúrok A tárgy mérete Légköri torzítások Lineáris perspektíva Vajta: Képfeldolgozás és megjelenítés 2014 tavasz

102 102 Passzív (monokuláris) hatások Néhány 3D észlelés nem függ a szemünktől, hanem a világ elrendeződéséből következik Ezért észleljük pl. egy fényképen a mélységet A festményeken is ugyanezek a hatások érvényesülnek Vajta: Képfeldolgozás és megjelenítés 2014 tavasz

103 103 Lapos a világ? Vajta: Képfeldolgozás és megjelenítés 2014 tavasz

104 104 Kép Nofertari sírjából Vajta: Képfeldolgozás és megjelenítés 2014 tavasz

105 105 Árnyékok és a megvilágítás Vajta: Képfeldolgozás és megjelenítés 2014 tavasz

106 106 Mit ábrázolnak a képek? Árnyékolás és kontúrok Vajta: Képfeldolgozás és megjelenítés 2014 tavasz

107 107 Talán egy bemélyedést? Vajta: Képfeldolgozás és megjelenítés 2014 tavasz

108 108 Vagy egy dombot? Vajta: Képfeldolgozás és megjelenítés 2014 tavasz

109 109Vajta: Képfeldolgozás és megjelenítés 2014 tavasz

110 110Vajta: Képfeldolgozás és megjelenítés 2014 tavasz

111 111Vajta: Képfeldolgozás és megjelenítés 2014 tavasz

112 112Vajta: Képfeldolgozás és megjelenítés 2014 tavasz

113 113 De ki van közelebb? Vajta: Képfeldolgozás és megjelenítés 2014 tavasz

114 114 takarások Vajta: Képfeldolgozás és megjelenítés 2014 tavasz

115 115 A tárgy (elvárt) mérete Az objektumról alkotott kép mérete nem csak a tárgy méretétől, hanem annak távolságától is függ Vajta: Képfeldolgozás és megjelenítés 2014 tavasz

116 116Vajta: Képfeldolgozás és megjelenítés 2014 tavasz

117 117Vajta: Képfeldolgozás és megjelenítés 2014 tavasz

118 118 A felületi textúra méretváltozásai Az objektum elvárt méretéből levont (ösztönös) következtetés hatása különösen szabályos, ismétlődő alakzatok esetén domináns Vajta: Képfeldolgozás és megjelenítés 2014 tavasz

119 119  ‘átlagos méret’ a távolságot jelzi  vagy ismert objektummal hasonlítva  akár a saját testünkkel  ha ugyanaz a dolog... közelebbi = nagyobb Szemantikai hatások Vajta: Képfeldolgozás és megjelenítés 2014 tavasz

120 120 A kék távolabbinak tűnik Nézz egy távoli hegyet, vagy épületet –életlen, kevesebb kontraszt, fakó színek A levegő szóródási hatása Agyunk értelmezése: –Kék objektumok távolabbiak –Pirosak közelebbiek Kihasználjuk a vizualizációban, és VR-ben (még a kerttervezésben is alkalmazzuk!) Vajta: Képfeldolgozás és megjelenítés 2014 tavasz

121 121 Légköri torzítások Vajta: Képfeldolgozás és megjelenítés 2014 tavasz

122 122 Légköri torzítások Természeti környezetben az elmosódott részleteket távolibbnak érzékeljük. (Ezt szoktuk meg a légkör optikai hatásaként). Vajta: Képfeldolgozás és megjelenítés 2014 tavasz

123 123 Légköri torzítások Vajta: Képfeldolgozás és megjelenítés 2014 tavasz

124 124 Lineáris perspektíva Vajta: Képfeldolgozás és megjelenítés 2014 tavasz

125 125 Lineáris perspektíva Vajta: Képfeldolgozás és megjelenítés 2014 tavasz

126 126 Lineáris perspektíva Vajta: Képfeldolgozás és megjelenítés 2014 tavasz

127 127 Lineáris perspektíva Vajta: Képfeldolgozás és megjelenítés 2014 tavasz

128 128 Tapasztalataink segítik (és gátolják az észlelést), kompenzálunk Vajta: Képfeldolgozás és megjelenítés 2014 tavasz

129 129 Látásunk kompenzálja a perspektíva és a távolság hatását, ez megtévesztő a természetellenes (azaz nem gyakran előforduló) elrendeződések esetén Vajta: Képfeldolgozás és megjelenítés 2014 tavasz

130 130 Binokuláris látás Vajta: Képfeldolgozás és megjelenítés 2014 tavasz

131 131 Sztereo látás – és korlátai Nagy távolság  a bezárt szög csökken A szögkülönbség észlelése is csökken Kis távolságkülönbségek észlelése nem lehetséges Vajta: Képfeldolgozás és megjelenítés 2014 tavasz

132 132 A pálcikák és a csapocskák (diszkrét érzékelők) eloszlása a retinán Az optikai leképzést is figyelembe véve 10 m-es távolságban csak 5 cm körüli felbontás várható, ennél mi jobbak vagyunk! Vajta: Képfeldolgozás és megjelenítés 2014 tavasz

133 133 Parallaxis a két szem között Vajta: Képfeldolgozás és megjelenítés 2014 tavasz

134 134 Sztereo: a megfeleltetési probléma Több lehetséges megfeleltetés, csak egy lehet helyes Vajta: Képfeldolgozás és megjelenítés 2014 tavasz

135 135 Extraretinális hatások a szemben A 3D hatások egy másik része azon alapul, hogy a szemünket mozgatjuk ahhoz, hogy az objektumokat szemügyre vegyük Vajta: Képfeldolgozás és megjelenítés 2014 tavasz

136 136 Mozgásalapú sztereo Ahogy az objektum elhalad előttünk, vagy mozgatjuk a szemünket, a közeli objektumok képe jobban elmozdul Vajta: Képfeldolgozás és megjelenítés 2014 tavasz

137 137 Binokuláris/szetero látás Nagyobb látószög Közelebbi objektum Vajta: Képfeldolgozás és megjelenítés 2014 tavasz

138 138 Fókusz  a szemünket a vizsgált tárgyra fókuszáljuk  az ettől közelebbi és távolabbi tárgyak életlenek  ebből az abszolút és relatív távolság érzete is származtatható Vajta: Képfeldolgozás és megjelenítés 2014 tavasz

139 139 Ellentmondás!  valóságban... Fókusz mélység = sztereo távolság  VR szemüveg két kép a szetero távolsághoz a fókusz az ernyőre áll rá  ellentmondás megzavarja az agyat Vajta: Képfeldolgozás és megjelenítés 2014 tavasz

140 140 Szemmagasság – lefelé nézünk smaller angle = further away Kisebb szög – távolabbi objektum Vajta: Képfeldolgozás és megjelenítés 2014 tavasz

141 141 Dinamikus hatások A mozgás is fontos – főleg olyan tárgyaknál, amik messzebb vannak, így a sztereo látás feloldása nem elegendő Vajta: Képfeldolgozás és megjelenítés 2014 tavasz

142 142 Parallaxis hatás oldalirányú mozgásoknál Vajta: Képfeldolgozás és megjelenítés 2014 tavasz

143 143 A közeledési sebesség  Közeledünk az objektumokhoz  A közelebbiek gyorsabban növekednek  A távolabbiak lassabban Vajta: Képfeldolgozás és megjelenítés 2014 tavasz

144 144 Hallunk is 3D-ben? Vajta: Képfeldolgozás és megjelenítés 2014 tavasz

145 145 Bineurális hallás - sztereo hang A hang időkülönbséggel éri el a két fülünket A különbség helyérzetet generál Csak jobb-bal irányt 1D, nem 3D! Vajta: Képfeldolgozás és megjelenítés 2014 tavasz

146 146 Valós 3D A hangot torzítja a fej, a fül, a fülcimpák Ezért a két fülünk eltérő hangot érzékel Ez már 3D pozicionálást tesz lehetővé De ez csak az igazi, természetes hangoknál működik Vajta: Képfeldolgozás és megjelenítés 2014 tavasz

147 147 Képfeldolgozás alapfogalmai Vajta: Képfeldolgozás és megjelenítés 2014 tavasz

148 148 Fénytechnikai mértékegységek Vajta: Képfeldolgozás és megjelenítés 2014 tavasz

149 149Vajta: Képfeldolgozás és megjelenítés 2014 tavasz

150 150Vajta: Képfeldolgozás és megjelenítés 2014 tavasz

151 151Vajta: Képfeldolgozás és megjelenítés 2014 tavasz

152 152Vajta: Képfeldolgozás és megjelenítés 2014 tavasz

153 153 OPTOÉRZÉKELŐK Vajta: Képfeldolgozás és megjelenítés 2014 tavasz

154 154 Az optikai érzékelés problémái Az érzékelt objektumnak csak részlátványát látjuk A megvilágítás akaratunktól függetlenül változik Az objektum reflexiós tulajdonságai változnak A visszaverődések átfogása nagyságrend is lehet Több objektum takarhatja egymást Geometriai torzítások meghamisíthatják a látványt Vajta: Képfeldolgozás és megjelenítés 2014 tavasz

155 155 (Charge Coupled Devices = töltéscsatolt elem) Félvezető kivitelezésű töltéscsatolású elemek az optikai érzékelők legfontosabb képviselői. Úgy sorolvasókban, lapolvasókban mint álló és mozgóképfelvevőkben használatosak. A többszínű felvételt stúdiókameráknál három külön érzékelővel, amatőrkameráknál egy színszűrőkkel ellátott, kombinált érzékelővel szokás előállítani. Forrás: Internet Értelmező Kisszótár (Új Magyar Évezred) CCD érzékelés Vajta: Képfeldolgozás és megjelenítés 2014 tavasz

156 156 Az alapelvet 1970 táján fejlesztették ki a Bell Laboratóriumokban. Olyan eszközöket készítettek, melyek ún. MOS (Metal Oxide Semi-conductor, Fém-Oxid Félvezető) alapú kondenzátorokat használtak föl analóg jelek, különböző nagyságú töltéscsomagok tárolására. Ezekből a kis tárolókból többezer darabot tudtak elhelyezni egy parányi félvezető-lapocskán, s ezeket egy kiolvasó áramkörrel összekötve memóriaegységeket, optikai érzékelőket alkottak. Félvezetős elektrooptikai átalakítók Vajta: Képfeldolgozás és megjelenítés 2014 tavasz

157 157 MOS tárolóegység Töltéscsatolás és kiolvasás A töltéscsomagok mozgása egy háromfázisú eszközben, és az egyes fázisok feszültség-idő grafikonja Vajta: Képfeldolgozás és megjelenítés 2014 tavasz

158 158 A CCD chip felépítése A chip méretei linear array CCD area array CCD 32x32-től az 5192x5192 pixelig Vajta: Képfeldolgozás és megjelenítés 2014 tavasz

159 159 A CCD jellemzői Spektrálérzékenység Egy CCD (balra), illetve az emberi szem és egy pankromatikus fotoemulzió (szaggatott vonal) spektrálérzékenysége (jobbra) Vajta: Képfeldolgozás és megjelenítés 2014 tavasz

160 160 A CCD jellemzői Linearitás A CCD és a fotoemúlzió által detektált jel nagysága különböző megvilágításokra Vajta: Képfeldolgozás és megjelenítés 2014 tavasz

161 161 Dinamikus tartomány Az egyszerre intenzitáshelyesen megjelenített legfényesebb és leghalványabb képpontok fényességaránya a fotográfiában 100 körüli érték, ellenben a CCD-k esetében ugyanez mintegy 10000! Utóbbi esetben fölső határt szab a pixelek telítődése, vagyis az, hogy csak véges számú elektront tartalmazhat egy képelem. Ha ezt a határt túlléptük, a töltések "átfolynak" a szomszédos pixelekbe (blooming). (Léteznek olyan technikai megoldások, ahol ezt a jelenséget csökkenteni tudják a pixelek közötti "elvezető csatornákkal", ez az un. antiblooming gate technika.) A CCD jellemzői Vajta: Képfeldolgozás és megjelenítés 2014 tavasz

162 162 A CCD jellemzői Felbontás, érzékelő felület 15  m-es, átlagos pixelmérettel számolva a felbontás 66 vonal/mm, ami elmarad néhány, akár vonal/mm-es felbontást elérő fotoemulzióktól. Ráadásul a valódi felbontás ennél rosszabb. A kép legkisebb rögzíteni kívánt részleteinek ugyanis legalább két-két pixelre kell esni (Shannon-féle mintavételezési tétel), különben ezek egybemosódhatnak. Az érzékelő felületének nagyságát a pixelméret és a pixelszám határozza meg. Ez általában néhány tized és pár cm2 között mozog, a legnagyobbaké is csak 36 cm2, ami szintén elmarad az óriási, több száz cm2-es fotolemezekétől. Szinte csak ezen a két területen van hátránya a CCD-knek a hagyományos technikával szemben. Vajta: Képfeldolgozás és megjelenítés 2014 tavasz

163 163 Sötétáram, hibák Az elektronok nem csak fotonok hatására, hanem a hőmozgás során is elszabadulhatnak, s ez a filmeknél ismert "alapfátyol"-hoz hasonlóan jelenik meg a képen. Ennek értéke, eloszlása azonban teljesen véletlenszerű, erősen függ a hőmérséklettől, s az integrációs idő alatt folyamatosan gyűlnek ezek a "zavaró" elektronok is. Az egyes pixelek érzékenysége is különböző, így a rögzített kép egyes pontjainak relatív fényessége is megváltozik. Nem küszöbölhetők ki a gyártás során keletkezett pixelhibák. Gyakran előfordulnak érzéketlen, "halott" képelemek, s ezek legrosszabb esetben az egész chipet használhatatlanná tehetik. (A hibák száma alapján osztályozzák az elkészített chipeket -a legjobbakban általában 10-nél kevesebb hiba van-, s ettől függően szabják meg azok árát.) A CCD jellemzői Vajta: Képfeldolgozás és megjelenítés 2014 tavasz

164 164 A Bayer minta Színes, nagy fényérzékenységű CCD-k Mikrolencse minden pixel előtt Színszűrők a pixelek előtt Vajta: Képfeldolgozás és megjelenítés 2014 tavasz

165 165 CMOS képérzékelő Míg a CCD-k gyártása bonyolultabb és költségesebb, addig a CMOS áramkörök előállítása egyszerűbb és olcsóbb. A CMOS érzékelőkben minden képponthoz elhelyezhető az elektron-feszültég átalakító, ennek köszönhetően sor- és oszlopcímzéssel rendelkezik. Vagyis az érzékelő minden egyes képpontja külön címezhető. Ezen kívül előnynek számít, hogy a lapkán belül az időzítéseket megvalósító timer-en kívül még az A/D átalakítás is elvégezhető. A CCD esetében viszont az apró érzékelők értékeit sorosan kell kiolvasni, így egy pixel megcímzésére nem igazán van lehetőség az érzékelőn belül. CMOS képérzékelők Vajta: Képfeldolgozás és megjelenítés 2014 tavasz

166 166 A Fujifilm SuperCCD megoldása abból indult ki, hogy a CCD-n található egymás melletti elemi képpontok túl nagy távolságra helyezkednek el egymástól. Ha ezt a távolságot sikerül csökkenteni, akkor nagyobb felbontás érhető el. Ennek megvalósítására az elemi képpontokat 45 fokkal elforgatták, négyzetes kialakításukat nyolcszögletűre cserélték. A soronként fél képpontnyi eltolással elhelyezett elemi érzékelők ezáltal közelebb kerültek egymáshoz, mint négyzetes felépítés esetén. Hagyományos és Super CCD képelemek elrendeződése Vajta: Képfeldolgozás és megjelenítés 2014 tavasz

167 167 PSD detektorok Vajta: Képfeldolgozás és megjelenítés 2014 tavasz

168 168 PSD detektorok Vajta: Képfeldolgozás és megjelenítés 2014 tavasz

169 169 PSD-k tipikus felhasználása Vajta: Képfeldolgozás és megjelenítés 2014 tavasz


Letölteni ppt "1 Ipari képfeldolgozás és képmegjelenítés Műszaki Informatika szak BSc 4+0+0v Gépi Látás Mechatronika szak MSc 2+0+1f 1. hét Követelmények – Bevezetés."

Hasonló előadás


Google Hirdetések