Színek és Színterek Szabó Zsolt szabo.zsolt@nik.uni-obuda.hu http://nik.uni-obuda.hu/szabozs/

Óravázlat Fény és szín mint elektromágneses hullám Emberi látás CIE RGB, HSV/HSL CIE XYZ CIE LAB, CIE LUV, CIE CAM Colorspace gyakorlatok: Szegmentáció Közvetett és közvetlen visszaverődés Megvilágítástól való függetlenítés

Színek és színterek szabo.zsolt@nik.bmf.hu Fénytan Fény = elektromágneses sugárzás IR-t nem latjuk, de jo lehet 2017.04.28. Színek és színterek szabo.zsolt@nik.bmf.hu

Színek és színterek szabo.zsolt@nik.bmf.hu A fény mint hullám Teljesen tiszta (monokromatikus) szín nincs Színek és színterek szabo.zsolt@nik.bmf.hu

Színek és színterek szabo.zsolt@nik.bmf.hu A fény mint hullám A valóságban mi nem az objektum színét érzékeljük Érzékelt szín = megvilágítás * eredeti szín Halistennek napfeny = egyenletes megvilagitas, majd kesobb errol is lesz szo 2017.04.28. Színek és színterek szabo.zsolt@nik.bmf.hu

Színek és színterek szabo.zsolt@nik.bmf.hu 2017.04.28. Színek és színterek szabo.zsolt@nik.bmf.hu

Színek és színterek szabo.zsolt@nik.bmf.hu

A valóság reprezentációja Legjobb: minden egyes ponthoz egy-egy hullám  Spektrális képek, hullámhossz-intenzitások Előny: a valóság pontos mása Kezdetben katonai felhasználás: "camouflage" észlelése, csak 7 csatorna Az újabb (ipari célú) felhasználásoknál 40 részre osztották fel a látható tartományt

Színek és színterek szabo.zsolt@nik.bmf.hu IR hasznalhatosaga Színek és színterek szabo.zsolt@nik.bmf.hu

Színek és színterek szabo.zsolt@nik.bmf.hu 2017.04.28. Színek és színterek szabo.zsolt@nik.bmf.hu

Színek és színterek szabo.zsolt@nik.bmf.hu 2017.04.28. Színek és színterek szabo.zsolt@nik.bmf.hu

Színek és színterek szabo.zsolt@nik.bmf.hu Bispectrometer Színek és színterek szabo.zsolt@nik.bmf.hu

Spektrális képfeldolgozás

Színek és színterek szabo.zsolt@nik.bmf.hu 2017.04.28. Színek és színterek szabo.zsolt@nik.bmf.hu

Spektrális képek Multi-spectral vs. Hyperspectral vs. Full spectral – az érzékenység (és a tárigény) növelése (AVIRIS: 224 részre osztott) Hátrány: Informatika: nehézkes feldolgozás, nagyon nagy méret (BMP kép sokszorosa) www.couleur.org: 2000x3000x13 képek realtime feldolgozása a GPU használatával Biológia: Sok fajta receptor kéne (a különféle hullámhosszokra)

Színek és színterek szabo.zsolt@nik.bmf.hu Az emberi látás Retina: Csapok (cones, szín, "photopic vision") Pálcikák (rods, intenz., "scotopic vision") Színek és színterek szabo.zsolt@nik.bmf.hu

Színek és színterek szabo.zsolt@nik.bmf.hu Az emberi látás Retina közepén: fovea, színlátás-központ Színek és színterek szabo.zsolt@nik.bmf.hu

Csapok és Pálcikák

Az emberi látás Cél: a valós hullámhossz érzékelése Ehhez nincs szükség arra, hogy minden hullámhosszhoz legyen egy-egy külön receptor, csak három fajta csap van: L, legérzékenyebb a vörösre (610 nm) M, legérzékenyebb a zöldre (560 nm) S, legérzékenyebb a kékre (430 nm)

Színek és színterek szabo.zsolt@nik.bmf.hu Az emberi látás Kevesebb kék színre érzékeny csap van S, M, L csapok érzékenységi görbéi: Színek és színterek szabo.zsolt@nik.bmf.hu

RGB látás A csapok az érzékeny hullámhossz esetén megfelelő ingerületet juttatnak el az agyba A látott képet az agy állítja össze A látott kép nem mindig tökéletes! Az agyunk ezt javítja: vetett árnyék és szín közös hatása, a színen van a hangsúly Az agyi korrekció becsapható, a számítógép nem  

Színek és színterek szabo.zsolt@nik.bmf.hu 2017.04.28. Színek és színterek szabo.zsolt@nik.bmf.hu

Szín-reprezentáció Korai kutatás, a számítástechnikához ekkor még nem volt köze Cél: az emberi látás numerikus reprezentációja A látható színek pontos definíciója Az egyes színek „különbségének” megállapítása (két szín között a numerikus különbség az emberek által látott különbség legyen!) Első kutatások a szem működésének megfelelő R+G+B additív színtérben: RGB kocka, CIERGB színtér: 1931

Additív és szubtraktív színkeverés Színek és színterek szabo.zsolt@nik.bmf.hu

Az emberi látás Mérés elve: fix mérőszín, és hasonlító szín, amit RGB komponensekből kell összerakni [700 nm (R), 546.1 nm (G), 435.8 nm (B)] Probléma: a mérőszínt nem mindig lehetett összeállítani a referencia RGB komponensek segítségével, ekkor a mérőszínhez kellett adni valamelyik komponensből (tipikusan R) Ez a mérésben mint negatív színérték szerepel RGB keveréssel nem állítható össze minden, az ember által látható szín

(A fovea színérzékeléshez igazított szög) Az emberi látás CIE 1931 2° (A fovea színérzékeléshez igazított szög)

Az emberi látás Stiles-Burch 1982 10° CIE 1964 10°

CIE RGB A negatív R nehezen értelmezhető Ami nekünk hasonló, az a számítógépnek nem feltétlenül az!! ∆ x = „Hasonló” = ? Az RGB kockában nem szerepel minden szín

RGB  sRGB

„Colorimetry” – „Colorimétrie” „Színmérés” Az emberi szem C1 és C2 színek között lát valamilyen ΔC különbséget Cél: Olyan színtér keresése, ahol a ΔC látott különbség kapcsolatban van a C1 és C2 színek színtérben számolt különbségével Nagyon sok színtér van, nincs általánosan jó színtér

ELVÁRÁSOK Egy olyan specifikáció, amely minden fényű/felszínű/színű észlelést alapvető tulajdonságokra bont le ("elsődleges" színek/attribútumok, legyen az akár a három alapszín, akár más megkülönböztethető érték) Legyen benne geometriai alap, amelyben a színek érzékelése közti relációkat tükrözik az alapvető tulajdonságok közti relációk Legyen benne minden egyes színre egyedi színazonosító (az alapvető tulajdonságok számszerű értékei) Legyen benne fizikai példa, amellyel a megmért szín újra előállítható szabványos környezetben, szabványos megvilágítás használatával

Színterek Különféle színreprezentációs módszerek RGB, sRGB: „kocka”, számítógép-monitor HSV: „henger” (H = aktuális szín S = színtelítettség, V = fényesség) YUV: Y=szürkeskálás kép, UV=eltérések (~YCrCb, nem ugyanaz: http://en.wikipedia.org/wiki/YCbCr) XYZ, L*a*b* [CIELAB], L*u*v* [CIELUB] Csak az XYZ és leszármazottai (CIE LAB, CIE LUV) tartalmazzák az összes, ember számára látható színt CIE CAM: Nem színtér, hanem színmodell!

HSL / HSV

HSL / HSV CSS3 szabvány (W3C): A HSL fényességre és sötétségre szimmetrikus [vagyis: az L szimmetrikus (feketeszínfehér), a V nem az (feketeszín)]

HSL / HSV A HSV talán jobban ismert elnevezés Az összes nagyobb szoftver HSL-t (is) használ Kivétel: Apple, Xara Xtreme, Paint.NET

HSL / HSV Képletek: http://en.wikipedia.org/wiki/HSL_and_HSV Előnye: "könnyen" transzformálható RGB-ből, kevés számítással megvilágítástól függetlenné tudjuk tenni a színdetektációt Hátránya: nincsenek megvilágítási konstansok, a színtávolságoknál továbbra sincs korreláció

XYZ színtér Cél a színtér-távolság és a látott színkülönbség megegyezése RGB színtérből egyszerű transzformációval:

Színek és színterek szabo.zsolt@nik.bmf.hu xyY színtér Normalizált XYZ (z=1-x-y):  xy + Y Színek és színterek szabo.zsolt@nik.bmf.hu

Színek és színterek szabo.zsolt@nik.bmf.hu xyY színtér Színek és színterek szabo.zsolt@nik.bmf.hu

Színek és színterek szabo.zsolt@nik.bmf.hu 2017.04.28. Színek és színterek szabo.zsolt@nik.bmf.hu

MINDEN SZÍN ELŐÁLLÍTHATÓ 2017.04.28. Színek és színterek szabo.zsolt@nik.bmf.hu

Megvilágítások

Megvilágítások és színterek

Megvilágítások

Színek és színterek szabo.zsolt@nik.bmf.hu Megvilágítások 2017.04.28. Színek és színterek szabo.zsolt@nik.bmf.hu

xyY színtér MacAdam ellipszisek Egy színtéren belüli homogén területek: Az egy ellipszisen belüli színeket az emberi látás nem tudja megkülönböztetni Probléma: az ellipszisek mérete a színtérben nem ugyanakkora  az xyY színtér sem tökéletes

xyY színtér Probléma: Az XYZ színtér, bár sokkal jobb, mint az RGB, de még mindig nem felel meg az előzetesen támasztott elvárásoknak!!

UNIFORM SZÍNTÉR Optical Society of America: Teljesen uniform, háromdimenziós, pszichometrikus és geometriai alapokkal rendelkező színteret NEM LEHET létrehozni A színérzékelés képletté alakítása helyett a MacAdam-féle kutatásokban említett ellipszisek uniformizálása a cél  CIELAB, CIELUV

CIELAB (RGB részek)

Színek és színterek szabo.zsolt@nik.bmf.hu CIELAB 2017.04.28. Színek és színterek szabo.zsolt@nik.bmf.hu

Színek és színterek szabo.zsolt@nik.bmf.hu CIELAB Színek és színterek szabo.zsolt@nik.bmf.hu

CIELAB "Lines of constant NCS hue and chroma" 2017.04.28.

NCS / CIE CIE: Fizikai megközelítés – A szín mérhető! NCS: Natural Color System , Svéd eredetű, logikai és filozófiai/művészeti megközelítés: A szín egy "élmény", és ezekhez rendelünk szavakat Könnyen leírható színek http://www.ncscolour.com/ http://www.handprint.com/HP/WCL/color7.html#NCS

Színek és színterek szabo.zsolt@nik.bmf.hu 2017.04.28. Színek és színterek szabo.zsolt@nik.bmf.hu

Színek és színterek szabo.zsolt@nik.bmf.hu 2017.04.28. Színek és színterek szabo.zsolt@nik.bmf.hu

CIELUV Jelenleg a leginkább uniform általános színtér 2017.04.28.

Színek és színterek szabo.zsolt@nik.bmf.hu CIELUV 2017.04.28. Színek és színterek szabo.zsolt@nik.bmf.hu

Színek és színterek szabo.zsolt@nik.bmf.hu CIELUV Színek és színterek szabo.zsolt@nik.bmf.hu

CAM NCS javaslat CIEXYZ, CIELAB, CIELUV: "Uniform color spaces" CAM: "Color appearance model" Egy szín leírására az XYZ többé-kevésbé megfelelő, de a színérzékelésben a színek összhatása is szerepet játszik!

CAM 1980 óta kutatják, 1994 (Hunt), 1995(Nayatani) CIECAM96, 97s CIECAM02: Windows Vista színrendszere Stimulus, Proximal: 2°, Background: 10°

CIE CAM Az előző modellek csak abszolút szinteket mértek: Brightness, colorfulness, hue Ez a modell relatív szinteket is: lightness, chroma, saturation, hue Kiszűri és/vagy megjósolhatóvá teszi az emberi szem szín-adaptációját

CIECAM02 Színmeghatározáshoz: az érzékelt szín, a "white point" (computational vs. observer), a háttér (background és surround) és a megvilágítás kell (utóbbi elhagyható) Ezekből épít fel egy modellt Az "érzékelt szín" CIE XYZ színtérben van! Jelenleg is kutatás alatt álló terület

Színek és színterek szabo.zsolt@nik.bmf.hu 2017.04.28. Színek és színterek szabo.zsolt@nik.bmf.hu

Színek és színterek szabo.zsolt@nik.bmf.hu

Színterek - összegzés Nincs tökéletes színtér, a használni kívánt színteret a felhasználás határozza meg Újság, Magazin, Sajtó: CMY Mozi, Filmek: Filmhez beállított RGB Webdesign: sRGB Objektum- és színfelismerés: HSV vagy megvilágítással kalibrált XYZ

Színek és színterek szabo.zsolt@nik.bmf.hu 2017.04.28. Színek és színterek szabo.zsolt@nik.bmf.hu

ColorSpace Jean Monnet egyetem, St. Étienne, LIGIV File/Open Selection: ROI kijelölése Color/Color Spaces 2D Visualization  Adott színtérben a kép 3D Visualization  Színtér / Hisztogram 1. Problémakör: Szín alapú műveleteknél

Színek és színterek szabo.zsolt@nik.bmf.hu COLORCHECKER1.JPG 2017.04.28. Színek és színterek szabo.zsolt@nik.bmf.hu

Színek és színterek szabo.zsolt@nik.bmf.hu RGB Színtér 3D visualization => 3D color space => Visualization => Get Image From Viewer Színek és színterek szabo.zsolt@nik.bmf.hu

RGB Hisztogram 3D visualization => 3D historgram => Visualization => Get Image From Viewer Visualization / Colors properties : Offset: mindegyik gömbre Scale: csak a nagyobbakra

Színek és színterek szabo.zsolt@nik.bmf.hu HSV Színtér Legördülő menüből HSV => 3D visualization => 3D color space => Visualization => Get Image From Viewer Színek és színterek szabo.zsolt@nik.bmf.hu

Színek és színterek szabo.zsolt@nik.bmf.hu HSV Hisztogram Legördülő menüből HSV => 3D visualization => 3D historgram => Visualization => Get Image From Viewer Színek és színterek szabo.zsolt@nik.bmf.hu

ROI: Selection/Rectangle 2017.04.28. Színek és színterek szabo.zsolt@nik.bmf.hu

RGB Színtávolság ROI val 3D visualization => 3D color space => Visualization=> Get Image From Selection Színek és színterek szabo.zsolt@nik.bmf.hu

HSV Színtávolság ROI val ROI meghatározása: Selection/Rectangle, majd egérrel a 2. oszlop első két elemét Legördülő menüből HSV => 3D visualization => 3D color space => Visualization=> Get Image From Selection Színek és színterek szabo.zsolt@nik.bmf.hu

Színek és színterek szabo.zsolt@nik.bmf.hu COLORCHECKER2.JPG 2017.04.28. Színek és színterek szabo.zsolt@nik.bmf.hu

RGB Színtér

RGB Hisztogram

HSV Hisztogram

Probléma #2 Rajtunk kívülálló zavaró tényezők: gyenge fényképezőgép, távolság, kis képméret Visszaverődés: Közvetlen és szórt A szórt visszaverődés az objektum A közvetlen a vaku, a nap, a lámpa, etc A közvetlen visszaverődés rontja a szegmentációt, a visszaverődés is felismerhető külön objektumként

Színek és színterek szabo.zsolt@nik.bmf.hu LABDA_REFL.JPG 2017.04.28. Színek és színterek szabo.zsolt@nik.bmf.hu

RGB Színtér

RGB Hisztogram

VIZ_KEP.JPG

RGB Színtér

RGB Hisztogram

HSV Hisztogram

CSOMO.JPG Selection/Pen ROI csak az objektum

RGB Színtér

RGB Hisztogram

HSV Hisztogram

Probléma #3 Amit az emberi szem vagy a fényképezőgép lát, az NEM az objektum színe, Hanem az objektum színe és a megvilágítás színe összeadva CIE által kidolgozott különböző megvilágítási konstansokat használunk Ezek az egyes hullámhosszokra meghatározott megvilágítási erősségek

Színek és színterek szabo.zsolt@nik.bmf.hu Megvilágítások A Normál „Tungsten” lámpa D50 Világos „Tungsten” lámpa / túlfeszültségen B Közvetlen napfény D55 Felhős nappali fény E Normalizált referencia világítás D65 Nappali fény C Átlagos napsütés D9300 Régi rosszminőségű CRT monitor Színek és színterek szabo.zsolt@nik.bmf.hu

Megvilágítások Korrekciós lehetőségek: RGB színtér-transzformáció a hisztogram-főkomponens alapján (PCA) Referencia-képekkel való összehasonlítást könnyítheti Dekorrelált színtér képezhető Megvilágítási konstansokkal rendelkező színtér használata (XYZ, LAB, LUV)

LENNA.TIF

RGB Színtér + PCA

RGB Hisztogram + Főkomponens

Dekorrelált színtér Az RGB színtér elemei nem függetlenek egymástól, korreláltak PCA segítségével koordináta-transzformáció: RGB  x1 x2 x3 x1 x2 x3 nem korreláltak, x1 általában a megvilágítás tengelye, ezt forgatjuk be a szürkeségi átlóra x3 általában elhanyagolható

Színek és színterek szabo.zsolt@nik.bmf.hu 2017.04.28. Színek és színterek szabo.zsolt@nik.bmf.hu

XYZ színtér „Az emberi színérzékeléshez legközelebbi színtér” „CIE 1931Standard Observer” Megvilágítás-különbségek megjelenítésére alkalmas ColorSpace-ben ez Color / Color Spaces / Színtér és megvilágítás kiválasztása / 2D visualization / Image

Emlékeztetőül: colorchecker2.jpg 2017.04.28. Színek és színterek szabo.zsolt@nik.bmf.hu

XYZ színtér, „E” megvilágítás 2017.04.28. Színek és színterek szabo.zsolt@nik.bmf.hu

XYZ színtér, „A” megvilágítás 2017.04.28. Színek és színterek szabo.zsolt@nik.bmf.hu

Hibrid színterek Color / Decorrelated Hybrid Color Spaces Speciális alkalmazásokhoz szükséges kombinált színtereket lehet létrehozni Eléggé számításigényes lehet, mert néha a használt színterek több komponensét is ki kell számolni Bizonyos esetekben jó eredménnyel működhet, sok tesztelés kell

Színek és színterek szabo.zsolt@nik.bmf.hu Hibrid színterek 2017.04.28. Színek és színterek szabo.zsolt@nik.bmf.hu

Befejezésül… NINCS TÖKÉLETES SZÍNTÉR!!! Minden feladathoz, minden alkalmazáshoz gondosan ki kell választani a legjobb színteret A megvilágítás pontos érzékelése/mérése nehéz, és ez mindent befolyásol  A színekkel nem egyszerű dolgozni…

Irodalomjegyzék IPCV’04 Saint-Etienne IPCV'06 Budapest IPCV’08 Joensuu ( IPCV’10 Koblenz!) UJM LIGIV, Saint-Etienne, Alain Tremau http://www.handprint.com/HP/WCL/wcolor.html http://fullspectralimaging.net/default.aspx http://www.research.ibm.com/image_apps/colorsci.html http://en.wikipedia.org/wiki/Category:Color_space http://en.wikipedia.org/wiki/Category:Color http://www.cs.rit.edu/~ncs/color/t_convert.html http://www.efg2.com/Lab/Graphics/Colors Colorspace: www.couleur.org

Köszönöm a figyelmet!