A képelemzés folyamata a) A képek érzékelése és rögzítése. b) A képek feldolgozása: a lényeges és a lényegtelen információk különválasztása. A {szürke képből >> szürke képet} transzformációk végrehajtása. c) Detektálás. A képeken található – vizsgálni kívánt – jellegzetességek ('features'), vagy objektumok ('object') megkülönböztetése, s a háttértől való elválasztása. Bináris képek létrehozása: a {szürke képből >> bináris kép} transzformáció segítségével. d) A bináris képek átalakítása {bináris képből >> bináris kép}, a mérés előkészítése. e) A mérés végrehajtása. A {képből >> adat} transzformáció segítségével. A mérési eredmények előállítása. f) A mérési eredmények értelmezése {adatok << >> képi környezet}.

Videokamerák A fekete-fehér és a színes videokamerák egyaránt az objektív által a képfelvevő felületre vetített képek videojellé történő átalakítását végzik. Két típusuk van: egyik a képfelvevő cső (a), míg a másik (b) a CCD kamera. (a) (b)

Analóg videojel (ideális eset)

Analóg video jel (reális eset)

Digitális video jel 8 bit = 256 szürkeségi szint

Szürkekép A képmátrix értékei a fekete-fehér intervallumon belül változnak, azaz pl. 256 (8 bites felbontásnál) különböző szürkeségi szint alkotja a képet.

A képelemzés folyamata a) A képek érzékelése és rögzítése. b) A képek feldolgozása: a lényeges és a lényegtelen információk különválasztása. A {szürke képből >> szürke képet} transzformációk végrehajtása. c) Detektálás. A képeken található – vizsgálni kívánt – jellegzetességek ('features'), vagy objektumok ('object') megkülönböztetése, s a háttértől való elválasztása. Bináris képek létrehozása: a {szürke képből >> bináris kép} transzformáció segítségével. d) A bináris képek átalakítása {bináris képből >> bináris kép}, a mérés előkészítése. e) A mérés végrehajtása. A {képből >> adat} transzformáció segítségével. A mérési eredmények előállítása. f) A mérési eredmények értelmezése {adatok << >> képi környezet}.

A képfeldolgozás módjai Szürkekép átalakítások {szürkeképből >> szürkeképet}: a vizsgálni kívánt jellegzetességek (‘features’), objektumok (‘object’) kihangsúlyozása (szűkebb értelemben csak ez a képfeldolgozás), a lényeges és a lényegtelen információk különválasztása. Szegmentálás, detektálás {szürkeképből >> binárisképet} a vizsgálni kívánt objektumok és a háttér teljes elkülönítése (pl. szürkeségi szintjük alapján) alapján, amelynek eredménye: bináris kép. Bináris átalakítások {binárisképből >> binárisképet}: a mérendő objektumok átalakítása, értelmezésüket leginkább megközelítő alakra hozásuk.

A képfeldolgozás módjai Szürkekép átalakítások {szürkeképből >> szürkeképet}: pl. nem valós objektumok (zaj, szennyeződés) eltávolítása

A képfeldolgozás módjai Szegmentálás, detektálás {szürkeképből >> binárisképet} az objektumok és a háttér teljes elkülönítése

A képfeldolgozás módjai Bináris átalakítások (binárisképből > binárisképet): mérendő objektumok átalakítása

Detektálás A képek a mérés szempontjából lényegtelen információkat is hordoznak (elektromos zaj; egyenlőtlen megvilágítás; csiszolási és maratási hibák, stb.), valamint „több fázisúak”. Ezért szükséges "kijelölnünk", detektálnunk a kép kívánt tartományait, amelyeket azután számszerűen jellemezhetünk. Ezt nevezzük bináris képpé alakításnak (0 és 1), vagy szegmentálásnak, és többnyire egy-egy szürkeségi szint alatti illetve feletti képpontok elkülönítését értjük alatta.

Más detektálási elvek A szegmentálás azonban nem csak küszöb értékeken keresztül valósítható meg. Lehetséges az objektumokat más jellemzőjük: textúra, morfológia alapján is elkülöníteni. Ilyen a tűs szerkezet azonosítása az orientáció vagy a hosszúság alapján.

Más detektálási elvek Tűs szerkezet azonosítása a hosszúság alapján.

Színes képek feldolgozása Színsávonként

Színes képek feldolgozása Színes képek szürkeképként történő elemzése, az egyes színekhez (színsáv-kombinációkhoz) egy-egy szürkeségi szintet rendelünk majd az eredményt visszaalakítjuk a hozzárendelési táblázat alapján.

Szürkekép feldoldolgozás jellemzői Szükséges rossz: még a legegyszerűbb zajszűrés is rontja a megbízhatóságot. Nélkülözhetetlen, mert a detektálás e nélkül olykor teljesen valótlan eredményt adna. A bináris átalakításokkal a hibák korrigálása már egy olyan képen történne, ami nem tartalmazza az összes információt.

Look Up Table (LUT) transzformációk Pontbeli intenzitás transzformációk Általában egy meghatározott függvény kapcsolatot hajtanak végre az adott képpont szürkeségi szintjén Az eredmény csupán az adott pont kiindulási szürkeségi értékétől függ, a szomszédok szürkeségi szintjétől független.

Look Up Table (LUT) transzformációk A kapcsolat gyakran matematikai (logaritmus, négyzet, négyzetgyök, exponenciális, reciprok - azaz inverzkép). Az eredményt a 0..255 szürkeségi szint-tartományba skálázzuk át, ahol a 0 a fekete, 255 a fehér szintjét jelöli (Sij)output = Smax (Sij)input / (Sij)max ahol (Sij)output a kép pontjainak szürkeségi szintje Smax a megjeleníthető maximum (255) (Sij)input szürkeségi szintek a matematikai művelet után (Sij)max szürkeségi szint maximuma a matematikai művelet után.

LUT transzformációk Inverz kép előállítása

LUT transzformációk Inverz kép előállítása

LUT transzformációk Exponenciális LUT

LUT transzformációk Kontraszt növelése

Hisztogram kiegyenlítés (LUT) Hisztogram a kép szürkeségi szintjeinek megfelelő sűrűségfüggvény: Hisztogram

Hisztogram kiegyenlítés (LUT) Átalakított kép hisztogramja Eredeti kép hisztogramja

Maga a LUT kifejezés a számítástechnikai megvalósításból származik LUT transzformációk Maga a LUT kifejezés a számítástechnikai megvalósításból származik A gyakorlatban a 256-féle szürkeségi szinthez tartozó 256-féle hozzárendelést előre kiszámítják és TÁBLÁZATBAN tárolják. Az egyes képpont értékeket kicserélik. Ez jóval kevesebb számítási igényel, mint minden egyes pontban elvégezni magát a transzformáció műveletsorozatát (kivétel: háttérkorrekció!).

LUT transzformációk Automatikus kontraszt Az "AutoContrast" művelet nem egyéb, mint a kép szürkeségi szintjének átkalibrálása a 0..255 tartományba az alábbi egyenlet szerint: (Sij)output = Smax (Sij)input / (Sij)max ahol (Sij)output a kép pontjainak szürkeségi szintje Smax a megjeleníthető maximum.

LUT automatikus kontraszt Eredeti kép hisztogramja Átalakított kép hisztogramja

LUT transzformációk Háttér korrekció Az ún. SHADING CORRECTION (egyenlőtlen megvilágítás miatt a háttér egyenlőtlen) is LUT transzformáció, ám ekkor nem az egyes szürkeségi szintekhez rendelünk új értéket, hanem a kép egyes (ij) pontjaihoz rendeljük a konstans háttér-értékeket („üres látómező”), amelyet továbbiakban a feldolgozandó képekből „kivonunk”.

Konvolúció A konvolúciós képátalakító művelet a képpontok szürkeségi szintjét szomszédainak figyelembe vételével módosítja egy m x m kernel (szűrő) segítségével. Si = a bemenő kép szürkeségi szintjei ki= a kernel értékei S5= a kimenő kép egy pontjának szürkeségi szintje N= a konvolúciós mátrix elemeinek összege + 1

Él kiemelés, élesítés (a) (b) (C) Az él kiemelő kernel a képpontok szürkeségi szintjeinek hirtelen változása alapján „keresi meg” a kép egyes irányaiban az éleket. Vízszintes él kiemelés (a), Függőleges él kiemelés (b), Élesítés (c). (a) (b) (C)

Él kiemelés, élesítés Vízszintes él kiemelés

Él kiemelés, élesítés Függőleges él kiemelés

Él kiemelés, élesítés Élesítés

Simítás, lágyítás Átlag képzés

Simítás, lágyítás Súlyozott átlag

Morfológiai transzformációk Morfológiai transzformációk során az egyes képpontok szürkeségi szintjét a szomszéd képpontok szürkeségi szintjétől függően változtatjuk meg. A figyelembe vett szomszédság méretét és alakját egy ún. szerkezeti elem (módosító elem), pédául egy 3x3-as négyzet jelöli ki. Szürkeképeknél "kisebb" / "nagyobb" relációk segítségével történik a módosítás.

Lehetséges szerkezeti elemek Eredeti kép Kör alakú szerkezeti elem Lehetséges szerkezeti elemek Nyolcszög alakú szerkezeti elem Négyszög alakú szerkezeti elem Vízszintes téglalap alakú szerkezeti elem Függőleges téglalap alakú szerkezeti elem

Leggyakoribb morfológiai transzformációk Erózió és dilatáció Leggyakoribb morfológiai transzformációk A szürkekép eróziója nem más, mint egy-egy pixel értékének helyettesítése az önmaga és nyolc szomszédja által alkotott csoport szürkeségi értékeinek minimumával. Dilatáció során a maximum érték helyettesítése történik.

Erózió - dilatáció szemléltetése virtuális 3D ábrán Erózió és dilatáció Erózió - dilatáció szemléltetése virtuális 3D ábrán

Eredeti kép és a szürkeségi profil Erodált kép és a szürkeségi profil

Eredeti kép és a szürkeségi profil Dilatált kép és a szürkeségi profil

Morfológiai transzformációk tulajdonságai Megfordíthatatlanok, egy - egy erodált kép eredetijét nem kapjuk vissza az eróziót követően elvégzett dilatációval. Az erózió és a dilatáció egyfajta komplementer műveletek: miközben a háttér erodálódik, az objektumok dilatációját figyelhetjük meg.

„Opening” és „closing” mint morfológiai transzformációk A "nyitás (opening)" nem más mint erózió és azt követő ekvivalens dilatáció. A "zárás (closing)" pedig a dilatáció és az ekvivalens erózió egymást követő végrehajtásából áll. Az ekvivalens kifejezéssel azt jelenti hogy nem feltétlenül egyetlen alkalommal történik a művelet: más eredményt kapunk két eróziót követő két dilatáció során.

Nyitás - zárás Az opening az apró, világos objektumokat távolítja el. A closing az apró, sötét jellegzetességek eltüntetésére használható. Az eltávolított objektumok mérete az alkalmazott eróziók és dilatációk számától, valamint a szerkezeti elem alakjától függ.

Nyitás Apró és világos objektumok eltávolítása Eredeti kép Módosított kép

Zárás Apró, sötét jellegzetességek eltávolítása Eredeti kép Módosított kép

Lágyítás Sokféle szűrő származtatható az erózió, dilatáció, opening, closing egymást követő alkalmazásával. Alternáló sorozatokon alapuló szűrők például az n- szeres black smoothing: 1 open  1 close  2 open  2 close  ...  n open  n close. Az n-szeres white smoothing művelet: 1 close  1 open  2 close  2 open  ...  n close  n open.

Fekete simítás n-szeres black smoothing (n open  n close) Eredeti kép Módosított kép

Fehér simítás n-szeres white smoothing (n close  n open) Eredeti kép Módosított kép

„Tophat” transzformáció Eredeti kép - Lágyított kép (smoothing) = TOPHAT Eredeti Black tophat művelet után

Morfológiai gradiensek Eróziós gradiens = Eredeti kép - Erodált kép Dilatációs gradiens = Dilatált kép - Eredeti kép Gradiens = Dilatált kép - Erodált kép A gradiensek élkereső funkciókkal rendelkeznek, mivel az átmeneteket keresik meg - egyik szürkeségi szintből a másikba. A gradienskép valamely képpontjának szürkeségi szintje a környezetben jellemző szürkeségi szint-változásra utal a dilatáció vagy erózió iterációs lépéseinek számától függően.

Morfológiai gradiensek Eróziós gradiens = Eredeti kép - Erodált kép Eredeti kép Gradiens kép

Delineation (körvonal) transzformáció Objektumok körvonalai nem tökéletesen élesek Az elmosódott élek okai: A kamera korlátai (nem tud ugrásszerű átmenetet előállítani nagy szürkeségi szint-különbség esetén). A fókusz és a mélységélesség okozta problémák.

Delineation (körvonal) transzformáció Eredeti kép Módosított kép

Delineation (körvonal) transzformáció Eredeti kép, 8x nagyítás Módosított kép, 8x nagyítás

Delineation művelet hatása a szürkeségi profilra

Delineation (körvonal) transzformáció Az elmosódott élek a detektálás pontosságát rontják. Amennyiben két szürkeségi szint közé eső objektumot kívánunk detektálni, akkor előfordulhat, hogy valamennyi világos objektum körvonalát is detektálni fogjuk, ez a „fényudvar” vagy „holdudvar” hatás.

Eredeti kép detektálva „Körvonalazott” kép detektálva Két szürkeségi szint közé eső objektum detektálása „fényudvar” hatás Eredeti kép detektálva „Körvonalazott” kép detektálva

Eredeti kép detektálva, 8x nagyítás Két szürkeségi szint közé eső objektum detektálása „fényudvar” hatás Eredeti kép detektálva, 8x nagyítás „Körvonalazott” kép detektálva, 8x nagyítás

Inferior, superior Az inferior és a superior műveletek eredménye két kép pontonként történő összehasonlításából adódik. Az inferior /superior művelet során az adott helyen álló képpont output szürkeségi szintjét a két input kép megfelelő képpontjainak szürkeségi szintje közül a kisebbik/nagyobbik adja.

Lineáris nyitás (open), lineáris zárás (close) A lineáris nyitás az eredeti kép és ennek adott méretű lineáris szerkezeti elemmel végrehajtott opening transzformáltja közötti superior transzformációt jelenti. A lineáris zárás az eredeti kép és ennek adott méretű lineáris szerkezeti elemmel végrehajtott closing transzformáltja közötti inferior transzformációt jelenti.

Lineáris nyitás (open), lineáris zárás (close) A lineáris nyitás a szürkekép világos régióira hat: a szerkezeti elem irányában nyújtott világos objektumok megmaradnak, míg a nem nyújtott jellegzetességek eltűnnek. A lineáris zárás ennek komplementer művelete: a kép sötét régióira hat, amennyiben az elnyúlt sötét objektumok nem változnak, a körszerűek eltűnnek.

Lineáris zárás (elnyúlt sötét objektumok nem változnak, a körszerűek eltűnnek)

Lineáris nyitás (elnyúlt világos objektumok nem változnak, a körszerűek eltűnnek)

Geodézikus transzformációk A geodézikus transzformáció elnevezés egy művelet két típusát jelöli (a számítógépes grafikában gyakori „maszkolásos” technika): Egyik esetben bináris maszkkal, A másikban szürkekép maszkkal.

Geodézikus transzformációk Geodézikus erózió bináris maszk segítségével: Az eróziót a szürkekép azon tartományaiban hajtjuk végre, ahol a bináris kép, mint maszk, átfedi azt. Másképpen ez egy tetszőleges alakú képkeretként fogható fel.

Geodézikus transzformációk Szürkekép-maszk alkalmazása: Legyen a néhányszor erodált kép a "mag”. Legyen az eredeti kép a felhasznált maszk. Dilatáljuk a magot úgy, hogy a maszk szürkeségi szintjei horizontálisan korlátozzák a szürkeségi profil terjeszkedését. Ennek hatására a nemkívánatos részek eltűnnek.

Szürkekép-maszk alkalmazása: Geodézikus transzformációk Szürkekép-maszk alkalmazása:

Kitöltés (fill white, fill black) A kitöltés (fill white, fill black) az opening vagy closing transzformációk második lépéseként a megfelelő geodézikus transzformációt hajtják végre. A fill black művelet a dilatáció - geodézikus erózió lépéssorozattal egyenértékű és mint a neve is sugallja a kép sötétebb "lyukait" tölti ki környezetük szintjével.

A kép sötétebb "lyukait" tölti ki környezetük szürkeségi szintjével Kitöltés (fill black) A kép sötétebb "lyukait" tölti ki környezetük szürkeségi szintjével

Vázszerkezet előállítása (skeleton, prune) A szürkekép-szkeletonizáció egy sorozatos erózió eredménye oly módon, hogy a vonulatok ne vesszenek el; vagyis olyan feltételes erózió amely megőrizi az egyes világos tartományo-kat összekötő éleket. A pruning a vázszerkezet oldalágait keresi meg, és távolítja el.

Watershed (vízválasztó) A watershed transzformáció a morfológiai műveletek talán legösszetettebbje, gyakorlatilag egy vázszerkezet-előállítás és egy kimerítő pruning művelet eredményeként áll elő. A lokális minimumok feltételes növelésével addig növeljük az egyes lokális minimumok elfoglalta területeket, amíg össze nem érnek.

watershed = vízválasztó Topográfiai értelemben vonulatok állíthatók elő, amelyek mint a watershed = vízválasztó elnevezés is mutatja, meghatározzák, hogy melyik medence melyik lejtőről gyűjti össze a csapadékot, azaz melyik lokális gradiens melyik lokális minimumba tart.

Watershed (vízválasztó)

Szemcsehatár rekontstrukció Watershed (vízválasztó) Szemcsehatár rekontstrukció

Fourier-transzformáció A kétdimenziós Fourier-sor exponenciális alakja a következő: x és y a képkoordináták, f(x,y) a képpontok szürkeségi függvénye, Lx és Ly a kép két mérete, m és n a Fourier-sor indexei, Cmn a sor együtthatói, vagyis az illető felharmonikusok amplitúdói.

Fourier-transzformáció A kétdimenziós Fourier-sor trigonometrikus alakja a következő: Az együtthatókat definiáló összefüggés:

A számítások f(x,y) mátrixformában adott diszkrét értékű függvényre az alábbi egyenletek alapján végezhetők el: Az inverz transzformáció pedig:

A transzformált értéksor periodikus: egyik irányban M, másik irányban N periódussal. A spektrum elnevezéssel olyan képre hivatkozunk, ahol az egyes F(m,n) együtthatók abszolút értékét (illetve logaritmusát) m és n függvényében ábrázoljuk (8 bites képként, azaz 256 szürkeségi szinten). A nagyfrekvenciás tagok a gyors képi váltásokért, míg az alacsony frekvenciák a lassú, fokozatos átmenetekért (gradiens, háttér) felelősek.

Fourier transzformáció Eredeti -kép Fourier spektruma Eredeti -kép Zajos -kép Fourier spektruma Zajos -kép

Fourier transzformáció Áramkör Fourier spektruma Áramkör Ásvány Fourier spektruma Ásvány

A Fourier-transzformáció hasznos és gyors módszer lehet bonyolult konvolúciók esetén, nagyméretű kernelek alkalmazásakor, ugyanis a konvolúció gyorsabban hajtható végre Fourier-módszer segítségével. Képezzük az eredeti kép transzformáltját, képezzük a kívánt kernel transzformáltját, állítsuk elő szorzatukat, eredményül az output-kép transzformáltját kapjuk meg. Erre az inverz-transzformációt alkalmazva megkapjuk a kívánt átalakított képet.