A képelemzés folyamata

Az előadások a következő témára: "A képelemzés folyamata"— Előadás másolata:

1 A képelemzés folyamata
a) A képek érzékelése és rögzítése. b) A képek feldolgozása: a lényeges és a lényegtelen információk különválasztása. A {szürke képből >> szürke képet} transzformációk végrehajtása. c) Detektálás. A képeken található – vizsgálni kívánt – jellegzetességek ('features'), vagy objektumok ('object') megkülönböztetése, s a háttértől való elválasztása. Bináris képek létrehozása: a {szürke képből >> bináris kép} transzformáció segítségével. d) A bináris képek átalakítása {bináris képből >> bináris kép}, a mérés előkészítése. e) A mérés végrehajtása. A {képből >> adat} transzformáció segítségével. A mérési eredmények előállítása. f) A mérési eredmények értelmezése {adatok << >> képi környezet}.

2 Videokamerák A fekete-fehér és a színes videokamerák egyaránt az objektív által a képfelvevő felületre vetített képek videojellé történő átalakítását végzik. Két típusuk van: egyik a képfelvevő cső (a), míg a másik (b) a CCD kamera. (a) (b)

3 Analóg videojel (ideális eset)

4 Analóg video jel (reális eset)

5 Digitális video jel 8 bit = 256 szürkeségi szint

6 Szürkekép A képmátrix értékei a fekete-fehér intervallumon belül változnak, azaz pl. 256 (8 bites felbontásnál) különböző szürkeségi szint alkotja a képet.

7 A képelemzés folyamata
a) A képek érzékelése és rögzítése. b) A képek feldolgozása: a lényeges és a lényegtelen információk különválasztása. A {szürke képből >> szürke képet} transzformációk végrehajtása. c) Detektálás. A képeken található – vizsgálni kívánt – jellegzetességek ('features'), vagy objektumok ('object') megkülönböztetése, s a háttértől való elválasztása. Bináris képek létrehozása: a {szürke képből >> bináris kép} transzformáció segítségével. d) A bináris képek átalakítása {bináris képből >> bináris kép}, a mérés előkészítése. e) A mérés végrehajtása. A {képből >> adat} transzformáció segítségével. A mérési eredmények előállítása. f) A mérési eredmények értelmezése {adatok << >> képi környezet}.

8 A képfeldolgozás módjai
Szürkekép átalakítások {szürkeképből >> szürkeképet}: a vizsgálni kívánt jellegzetességek (‘features’), objektumok (‘object’) kihangsúlyozása (szűkebb értelemben csak ez a képfeldolgozás), a lényeges és a lényegtelen információk különválasztása. Szegmentálás, detektálás {szürkeképből >> binárisképet} a vizsgálni kívánt objektumok és a háttér teljes elkülönítése (pl. szürkeségi szintjük alapján) alapján, amelynek eredménye: bináris kép. Bináris átalakítások {binárisképből >> binárisképet}: a mérendő objektumok átalakítása, értelmezésüket leginkább megközelítő alakra hozásuk.

9 A képfeldolgozás módjai
Szürkekép átalakítások {szürkeképből >> szürkeképet}: pl. nem valós objektumok (zaj, szennyeződés) eltávolítása

10 A képfeldolgozás módjai
Szegmentálás, detektálás {szürkeképből >> binárisképet} az objektumok és a háttér teljes elkülönítése

11 A képfeldolgozás módjai
Bináris átalakítások (binárisképből > binárisképet): mérendő objektumok átalakítása

12 Detektálás A képek a mérés szempontjából lényegtelen információkat is hordoznak (elektromos zaj; egyenlőtlen megvilágítás; csiszolási és maratási hibák, stb.), valamint „több fázisúak”. Ezért szükséges "kijelölnünk", detektálnunk a kép kívánt tartományait, amelyeket azután számszerűen jellemezhetünk. Ezt nevezzük bináris képpé alakításnak (0 és 1), vagy szegmentálásnak, és többnyire egy-egy szürkeségi szint alatti illetve feletti képpontok elkülönítését értjük alatta.

13 Más detektálási elvek A szegmentálás azonban nem csak küszöb értékeken keresztül valósítható meg. Lehetséges az objektumokat más jellemzőjük: textúra, morfológia alapján is elkülöníteni. Ilyen a tűs szerkezet azonosítása az orientáció vagy a hosszúság alapján.

14 Más detektálási elvek Tűs szerkezet azonosítása a hosszúság alapján.

15 Színes képek feldolgozása
Színsávonként

16 Színes képek feldolgozása
Színes képek szürkeképként történő elemzése, az egyes színekhez (színsáv-kombinációkhoz) egy-egy szürkeségi szintet rendelünk majd az eredményt visszaalakítjuk a hozzárendelési táblázat alapján.

17 Szürkekép feldoldolgozás jellemzői
Szükséges rossz: még a legegyszerűbb zajszűrés is rontja a megbízhatóságot. Nélkülözhetetlen, mert a detektálás e nélkül olykor teljesen valótlan eredményt adna. A bináris átalakításokkal a hibák korrigálása már egy olyan képen történne, ami nem tartalmazza az összes információt.

18

19 Look Up Table (LUT) transzformációk
Pontbeli intenzitás transzformációk Általában egy meghatározott függvény kapcsolatot hajtanak végre az adott képpont szürkeségi szintjén Az eredmény csupán az adott pont kiindulási szürkeségi értékétől függ, a szomszédok szürkeségi szintjétől független.

20 Look Up Table (LUT) transzformációk
A kapcsolat gyakran matematikai (logaritmus, négyzet, négyzetgyök, exponenciális, reciprok - azaz inverzkép). Az eredményt a szürkeségi szint-tartományba skálázzuk át, ahol a 0 a fekete, 255 a fehér szintjét jelöli (Sij)output = Smax (Sij)input / (Sij)max ahol (Sij)output a kép pontjainak szürkeségi szintje Smax a megjeleníthető maximum (255) (Sij)input szürkeségi szintek a matematikai művelet után (Sij)max szürkeségi szint maximuma a matematikai művelet után.

21 LUT transzformációk Inverz kép előállítása

22 LUT transzformációk Inverz kép előállítása

23 LUT transzformációk Exponenciális LUT

24 LUT transzformációk Kontraszt növelése

25 Hisztogram kiegyenlítés (LUT)
Hisztogram a kép szürkeségi szintjeinek megfelelő sűrűségfüggvény: Hisztogram

26 Hisztogram kiegyenlítés (LUT)
Átalakított kép hisztogramja Eredeti kép hisztogramja

27 Maga a LUT kifejezés a számítástechnikai megvalósításból származik
LUT transzformációk Maga a LUT kifejezés a számítástechnikai megvalósításból származik A gyakorlatban a 256-féle szürkeségi szinthez tartozó 256-féle hozzárendelést előre kiszámítják és TÁBLÁZATBAN tárolják. Az egyes képpont értékeket kicserélik. Ez jóval kevesebb számítási igényel, mint minden egyes pontban elvégezni magát a transzformáció műveletsorozatát (kivétel: háttérkorrekció!).

28 LUT transzformációk Automatikus kontraszt
Az "AutoContrast" művelet nem egyéb, mint a kép szürkeségi szintjének átkalibrálása a tartományba az alábbi egyenlet szerint: (Sij)output = Smax (Sij)input / (Sij)max ahol (Sij)output a kép pontjainak szürkeségi szintje Smax a megjeleníthető maximum.

29 LUT automatikus kontraszt
Eredeti kép hisztogramja Átalakított kép hisztogramja

30 LUT transzformációk Háttér korrekció
Az ún. SHADING CORRECTION (egyenlőtlen megvilágítás miatt a háttér egyenlőtlen) is LUT transzformáció, ám ekkor nem az egyes szürkeségi szintekhez rendelünk új értéket, hanem a kép egyes (ij) pontjaihoz rendeljük a konstans háttér-értékeket („üres látómező”), amelyet továbbiakban a feldolgozandó képekből „kivonunk”.

31 Konvolúció A konvolúciós képátalakító művelet a képpontok szürkeségi szintjét szomszédainak figyelembe vételével módosítja egy m x m kernel (szűrő) segítségével. Si = a bemenő kép szürkeségi szintjei ki= a kernel értékei S5= a kimenő kép egy pontjának szürkeségi szintje N= a konvolúciós mátrix elemeinek összege + 1

32 Él kiemelés, élesítés (a) (b) (C)
Az él kiemelő kernel a képpontok szürkeségi szintjeinek hirtelen változása alapján „keresi meg” a kép egyes irányaiban az éleket. Vízszintes él kiemelés (a), Függőleges él kiemelés (b), Élesítés (c). (a) (b) (C)

33 Él kiemelés, élesítés Vízszintes él kiemelés

34 Él kiemelés, élesítés Függőleges él kiemelés

35 Él kiemelés, élesítés Élesítés

36 Simítás, lágyítás Átlag képzés

37 Simítás, lágyítás Súlyozott átlag

38 Morfológiai transzformációk
Morfológiai transzformációk során az egyes képpontok szürkeségi szintjét a szomszéd képpontok szürkeségi szintjétől függően változtatjuk meg. A figyelembe vett szomszédság méretét és alakját egy ún. szerkezeti elem (módosító elem), pédául egy 3x3-as négyzet jelöli ki. Szürkeképeknél "kisebb" / "nagyobb" relációk segítségével történik a módosítás.

39 Lehetséges szerkezeti elemek
Eredeti kép Kör alakú szerkezeti elem Lehetséges szerkezeti elemek Nyolcszög alakú szerkezeti elem Négyszög alakú szerkezeti elem Vízszintes téglalap alakú szerkezeti elem Függőleges téglalap alakú szerkezeti elem

40 Leggyakoribb morfológiai transzformációk
Erózió és dilatáció Leggyakoribb morfológiai transzformációk A szürkekép eróziója nem más, mint egy-egy pixel értékének helyettesítése az önmaga és nyolc szomszédja által alkotott csoport szürkeségi értékeinek minimumával. Dilatáció során a maximum érték helyettesítése történik.

41 Erózió - dilatáció szemléltetése virtuális 3D ábrán
Erózió és dilatáció Erózió - dilatáció szemléltetése virtuális 3D ábrán

42 Eredeti kép és a szürkeségi profil
Erodált kép és a szürkeségi profil

43 Eredeti kép és a szürkeségi profil
Dilatált kép és a szürkeségi profil

44 Morfológiai transzformációk tulajdonságai
Megfordíthatatlanok, egy - egy erodált kép eredetijét nem kapjuk vissza az eróziót követően elvégzett dilatációval. Az erózió és a dilatáció egyfajta komplementer műveletek: miközben a háttér erodálódik, az objektumok dilatációját figyelhetjük meg.

45 „Opening” és „closing” mint morfológiai transzformációk
A "nyitás (opening)" nem más mint erózió és azt követő ekvivalens dilatáció. A "zárás (closing)" pedig a dilatáció és az ekvivalens erózió egymást követő végrehajtásából áll. Az ekvivalens kifejezéssel azt jelenti hogy nem feltétlenül egyetlen alkalommal történik a művelet: más eredményt kapunk két eróziót követő két dilatáció során.

46 Nyitás - zárás Az opening az apró, világos objektumokat távolítja el.
A closing az apró, sötét jellegzetességek eltüntetésére használható. Az eltávolított objektumok mérete az alkalmazott eróziók és dilatációk számától, valamint a szerkezeti elem alakjától függ.

47 Nyitás Apró és világos objektumok eltávolítása Eredeti kép
Módosított kép

48 Zárás Apró, sötét jellegzetességek eltávolítása Eredeti kép
Módosított kép

49 Lágyítás Sokféle szűrő származtatható az erózió, dilatáció, opening, closing egymást követő alkalmazásával. Alternáló sorozatokon alapuló szűrők például az n- szeres black smoothing: 1 open  1 close  2 open  2 close  ...  n open  n close. Az n-szeres white smoothing művelet: 1 close  1 open  2 close  2 open  ...  n close  n open.

50 Fekete simítás n-szeres black smoothing (n open  n close) Eredeti kép
Módosított kép

51 Fehér simítás n-szeres white smoothing (n close  n open) Eredeti kép
Módosított kép

52 „Tophat” transzformáció
Eredeti kép - Lágyított kép (smoothing) = TOPHAT Eredeti Black tophat művelet után

53 Morfológiai gradiensek
Eróziós gradiens = Eredeti kép - Erodált kép Dilatációs gradiens = Dilatált kép - Eredeti kép Gradiens = Dilatált kép - Erodált kép A gradiensek élkereső funkciókkal rendelkeznek, mivel az átmeneteket keresik meg - egyik szürkeségi szintből a másikba. A gradienskép valamely képpontjának szürkeségi szintje a környezetben jellemző szürkeségi szint-változásra utal a dilatáció vagy erózió iterációs lépéseinek számától függően.

54 Morfológiai gradiensek
Eróziós gradiens = Eredeti kép - Erodált kép Eredeti kép Gradiens kép

55 Delineation (körvonal) transzformáció
Objektumok körvonalai nem tökéletesen élesek Az elmosódott élek okai: A kamera korlátai (nem tud ugrásszerű átmenetet előállítani nagy szürkeségi szint-különbség esetén). A fókusz és a mélységélesség okozta problémák.

56 Delineation (körvonal) transzformáció
Eredeti kép Módosított kép

57 Delineation (körvonal) transzformáció
Eredeti kép, 8x nagyítás Módosított kép, 8x nagyítás

58 Delineation művelet hatása a szürkeségi profilra

59 Delineation (körvonal) transzformáció
Az elmosódott élek a detektálás pontosságát rontják. Amennyiben két szürkeségi szint közé eső objektumot kívánunk detektálni, akkor előfordulhat, hogy valamennyi világos objektum körvonalát is detektálni fogjuk, ez a „fényudvar” vagy „holdudvar” hatás.

60 Eredeti kép detektálva „Körvonalazott” kép detektálva
Két szürkeségi szint közé eső objektum detektálása „fényudvar” hatás Eredeti kép detektálva „Körvonalazott” kép detektálva

61 Eredeti kép detektálva, 8x nagyítás
Két szürkeségi szint közé eső objektum detektálása „fényudvar” hatás Eredeti kép detektálva, 8x nagyítás „Körvonalazott” kép detektálva, 8x nagyítás

62 Inferior, superior Az inferior és a superior műveletek eredménye két kép pontonként történő összehasonlításából adódik. Az inferior /superior művelet során az adott helyen álló képpont output szürkeségi szintjét a két input kép megfelelő képpontjainak szürkeségi szintje közül a kisebbik/nagyobbik adja.

63 Lineáris nyitás (open), lineáris zárás (close)
A lineáris nyitás az eredeti kép és ennek adott méretű lineáris szerkezeti elemmel végrehajtott opening transzformáltja közötti superior transzformációt jelenti. A lineáris zárás az eredeti kép és ennek adott méretű lineáris szerkezeti elemmel végrehajtott closing transzformáltja közötti inferior transzformációt jelenti.

64 Lineáris nyitás (open), lineáris zárás (close)
A lineáris nyitás a szürkekép világos régióira hat: a szerkezeti elem irányában nyújtott világos objektumok megmaradnak, míg a nem nyújtott jellegzetességek eltűnnek. A lineáris zárás ennek komplementer művelete: a kép sötét régióira hat, amennyiben az elnyúlt sötét objektumok nem változnak, a körszerűek eltűnnek.

65 Lineáris zárás (elnyúlt sötét objektumok nem változnak, a körszerűek eltűnnek)

66 Lineáris nyitás (elnyúlt világos objektumok nem változnak, a körszerűek eltűnnek)

67 Geodézikus transzformációk
A geodézikus transzformáció elnevezés egy művelet két típusát jelöli (a számítógépes grafikában gyakori „maszkolásos” technika): Egyik esetben bináris maszkkal, A másikban szürkekép maszkkal.

68 Geodézikus transzformációk
Geodézikus erózió bináris maszk segítségével: Az eróziót a szürkekép azon tartományaiban hajtjuk végre, ahol a bináris kép, mint maszk, átfedi azt. Másképpen ez egy tetszőleges alakú képkeretként fogható fel.

69 Geodézikus transzformációk
Szürkekép-maszk alkalmazása: Legyen a néhányszor erodált kép a "mag”. Legyen az eredeti kép a felhasznált maszk. Dilatáljuk a magot úgy, hogy a maszk szürkeségi szintjei horizontálisan korlátozzák a szürkeségi profil terjeszkedését. Ennek hatására a nemkívánatos részek eltűnnek.

70 Szürkekép-maszk alkalmazása:
Geodézikus transzformációk Szürkekép-maszk alkalmazása:

71 Kitöltés (fill white, fill black)
A kitöltés (fill white, fill black) az opening vagy closing transzformációk második lépéseként a megfelelő geodézikus transzformációt hajtják végre. A fill black művelet a dilatáció - geodézikus erózió lépéssorozattal egyenértékű és mint a neve is sugallja a kép sötétebb "lyukait" tölti ki környezetük szintjével.

72 A kép sötétebb "lyukait" tölti ki környezetük szürkeségi szintjével
Kitöltés (fill black) A kép sötétebb "lyukait" tölti ki környezetük szürkeségi szintjével

73 Vázszerkezet előállítása (skeleton, prune)
A szürkekép-szkeletonizáció egy sorozatos erózió eredménye oly módon, hogy a vonulatok ne vesszenek el; vagyis olyan feltételes erózió amely megőrizi az egyes világos tartományo-kat összekötő éleket. A pruning a vázszerkezet oldalágait keresi meg, és távolítja el.

74 Watershed (vízválasztó)
A watershed transzformáció a morfológiai műveletek talán legösszetettebbje, gyakorlatilag egy vázszerkezet-előállítás és egy kimerítő pruning művelet eredményeként áll elő. A lokális minimumok feltételes növelésével addig növeljük az egyes lokális minimumok elfoglalta területeket, amíg össze nem érnek.

75 watershed = vízválasztó
Topográfiai értelemben vonulatok állíthatók elő, amelyek mint a watershed = vízválasztó elnevezés is mutatja, meghatározzák, hogy melyik medence melyik lejtőről gyűjti össze a csapadékot, azaz melyik lokális gradiens melyik lokális minimumba tart.

76 Watershed (vízválasztó)

77 Szemcsehatár rekontstrukció
Watershed (vízválasztó) Szemcsehatár rekontstrukció

78 Fourier-transzformáció
A kétdimenziós Fourier-sor exponenciális alakja a következő: x és y a képkoordináták, f(x,y) a képpontok szürkeségi függvénye, Lx és Ly a kép két mérete, m és n a Fourier-sor indexei, Cmn a sor együtthatói, vagyis az illető felharmonikusok amplitúdói.

79 Fourier-transzformáció
A kétdimenziós Fourier-sor trigonometrikus alakja a következő: Az együtthatókat definiáló összefüggés:

80 A számítások f(x,y) mátrixformában adott diszkrét értékű függvényre az alábbi egyenletek alapján végezhetők el: Az inverz transzformáció pedig:

81 A transzformált értéksor periodikus: egyik irányban M, másik irányban N periódussal.
A spektrum elnevezéssel olyan képre hivatkozunk, ahol az egyes F(m,n) együtthatók abszolút értékét (illetve logaritmusát) m és n függvényében ábrázoljuk (8 bites képként, azaz 256 szürkeségi szinten). A nagyfrekvenciás tagok a gyors képi váltásokért, míg az alacsony frekvenciák a lassú, fokozatos átmenetekért (gradiens, háttér) felelősek.

82 Fourier transzformáció
Eredeti -kép Fourier spektruma Eredeti -kép Zajos -kép Fourier spektruma Zajos -kép

83 Fourier transzformáció
Áramkör Fourier spektruma Áramkör Ásvány Fourier spektruma Ásvány

84 A Fourier-transzformáció hasznos és gyors módszer lehet bonyolult konvolúciók esetén, nagyméretű kernelek alkalmazásakor, ugyanis a konvolúció gyorsabban hajtható végre Fourier-módszer segítségével. Képezzük az eredeti kép transzformáltját, képezzük a kívánt kernel transzformáltját, állítsuk elő szorzatukat, eredményül az output-kép transzformáltját kapjuk meg. Erre az inverz-transzformációt alkalmazva megkapjuk a kívánt átalakított képet.