Budapest Műszaki és Gazdaságtudományi Egyetem eet.bme.hu Elektronikus Eszközök Tanszéke Számítógépes grafika és képfeldolgozás Dr. Szirmay-Kalos László (IIT) Dr. Poppe András (EET)

© BME Elektronikus Eszközök Tanszéke, eet.bme.hu A képfeldolgozás alapjai - 2. ea december 9. Élkeresés, képjavítás

© BME Elektronikus Eszközök Tanszéke, eet.bme.hu december 9. A képfeldolgozás alapjai - 2. ea. 3 ►Az élkeresés alapvető képfeldolgozási feladat  kontúrok megállapítása  szegmentálás ►Hol vannak élek? Ott, ahol ugrásszerű változás van a képben, mint intenzitásfüggvényben. Élkeresés: elsőrendű módszerek

© BME Elektronikus Eszközök Tanszéke, eet.bme.hu december 9. A képfeldolgozás alapjai - 2. ea. 4 ►Hogy tudjuk a nagy intenzitásváltozást könnyen észrevenni? ►Képezzük az intenzitásfüggvény deriváltját és ahol az egy adott értéket meghalad, azt mondjuk, hogy ott él van. Élkeresés: elsőrendű módszerek

© BME Elektronikus Eszközök Tanszéke, eet.bme.hu december 9. A képfeldolgozás alapjai - 2. ea. 5 ►Az első deriváltat képezzük  elsőrendű módszer ►Egy a(x,y) kétváltozós függvény első deriváltja a gradiens vektor: Élkeresés: elsőrendű módszerek i és j a bázisvektorok ►Ennek a vektornak meg kell állapítani a hosszát:

© BME Elektronikus Eszközök Tanszéke, eet.bme.hu december 9. A képfeldolgozás alapjai - 2. ea. 6 ►Diszkretizált eset  differenicál hányados  differenciahányados Élkeresés: elsőrendű módszerek ►Normáljuk majd az él-képet, ezért 2h=1. Ekkor a derivált:

© BME Elektronikus Eszközök Tanszéke, eet.bme.hu december 9. A képfeldolgozás alapjai - 2. ea. 7 ►A deriválást konvolúciós egyenlet formájában is megfogalmazhatjuk: ahol ►Deriváltképzés előtt célszerű szürni – y irányban. Ennek operátor mátrixa: Élkeresés: elsőrendű módszerek

© BME Elektronikus Eszközök Tanszéke, eet.bme.hu december 9. A képfeldolgozás alapjai - 2. ea. 8 ►Az y irányú szűrést és x irányú deriválást összevonva bevezetjük a Prewitt operátort: Élkeresés: elsőrendű módszerek ►Hasonló az ún. Sobel operátor:

© BME Elektronikus Eszközök Tanszéke, eet.bme.hu december 9. A képfeldolgozás alapjai - 2. ea. 9 ►Hasonló a helyzet y irányban: ►Az E él-kép végül: Élkeresés: elsőrendű módszerek ►Megspórolható műveletek:  gyökvonás: nem okoz különösebb gondot  négyzetre emelés:  2 -es faktorral túlbecsült / alulbecsült 45 o -os élek

© BME Elektronikus Eszközök Tanszéke, eet.bme.hu december 9. A képfeldolgozás alapjai - 2. ea ►45 o -os irányokban derivál: ►Ekkor az E él-kép: ►Nagyon egyszerű Élkeresés: elsőrendű módszerek – Roberts op. ►Gondok:  Nincs beépített szűrés  Az él kép ½ pixellel eltolódik Ezért módosított deriválás:

© BME Elektronikus Eszközök Tanszéke, eet.bme.hu december 9. A képfeldolgozás alapjai - 2. ea Élkeresés: elsőrendű módszerek – Roberts op. Roberts operátor Küszöbölés 31%-os szintnél, negatív kép A halványabb kontúrok eltűntek

© BME Elektronikus Eszközök Tanszéke, eet.bme.hu december 9. A képfeldolgozás alapjai - 2. ea ►A deriválás kiemeli a zajt ►50-60 árnyalat alatt hamis kontúrok ►Az él-kép árnyalatos, nekünk meg bináris kép kéne: kontúr – nem kontúr  köszöbölés-vágás – de milyen szinten?  halványabb kontúrok eltűnhetnek ►TV technikában célhardver: Élkeresés: megjegyzések

© BME Elektronikus Eszközök Tanszéke, eet.bme.hu december 9. A képfeldolgozás alapjai - 2. ea ►Kétváltozós fv. első deriváltja: gradiens vektor ►második derivált: vektor tér deriváltja divergencia: ►div grad == Laplace operátor ►Differenciahányadossal közlítve: Élkeresés: másodrendű módszerek

© BME Elektronikus Eszközök Tanszéke, eet.bme.hu december 9. A képfeldolgozás alapjai - 2. ea ►Differenciahányadossal közlítve: ►Ugyanígy számolunk y irányban ►A két iránynak megfelelő operátor mátrix: Élkeresés: másodrendű módszerek Az él-képben minden kontúrhoz dupla vonal tartozik Negatív pixel értékek is kiadódnak. (Normálási kérdés.)

© BME Elektronikus Eszközök Tanszéke, eet.bme.hu december 9. A képfeldolgozás alapjai - 2. ea ►Dupla deriválás – nagy zajérzékenység  szűrés  256 árnyalatú kép Élkeresés: másodrendű módszerek, Laplace op Pl. fotogrammetriai felvételek feldolgozása

© BME Elektronikus Eszközök Tanszéke, eet.bme.hu december 9. A képfeldolgozás alapjai - 2. ea Élkeresés: másodrendű módszerek, Laplace op

© BME Elektronikus Eszközök Tanszéke, eet.bme.hu december 9. A képfeldolgozás alapjai - 2. ea Fényességátmenetek határozottabbá tétele "nagyfrekvenciás" komponensek amplitudójának növelése: az intenzitásfüggvényből kivonjuk annak 2. deriváltját Képélesítés: Laplace operátoros képjavítás

© BME Elektronikus Eszközök Tanszéke, eet.bme.hu december 9. A képfeldolgozás alapjai - 2. ea Képélesítés : Laplace operátoros képjavítás

© BME Elektronikus Eszközök Tanszéke, eet.bme.hu december 9. A képfeldolgozás alapjai - 2. ea Képélesítés: : Laplace operátoros képjavítás Érdemés még hisztogramkiegyenlítést is alkalmazni

© BME Elektronikus Eszközök Tanszéke, eet.bme.hu A képfeldolgozás alapjai - 2. ea december 9. A Fourier-sorfejtés

© BME Elektronikus Eszközök Tanszéke, eet.bme.hu december 9. A képfeldolgozás alapjai - 2. ea D eset Fourier-együtthatók: L hosszúsággal periódikus függvényt ad Ez a periodicitás nem gond, mert minket a függvény csak a [0, L] intervallumban érdekel. ha f(x) valós

© BME Elektronikus Eszközök Tanszéke, eet.bme.hu december 9. A képfeldolgozás alapjai - 2. ea D függvény Fourier-sora Sorfejtés x irányban – ekkor az y-tól függő Fourier-együtthatók: C m (y) sorfejtése: A függvény: f(x,y)

© BME Elektronikus Eszközök Tanszéke, eet.bme.hu december 9. A képfeldolgozás alapjai - 2. ea D függvény Fourier-sora Együttesen: Ekvivalens átalakítások után: C mn – az f(x,y) függvény 2D Fourier-együtthatói.

© BME Elektronikus Eszközök Tanszéke, eet.bme.hu december 9. A képfeldolgozás alapjai - 2. ea D függvény Fourier-sora Bebizonyítható, hogy az f(x,y) függvény ezen együtthatók alapján visszaállítható az alábbi módon: x- és y-irányú periodicitás LxLx LyLy y x f(x,y)f(x,y) ha f(x,y) valós

© BME Elektronikus Eszközök Tanszéke, eet.bme.hu december 9. A képfeldolgozás alapjai - 2. ea A 2D Fourier-együtthatók értelmezése komplex harmónikusok mert cos(x) = (exp(jx)+exp(-jx))/2 sin(x) = (exp(jx)-exp(-jx))/2

© BME Elektronikus Eszközök Tanszéke, eet.bme.hu december 9. A képfeldolgozás alapjai - 2. ea az f(x,y) függvény átlagértéke – valós térharmónikusok: cos-hullámok C mn valós része egy cos-hullám, képzetes része egy sin-hullám amplitudója A 2D Fourier-együtthatók értelmezése

© BME Elektronikus Eszközök Tanszéke, eet.bme.hu A képfeldolgozás alapjai - 2. ea december 9. Térharmónikusok

© BME Elektronikus Eszközök Tanszéke, eet.bme.hu december 9. A képfeldolgozás alapjai - 2. ea m=6 n=4 C mn valós része egy cos-hullám, képzetes része egy sin-hullám amplitudója térharmónikusok: térfrekvencia: hullámhossz: A 2D Fourier-együtthatók értelmezése m=3 n=2 

© BME Elektronikus Eszközök Tanszéke, eet.bme.hu december 9. A képfeldolgozás alapjai - 2. ea Térharmónikusok

© BME Elektronikus Eszközök Tanszéke, eet.bme.hu december 9. A képfeldolgozás alapjai - 2. ea Térharmónikusok

© BME Elektronikus Eszközök Tanszéke, eet.bme.hu december 9. A képfeldolgozás alapjai - 2. ea Térharmónikusok

© BME Elektronikus Eszközök Tanszéke, eet.bme.hu A képfeldolgozás alapjai - 2. ea december 9. DFT

© BME Elektronikus Eszközök Tanszéke, eet.bme.hu december 9. A képfeldolgozás alapjai - 2. ea A diszkrét Fourier-transzformáció

© BME Elektronikus Eszközök Tanszéke, eet.bme.hu december 9. A képfeldolgozás alapjai - 2. ea ►Fourier-együtthatók számítására vonatkozó közelítés f(x k ) = F k mintavételezett függvényre (mintavételi tv.!)   ►Új transzformáció F k  D n – az F k minták diszkrét Fourier-transzformáltja A diszkrét Fourier-transzformáció

© BME Elektronikus Eszközök Tanszéke, eet.bme.hu december 9. A képfeldolgozás alapjai - 2. ea ► F k minták: N db valós szám ► D n értékek:  periodicitás N szerint:  valós  azaz  valós (mert önmaga konjugáltja kell legyen) ►Az F k mintasorozat (N db valós szám) diszkrét Fourier-transzformáltját egyértelműen megadja a D n értéksor fele: A 0. és az N/2-edik valós, a többi komplex: N db adat. A diszkrét Fourier-transzformáció

© BME Elektronikus Eszközök Tanszéke, eet.bme.hu december 9. A képfeldolgozás alapjai - 2. ea ►Az F k mintasorozat (N db valós szám) diszkrét Fourier- transzformáltját egyértelműen megadja a D n értéksor fele. ►Az eddigiek alapján F k kapcsolata a harmónikus összetevőivel: ►Ha az F k értéksort f(x) mintavételezésével kaptuk, akkor: A diszkrét Fourier-transzformáció

© BME Elektronikus Eszközök Tanszéke, eet.bme.hu december 9. A képfeldolgozás alapjai - 2. ea DFT 2D-ben ►Transzformáljuk a 2D mátrix formájában adott mintákat: ►A DFT együtthatók is egy mátrixot alkotnak: ►Visszatranszformálás:

© BME Elektronikus Eszközök Tanszéke, eet.bme.hu december 9. A képfeldolgozás alapjai - 2. ea DFT 2D-ben ►Mind a D mn transzformált, mind az F rs visszatranszformált értéksor N-nel periódikus: ►Valós függvény transzformáltjára igaz: LxLx LyLy y x f(x,y)f(x,y) Mint folytonos esetben:

© BME Elektronikus Eszközök Tanszéke, eet.bme.hu december 9. A képfeldolgozás alapjai - 2. ea Képek DFT-je ►A ciklikusság miatt a négy sarokban vannak a 0 térfrekvenciához tartozó elmek 0 térfrekvenica: a kép "DC értéke" == átlgafényesség ►Középen az f max -hoz tartozó pont ►Origóra szimmetrikusan:

© BME Elektronikus Eszközök Tanszéke, eet.bme.hu A képfeldolgozás alapjai - 2. ea december 9. Képek DFT-je

© BME Elektronikus Eszközök Tanszéke, eet.bme.hu december 9. A képfeldolgozás alapjai - 2. ea DFT képek jellegzetességei Valós kép és DFT-je Komplex kép kellene legyen. Ez csak az amplitudó infomáció, a fázist nem ábrázoltuk. Nagy nagyságrendi átfogás miatt logaritmikus az ábrázolás. f=0 f max A DFT kép alapján általában nehéz következtetést levonni az eredeti képre vonatkozólag. Zérus közeliek a nagy térfrekvenciás tagok, tehát a valós kép "lágy", nincsenek benne erős élek.

© BME Elektronikus Eszközök Tanszéke, eet.bme.hu december 9. A képfeldolgozás alapjai - 2. ea DFT képek jellegzetességei Valós kép... a DFT kép Periodicitás a DFT képben: ismétlődő elemek a valós képben Világos foltok a nagy térfrekvenciáknál: határozott élek a valós képben Integrált áramkör elektronmikroszkópi képe. 180 o -os forgatási szimmetria  DFT képen!

© BME Elektronikus Eszközök Tanszéke, eet.bme.hu december 9. A képfeldolgozás alapjai - 2. ea DFT képek jellegzetességei Valós kép... a DFT kép Határozott periódikusság: szabályos minta a valós képben Nagy amplitudók a nagy térfrekvenciákon: határozott élek a valós képben sin(x)/x jellegű DFT: Dirac-  jellegű valós kép Szabályos kép, valóban Dirac-  jellegű kép  1D emlékeztető:

© BME Elektronikus Eszközök Tanszéke, eet.bme.hu december 9. A képfeldolgozás alapjai - 2. ea DFT képek – kioltási vonalak Sötét négyszögrács a DFT képen: a vonalaknak megfelelő térfrekvenciákon 0 érték 9 px 6 px N x pixel K x pixel 0-t kapunk, ha K x egész számú többszöröse valamelyik térharmónikus hullámhosszának Az alapharmónikus hullámhossza az N x képméret. Az m -edik felharmónikus hullámhossza: N x /m A kioltott frekvenciák indexe: A kioltási vonalak távolsága:  m = N x /K x Tehát a kioltási vonalak a képet K x részre osztják 6 9 A kioltás feltétele:

© BME Elektronikus Eszközök Tanszéke, eet.bme.hu A képfeldolgozás alapjai - 2. ea december 9. Műveletek a Fourier-térben: textúra analízis szűrés képjavítás/élkiemelés inverz szűrés

© BME Elektronikus Eszközök Tanszéke, eet.bme.hu A képfeldolgozás alapjai - 2. ea december 9. Textúra analízis DFT-vel

© BME Elektronikus Eszközök Tanszéke, eet.bme.hu december 9. A képfeldolgozás alapjai - 2. ea Textúra analízis Pirolitikus grafit kristály, SEM felvétel. A kristályfelület atomi szerkezete látható. Hexagonális kristályrács

© BME Elektronikus Eszközök Tanszéke, eet.bme.hu december 9. A képfeldolgozás alapjai - 2. ea Textúra analízis A B C D Jellegzetes elemek (vonalak) a DFT képen is megjelennek, a valós képen látható elemre merőleges vonalként, hasonló periodicitással Notre Dame, Párizs. Gótikus homlokzat – jellegzetes elemekkel A – a homlokzati övpárkány B – a nyílások nagy osztói C – a nyílások kisebb osztói D

© BME Elektronikus Eszközök Tanszéke, eet.bme.hu december 9. A képfeldolgozás alapjai - 2. ea Textúra analízis: teljesítményspektrum ►A "teljesítményt" így definiáljuk: ►A P nm értékekből folytonos P(n, m) függvény interpolációval 1/f γ ►Átszámítás polár koordinátákra: P(f, γ) ►A következő integrálokat számoljuk:

© BME Elektronikus Eszközök Tanszéke, eet.bme.hu december 9. A képfeldolgozás alapjai - 2. ea Domináns térfrekvenciák domináns irányok Textúra analízis: teljesítményspektrum

© BME Elektronikus Eszközök Tanszéke, eet.bme.hu A képfeldolgozás alapjai - 2. ea december 9. Szűrés, képjavítás

© BME Elektronikus Eszközök Tanszéke, eet.bme.hu december 9. A képfeldolgozás alapjai - 2. ea Szűrés a frekvenciatartományban Kép Fourier- transzformáció DFT kép Szűrés: egyes térfrekvenciás komponensek módosítása Szűrt DFT kép Inverz Fourier- transzformáció Szűrt kép Szűrőkarakterisztikák: Egyszerű töréspontos aluláteresztő: Butterworth-szűrő:

© BME Elektronikus Eszközök Tanszéke, eet.bme.hu december 9. A képfeldolgozás alapjai - 2. ea ►Bármely lineáris szűrési művelet megvalósítható a frekvenciatartományban: helyett ►Konvolúció helyett szorzás a frekvenciatartományban ►Megjegyzések:  a transzformált értékek komplexek, ezért itt komplex szorzásról van szó  a transzformáció periódikus eredményt ad, ezért ez a konvolúció ún. ciklikus konvolúció. A DFT térben való szorzás pontos megfelelője az alábbi: Szűrés a frekvenciatartományban

© BME Elektronikus Eszközök Tanszéke, eet.bme.hu december 9. A képfeldolgozás alapjai - 2. ea fa8fa 16f a Nagy térfrekvenciájú komponensek kiszűrése Zajtalanabb, lágyabb kép Csökken az élesség f a – az alapharmónikus térfrekvenciája Szűrés a frekvenciatartományban

© BME Elektronikus Eszközök Tanszéke, eet.bme.hu december 9. A képfeldolgozás alapjai - 2. ea f a Kis térfrekvenciájú komponensek kiszűrése Lassú változások törlése: mindenütt egyen-szürke Az élesség (nagy térfrekvenciás rész) megmarad f a – az alapharmónikus térfrekvenciája 4fa4fa Minél erősebb a vágás, annál szürkébb lesz a kép Szűrés a frekvenciatartományban

© BME Elektronikus Eszközök Tanszéke, eet.bme.hu december 9. A képfeldolgozás alapjai - 2. ea Képjavítás: nagy térfrekvenciák kiemelése Az erős átmenetek hangsúlyosabbak lesznek, de a zaj is nő. Hasonló a hatása a Laplace-oprátoréhoz. Még azonos is lehet vele. Szűrés a frekvenciatartományban

© BME Elektronikus Eszközök Tanszéke, eet.bme.hu A képfeldolgozás alapjai - 2. ea december 9. Inverz szűrés

© BME Elektronikus Eszközök Tanszéke, eet.bme.hu december 9. A képfeldolgozás alapjai - 2. ea ►Ismert a csatorna torzításának S operátora (a csatorna szóródási függvénye vagy súlyfüggvénye) Inverz szűrés ►Adott egy T torzított kép ►Az eredeti E torzítatlan képet dekonvolícióval allíthatjuk helyre: ahol a dekonvolúció jele ►Dekonvolúció helyett osztás a frekvenciatartományban majd vissza transzformáljuk E -t ahol E a torzítatlan kép Ekkor:

© BME Elektronikus Eszközök Tanszéke, eet.bme.hu december 9. A képfeldolgozás alapjai - 2. ea Képhelyreállítás inverz szűréssel Inverz Fourier- transzformáció T torzított kép Fourier- transzformáció Csatorna S szóródási függvénye Fourier- transzformáció Helyre- állított kép

© BME Elektronikus Eszközök Tanszéke, eet.bme.hu december 9. A képfeldolgozás alapjai - 2. ea Képhelyreállítás inverz szűréssel Kísérlet – előkészítés torzított kép Lineáris szűrő eredeti kép Lineáris szűrő 1 fénylő pötty (Dirac-  ) szóródási függvény

© BME Elektronikus Eszközök Tanszéke, eet.bme.hu december 9. A képfeldolgozás alapjai - 2. ea inverz szűrés torzított kép szóródási függvény helyreállított kép A nagy térfrekvenciás részletek, ha nem vesztek el teljesen, az inverz szűrőkarakterisztikával visszanyerhetők. A nagy térfrekvenciás részletek kiemelése szükségképpen erősíti a zajt is. Ez látszik is a helyreállított képen. Zajmentes eredeti kép Zajos helyreállított kép Képhelyreállítás inverz szűréssel Kísérlet – helyreállítás

© BME Elektronikus Eszközök Tanszéke, eet.bme.hu december 9. A képfeldolgozás alapjai - 2. ea ►Ami információ nincs benne a képben, azt az inverz szűrés sem tudja pótolni. ►Kioltási vonalak:  Lehet, hogy a súlyfüggvényben, amivel osztanunk kell, sok 0 közeli érték lesz.  Ennek zajkiemelő hatása van, a kép élvezhetetlenné válhat.  Korlátozni kell az inverz szűréssel megvalósuló térharmónikus- kiemelés mértékét. ►A teljes képekenek rendelkezésre kell állnia: lásd a szűrés miatt alkalmazott fekete keretet a kísérleti képben. Képhelyreállítás inverz szűréssel Megjegyzések

© BME Elektronikus Eszközök Tanszéke, eet.bme.hu december 9. A képfeldolgozás alapjai - 2. ea ►Körbecsavarodás (wrap-around): Ha a súlyfüggvény nem a középen elhelyezkedő 1 pixel képe, akkor a helyreállítás eredménye egy felvágott és körbecsavarodott kép lesz: ►Nemlinearitások: Fotók (papír képek) és TV kamerák gradációs függvénye – a szűrőkarakterisztika korrigálandó velük az inverz szűrés előtt. Képhelyreállítás inverz szűréssel Megjegyzések

© BME Elektronikus Eszközök Tanszéke, eet.bme.hu december 9. A képfeldolgozás alapjai - 2. ea Életlenre állított kamerával felvett kép Valami szöveg, de teljesen olvashatatlan Életlenre állított kamerával felvett folt és annak DFT-je: A helyreállított kép és a jó eredeti kép: Képhelyreállítás inverz szűréssel Példa

© BME Elektronikus Eszközök Tanszéke, eet.bme.hu december 9. A képfeldolgozás alapjai - 2. ea Háromszor exponált kép A háromszoros expozíció szóródási függvénye és annak DFT-je: A helyreállított kép Képhelyreállítás inverz szűréssel Példa

© BME Elektronikus Eszközök Tanszéke, eet.bme.hu A képfeldolgozás alapjai - 2. ea december 9. Alakfelismerés

© BME Elektronikus Eszközök Tanszéke, eet.bme.hu december 9. A képfeldolgozás alapjai - 2. ea ►Az alábbi, képként adott szövegrészletben szeretnénk az e betűket megtalálni: Alakfelismerés  olyan képhez szeretnénk jutni, ahol minden e betű helyén egy pont van, egyebütt üres a kép,  ennek a képnek a jele legyen EPOZ,  az egyetlen e betű képe pedig E. ►Ekkor a SZOVEG, mint kép így adható meg: ahol TOBBI a kép többi, e betűktől különböző része. ►Az E -vel dekonvolváljuk a SZOVEG -et:

© BME Elektronikus Eszközök Tanszéke, eet.bme.hu december 9. A képfeldolgozás alapjai - 2. ea ►Az E -vel dekonvolváljuk a SZOVEG -et: Megjelenik a keresett kép Ha a többi betű nem hasonlít az e-re, ez jól levágható háttérzaj Valóban az e betűk pozícióit találtuk meg! Alakfelismerés