Számítógépes grafika és képfeldolgozás III előadás: Fourier-módszerek a képfeldolgozásban Jegyzet: Székely Vladimír: Képfeldolgozás 6. fejezet

A mai előadás tartalma Fourier sorfejtés 2D-ben 1D összefoglaló 2 változós fv Fourier-sora Fourier-összetevők értelmezése A diszkrét Fourier-transzformáció DFT 1D-ben DFT 2D-ben DFT képek jellegzetességei Műveletek Fourier-tartományban textúra analízis szűrés képjavítás/élkiemelés inverz szűrés 3D objektum vetületekből

A Fourier-sorfejtés

1D eset L hosszúsággal periódikus függvényt ad Fourier-együtthatók: ha f(x) valós Ez a periodicitás nem gond, mert minket a függvény csak a [0, L] intervallumban érdekel.

2D függvény Fourier-sora A függvény: f(x,y) Sorfejtés x irányban – ekkor az y-tól függő Fourier-együtthatók: Cm(y) sorfejtése:

2D függvény Fourier-sora Együttesen: Ekvivalens átalakítások után: Cmn – az f(x,y) függvény 2D Fourier-együtthatói.

2D függvény Fourier-sora ha f(x,y) valós Bebizonyítható, hogy az f(x,y) függvény ezen együtthatók alapján visszaállítható az alábbi módon: x- és y-irányú periodicitás Lx Ly y x f(x,y)

A 2D Fourier-együtthatók értelmezése komplex harmónikusok mert cos(x) = (exp(jx)+exp(-jx))/2 sin(x) = (exp(jx)-exp(-jx))/2j

A 2D Fourier-együtthatók értelmezése az f(x,y) függvény átlagértéke – valós térharmónikusok: cos-hullámok Cmn valós része egy cos-hullám, képzetes része egy sin-hullám amplitudója

Térharmónikusok

A 2D Fourier-együtthatók értelmezése Cmn valós része egy cos-hullám, képzetes része egy sin-hullám amplitudója térharmónikusok: m=6 n=4 m=3 n=2 hullámhossz:  térfrekvencia:

Térharmónikusok

Térharmónikusok

Térharmónikusok

DFT

A diszkrét Fourier-transzformáció

A diszkrét Fourier-transzformáció Fourier-együtthatók számítására vonatkozó közelítés f(xk) = Fk mintavételezett függvényre (mintavételi tv.!)  Új transzformáció Fk  Dn – az Fk minták diszkrét Fourier-transzformáltja 

A diszkrét Fourier-transzformáció Fk minták: N db valós szám Dn értékek: periodicitás N szerint: valós azaz valós (mert önmaga konjugáltja kell legyen) Az Fk mintasorozat (N db valós szám) diszkrét Fourier-transzformáltját egyértelmüen megadja a Dn értéksor fele: A 0. és az N/2-edik valós, a többi komplex: N db adat.

A diszkrét Fourier-transzformáció Az Fk mintasorozat (N db valós szám) diszkrét Fourier-transzformáltját egyértelmüen megadja a Dn értéksor fele. Az eddigiek alapján Fk kapcsolata a harmónikus összetevöivel: Ha az Fk értéksort f(x) mintavételezésével kaptuk, akkor:

DFT 2D-ben Transzformáljuk a 2D mátrix formájában adott mintákat: A DFT együtthatók is egy mátrixot alkotnak: Visszatranszformálás:

DFT 2D-ben Mind a Dmn transzformált, mind az Frs visszatransz-formált értéksor N-nel periódikus: Valós függvény transzformáltjára igaz: Lx Ly y x f(x,y) Mint folytonos esetben:

Képek DFT-je A ciklikusság miatt a négy sarokban vannak a 0 térfrekvenciához tartozó elmek 0 térfrekvenica: a kép "DC értéke" == átlgafényesség Középen az fmax-hoz tartozó pont Origóra szimmetrikusan:

Képek DFT-je

DFT képek jellegzetességei Valós kép ... f=0 fmax ... és DFT-je A DFT kép alapján általában nehéz következtetést levonni az eredeti képre vonatkozólag. Zérus közeliek a nagy térfrekvenciás tagok, tehát a valós kép "lágy", nincsenek benne erős élek. Komplex kép kellene legyen. Ez csak az amplitudó infomáció, a fázist nem ábrázoltuk. Nagy nagyságrendi átfogás miatt logaritmikus az ábrázolás.

DFT képek jellegzetességei Valós kép ... Integrált áramkör elektronmikroszkópi képe. a DFT kép 180o-os forgatási szimmetria  DFT képen! Periodicitás a DFT képben: ismétlődő elemek a valós képben Világos foltok a nagy térfrekvenciáknál: határozott élek a valós képben

DFT képek jellegzetességei Valós kép ... Szabályos kép, valóban résfüggvény jellegű kép  1D emlékeztető: a DFT kép Határozott periódikusság: szabályos minta a valós képben Nagy amplitudók a nagy térfrekvenciákon: határozott élek a valós képben sin(x)/x jellegű DFT: résfüggvény jellegű valós kép

DFT képek – kioltási vonalak 6 9 Sötét négyszögrács a DFT képen: a vonalaknak megfelelő térfrekvenciákon 0 érték 0-t kapunk, ha Kx egész számú többszöröse valamelyik térharmónikus hullámhosszának Az alapharmónikus hullámhossza az Nx képméret. A kioltás feltétele: Az m-edik felharmónikus hullámhossza: Nx/m A kioltott frekvenciák indexe: Nx pixel Kx pixel A kioltási vonalak távolsága: m = Nx/Kx Tehát a kioltási vonalak a képet Kx részre osztják 9 px 6 px

Műveletek a Fourier-térben: textúra analízis szűrés képjavítás/élkiemelés inverz szűrés alakfelismerés 3D objektum vetületekből

Textúra analízis DFT-vel

Textúra analízis Pirolitikus grafit kristály, STM felvétel. Hexagonális kristályrács A kristályfelület atomi szerkezete látható.

Textúra analízis Notre Dame, Párizs. Gótikus homlokzat – jellegzetes elemekkel Jellegzetes elemek (vonalak) a DFT képen is megjelennek, a valós képen látható elemre merőleges vonalként, hasonló periodicitással

Textúra analízis Ujjlenyomat (küszöbölés után). Irány információ nem olvasható ki, hiszen az eredeti képen sincs jellemző irányultság. Nagyobb térharmónikus arány az alapharmónikustól (középpont) kb. 26 pixelnyi távolságra: Az ujjlenyomat barázdák átlagos térharmónikusa az alapharmónikusnak kb. 26-szorosa, irányuk nem jellemző.

Textúra analízis teljesítményspektrum A "teljesítményt" így definiáljuk: A Pnm értékekből folytonos P(n, m) függvény interpolációval 1/f γ Átszámítás polár koordinátákra: P(f, γ) A következő integrálokat számoljuk:

Textúra analízis teljesítményspektrum Domináns térfrekvenciák domináns irányok

Szűrés, képjavítás

Szűrés a frekvenciatartományban Kép Fourier- transzformáció Szűrt kép DFT kép Inverz Fourier- transzformáció Szűrőkarakterisztikák: Egyszerű töréspontos aluláteresztő: Butterworth-szűrő: Szűrés: egyes térfrekvenciás komponensek módosítása Szűrt DFT kép

Szűrés a frekvenciatartományban Bármely lineáris szűrési művelet megvalósítható a frekvenciatartományban: helyett Konvolúció helyett szorzás a frekvenciatartományban Megjegyzések: a transzformált értékek komplexek, ezért itt komplex szorzásról van szó a transzformáció periódikus eredményt ad, ezért ez a konvolúció ún. ciklikus konvolúció. A DFT térben való szorzás pontos megfelelője az alábbi:

Szűrés a frekvenciatartományban Nagy térfrekvenciájú komponensek kiszűrése Zajtalanabb, lágyabb kép Csökken az élesség 16fa 8fa fa – az alapharmónikus térfrekvenciája

Szűrés a frekvenciatartományban Kis térfrekvenciájú komponensek kiszűrése Lassú változások törlése: mindenütt egyen-szürke Az élesség (nagy térfrekvenciás rész) megmarad Minél erősebb a vágás, annál szürkébb lesz a kép 4fa 10fa fa – az alapharmónikus térfrekvenciája

Szűrés a frekvenciatartományban Képjavítás: nagy térfrekvenciák kiemelése Az erős átmenetek hangsúlyosabbak lesznek, de a zaj is nő. Hasonló a hatása a Laplace-oprátoréhoz. Még azonos is lehet vele.

Inverz szűrés

Inverz szűrés ahol E a torzítatlan kép ahol a dekonvolúció jele Adott egy T torzított kép Ismert a csatorna torzításának S operátora (a csatorna szóródási függvénye vagy súlyfüggvénye) ahol E a torzítatlan kép Ekkor: Az eredeti E torzítatlan képet dekonvolícióval allíthatjuk helyre: ahol a dekonvolúció jele Dekonvolúció helyett osztás a frekvenciatartományban majd vissza transzformáljuk E-t

Képhelyreállítás inverz szűréssel T torzított kép Fourier- transzformáció Csatorna S szóródási függvénye Fourier- transzformáció Helyre-állított kép Inverz Fourier- transzformáció

Képhelyreállítás inverz szűréssel Kísérlet – előkészítés Lineáris szűrő eredeti kép torzított kép Lineáris szűrő 1 fénylő pötty (Dirac-) szóródási függvény

Képhelyreállítás inverz szűréssel Kísérlet – helyreállítás torzított kép A nagy térfrekvenciás részletek, ha nem vesztek el teljesen, az inverz szűrőkarakterisztikával visszanyerhetők. helyreállított kép inverz szűrés szóródási függvény Zajmentes eredeti kép Zajos helyreállított kép A nagy térfrekvenciás részletek kiemelése szükségképpen erősíti a zajt is. Ez látszik is a helyreállított képen.

Képhelyreállítás inverz szűréssel Megjegyzések Ami információ nincs benne a képben, azt az inverz szűrés sem tudja pótolni. Kioltási vonalak: Lehet, hogy a súlyfüggvényben, amivel osztanunk kell, sok 0 közeli érték lesz. Ennek zajkiemelő hatása van, a kép élvezhetetlenné válhat. Korlátozni kell az inverz szűréssel megvalósuló térharmónikus-kiemelés mértékét. A teljes képnek rendelkezésre kell állnia: lásd a szűrés miatt alkalmazott fekete keretet a kísérleti képben.

Képhelyreállítás inverz szűréssel Megjegyzések Körbecsavarodás (wrap-around): Ha a súlyfüggvény nem a sarkon elhelyezkedő 1 pixel képe, akkor a helyreállítás eredménye egy felvágott és körbecsavarodott kép lesz: Nemlinearitások: Fotók (papír képek) és TV kamerák gradációs függvénye – a szűrőkarakterisztika korrigálandó velük az inverz szűrés előtt.

Képhelyreállítás inverz szűréssel Példa Életlenre állított kamerával felvett kép Életlenre állított kamerával felvett folt A helyreállított kép és annak DFT-je: és a jó eredeti kép: Valami szöveg, de teljesen olvashatatlan

Képhelyreállítás inverz szűréssel Példa A háromszoros expozíció szóródási függvénye Háromszor exponált kép A helyreállított kép és annak DFT-je:

Alakfelismerés

Alakfelismerés Az alábbi, képként adott szövegrészletben szeretnénk az e betűket megtalálni: olyan képhez szeretnénk jutni, ahol minden e betű helyén egy pont van, egyebütt üres a kép, ennek a képnek a jele legyen EPOZ, az egyetlen e betű képe pedig E. Ekkor a SZOVEG, mint kép így adható meg: ahol TOBBI a kép többi, e betűktől különböző része. Az E-vel dekonvolváljuk a SZOVEG-et:

Alakfelismerés Az E-vel dekonvolváljuk a SZOVEG-et: Megjelenik a keresett kép Ha a többi betű nem hasonlít az e-re, ez jól levágható háttérzaj Valóban az e betűk pozícióit találtuk meg!

További alkalmazások

További alkalmazások CT képek készítése Rtg felvételek sorozata készül, különböző szögekből, mindegyik felvétel 1-1 vetületi képet ad, ezekből kell a térbeli képet előállítani. Egy vetületből a térbeli kép Fourier-együtthatóinak egy része előállítható. A testet körüljárva sok vetület készül, a Fourier-együtthatókból számolják vissza a test egy kereszt-metszetének a képét. A számítógép által generált képeket rtg-filmen rögzítik. E képsorozatot használják az orvosok.

CT kiértékelés

További alkalmazások Mikroszkópi képek korrigálása A(z optikai) mikroszkópok mélységélessége nem túl nagy. Csak egy adott síkban elhelyezkedő objektumok képe lesz éles. Minden síkban szeretnénk megkapni a tárgy T éles képét. Ehhez meg kell kapni az adott síkban érvényes S szóródási függvényeket (számítással megoldható, mert ismerjük a mikroszkópot). Egy adott síkban élesre állított Tj képhez hozzáadódik a többi síkban adódó életlen kép: A Fourier-térben a Tj tárgyképekre ez megoldható