Számítógépes grafika és képfeldolgozás

Az előadások a következő témára: "Számítógépes grafika és képfeldolgozás"— Előadás másolata:

1 Számítógépes grafika és képfeldolgozás
III előadás: Fourier-módszerek a képfeldolgozásban Jegyzet: Székely Vladimír: Képfeldolgozás 6. fejezet

2 A mai előadás tartalma Fourier sorfejtés 2D-ben
1D összefoglaló 2 változós fv Fourier-sora Fourier-összetevők értelmezése A diszkrét Fourier-transzformáció DFT 1D-ben DFT 2D-ben DFT képek jellegzetességei Műveletek Fourier-tartományban textúra analízis szűrés képjavítás/élkiemelés inverz szűrés 3D objektum vetületekből

3 A Fourier-sorfejtés

4 1D eset L hosszúsággal periódikus függvényt ad Fourier-együtthatók:
ha f(x) valós Ez a periodicitás nem gond, mert minket a függvény csak a [0, L] intervallumban érdekel.

5 2D függvény Fourier-sora
A függvény: f(x,y) Sorfejtés x irányban – ekkor az y-tól függő Fourier-együtthatók: Cm(y) sorfejtése:

6 2D függvény Fourier-sora
Együttesen: Ekvivalens átalakítások után: Cmn – az f(x,y) függvény 2D Fourier-együtthatói.

7 2D függvény Fourier-sora
ha f(x,y) valós Bebizonyítható, hogy az f(x,y) függvény ezen együtthatók alapján visszaállítható az alábbi módon: x- és y-irányú periodicitás Lx Ly y x f(x,y)

8 A 2D Fourier-együtthatók értelmezése
komplex harmónikusok mert cos(x) = (exp(jx)+exp(-jx))/2 sin(x) = (exp(jx)-exp(-jx))/2j

9 A 2D Fourier-együtthatók értelmezése
az f(x,y) függvény átlagértéke – valós térharmónikusok: cos-hullámok Cmn valós része egy cos-hullám, képzetes része egy sin-hullám amplitudója

10 Térharmónikusok

11 A 2D Fourier-együtthatók értelmezése
Cmn valós része egy cos-hullám, képzetes része egy sin-hullám amplitudója térharmónikusok: m=6 n=4 m=3 n=2 hullámhossz:  térfrekvencia:

12 Térharmónikusok

13 Térharmónikusok

14 Térharmónikusok

15 DFT

16 A diszkrét Fourier-transzformáció

17 A diszkrét Fourier-transzformáció
Fourier-együtthatók számítására vonatkozó közelítés f(xk) = Fk mintavételezett függvényre (mintavételi tv.!)  Új transzformáció Fk  Dn – az Fk minták diszkrét Fourier-transzformáltja 

18 A diszkrét Fourier-transzformáció
Fk minták: N db valós szám Dn értékek: periodicitás N szerint: valós azaz valós (mert önmaga konjugáltja kell legyen) Az Fk mintasorozat (N db valós szám) diszkrét Fourier-transzformáltját egyértelmüen megadja a Dn értéksor fele: A 0. és az N/2-edik valós, a többi komplex: N db adat.

19 A diszkrét Fourier-transzformáció
Az Fk mintasorozat (N db valós szám) diszkrét Fourier-transzformáltját egyértelmüen megadja a Dn értéksor fele. Az eddigiek alapján Fk kapcsolata a harmónikus összetevöivel: Ha az Fk értéksort f(x) mintavételezésével kaptuk, akkor:

20 DFT 2D-ben Transzformáljuk a 2D mátrix formájában adott mintákat:
A DFT együtthatók is egy mátrixot alkotnak: Visszatranszformálás:

21 DFT 2D-ben Mind a Dmn transzformált, mind az Frs visszatransz-formált értéksor N-nel periódikus: Valós függvény transzformáltjára igaz: Lx Ly y x f(x,y) Mint folytonos esetben:

22 Képek DFT-je A ciklikusság miatt a négy sarokban vannak a 0 térfrekvenciához tartozó elmek 0 térfrekvenica: a kép "DC értéke" == átlgafényesség Középen az fmax-hoz tartozó pont Origóra szimmetrikusan:

23 Képek DFT-je

24 DFT képek jellegzetességei
Valós kép ... f=0 fmax ... és DFT-je A DFT kép alapján általában nehéz következtetést levonni az eredeti képre vonatkozólag. Zérus közeliek a nagy térfrekvenciás tagok, tehát a valós kép "lágy", nincsenek benne erős élek. Komplex kép kellene legyen. Ez csak az amplitudó infomáció, a fázist nem ábrázoltuk. Nagy nagyságrendi átfogás miatt logaritmikus az ábrázolás.

25 DFT képek jellegzetességei
Valós kép ... Integrált áramkör elektronmikroszkópi képe. a DFT kép 180o-os forgatási szimmetria  DFT képen! Periodicitás a DFT képben: ismétlődő elemek a valós képben Világos foltok a nagy térfrekvenciáknál: határozott élek a valós képben

26 DFT képek jellegzetességei
Valós kép ... Szabályos kép, valóban résfüggvény jellegű kép  1D emlékeztető: a DFT kép Határozott periódikusság: szabályos minta a valós képben Nagy amplitudók a nagy térfrekvenciákon: határozott élek a valós képben sin(x)/x jellegű DFT: résfüggvény jellegű valós kép

27 DFT képek – kioltási vonalak
6 9 Sötét négyszögrács a DFT képen: a vonalaknak megfelelő térfrekvenciákon 0 érték 0-t kapunk, ha Kx egész számú többszöröse valamelyik térharmónikus hullámhosszának Az alapharmónikus hullámhossza az Nx képméret. A kioltás feltétele: Az m-edik felharmónikus hullámhossza: Nx/m A kioltott frekvenciák indexe: Nx pixel Kx pixel A kioltási vonalak távolsága: m = Nx/Kx Tehát a kioltási vonalak a képet Kx részre osztják 9 px 6 px

28 Műveletek a Fourier-térben: textúra analízis szűrés képjavítás/élkiemelés inverz szűrés alakfelismerés 3D objektum vetületekből

29 Textúra analízis DFT-vel

30 Textúra analízis Pirolitikus grafit kristály, STM felvétel.
Hexagonális kristályrács A kristályfelület atomi szerkezete látható.

31 Textúra analízis Notre Dame, Párizs. Gótikus homlokzat – jellegzetes elemekkel Jellegzetes elemek (vonalak) a DFT képen is megjelennek, a valós képen látható elemre merőleges vonalként, hasonló periodicitással

32 Textúra analízis Ujjlenyomat (küszöbölés után).
Irány információ nem olvasható ki, hiszen az eredeti képen sincs jellemző irányultság. Nagyobb térharmónikus arány az alapharmónikustól (középpont) kb. 26 pixelnyi távolságra: Az ujjlenyomat barázdák átlagos térharmónikusa az alapharmónikusnak kb. 26-szorosa, irányuk nem jellemző.

33 Textúra analízis teljesítményspektrum
A "teljesítményt" így definiáljuk: A Pnm értékekből folytonos P(n, m) függvény interpolációval 1/f γ Átszámítás polár koordinátákra: P(f, γ) A következő integrálokat számoljuk:

34 Textúra analízis teljesítményspektrum
Domináns térfrekvenciák domináns irányok

35 Szűrés, képjavítás

36 Szűrés a frekvenciatartományban
Kép Fourier- transzformáció Szűrt kép DFT kép Inverz Fourier- transzformáció Szűrőkarakterisztikák: Egyszerű töréspontos aluláteresztő: Butterworth-szűrő: Szűrés: egyes térfrekvenciás komponensek módosítása Szűrt DFT kép

37 Szűrés a frekvenciatartományban
Bármely lineáris szűrési művelet megvalósítható a frekvenciatartományban: helyett Konvolúció helyett szorzás a frekvenciatartományban Megjegyzések: a transzformált értékek komplexek, ezért itt komplex szorzásról van szó a transzformáció periódikus eredményt ad, ezért ez a konvolúció ún. ciklikus konvolúció. A DFT térben való szorzás pontos megfelelője az alábbi:

38 Szűrés a frekvenciatartományban
Nagy térfrekvenciájú komponensek kiszűrése Zajtalanabb, lágyabb kép Csökken az élesség 16fa 8fa fa – az alapharmónikus térfrekvenciája

39 Szűrés a frekvenciatartományban
Kis térfrekvenciájú komponensek kiszűrése Lassú változások törlése: mindenütt egyen-szürke Az élesség (nagy térfrekvenciás rész) megmarad Minél erősebb a vágás, annál szürkébb lesz a kép 4fa 10fa fa – az alapharmónikus térfrekvenciája

40 Szűrés a frekvenciatartományban
Képjavítás: nagy térfrekvenciák kiemelése Az erős átmenetek hangsúlyosabbak lesznek, de a zaj is nő. Hasonló a hatása a Laplace-oprátoréhoz. Még azonos is lehet vele.

41 Inverz szűrés

42 Inverz szűrés ahol E a torzítatlan kép ahol a dekonvolúció jele
Adott egy T torzított kép Ismert a csatorna torzításának S operátora (a csatorna szóródási függvénye vagy súlyfüggvénye) ahol E a torzítatlan kép Ekkor: Az eredeti E torzítatlan képet dekonvolícióval allíthatjuk helyre: ahol a dekonvolúció jele Dekonvolúció helyett osztás a frekvenciatartományban majd vissza transzformáljuk E-t

43 Képhelyreállítás inverz szűréssel
T torzított kép Fourier- transzformáció Csatorna S szóródási függvénye Fourier- transzformáció Helyre-állított kép Inverz Fourier- transzformáció

44 Képhelyreállítás inverz szűréssel Kísérlet – előkészítés
Lineáris szűrő eredeti kép torzított kép Lineáris szűrő 1 fénylő pötty (Dirac-) szóródási függvény

45 Képhelyreállítás inverz szűréssel Kísérlet – helyreállítás
torzított kép A nagy térfrekvenciás részletek, ha nem vesztek el teljesen, az inverz szűrőkarakterisztikával visszanyerhetők. helyreállított kép inverz szűrés szóródási függvény Zajmentes eredeti kép Zajos helyreállított kép A nagy térfrekvenciás részletek kiemelése szükségképpen erősíti a zajt is. Ez látszik is a helyreállított képen.

46 Képhelyreállítás inverz szűréssel Megjegyzések
Ami információ nincs benne a képben, azt az inverz szűrés sem tudja pótolni. Kioltási vonalak: Lehet, hogy a súlyfüggvényben, amivel osztanunk kell, sok 0 közeli érték lesz. Ennek zajkiemelő hatása van, a kép élvezhetetlenné válhat. Korlátozni kell az inverz szűréssel megvalósuló térharmónikus-kiemelés mértékét. A teljes képnek rendelkezésre kell állnia: lásd a szűrés miatt alkalmazott fekete keretet a kísérleti képben.

47 Képhelyreállítás inverz szűréssel Megjegyzések
Körbecsavarodás (wrap-around): Ha a súlyfüggvény nem a sarkon elhelyezkedő 1 pixel képe, akkor a helyreállítás eredménye egy felvágott és körbecsavarodott kép lesz: Nemlinearitások: Fotók (papír képek) és TV kamerák gradációs függvénye – a szűrőkarakterisztika korrigálandó velük az inverz szűrés előtt.

48 Képhelyreállítás inverz szűréssel Példa
Életlenre állított kamerával felvett kép Életlenre állított kamerával felvett folt A helyreállított kép és annak DFT-je: és a jó eredeti kép: Valami szöveg, de teljesen olvashatatlan

49 Képhelyreállítás inverz szűréssel Példa
A háromszoros expozíció szóródási függvénye Háromszor exponált kép A helyreállított kép és annak DFT-je:

50 Alakfelismerés

51 Alakfelismerés Az alábbi, képként adott szövegrészletben szeretnénk az e betűket megtalálni: olyan képhez szeretnénk jutni, ahol minden e betű helyén egy pont van, egyebütt üres a kép, ennek a képnek a jele legyen EPOZ, az egyetlen e betű képe pedig E. Ekkor a SZOVEG, mint kép így adható meg: ahol TOBBI a kép többi, e betűktől különböző része. Az E-vel dekonvolváljuk a SZOVEG-et:

52 Alakfelismerés Az E-vel dekonvolváljuk a SZOVEG-et:
Megjelenik a keresett kép Ha a többi betű nem hasonlít az e-re, ez jól levágható háttérzaj Valóban az e betűk pozícióit találtuk meg!

53 További alkalmazások

54 További alkalmazások CT képek készítése
Rtg felvételek sorozata készül, különböző szögekből, mindegyik felvétel 1-1 vetületi képet ad, ezekből kell a térbeli képet előállítani. Egy vetületből a térbeli kép Fourier-együtthatóinak egy része előállítható. A testet körüljárva sok vetület készül, a Fourier-együtthatókból számolják vissza a test egy kereszt-metszetének a képét. A számítógép által generált képeket rtg-filmen rögzítik. E képsorozatot használják az orvosok.

55 CT kiértékelés

56 További alkalmazások Mikroszkópi képek korrigálása
A(z optikai) mikroszkópok mélységélessége nem túl nagy. Csak egy adott síkban elhelyezkedő objektumok képe lesz éles. Minden síkban szeretnénk megkapni a tárgy T éles képét. Ehhez meg kell kapni az adott síkban érvényes S szóródási függvényeket (számítással megoldható, mert ismerjük a mikroszkópot). Egy adott síkban élesre állított Tj képhez hozzáadódik a többi síkban adódó életlen kép: A Fourier-térben a Tj tárgyképekre ez megoldható