8. kurzus Szegmentálás (Segmentation) Dr. Vajda Tamás.

Az előadások a következő témára: "8. kurzus Szegmentálás (Segmentation) Dr. Vajda Tamás."— Előadás másolata:

1 8. kurzus Szegmentálás (Segmentation) Dr. Vajda Tamás

2 Képfeldolgozás általános modellje

3 Szegmentálási módszerek típusai n Küszöböléses (Thresholding) n Él-alapú (Edge-based segmentation) n Régió-alapú (Region-based segmentation) n Illesztésen alapuló (Matching-based segmentation)

4 Él-alapú szegmentálás n Az él két régió határa, amelyek relatíve különböző szürkeségi tulajdonsággal (intenzitással) rendelkeznek n Nagyfrekvenciás ugrások keresése n Irány érzékeny is lehet n Képtérbeli szűrés: nagyfrekvenciás konvolúciós ablakkal n Konvolúció után binarizálás

5 Hough transzformáció n Feladata egyszerű formák keresése, mint egyenesek, körök, ellipszisek n Egyeneseket vagy szakaszokat illeszt n Előkészítő lépések: –Él keresés –Binarizálás –Szűrés

6 Egyenes leírása Általános egyenlet: y = mx + b Ezzel a módszerrel a függőleges (vagy a függőlegeshez közeli) egyeneseket nem lehet leírni (végtelen m ) n Hesse féle normálalakos reprezentáció: –r : Az origótól mért távolság –θ : A pozitív valós féltengellyel bezárt szög θ r P0(x0, y0)P0(x0, y0)P0(x0, y0)P0(x0, y0) P(x, y)

7 Egyenes-sereg illesztése n Egy pontra végtelen sok egyenest lehet illeszteni Minden egyenest egy (r, θ) paraméter-párral lehet leírni Ábrázoljuk ezeket az egyenesek az (r, θ) térben (Hough- tér) r x y O

8 Egyenes-sereg illesztése

9

10

11 Hough transzformáció - Példák Forrás: http://www.sci.utah.edu/~cscheid/spr05/imageprocessing/project4

12 Hough transzformáció - Példák Forrás: http://www.sci.utah.edu/~cscheid/spr05/imageprocessing/project4

13 Régió-alapú szegmentálási módszerek –Régiónövesztéses technika –Régiószeleteléses módszer

14 Régióorientált szegmentálási eljárások n Legyen R a teljes képtér Szegmentáljuk a képet az alábbi kritériumokat kielégítő R 1, R 2, …, R n régióhalmazba: 1.A szegmentálás teljes: 2.R i kapcsolódó terület 3.A régiók nem lapolnak át: 4.Egy régióban azonos tulajdonságú pontok tartoznak: 5.A szomszédos régiók nem vonhatók össze: P(R i )  homogenitási kritérium

15 Homogenitási kritérium n A régiók meghatározásához definiálni kell egy ún. homogenitási kritériumot n A kialakult régiók megfeleljenek a képen található objektumoknak n A képtér számos tulajdonságából származhat –Intenzitás (szín) –Sebesség (mozgás alapú szegmentálás) –…

16 Homogenitási kritérium 2. n Lokális v. globális szinten vizsgálja a régiókat n Globális –A teljes régióra írunk fel egy kritériumot –Példa: n Lokális –Csak a régió egy kis szegmensét vizsgáljuk –Ha a régió minden apró szegmensére igaz, akkor tekintjük a régiót összefüggőnek –Példa:

17 Régiónövesztés (region growing) n Algoritmus-vázlat: –0. Kitüntetett gyökérpont kiválasztása és hozzáadása a régióhoz –1. A (még vizsgálatlan) szomszédos pontok vizsgálata a homogenitási kritérium segítségével a. Ha teljesül a kiegészített régióban is a homogenitási kritérium  új pont felvétele a régióba b. Ha nem teljesül  pont eldobása –2. Ha volt újonnan felvett pont  rekurzív folytatás a 1. lépéstől n Ha minden pontot megvizsgáltunk, vagy nem tudtuk új ponttal kiegészíteni a régiót, akkor az adott régió elkészült n Ha van még jelöletlen (egy régióhoz sem tartozó pont)  új gyökérpont választásával az algoritmus elölről kezdődik

18 Régiónövesztés – Mintapélda124567 125 3567 13468 258 124 13678 3 1 2 2 2 1 1 1 2 4 32 2 7 8 7 36 7 5 68 78 7 7 6 7 8 56 57 7 2 Homogenitási kritérium: A szomszédos pontok (4 szomszédság) intenzitásának különbsége kisebb, mint 3

19 Régiónövesztés – Mintapélda124567 125 3567 13468 258 124 13678 3 1 2 2 2 1 1 1 2 4 32 2 7 8 7 36 7 68 78 7 7 6 7 8 56 57 7 2 5 Homogenitási kritérium: A szomszédos pontok (4 szomszédság) intenzitásának különbsége kisebb, mint 3

20 Régiónövesztés – Mintapélda14567 5 3567 13468 258 124 13678 3 1 2 2 1 1 1 2 4 32 2 7 8 7 36 7 68 78 7 7 6 7 8 56 57 7 51 2 2 2 2

21 Homogenitási kritérium: A szomszédos pontok (4 szomszédság) intenzitásának különbsége kisebb, mint 3 Régiónövesztés – Mintapélda4567 25 3567 13468 258 124 13678 3 1 2 2 1 1 2 4 32 2 7 8 7 36 7 68 78 7 7 6 7 8 56 57 7 512 11 2 2

22 Homogenitási kritérium: A szomszédos pontok (4 szomszédság) intenzitásának különbsége kisebb, mint 3 Régiónövesztés – Mintapélda4567 25 3567 13468 258 124 13678 3 1 2 2 1 1 2 4 32 2 7 8 7 36 7 68 78 7 7 6 7 8 56 57 7 2 51 2 2 1 1

23 4567 25 3567 13468 258 124 13678 3 1 2 2 1 1 2 4 32 2 7 8 7 36 7 68 78 7 7 6 7 8 56 57 7 2 51 211 2 Homogenitási kritérium: A szomszédos pontok (4 szomszédság) intenzitásának különbsége kisebb, mint 3

24 2 Régiónövesztés – Mintapélda4567 25 567 13468 258 124 13678 3 1 2 2 1 1 4 32 2 7 8 7 36 7 68 78 7 7 6 7 8 56 57 7 2 51 211 2 3

25 Homogenitási kritérium: A szomszédos pontok (4 szomszédság) intenzitásának különbsége kisebb, mint 3 Régiónövesztés – Mintapélda4567 25 3567 468 58 678 3 1 7 8 7 6 7 68 78 7 7 6 7 8 56 57 7 2 51 211 2 2 11 1 1 1 2 222 2 2 3 3 33 44

26 Homogenitási kritérium: A szomszédos pontok (4 szomszédság) intenzitásának különbsége kisebb, mint 3 Régiónövesztés – Mintapélda4567 25 3567 468 58 678 3 1 7 8 7 6 7 68 8 7 7 6 7 8 56 57 7 2 51 211 2 2 11 1 1 1 2 222 2 2 3 3 33 44 7

27 456 2 3 4 3 1 8 2 1 211 2 2 11 1 1 1 2 222 2 2 3 3 33 44 77 7 77 7 7 7 77 7 55 5 55 5 66 66 6 6 6 8 88 8 88 7 Homogenitási kritérium: A szomszédos pontok (4 szomszédság) intenzitásának különbsége kisebb, mint 3

28 Régiónövesztés – Mintapélda124567 125 3567 13468 258 124 13678 3 1 2 2 2 1 1 1 2 4 32 2 7 8 7 36 7 5 68 8 7 7 6 7 8 56 57 7 2 7 Homogenitási kritérium: A szomszédos pontok (4 szomszédság) intenzitásának különbsége kisebb, mint 3

29 Régiónövesztés – Fontos megfontolások n Néhány fontos megfontolás: –Milyen homogenitási kritériumot használjunk? –Milyen szomszédsági fokot vegyünk figyelembe? –Milyen sorrendben vizsgáljuk a szomszédokat (esetleg egyszerre)? –Pontok újravizsgálata lehetséges –e?

30 Régiónövesztés – Fontos megfontolások n Milyen homogenitási kritériumot használjunk? 4567 25 3567 13468 258 124 13678 3 1 2 2 1 1 2 4 32 2 7 8 7 36 7 68 78 7 7 6 7 8 56 57 7 51 2 2 1 1 2 Az intenzitás-különbség kisebb, mint 4

31 4 Régiónövesztés – Fontos megfontolások n Milyen homogenitási kritériumot használjunk? 567 25 3567 13468 258 124 13678 3 1 2 2 1 1 2 4 32 2 7 8 7 36 7 68 78 7 7 6 7 8 56 57 7 2 51 2 2 1 1 Az intenzitás-különbség kisebb, mint 4

32 Régiónövesztés – Fontos megfontolások n Milyen P(Ri)-t használunk? 124567 125 23567 13468 258 124 13678 3 1 2 2 2 1 1 1 2 4 32 2 7 8 7 36 7 5 68 78 7 7 6 7 8 56 57 7 Az intenzitás-különbség kisebb, mint 4

33 Régiónövesztés – Fontos megfontolások n Milyen szomszédsági fokot használjunk? 4567 25 3567 13468 258 124 13678 3 1 21 1 4 32 2 7 8 7 6 7 68 78 7 7 6 7 8 56 57 7 2 51 2 2 11 22 3 8 szomszédság

34 Régiónövesztés – Fontos megfontolások n Milyen szomszédsági fokot használjunk? 4567 25 367 168 258 124 13678 3 1 21 1 4 32 2 7 8 7 68 78 7 7 6 7 8 56 57 7 2 51 2 2 11 226 5 734 3 8 szomszédság

35 Régiónövesztés – Fontos megfontolások n Milyen szomszédsági fokot használjunk? 124567 125 23567 13468 258 124 13678 3 1 2 2 2 1 1 1 2 4 32 2 7 8 7 36 7 5 68 78 7 7 6 7 8 56 57 7 8 szomszédság

36 Régiónövesztés – Fontos megfontolások n Újravizsgálás lehetséges? & Szomszédok sorrendje? 4567 25 567 13468 258 124 13678 3 1 21 1 4 32 2 7 8 7 6 7 68 78 7 7 6 7 8 56 57 7 2 51 2 2 11 223 3 8 szomszédság, <3 intenzitás-különbség

37 Régiónövesztés – Fontos megfontolások n Újravizsgálás lehetséges? & Szomszédok sorrendje? 4567 25 567 13468 258 124 13678 3 1 21 1 4 32 2 7 8 7 6 7 68 78 7 7 6 7 8 56 57 7 51 2 2 11 223 2 3 8 szomszédság, <3 intenzitás-különbség

38 Régiónövesztés – Fontos megfontolások n Újravizsgálás lehetséges? & Szomszédok sorrendje? 4567 25 367 168 258 124 13678 3 1 21 1 4 32 2 7 8 68 78 7 7 6 7 8 56 57 7 51 2 2 11 226 734 3 7 5 2 8 szomszédság, <3 intenzitás-különbség

39 Régiónövesztés – Valós példa n Homogenitási kritérium: –p új : Az vizsgált képpont –μ : A régió várható értéke –σ : A régió szórása

40 Régiónövesztés – Valós példa Forrás: http://www.cab.u-szeged.hu/~kato/segmentation/

41 Régiószeletés (Split and Merge) n Algoritmus vázlat: –0. Init: Kezdetben egy nagy régió –1. Split: P(Ri) = TRUE : A régió készen van FALSE : A régiót felosztjuk 4 részre, majd rekurzíven az 1. lépés minden új régióra –2. Merge: Ha R i és R j szomszédos régió és P(R i U R j ) = TRUE, akkor a két régió összevonásra kerül Eredeti kép 1. felosztás R1R1R1R1 R2R2R2R2 R4R4R4R4 R3R3R3R3 2. felosztás R1R1R1R1 R2R2R2R2 R3R3R3R3 R 41 R 42 R 43 R 44 Összefésülés R1R1R1R1 R2R2R2R2 R3R3R3R3 R 41 R 42 R 43

42 Régiószeletelés – MintapéldaR R1R2R3R4R

43 R R1R2R3R4 R1R1R1R1 R2R2R2R2 R3R3R3R3 R4R4R4R4

44 R R1R2 R21 R22 R23 R24 R3R4 R1R1R1R1 R3R3R3R3 R4R4R4R4 R 23 R 21 R 22 R 24

45 Régiószeletelés – MintapéldaR R1R2 R21 R22 R23 R24 R3R4 R41R42R43R44 R1R1R1R1 R3R3R3R3 R 23 R 21 R 22 R 24 R 43 R 41 R 42 R 44

46 Régiószeletelés – MintapéldaR R1R2 R21 R22 R23 R24 R3R4 R41R42 R42 1 R42 2 R42 3 R42 4 R43 R43 1 R43 2 R43 3 R43 4 R44 R1R1R1R1 R3R3R3R3 R 23 R 21 R 22 R 24 R 44 R 421 R 422 R 423 R 424 R 431 R 432 R 433 R 434 R 41

47 Régiószeletelés – MintapéldaR R1R2 R21 R22 R23 R24 R3R4 R41R42 R42 1 R42 2 R42 3 R42 4 R43 R43 1 R43 2 R43 3 R43 4 R44

48 Régiószeletelés – Valós példa Forrás: http://www.cab.u-szeged.hu/~kato/segmentation/ Eredeti kép Szeletelés után Összefésülés után

49 Víztárolók módszere (Morphological Watersheds)

50 Bevezetés n Hogy néz ki 3D-ben egy intenzitás kép imshow(I,[ ])mesh(I)

51 Bevezetés n Ezt a módszert gyakran a gradiens képen hajtják végre az intenzitás kép helyett. –Ebben az esetben az objektum elkülönül a háttértől a kiemelkedő élek segítségével

52 Alapfogalmak n Lokális minimum olyan pont vagy ponthalmaz ahonnan nem lehet alacsonyabban fekvő pontot elérni anélkül, hogy előbb mászni kellene n Három típusú pont –A lokális minimumhoz tartozó pontok –Lokális minimum gyűjtő bazinja (vízgyűjtő) Olyan pontok ahonnan a víz mindig ugyan azon lokális minimum felé folyik –Osztó vonal/ vízválasztó vonalak Olyan pontok ahonnan a víz egyenlő eséllyel több vízgyűjtőbe is folyhat Gerincvonalak a topológiai felülete n A módszer célja a vízválasztó vonal típusú pontok megkeresése

53 Főbb lépések 1. Minden lokális minimumot „kilyukasztunk” 2. A 3D felületet (topológiát) elkezdjük alulról fokozatosan elárasztani 3. Amikor két vízgyűjtő bazin összefolyna akkor gátakat építünk

54 4. A gátak képezik azokat a körvonalakat amelyeket a víztározó módszerrel kinyerünk a képből

55 Gátépítés n Alapja a bináris morphológiai tágítás n Minden lépés eredménye egy bináris kép amelyet a következő képen kapunk meg 1.Inicializáláskor a legkisebb szürke árnyalatú pixelek 1-ek, a többi 0. 2.Minden egyes lépésben növeljük a víz szintet és a víz által elárasztott terület 1-es lesz és a többi 0

56 Jelölés n M1, M2: –Két koordináta halmaz amely megfelel a két lokális minimumnak n C n-1 (M 1 ), C n-1 (M 2 ) –Az M1 M2 lokális minimumai tartozó vízgyűjtő bazinok n-1- dik lépésében már elárasztott pixeleinek a koordináta halmazai n C[n-1] –C n-1 (M 1 ), C n-1 (M 2 ) egyesítése

57 Gátépítés n Az elárasztás (n-1)-ik lépésében 2 összefüggő komponens van, az n-dik lépésben csak 1 –Ez jelzi hogy a két bazin összeolvad az n-dik lépésben –“q”-val jelöljük a egyesített vízgyűjtőket n Gátat építünk oda ahol a dilatáció eredményeként két vízgyűjtő bazin egybefolyna. –Eredmény egy pixel széles gát amelynek az értéke a maximális szürkeárnyalat+1

58 Watershed Transform MiMi C(M i ) n-1 T(n) MiMi C(M i ) n-1 T(n) C n (M i ) C(n) MiMi C(M i ) n-2 T(n-1) C(n- 1) n-1 T(n) q1q1 q2q2 q3q3 Dam C(n)

59 Példa

60 Példa 2

61 Gyors változáson alapuló szegmentálási módszerek

62 n Az objektumokat azért tudjuk megkülönböztetni a környezetétől, mert éles átmenet határolja őket n A régióorientált módszerek esetén a „kitöltő- algoritmus” nem tudott áthatolni ezeken az átmeneteken  így keletkeztek a régiók n „Fordított hozzáállás”  keressük meg közvetlenül ezeket a határátmeneteket és ebből következtessünk az objektumokra n Éles átmenet = élek

63 Gyors változáson alapuló szegmentálási módszerek124567 125 3567 13468 258 124 13678 3 1 2 2 2 1 1 1 2 4 32 2 7 8 7 36 7 5 68 78 7 7 6 7 8 56 57 7 2

64 Mozgásalapú szegmentálás

65 A mozgás mesterséges ábrázolásat.t+1.

66

67 Az optical flow definíciója n Képpontokhoz vektor hozzárendelése  hogyan jutunk el a következő képkockához n Vektormező  optical flow (mező) n (Igazából nem elmozdulás, hanem sebességmező)

68 Példa

69 FeldolgozásFeldolgozásFeldolgozásFeldolgozás

70 Mozgásalapú szegmentálás n Pingpongozó ember – Példavideó