Élő és élettelen vizuális reprezentációja az emberi agyban

Az előadások a következő témára: "Élő és élettelen vizuális reprezentációja az emberi agyban"— Előadás másolata:

1 Élő és élettelen vizuális reprezentációja az emberi agyban
Kovács Ilona – Kovács Gyula BME GTK Kognitív Tudományi Tanszék

2 A látás agykérgi szerveződése egyszerűnek tűnik…
Dorzális pálya (occipito-parietális): a tárgyak manipulálása, akadályok elkerülése AKCIÓ Ventrális pálya (occipito-temporális): a tárgyak maradandó tulajdonságai tudatos percepció PERCEPCIÓ Goodale és Milner, 1992

3 …de igazából…

4 A látás fejlődése is egyszerűnek tűnik…
“A dolgok elég rosszul kezdődnek, majd egy kicsit javul a helyzet, s végül, hosszú, hosszú idő elteltével megint rosszra fordulnak.” A Látásfejlődés Általános Törvénye (Teller és Movshon, 1986)

5 …de igazából… Thompson et al, 2000

6 …jobb lesz tehát az elején kezdeni…
Elsődleges látókéreg (V1) a látási ingerek fő adatelemzője az agyban LOKÁLIS input elemzés: luminencia diszparitás mozgás szin orientáció

7 csecsemő: luminencia (kontraszt, 1 é.) diszparitás (3-4 hó)
Campbell-Robson csecsemő: luminencia (kontraszt, 1 é.) diszparitás (3-4 hó) mozgás (2 hó) szin (2 hó) orientáció (~kontraszt, 1 é.)

8 Remek, ez egyszerűnek tűnik…

9 Csakhogy… LOKÁLIS input elemzés: luminencia diszparitás mozgás szin
orientáció

10 lokális agykérgi “szűrők” a V1-ben
több téri skálán

11 funkcionális anatómiai adatok: szerveződés
a látókéreg sejtjei hosszú (1-2 mm) horizontális axonokkal vannak összekötve (pl: Rockland & Lund,1983; Gilbert & Wiesel, 1983, 1989) hasonló hangolású sejtek vannak egymással összekötve: INTEGRÁCIÓ? (pl. Blasdel et al; Malach et al, 1993 )

12 Kontúr-integrációs pardigma: kontúr + zaj
A Rutgers Egyetem Látáskutató Laboratóriumában folytatott kisérleteink az agy egy másik részének, az occipitális kéregnek a működésével foglalkoznak. Eredményeink érdekes kapcsolatban állnak az “időfényképekkel”, és a “biológiai mozgás” érzékelésével. A kisérletekben olyan ábrákat mutatunk emberi megfigyelőknek, melyek zárt kontúrokat tartalmaznak zaj jelenlétében. Forrás: Kovács I, Julesz B A closed curve is much more than an incomplete one: effect of closure in figure-ground segmentation. Proc Natl Acad Sci USA 1993;90(16):7495-7 Kovács I, Julesz B Perceptual sensitivity maps within globally defined visual shapes. Nature 1994;370(6491):644-6 Kovács I Gestalten of today: early processing of visual contours and surfaces. Behav Brain Res 1996;82(1):1-11 Kovács I, Fehér A, Julesz B Medial-point description of shape: a representation for action coding and its psychophysical correlates. Vision Res 1998;38(15-16): special issue on recognition Kovács és mtsi, 1993-

13

14 téri frekvencia végződés távolság V1 interakciók vizsgálatára szűk sávban van nincs középpontok között alkalmas széles sávban van van: illuzórikus kontúr nem definiált alkalmatlan

15 D = zajelemek távolsága / kontúrelemek távolsága
D > D < 1 D = zajelemek távolsága / kontúrelemek távolsága

16 Kontúr-integráció 3 hónapos korban:
60 csecsemő gyenge kontúrintegráció zártsági hatás hiánya (Gerhardstein, Kovács, Ditre, Fehér Vision Research, 2004)

17 Remek, ez egyszerűnek tűnik…

18 csecsemő felnőtt alacsony szintű kérgi feldolgozás eredménye feldolgozás bemenete lokális szűrők

19 elsődleges látókéreg (V1) szerepe
Agnóziás beteg Giersch, Humphreys, Kovacs & Boucart Cog Neuropsych, 17: (8) 2000 lassú fejlődés 5-14 évesek Kovács, Kozma, Benedek, PNAS 1999 normális vizuális input szükséges Ambliópia Kovács et al, Vision Res, 40(13) 2000 Chandna et al, Inv Opth. Mar;42(3) 2001 Schizofrénia Silverstein, Kovács, Corry & Valone Schizophrenia Res, 43(1) 2000 genetikusan meghatározott WMS Kovács, Lukács, Racsmány, Pléh, 2001

20 agyvérzés hátsó kérgi területeken vizuális agnózia prozopagnózia
H.J.A. esete (Humphreys and Riddoch, 1984, 1987b; Riddoch and Humphreys, 1987a) agyvérzés hátsó kérgi területeken vizuális agnózia prozopagnózia alexia agraphia nélkül kérgi szinvakság téri orientációs zavarok kontúr-teszt: normál teljesitmény V1 elégséges MRI (1989) : kétoldali léziók az inferior temporális, oldalsó occipitotemporális, fusiform és lingualis gyrusokban (Riddoch et al, Brain, 122, 3, 1999)

21 elsődleges látókéreg (V1) szerepe
Agnóziás beteg Giersch, Humphreys, Kovacs & Boucart Cog Neuropsych, 17: (8) 2000 lassú fejlődés 5-14 évesek Kovács, Kozma, Benedek, PNAS 1999 normális vizuális input szükséges Ambliópia Kovács et al, Vision Res, 40(13) 2000 Chandna et al, Inv Opth. Mar;42(3) 2001 Schizofrénia Silverstein, Kovács, Corry & Valone Schizophrenia Res, 43(1) 2000 genetikusan meghatározott WMS Kovács, Lukács, Racsmány, Pléh, 2001

22 Kontúr integráció gyermek- és felnőttkorban
D 5-6 yr 6-7 yr lassú fejlődés 510 gyerek, 60 felnőtt 9-10 yr 10-11 yr 13-14 yr 19-30 yr

23 elsődleges látókéreg (V1) szerepe
Agnóziás beteg Giersch, Humphreys, Kovacs & Boucart Cog Neuropsych, 17: (8) 2000 lassú fejlődés 5-14 évesek Kovács, Kozma, Benedek, PNAS 1999 normális vizuális input szükséges Ambliópia Kovács et al, Vision Res, 40(13) 2000 Chandna et al, Inv Opth. Mar;42(3) 2001 Schizofrénia Silverstein, Kovács, Corry & Valone Schizophrenia Res, 43(1) 2000 genetikusan meghatározott WMS Kovács, Lukács, Racsmány, Pléh, 2001

24 Kontúr integráció ambliópia esetén
D kollaborácóban: A. M. Norcia, U. Polat Smith-Kettlewell Eye-Research Institute P.Pennefather, A. Chandna Alder Hey Childrens Hospital,Liverpool,UK S Amb S Amb jó S jobb S bal E jobb E bal

25 elsődleges látókéreg (V1) szerepe
Agnóziás beteg Giersch, Humphreys, Kovacs & Boucart Cog Neuropsych, 17: (8) 2000 lassú fejlődés 5-14 évesek Kovács, Kozma, Benedek, PNAS 1999 normális vizuális input szükséges Ambliópia Kovács et al, Vision Res, 40(13) 2000 Chandna et al, Inv Opth. Mar;42(3) 2001 Schizofrénia Silverstein, Kovács, Corry & Valone Schizophrenia Res, 43(1) 2000 genetikusan meghatározott WMS Kovács, Lukács, Racsmány, Pléh, 2001

26 Williams Szindróma Kontroll nyakszirti lebeny kisagy
Reiss et al, J Cog Neurosci volume 12 Suppl 1

27 Kontúr integráció Williams Szindróma esetén
0.6 0.65 0.7 0.75 0.8 0.85 0.9 6 yr 7 yr 10 yr 11 yr 14 yr 30 yr gyenge kontúr integráció

28 elsődleges látókéreg (V1) szerepe
Agnóziás beteg Giersch, Humphreys, Kovacs & Boucart Cog Neuropsych, 17: (8) 2000 lassú fejlődés 5-14 évesek Kovács, Kozma, Benedek, PNAS 1999 normális vizuális input szükséges Ambliópia Kovács et al, Vision Res, 40(13) 2000 Chandna et al, Inv Opth. Mar;42(3) 2001 Schizofrénia Silverstein, Kovács, Corry & Valone Schizophrenia Res, 43(1) 2000 genetikusan meghatározott WMS Kovács, Lukács, Racsmány, Pléh, 2001

29 Kontúr-integrációs pardigma: kontúr + zaj
A Rutgers Egyetem Látáskutató Laboratóriumában folytatott kisérleteink az agy egy másik részének, az occipitális kéregnek a működésével foglalkoznak. Eredményeink érdekes kapcsolatban állnak az “időfényképekkel”, és a “biológiai mozgás” érzékelésével. A kisérletekben olyan ábrákat mutatunk emberi megfigyelőknek, melyek zárt kontúrokat tartalmaznak zaj jelenlétében. Forrás: Kovács I, Julesz B A closed curve is much more than an incomplete one: effect of closure in figure-ground segmentation. Proc Natl Acad Sci USA 1993;90(16):7495-7 Kovács I, Julesz B Perceptual sensitivity maps within globally defined visual shapes. Nature 1994;370(6491):644-6 Kovács I Gestalten of today: early processing of visual contours and surfaces. Behav Brain Res 1996;82(1):1-11 Kovács I, Fehér A, Julesz B Medial-point description of shape: a representation for action coding and its psychophysical correlates. Vision Res 1998;38(15-16): special issue on recognition Kovács és mtsi, 1993-

30 Érzékenységi térkép: a kontrasztérzékenység változása egy zárt alakzaton belül
Egy szabályos kör érzékenységi térképe két olyan régiót tartalmaz melyen belül kontrasztérzékenység növekedés mutatkozik. A középső régió érdekes számunkra, mert egyrészt igen távol van a körvonaltól (tehát feltehetően igen hosszú távú kölcsönhatások eredménye), másrészt meglepően jól lokalizálható maximummal rendelkezik. Forrás: Kovács I, Julesz B A closed curve is much more than an incomplete one: effect of closure in figure-ground segmentation. Proc Natl Acad Sci USA 1993;90(16):7495-7 Kovács I, Julesz B Perceptual sensitivity maps within globally defined visual shapes. Nature 1994;370(6491):644-6 Kovács I Gestalten of today: early processing of visual contours and surfaces. Behav Brain Res 1996;82(1):1-11 Kovács I, Fehér A, Julesz B Medial-point description of shape: a representation for action coding and its psychophysical correlates. Vision Res 1998;38(15-16): special issue on recognition Érzékenység változás Kovács és Julesz, Nature, 1994 log units

31 Tengely alapú reprezentáció
“pálcikafigura” H. J. Blum, 1967, futótűz algoritmus

32 D függvény: tetszés szerinti alakzat tengely alapú reprezentációját adja
Let’s take a look at our D function again. The result is not only resembling Blum’s classical grass-fire, it also provides an even more condense shape description via defining a very small sets of points that are the most “informative” points within a shape. As we said, these points are the maxima of the D function – naturally, some thresholding is necessary here. We call the maxima “medial points” and call our representation medial-point representation. The MPT is local (enhancing localization), and compact (enhancing comparisons between sequential frames or between memory and image). It is also very easy to apply it on multiple spatial scales, which naturally overcomes the usual complaints against MAT type representations in terms of their sensitivity to boundary detail. Saját változatunk még kevesebbet, csak a fő szimmetriapontokat tartja meg, s a D függvény kiszámitásával készül. Forrás: Kovács I, Fehér A, Julesz B Medial-point description of shape: a representation for action coding and its psychophysical correlates. Vision Res 1998;38(15-16): special issue on recognition Kovács és mtsi, Vision Research, 1997

33 A D függvény segitségével jóslatokat tettünk, hogy különböző ellipszisek esetén hol kellene az érzékenységi térkép maximumának mutatkoznia. A joslatok a baloldali, es a középsö oszlopkban láthatók. A jobboldali oszlop mért adatai igen jól egyeznek a jóslatokkal. Forrás: Kovács I Gestalten of today: early processing of visual contours and surfaces. Behav Brain Res 1996;82(1):1-11 Kovács I, Fehér A, Julesz B Medial-point description of shape: a representation for action coding and its psychophysical correlates. Vision Res 1998;38(15-16): special issue on recognition

34 A cardioid esetén is jó egyezést találtunk.
Forrás: Kovács I Gestalten of today: early processing of visual contours and surfaces. Behav Brain Res 1996;82(1):1-11 Kovács I, Fehér A, Julesz B Medial-point description of shape: a representation for action coding and its psychophysical correlates. Vision Res 1998;38(15-16): special issue on recognition

35 D függvény: tetszés szerinti alakzat tengely alapú reprezentációját adja
Let’s take a look at our D function again. The result is not only resembling Blum’s classical grass-fire, it also provides an even more condense shape description via defining a very small sets of points that are the most “informative” points within a shape. As we said, these points are the maxima of the D function – naturally, some thresholding is necessary here. We call the maxima “medial points” and call our representation medial-point representation. The MPT is local (enhancing localization), and compact (enhancing comparisons between sequential frames or between memory and image). It is also very easy to apply it on multiple spatial scales, which naturally overcomes the usual complaints against MAT type representations in terms of their sensitivity to boundary detail. Saját változatunk még kevesebbet, csak a fő szimmetriapontokat tartja meg, s a D függvény kiszámitásával készül. Forrás: Kovács I, Fehér A, Julesz B Medial-point description of shape: a representation for action coding and its psychophysical correlates. Vision Res 1998;38(15-16): special issue on recognition Kovács és mtsi, Vision Research, 1997

36 - a biológiai mozgás feldolgozá- sához szükséges reprezentáció - optimalizálja a téri-idői felbontást - csökkenti a téri információ redundanciáját - hallatlan mértékű tömöritést végez About a 100 years later Gunnar Johansson apllied the same technique to study the perception of biological motion. It turned out that when they videotape the small lights placed on the joints during the movements of the subject, the viewer of the tape will recognize easily that it’s a person that’s moving – although only a few points can be seen in motion.The viewer may also recognize the gender and age of the subject, and the type of activity. Csaknem száz évvel később, Gunnar Johansson alkalmazta ugyanezt a technikát az élő mozgás percepciójának tanulmányozására. Kiderült, hogy amikor az izületeken elhelyezett fénypontokat az ember mozgása közben lefilmezik, akkor a film nézője könnyedén felismeri, hogy milyen mozgásról van szó, sőt még a mozgó ember nemét is megtudja mondani. Forrás: George Mather Johansson G (1973) Visual perception of biological motion and a model for its analysis. Percept. Psychophys, 14, Mather G, Murdoch L (1994) Gender discrimination in biological motion displays based on dynamic cues. Proc. Roy. Soc. Lond. B, 258,

37 Elsődleges látókéreg (V1 és szomszédai) Specializálódott agyi területek (temporális kéreg)

38

39