Élő és élettelen vizuális reprezentációja az emberi agyban Kovács Ilona – Kovács Gyula BME GTK Kognitív Tudományi Tanszék ikovacs@cogsci.bme.hu gkovacs@cogsci.bme.hu

A látás agykérgi szerveződése egyszerűnek tűnik… Dorzális pálya (occipito-parietális): a tárgyak manipulálása, akadályok elkerülése AKCIÓ Ventrális pálya (occipito-temporális): a tárgyak maradandó tulajdonságai tudatos percepció PERCEPCIÓ Goodale és Milner, 1992

…de igazából…

A látás fejlődése is egyszerűnek tűnik… “A dolgok elég rosszul kezdődnek, majd egy kicsit javul a helyzet, s végül, hosszú, hosszú idő elteltével megint rosszra fordulnak.” A Látásfejlődés Általános Törvénye (Teller és Movshon, 1986)

…de igazából… Thompson et al, 2000

…jobb lesz tehát az elején kezdeni… Elsődleges látókéreg (V1) a látási ingerek fő adatelemzője az agyban LOKÁLIS input elemzés: luminencia diszparitás mozgás szin orientáció

csecsemő: luminencia (kontraszt, 1 é.) diszparitás (3-4 hó) Campbell-Robson csecsemő: luminencia (kontraszt, 1 é.) diszparitás (3-4 hó) mozgás (2 hó) szin (2 hó) orientáció (~kontraszt, 1 é.)

Remek, ez egyszerűnek tűnik…

Csakhogy… LOKÁLIS input elemzés: luminencia diszparitás mozgás szin orientáció

lokális agykérgi “szűrők” a V1-ben több téri skálán

funkcionális anatómiai adatok: szerveződés a látókéreg sejtjei hosszú (1-2 mm) horizontális axonokkal vannak összekötve (pl: Rockland & Lund,1983; Gilbert & Wiesel, 1983, 1989) hasonló hangolású sejtek vannak egymással összekötve: INTEGRÁCIÓ? (pl. Blasdel et al; Malach et al, 1993 )

Kontúr-integrációs pardigma: kontúr + zaj A Rutgers Egyetem Látáskutató Laboratóriumában folytatott kisérleteink az agy egy másik részének, az occipitális kéregnek a működésével foglalkoznak. Eredményeink érdekes kapcsolatban állnak az “időfényképekkel”, és a “biológiai mozgás” érzékelésével. A kisérletekben olyan ábrákat mutatunk emberi megfigyelőknek, melyek zárt kontúrokat tartalmaznak zaj jelenlétében. Forrás: Kovács I, Julesz B A closed curve is much more than an incomplete one: effect of closure in figure-ground segmentation. Proc Natl Acad Sci USA 1993;90(16):7495-7 Kovács I, Julesz B Perceptual sensitivity maps within globally defined visual shapes. Nature 1994;370(6491):644-6 Kovács I Gestalten of today: early processing of visual contours and surfaces. Behav Brain Res 1996;82(1):1-11 Kovács I, Fehér A, Julesz B Medial-point description of shape: a representation for action coding and its psychophysical correlates. Vision Res 1998;38(15-16):2323-33 special issue on recognition   Kovács és mtsi, 1993-

téri frekvencia végződés távolság V1 interakciók vizsgálatára szűk sávban van nincs középpontok között alkalmas széles sávban van van: illuzórikus kontúr nem definiált alkalmatlan

D = zajelemek távolsága / kontúrelemek távolsága D > 1 D < 1 D = zajelemek távolsága / kontúrelemek távolsága

Kontúr-integráció 3 hónapos korban: 60 csecsemő gyenge kontúrintegráció zártsági hatás hiánya (Gerhardstein, Kovács, Ditre, Fehér Vision Research, 2004)

Remek, ez egyszerűnek tűnik…

csecsemő felnőtt alacsony szintű kérgi feldolgozás eredménye feldolgozás bemenete lokális szűrők

elsődleges látókéreg (V1) szerepe Agnóziás beteg Giersch, Humphreys, Kovacs & Boucart Cog Neuropsych, 17: (8) 2000 lassú fejlődés 5-14 évesek Kovács, Kozma, Benedek, PNAS 1999 normális vizuális input szükséges Ambliópia Kovács et al, Vision Res, 40(13) 2000 Chandna et al, Inv Opth. Mar;42(3) 2001 Schizofrénia Silverstein, Kovács, Corry & Valone Schizophrenia Res, 43(1) 2000 genetikusan meghatározott WMS Kovács, Lukács, Racsmány, Pléh, 2001

agyvérzés hátsó kérgi területeken vizuális agnózia prozopagnózia H.J.A. esete (Humphreys and Riddoch, 1984, 1987b; Riddoch and Humphreys, 1987a) agyvérzés hátsó kérgi területeken vizuális agnózia prozopagnózia alexia agraphia nélkül kérgi szinvakság téri orientációs zavarok kontúr-teszt: normál teljesitmény V1 elégséges MRI (1989) : kétoldali léziók az inferior temporális, oldalsó occipitotemporális, fusiform és lingualis gyrusokban (Riddoch et al, Brain, 122, 3, 1999)

elsődleges látókéreg (V1) szerepe Agnóziás beteg Giersch, Humphreys, Kovacs & Boucart Cog Neuropsych, 17: (8) 2000 lassú fejlődés 5-14 évesek Kovács, Kozma, Benedek, PNAS 1999 normális vizuális input szükséges Ambliópia Kovács et al, Vision Res, 40(13) 2000 Chandna et al, Inv Opth. Mar;42(3) 2001 Schizofrénia Silverstein, Kovács, Corry & Valone Schizophrenia Res, 43(1) 2000 genetikusan meghatározott WMS Kovács, Lukács, Racsmány, Pléh, 2001

Kontúr integráció gyermek- és felnőttkorban D 5-6 yr 6-7 yr lassú fejlődés 510 gyerek, 60 felnőtt 9-10 yr 10-11 yr 13-14 yr 19-30 yr

elsődleges látókéreg (V1) szerepe Agnóziás beteg Giersch, Humphreys, Kovacs & Boucart Cog Neuropsych, 17: (8) 2000 lassú fejlődés 5-14 évesek Kovács, Kozma, Benedek, PNAS 1999 normális vizuális input szükséges Ambliópia Kovács et al, Vision Res, 40(13) 2000 Chandna et al, Inv Opth. Mar;42(3) 2001 Schizofrénia Silverstein, Kovács, Corry & Valone Schizophrenia Res, 43(1) 2000 genetikusan meghatározott WMS Kovács, Lukács, Racsmány, Pléh, 2001

Kontúr integráció ambliópia esetén D kollaborácóban: A. M. Norcia, U. Polat Smith-Kettlewell Eye-Research Institute P.Pennefather, A. Chandna Alder Hey Childrens Hospital,Liverpool,UK S Amb S Amb jó S jobb S bal E jobb E bal

elsődleges látókéreg (V1) szerepe Agnóziás beteg Giersch, Humphreys, Kovacs & Boucart Cog Neuropsych, 17: (8) 2000 lassú fejlődés 5-14 évesek Kovács, Kozma, Benedek, PNAS 1999 normális vizuális input szükséges Ambliópia Kovács et al, Vision Res, 40(13) 2000 Chandna et al, Inv Opth. Mar;42(3) 2001 Schizofrénia Silverstein, Kovács, Corry & Valone Schizophrenia Res, 43(1) 2000 genetikusan meghatározott WMS Kovács, Lukács, Racsmány, Pléh, 2001

Williams Szindróma Kontroll nyakszirti lebeny kisagy Reiss et al, J Cog Neurosci volume 12 Suppl 1

Kontúr integráció Williams Szindróma esetén 0.6 0.65 0.7 0.75 0.8 0.85 0.9 6 yr 7 yr 10 yr 11 yr 14 yr 30 yr gyenge kontúr integráció

elsődleges látókéreg (V1) szerepe Agnóziás beteg Giersch, Humphreys, Kovacs & Boucart Cog Neuropsych, 17: (8) 2000 lassú fejlődés 5-14 évesek Kovács, Kozma, Benedek, PNAS 1999 normális vizuális input szükséges Ambliópia Kovács et al, Vision Res, 40(13) 2000 Chandna et al, Inv Opth. Mar;42(3) 2001 Schizofrénia Silverstein, Kovács, Corry & Valone Schizophrenia Res, 43(1) 2000 genetikusan meghatározott WMS Kovács, Lukács, Racsmány, Pléh, 2001

Kontúr-integrációs pardigma: kontúr + zaj A Rutgers Egyetem Látáskutató Laboratóriumában folytatott kisérleteink az agy egy másik részének, az occipitális kéregnek a működésével foglalkoznak. Eredményeink érdekes kapcsolatban állnak az “időfényképekkel”, és a “biológiai mozgás” érzékelésével. A kisérletekben olyan ábrákat mutatunk emberi megfigyelőknek, melyek zárt kontúrokat tartalmaznak zaj jelenlétében. Forrás: Kovács I, Julesz B A closed curve is much more than an incomplete one: effect of closure in figure-ground segmentation. Proc Natl Acad Sci USA 1993;90(16):7495-7 Kovács I, Julesz B Perceptual sensitivity maps within globally defined visual shapes. Nature 1994;370(6491):644-6 Kovács I Gestalten of today: early processing of visual contours and surfaces. Behav Brain Res 1996;82(1):1-11 Kovács I, Fehér A, Julesz B Medial-point description of shape: a representation for action coding and its psychophysical correlates. Vision Res 1998;38(15-16):2323-33 special issue on recognition   Kovács és mtsi, 1993-

Érzékenységi térkép: a kontrasztérzékenység változása egy zárt alakzaton belül Egy szabályos kör érzékenységi térképe két olyan régiót tartalmaz melyen belül kontrasztérzékenység növekedés mutatkozik. A középső régió érdekes számunkra, mert egyrészt igen távol van a körvonaltól (tehát feltehetően igen hosszú távú kölcsönhatások eredménye), másrészt meglepően jól lokalizálható maximummal rendelkezik. Forrás: Kovács I, Julesz B A closed curve is much more than an incomplete one: effect of closure in figure-ground segmentation. Proc Natl Acad Sci USA 1993;90(16):7495-7 Kovács I, Julesz B Perceptual sensitivity maps within globally defined visual shapes. Nature 1994;370(6491):644-6 Kovács I Gestalten of today: early processing of visual contours and surfaces. Behav Brain Res 1996;82(1):1-11 Kovács I, Fehér A, Julesz B Medial-point description of shape: a representation for action coding and its psychophysical correlates. Vision Res 1998;38(15-16):2323-33 special issue on recognition   Érzékenység változás Kovács és Julesz, Nature, 1994 log units

Tengely alapú reprezentáció “pálcikafigura” H. J. Blum, 1967, futótűz algoritmus

D függvény: tetszés szerinti alakzat tengely alapú reprezentációját adja Let’s take a look at our D function again. The result is not only resembling Blum’s classical grass-fire, it also provides an even more condense shape description via defining a very small sets of points that are the most “informative” points within a shape. As we said, these points are the maxima of the D function – naturally, some thresholding is necessary here. We call the maxima “medial points” and call our representation medial-point representation. The MPT is local (enhancing localization), and compact (enhancing comparisons between sequential frames or between memory and image). It is also very easy to apply it on multiple spatial scales, which naturally overcomes the usual complaints against MAT type representations in terms of their sensitivity to boundary detail. Saját változatunk még kevesebbet, csak a fő szimmetriapontokat tartja meg, s a D függvény kiszámitásával készül. Forrás: Kovács I, Fehér A, Julesz B Medial-point description of shape: a representation for action coding and its psychophysical correlates. Vision Res 1998;38(15-16):2323-33 special issue on recognition Kovács és mtsi, Vision Research, 1997

A D függvény segitségével jóslatokat tettünk, hogy különböző ellipszisek esetén hol kellene az érzékenységi térkép maximumának mutatkoznia. A joslatok a baloldali, es a középsö oszlopkban láthatók. A jobboldali oszlop mért adatai igen jól egyeznek a jóslatokkal. Forrás: Kovács I Gestalten of today: early processing of visual contours and surfaces. Behav Brain Res 1996;82(1):1-11 Kovács I, Fehér A, Julesz B Medial-point description of shape: a representation for action coding and its psychophysical correlates. Vision Res 1998;38(15-16):2323-33 special issue on recognition

A cardioid esetén is jó egyezést találtunk. Forrás: Kovács I Gestalten of today: early processing of visual contours and surfaces. Behav Brain Res 1996;82(1):1-11 Kovács I, Fehér A, Julesz B Medial-point description of shape: a representation for action coding and its psychophysical correlates. Vision Res 1998;38(15-16):2323-33 special issue on recognition

D függvény: tetszés szerinti alakzat tengely alapú reprezentációját adja Let’s take a look at our D function again. The result is not only resembling Blum’s classical grass-fire, it also provides an even more condense shape description via defining a very small sets of points that are the most “informative” points within a shape. As we said, these points are the maxima of the D function – naturally, some thresholding is necessary here. We call the maxima “medial points” and call our representation medial-point representation. The MPT is local (enhancing localization), and compact (enhancing comparisons between sequential frames or between memory and image). It is also very easy to apply it on multiple spatial scales, which naturally overcomes the usual complaints against MAT type representations in terms of their sensitivity to boundary detail. Saját változatunk még kevesebbet, csak a fő szimmetriapontokat tartja meg, s a D függvény kiszámitásával készül. Forrás: Kovács I, Fehér A, Julesz B Medial-point description of shape: a representation for action coding and its psychophysical correlates. Vision Res 1998;38(15-16):2323-33 special issue on recognition Kovács és mtsi, Vision Research, 1997

- a biológiai mozgás feldolgozá- sához szükséges reprezentáció - optimalizálja a téri-idői felbontást - csökkenti a téri információ redundanciáját - hallatlan mértékű tömöritést végez About a 100 years later Gunnar Johansson apllied the same technique to study the perception of biological motion. It turned out that when they videotape the small lights placed on the joints during the movements of the subject, the viewer of the tape will recognize easily that it’s a person that’s moving – although only a few points can be seen in motion.The viewer may also recognize the gender and age of the subject, and the type of activity. Csaknem száz évvel később, Gunnar Johansson alkalmazta ugyanezt a technikát az élő mozgás percepciójának tanulmányozására. Kiderült, hogy amikor az izületeken elhelyezett fénypontokat az ember mozgása közben lefilmezik, akkor a film nézője könnyedén felismeri, hogy milyen mozgásról van szó, sőt még a mozgó ember nemét is megtudja mondani. Forrás: George Mather http://www.biols.susx.ac.uk/Home/George_Mather/Linked%20Pages/Motion/BM.HTML Johansson G (1973) Visual perception of biological motion and a model for its analysis. Percept. Psychophys, 14, 201-211. Mather G, Murdoch L (1994) Gender discrimination in biological motion displays based on dynamic cues. Proc. Roy. Soc. Lond. B, 258, 273-279.

Elsődleges látókéreg (V1 és szomszédai) Specializálódott agyi területek (temporális kéreg)