Vizuális illúziók V. Biológiai mozgás Polner Bertalan 2014. március 10. BME Kognitív Tudományi Tanszék

V. Tömörités – Biológiai mozgás A látás a környezet változásait jelzi A látás a környezet változásait kivonatolja A látás mintát keres a változásokban A tömörítés az alapja a komplex feldolgozásnak (tömörítés – biológiai mozgás)

Hogyan észleljük élőlények mozgását?

Valóban felismerhető? Írjátok le, hogy szerintetek mit csinál a filmben a személy! Johansson: Motion Perception part 1 http://www.youtube.com/watch?v=1F5ICP9SYLU (4:30 – 5:45)

Alapvető információ direkt és gyors elérése Az aktivitás típusa (Johansson, 1973) - lábmozgás akár 5 pontból - egész test minimum 8 pont Nagyon kevés idő elég a felismeréshez (kevesebb mint 100 ms) (Johansson, 1973) - automatikus - még akkor is ha nem egyértelmű

Férfit vagy nőt látunk? http://www.biomotionlab.ca/Experiments/BMLmdsex/

Milyen információ nyerhető ki néhány pont mozgásából? A cselekvő neme (e.g., Kozlowski & Cutting 1977; Mather & Murdoch 1994) A cselekvő emocionális állapota (Brownlow et al 1997) Tárgyakkal való interakció is felismerhető (Bingham 1993, Stoffregen & Flynn 1994 ) http://www.biomotionlab.ca/Demos/BMLwalker.html

Alapvető, korán megjelenő képesség A csecsemők már 3 hónaposan felismerik a biológiai mozgást (e.g., Fox & McDaniel, 1982; Simion et al, 2007)

Nem csak emberek között Nem csak humán élőlények mozgását vagyunk képesek felismerni (De! gyakorisági hatás) Nem-humán emlős kölyöknél is korán megjelenik ez a képesség (Blake, 1993) A tojásból épp kibújt kiscsibéknél is (Vallortigara et al., 2005) A lábak kritikusak a mozgásirány észlelésének szempontjából (Troje & Westhoff, 2006) A gravitáció miatt az alsó végtagok ballisztikus mozgása csak energia- befektetés és –veszteség mellett jöhet létre – „élet-detektor”? „The characteristic ballistic-velocity profile, which is created when an articulated, terrestrial animal in locomotion propels its limbs away from the ground and then—playing gravity as efficiently as possible—lets them fall back down, has the potential to provide a reliable cue for the presence and the location of an animal in the visual environment. In a world of constant gravity, spatial and temporal parameters are highly dependent, therefore introducing a redundancy that attributes a highly specific signature to ballistic movements. Given that such movements occur only if energy is employed and dissipated, it is hard to imagine how something other than a living crea- ture can generate similar motion patterns—at least outside of our modern, technological world.” Troje & Westhoff (2006). Curr Biol 16

Fejjel lefelé nehezebb? http://www.biomotionlab.ca/Demos/scrambled.html

Mit árul el a biológiai mozgás észleléséről a fényképészet története?

Eadweard James Muybridge (1830-1904) A híres fogadás

Muybridge 24 fényképezőgépes megoldása (1876-1879) zár Van-e olyan pillanat vágta közben, amikor a ló egyetlen lába sem éri a földet? Ha igen, a mozgás melyik szakaszában? Muybridge 24 fényképezőgépes megoldása (1876-1879)

Muybridge: A galoppozó “Bouquet” (22 felvétel) 625 tábla, Animal Locomotion, 1887

Charles Lucassen animációja

Muybridge: Piruttező nő (12 felvétel) 1887

Etienne - Jules Marey (1830 - 1904) The French medical doctor and scientist, Etienne Jules Marey was happy to see Muybridge’s images because of his deep interest in capturing time. As a doctor, he hoped to be able to discriminate between normal and abnormal by registering changes in time. Changes, such as in blood pressure, breathing, muscle tension. Initially he used the graphic method to make recordings. He built the first electrocardiogram, e.g. However, when he became interested in more complex changes, such as the movements of the whole organism, the graphic method was not sufficient any more because it did not provide information about spatial features. He wanted to capture the spatio-temporal pattern of the moving bidy body parts with one picture. Muybridge’s pictures convinced him that photography might be a good way to do that, although Muybridge’s pictures were not the final slution for him because they did not have the fine temporal resolution he wanted, and they were multiple, not single images – making the comparisons across frames very difficult, and the many cameras also introduced imprecisions because of the changing view-point. As we’ll see, “photography involves as much contemplation as action and, at its best, yields insights which transcend surface description (Steve McCurry, 2000).” The following pictures served as strictly scientific data for Marey. E. J. Marey, francia orvos és tudós. Elkötelezetten kereste az idő megragadásának módszereit. “Láthatóvá” akarta tenni a világot. A dolgok időbeli változásának leírása volt fő célja. Ilyen változás például bármilyen (akár élettelen) mozgás. A mozgás regisztrálásával, vélte Marey, lehetővé válik annak tudományos elemzése, mérése, törvényszerűségeinek megismerése. Az 185o-es években kezdett a grafikus módszerrel foglalkozni. Sokféle fiziológiai működést, pl. vérkeringést, légzést, izomműködést tanulmányozott a grafikus módszerrel. Elkészítette pl. az első elektrokardiogrammot (békán). Abban bízott, hogy a finom kis változások mérhetővé tétele, s elemzése lehetővé fogja tenni az egészséges és a kóros állapotok megkülönböztetését. Amikor azonban bonyolultabb változások, pl. az egész élőlény mozgásának leírása kezdte foglalkoztatni, nem volt megelégedve a grafikus módszerrel többé, mert az nem adott információt a téri jellegzetességekről. Azt szerette volna elérni, hogy a test különböző részeinek téri – idői kölcsönhatásai egyszerre váljanak leírhatóvá, méghozzá egyetlen képen. Olyan eszközt szeretett volna, mely egyszerre érzékeli, és reprezentálja a mozgást. A. J. Muybridge 1872-ben megjelent felvételei győzték meg arról, hogy a fényképezés erre is jó. A későbbiekben bemutatott képek nemcsak Marey feltalálói tehetségéről tanúskodnak, hanem egyben gyönyörűek is. Ne felejtsük el azonban, hogy Marey nem művész volt – Muybridge-al ellentétben -, hanem elsősorban tudós. A fotók csupán nyers tudományos adatot jelentettek számára. Forrás: Marta Braun: Picturing time (U of Chicago Press, 1994) MAREY IDÔFÉNYKÉPEI Jules Marey, egy XIX. századi francia orvosdoktor, a könnyebb diagnosztizálás érde- kében szerette volna valami módon megragadni a mozgást. Hosszú kísérletezés után az állólemezes fényképezőgép mellett döntött: itt a lemez előtt egy nyílásokkal ellátott zár forog, és ahogy a nyílások elmozdulnak, sorozatfelvétel készül a mozgó alanyról. Ezzel a megoldással csak az volt a baj, hogy kevesebb expozíció – tehát egy képen kevesebb fázis – esetében a test kivehető volt ugyan, de rossz volt az időbeli felbon- tás. Több expozícióval javult az időfelbontás, több fázis volt kivehető egy képen, de egymásba csúsztak, összemosódtak a testek, romlott a térbeli felbontás. Ez a szituá- ció rámutatott a térbeli és időbeli felbontás ellentmondására a mozgás és a forma ösz- szekapcsolásánál. Marey fényképen a testek kiterjedését manipulálva a térbeli dimenzióban csökken- tette a redundanciát. Intuitíven rájött arra, hogy a mozgás szempontjából vannak fontos és kevésbé fontos helyek egy testen. A fontos helyek azok, ahol a mozgásszabadság foka a legnagyobb, tehát az ízületeknél. Az ízületeken elhelyezett kis csillogó gombo- kat, ezeket a biztonság kedvéért összekötötte csillogó drótokkal, és a fekete ruhába öltöztetett alanyt megkérte, hogy fekete háttér előtt sötétben sétáljon, miközben ő a gombokról és drótokról visszaverődő fényt regisztrálta speciális fényképezőgépével. Az ún. időfényképen látható reprezentáció, ha úgy tetszik, a sétálás függvénye. Az idő- fényképezésnek vannak mai alkalmazásai is, Marey-t használják a patológiai mozgás- formák kiszűrésére is, természetesen kiegészítve a videotechnikával, és kis gombok helyett LED-eket helyeznek el az ízületeken. A biológiai mozgás mai kutatásában nem feltétlenül hivatkoznak a Marey- féle meg- oldásra, de nyilvánvaló a hasonlatosság. Egy mozgó modellen az emberi test 13 rele- váns pontjából megállapítható, hogy milyen fajról van szó, milyen tevékenységet foly- tat, esetleg az is, hogy férfit vagy nőt látunk. A tengelyekre és pontokra való fent leírt érzékenységről tudjuk, hogy specifikus adott- ságnak tűnik, tehát olyan készsége az embernek – és nem csak az embernek –, ami már az újszülött korban is működik, egy speciális agyterület foglalkozik vele. A tengely, ill. pont alapú reprezentációt az elsődleges látókérgi idegsejtek kötik össze a biológiai mozgás érzékelésével. A kétdimenziós formák pontszerű leírása – kétdimenziós, mert az elsődleges látókéreg a retinaképet használja fel – az elsődleges látókéregből megy tovább a temporális kéreg felé, a fali lebeny felé. Ez az a specializálódott agyterület, amely a biológiai mozgással és az arcfelismeréssel is foglalkozik, ahol létrejön a pon- tokból a mozgás. Forrás: http://epa.oszk.hu/01200/01273/00011/pdf/20040927081421.pdf Eleinte vérkeringést és szívverést kutatta. 20

Nem csak fotó-, de filmtörténeti mérföldkő is! 1882. Etienne-Jules Marey (francia fiziológus): fényképező puska, a legelső mozgókép felvevőgép! Kör alakú lemezre 12 képet készített másodpercenként. Jules Janssen astronomer, 1884 animation by Charles Lucassen

forgó-lemezes fényképezőgép forgó zárral Fotó-puska (1882) - valódi puska, amelynek tölténydobját kör alakú fotólemez helyettesíti, és az egész arra szolgál, hogy repülô madarakat vegyen célba vele

Etienne-Jules Marey (1884) kifejlesztette a kronofotográfiát/‘chronophotography’ egy egyszerű sötétkamra, amelynek a zárja egy ablakos forgólemez. Image sources: Wikimedia Commons, science-television.com Slide content: Blake & Shiffrar (2007)

Álló lemezes gép (1882) Forgó zár 10 nyílással The static-plate camera then brought a revolution for Marey, because the frames were not only on the same plate, but at the same location, making it possible to exactly measure changes. Time and space were finally represented at the same time in a single picture. Az első állólemezes kamera forgó zárral igazi változást hozott Marey munkásságában, mert végre nemcsak ugyanazon a fotólemezen, de térileg összevethető helyeken jelentek meg a mozgás fázisai. Így idő és tér végre egyszerre voltak jelen a képeken. Forrás: Marta Braun: Picturing time (U of Chicago Press, 1994) Forgó zár 10 nyílással 25

1882, College de France Téri felbontás JÓ, idői felbontás ALACSONY The spatial resolution is not bad here, however, time seems to be undersampled. Better resolution can achieved by either speeding up the shutter, or by adding more slots on the disc shutter. Forrás: Marta Braun: Picturing time (U of Chicago Press, 1994) 1882, College de France Téri felbontás JÓ, idői felbontás ALACSONY 26

1885-86, College de France Téri felbontás ALACSONY, idői felbontás JÓ And this is the result: time is better sampled, but blur results in space. Forrás: Marta Braun: Picturing time (U of Chicago Press, 1994) 1885-86, College de France Téri felbontás ALACSONY, idői felbontás JÓ 27

A felbontóképesség problémája: IDŐI TÉRI rossz jó jó rossz Forgó zár Marey had to realize that there is a serious trade off, as a function of the slots, he can either have good temporal or good spatial resolution, but not both at the same time. What to do now? A not too serious attempt is illustrated in the bottom to solve this problem. Az igazi kihivás még csak most jött azonban. A záron lévő nyílások darabszámának függvényében, vagy időben, vagy térben tudott jó felbontást elérni, de sohasem egyszerre a kettöt. Forrás: Marta Braun: Picturing time (U of Chicago Press, 1994) 28

Geometriai “időfényképezés” Marey rájött, hogy a mozgás reprezentálásához elegendőek csak a legfontosabb téri pontok! And finally, he came up with the ingenious solution: let’s get rid of the redundancies, and keep only the most necessary spatial information to avoid blur in the picture. His intuition was that the joints are the most important spatial locations, and so he attached shiny buttons to them, and connected them with shiny wires. The subject moved around in the dark, and only the movements of the buttons and wires were recorded in the picture. És a zseniális találmány: csak a legfontosabb téri pontokat kell megtartani, és akkor mind térben, mind időben megfelelő felbontást lehet elérni. A feketebe öltöztetett alany egy fekete hangárban mozgott, s a testén elhelyezett csillogó pontok és vonalak hagyatak csak nyomot a lemezen. Forrás: Marta Braun: Picturing time (U of Chicago Press, 1994) 1884, album A, 12, Beaune 29

Marey, 1884, College de France And here is on e of those chronophotographs. Marey achieved his goal, and could see the exact spatio-temporal pattern of movement in the pictures. Forrás: Marta Braun: Picturing time (U of Chicago Press, 1994) Marey, 1884, College de France 30

Marey, 1883, College de France Forrás: Marta Braun: Picturing time (U of Chicago Press, 1994) Marey, 1883, College de France 31

Marey, 1884, College de France

Marey, 1886, College de France

Marcel Duchamp: Lépcsőn lefelé 2 1912

a mozgás lényegének leképezéséhez az összes képpont töredéke is elegendő, amennyiben azok megfelelő helyekről származnak a fotótörténeti példák rámutatnak a tengely alapú reprezentációk szerepére

Néhány példa a technológia mai alkalmazásaira patológiás mozgásformák kiszűrése (pl. Parkinson kór) számítógépes animáció biológiai mozgás érzékelésének kutatása video-konferencia (kézmozdulatok, arcok valós idejű felismerése) mesterséges intelligencia: személy-azonosítás járás és testtartás alapján 36

számítógépes animáció videofilmek videojátékok

Biológiai formák gyors felismerése, képtömörítés - pl Biológiai formák gyors felismerése, képtömörítés - pl. videokonferencia, robotirányitás

Hogyan valósul meg a biológiai mozgások észlelése az idegrendszer szintjén?

Functionális Mágneses Rezonancia vizsgálat Az fMRI az idegi aktivitással összefüggésben lévő hemodinamikus választ méri. A vér-oxigén-szint függő (Blood-oxygen-level dependent) vagy más néven BOLD fMRI egy olyan módszer, mely lehetővé teszi, hogy következtessünk arra, hogy az agy mely területei aktívak adott időben. Az agyi vérámlás és véroxigénszint változásai szoros összefüggésben állnak az idegi aktivitással. Amikor az idegsejtek aktívak, oxigént használnak fel, melyet a vörösvértestben lévő hemoglobin szállít el a helyi kapillárisoktól. A válasz erre az oxigénfelhasználásra a felerősödött véráramlás a megnőtt aktivitású területeken. Egy úgynevezett hemodinamikus válasz-folyamaton keresztül a vér nagyobb mértékben szállít oxigént az aktív, mint az inaktív neuronokhoz. A mágneses érzékenységben lévő különbség az oxihemoglobin és a deoxihemoglobin között, és így az oxigéndús és az oxigénszegény vér között, a mágneses jel változásához vezet, melyet MRI szkennerrel detektálhatunk. Functionális Mágneses Rezonancia vizsgálat

A nem-biológiai vs. a biológiai mozgás észlelésében részt vevő agyterületek Biológiai mozgás-specifikus: lateral cerebellum lateral occipital cortex KO (mozgó kontúrokra érzékeny) Arcészlelés+biológiai mozgás: ~Ventrális (MI) pálya: lingual and fusiform gyri Brodmann areas 22 és 38 a Superior Temporal Sulcus (STS)-ban Non-rigid mozgás+biológiai mozgás: ~Dorzális (HOL) pálya Brodmann areas 19/37 Inferior (Brodmann Area 39) Superior Parietal Lobule (Brodmann Area 7) Vaina et al., 2001, PNAS

A tükörneuron rendszer Tükörneuron = olyan neuronok, amelyek egy adott mozgás kivitelezésekor és ugyanazon mozgás megfigyelésekor (puszta vizuális inger,fajtárs) is reagálnak Premotoros terület

EEG vizsgálat – Pont emberek mozgása a tükör neuronok aktivációját váltja ki (Ulloa&Pinnelda, 2007) a mu frekvencia sáv (8–13 Hz) az EEG aktivitásban indirekten premotoros kéreg tükör neuron rendszerének aktivitását jelzi v

Hogyan hat a tudás a mozgások észlelésére? Profi ballet és capoeira táncosok, nem-táncos kontroll csoport (Calvo-Merino et al., 2005). Befolyásolja-e a szakértelem a tánc észlelését? fMRI, táncot láttak felvételről Ballet – Capoeira Ballet – Ballet Capoeira – Capoeira Capoeira – Ballet + kontroll csoport is látta mindkét típusú felvételt

Fekete = ballet, fehér = capoeira „While all the subjects in our study saw the same actions, the mirror areas of their brains responded quite differently accord- ing to whether they could do the actions or not. We conclude that action observation evokes individual, acquired motor repre- sentations in the human mirror system.”

Biológiai mozgás észlelése közben az idegrendszer a mozgás szimulációját hajtja végre A szakértelem-specifikus hatások és helyük magasabb szintű mozgás-reprezentációkra utalnak

Összefoglalás A biológiai mozgások észlelése evolúciósan előnyös képesség: gyors és automatikus. Információ: nem, alkat, belső állapot, cselekvés… A mozgások reprezentációjához elegendő néhány kritikus pont – fotótörténet! A biológiai mozgások észlelésében vizuális területeken túl fontos szerepe lehet a tükör- neuronoknak (észlelés – cselekvés integráció)

Köszönöm a figyelmet!