Szemkamerás vizsgálatok a pedagógiai kutatásban Steklács János ELTE TÓK Neuropedagógiai Konferencia Budapest, 2018. nov. 16-17. steklacs@gmail.com

Vázlat Bevezető A szem mozgásai A szemkamerás vizsgálatok Pedagógiai alkalmazás Saját vizsgálataink Olvasás és szemmozgás A kísérleti Eydea rendszer fejlesztésének tapasztalatai

Bevezető „A szem a lélek tükre” Plinius Secundus: In oculis animus habitat André du Laurens: a szem az elme tükre A szem az agy tükre is, ablak az agyra (Kovács Tibor, 2012) Luis Émile Javal Ewald Hering

A szem mozgásai Retina, fovea, parafovea, periféria Fixáció, szakkád Makro mozgások Szakkád Szakkadikus elnyomás (saccadic suppression, Matin, 1974) Regresszív szakkád, regresszió (refixáció) (10-15 százalék) Vergens mozgás (konvergens, divergens) Vesztibuláris okuláris reflex (VOR) Optokinetikus reflex (OKR) Követő szemmozgások, a lassú követő szemmozgást (smooth pursuit eye movement, SPEM) Mikro mozgások Drift, mikro szakkád Nisztagmusok , tremor (rezgés)

Szemmozgásvizsgáló műszerek A szem pozíciójának és mozgásának vizsgálata A foveális látásról és a szakkadikus tevékenységről gyűjt, szolgáltat adatot Analízis Heatmap: (hőtérkép, zöld, vörös) gyakoriság színekkel Gaze-spot: (Nézés pontok) Fixációs pontok, idő, szakkádok azonosítása Gaze replay: azonos, gyorsított vagy lassított visszajátszás

Információt ad a szöveg, film, ábra, táblázat, weblap, bármilyen monitoron megjelenő kép informativitásáról, a vizsgált személy érdeklődéséről, információfeldolgozási folyamatáról, figyelmének megoszlásáról A tekintet útvonaláról az információ feldolgozásának módjára, az agy működésére, agyi folyamatok természetére következtetünk Néhány híres kutató: Emile Javal, Edmund Huey, Guy Thomas Buswell, Alfred L. Yarbus, Keith Rainer

Kutatás Neurológia, pszichológia Diagnosztika, korai lehetőségek, autizmus, skizofrénia Pszicholingvisztika Viselkedés, állati viselkedés Olvasás Informatika (honlapok informativitása) Piackutatás (reklám, hirdetés, termékek elhelyezése) Harcászat, autóipar, nemzetbiztonság Hang, kép rögzítés Electrookulográf (EOG) EEG Elektro Enkefalográf fMRI Arc-érzelem vizsgáló műszer

Szemkamerás kutatások elterjedése a pedagógiai kutatások területén 2000- 2013-ig vizsgálja egy tanulmány (Lai és mtsai, 2013) A szerzők Social Sciences Citation Index adatbázisából merítve 113 ilyen típusú tanulmányt vizsgáltak. 2008-ig évi 5 alatt van ezeknek a tanulmányoknak a száma, 2009-12-ig összesen 109 dolgozat jelent meg, Köztük 2012-ben 36 ilyen munka látott napvilágot. Tematikus vizsgálat eredménye: az információs folyamatok elemeinek vizsgálata, tanítási stratégiák a már meglévő elméleti háttér újra értelmezésével foglalkozó kutatások a tanulási stratégiák hatása egyéni különbségek szociokulturális tényezők szerepe a döntéshozás folyamatának vizsgálata

A tanulási folyamat szempontjából további csoportokat alakítanak ki a szerzők a tanulmányok által vizsgált területekből: a percepció, az igazolás, a megértés, a nyelvi képességek fejlődése a fogalmi gondolkodás fejlődése az új információk feldolgozása A tanulmány legfőbb következtetése, hogy a szemkamerás módszer alkalmazása a pedagógiai kutatásokban ígéretes lehetőséget kínál elsősorban a tanulási folyamat eredményessége és a kognitív folyamatok összefüggéseinek vizsgálata terén.

A saját kutatásainkról Szemmozgás és információfeldolgozás Kognitív folyamatok, stratégiák meghatározása, fejlődésének követése A tanítás-, tanulás módszertanának fejlesztése

Feladatmegoldási, kombinatív stratégiák alkalmazása Matematikai feladatmegoldás Vizuális nevelés Ének-zene Informatika, információkeresés honlapokon Térképek olvasása, tájékozódás

Tankönyvek vizsgálata Egészségnevelés Autizmus, tárgyfunkció ismerete Jelnyelv megértése Hardver fejlesztés: osztálytermi szemkamerás rendszer, Mindwawe, NeuroSky

Olvasás: Digitális szövegek olvasása, információkeresés Szakkadikus tevékenység, olvasási jellemzők fejlődése 2., 6. o. kor között Első osztályosok olvasása Olvasási problémák korai diagnózisa

Az olvasás szemkamerás vizsgálata Fovea, parafovea, periféria szerepe Irány Észlelési távolság (perceptual span) Felnőtteknél 7-9 karakter egy fixációval Fixációk száma időtartama, szakkádok száma, hossza Sikertelen információfeldolgozás (nem megértés) Regresszió A kezdő olvasó, olvasni tanuló gyermek jellemzői Szótagok, szubvokalizáció Hangos olvasás, szem- száj késleltetés, tévesztés, megakadás, javítás

EyeDea osztálytermi rendszer Egyszerre több tanuló Együttes kalibrálás Gyors visszajelzés, számítás Egyes funkciók azonnali elemzése https://www.youtube.com/watch?v=wb3W6ZBFE u8&feature=youtu.be

Kutatás a matematika órán speciális jellemzők Tanár: magyarázat megoldás közben, (think aloud) Eszköz: tábla (hagyományos, okos) ppt, írásvetítő) kommunikáció: beszéd, írás Diákok: vizuális, auditív figyelem, a tanár követése lépésről lépésre, megolsási módszer Eszközök: tábla, füzet Kulcs: megértés, figyelem (látvány, hang) Speciális kérdés, probléma: Hogy teremtsük meg és tartsuk fenn a motivációt?

Kutatási kérdések, célkitűzés Melyek a vizuális figyelem főbb jellemzői a tanári magyarázat alatt matematika órán? A diákok aktivitásának leírása. Avagy: Tábla vagy tanár? Milyen mértékű hasonlóságot tapasztalunk a gyerekek között? Következtetés a tanulás közbeni kognitív folyamatokra (Hogyan fejlesszük tovább az Eyedea rendszert?)

Sokkal kevésbé koncentrált a figyelem, mint arra számítottunk Eredmények Sokkal kevésbé koncentrált a figyelem, mint arra számítottunk Nagy különbségek a diákok között Nagyon ritka, hogy minden tanuló tekintete egyszerre a tanárra koncentrál Nem az a jellemző, hogy folyamatosan a tanárt követi a tekintetük hosszabb ideig Az elvárthoz képest valószínűleg az auditív figyelem jobban követi a tanári magyarázatot A diákok aktivitása nagyon sokféle, gyakran váltanak az óra alatt

Összefoglalás A tanulási folyamat megismerése, elemzése terén a szemkamerás kutatások olyan szegmenseket képesek feltárni, amelyeket eddig nem ismertünk, illetve csak következtetni tudtunk rá. Ezek a vizsgálatok képesek bizonyítani, megerősíteni vagy elvetni több eddigi feltételezésünket. A szemkamerás vizsgálatok fontos szempontot, új lehetőséget tudnak adni a tankönyvek készítéséhez, elemzéséhez, továbbá didaktikai, szakmódszertani szempontból is figyelemre méltó eredményeket produkálhatnak.