A megértés folyamata Pléh Csaba Látás, nyelv emlékezet BSc kurzus, 2009. Március 31.

Az előadások a következő témára: "A megértés folyamata Pléh Csaba Látás, nyelv emlékezet BSc kurzus, 2009. Március 31."— Előadás másolata:

1

2 A megértés folyamata Pléh Csaba pleh@cogsci.bme.hu Látás, nyelv emlékezet BSc kurzus, 2009. Március 31

3 A megértés megértése A megértés folyamatának komponensei és a nyelvi szintek A megértés gyorsasága. Találatok és Tévedések versengése Alternatív felfogások: modulok és interakciók A tudás és az inger viszonya. Elvárások a megértésben Nyelvek és eltéréseik A megértés s a nyelv idegrendszeri modelljei A szavak rendszere és a tudásszerveződés A társalgás és a pragmatika helye a megértés során Megértés HangokSzavak TövekVégződések Mondatok Szövegek és társalgás

4 Tárgymegnevezés, szófelismerés és olvasás párhuzamai (Levelt) Tárgy felismerés 175Szó felismerés Olvasás Szó kiválasztás  ‘hammer’ 250Szókimondás325-400Szó Kiolvasás 175-250 Hangalak egésze  kalapács 330Hallási szóminta  100-330Látott szóminta  kalapács 150-200 Szótagminta ka-la-pács  455 Hangok  150-250 Betű  k a 150 Kiejtési terv k+a+l+a…  600 Hangelemek  50-100 / (- vonás  100 KIMONDÁS600Szófelismerés0Kiolvasás kalapács

5 Kognitív Tudományi Központ Budapesti Műszaki és Gazdaságtudományi Egyetem Az agy és a nyelvfeldolgozás (Levelt)

6 Találatok és Tévedések versengése A kontextus támogat : Találat A kontextus félrevezet Tévedés Kinyitom ajtót a kuxxxx  kulccsal  kutyának

7 A megértés folyamatának komponensei Moduláris felfogás Rögzített összetevők Alulról-felfelé Forma-jelentés Ostoba feldolgozás Algoritmikus összetevők Interakciós felfogás Hajlékony összetevők Felülről-lefelé is Elvárások döntőek Értelmes integráció Heurisztikus megoldások

8 Modularista modell SZÓTÁR Mondatelemző Szófelismerés Központi Problémamegoldó Ismeretek

9 Szótár BemenetHang- elemzés Szó- felismerés Mondat- elemzés Jelentés VilágismeretSzöveg reprezentáció Interakciós felfogás

10 Kognitív Tudományi Központ Budapesti Műszaki és Gazdaságtudományi Egyetem A megértés szakaszai

11 Visszatérő kérdések minden elemzési szinten 1. Az általánosítás: hangtípus, szófaj stb 2. Statisztika és szabályok viszonya 3. Alulról-felfelé és Felülről-lefelé áramlás 4. Helyzethez igazodás és tanulás

12 A kontextus hatások a hangok, szavak, és szerkezetek szintjén is Gyors a beszéd s gyors a megértés. Percenként 140-180 szó, 3-4 szó/sec. Mesterségesen felgyorsított beszéd: akár a normális sebesség kétszeresével mondott beszédet is megértjük. Pollack és Pickett (1964) természetes beszélgetésből kivágott egyedi szavakat izoláltan mutattak be: felismerhetetlenek voltak. Mondatba visszarakva tisztán felismerhetőek voltak. A nyelvtani szerkezetek és a statisztika teszi lehetővé, hogy jóslásokat tegyünk beszéd közben. A leggyakrabban használt 50 angol szó a beszélt szövegek 60%-át, az írottak 45%-át teszi ki. A kulccsal kinyitottam  ajtó STATISZTIKA A kulccsal kinyitottam  az ajtót NYELVTAN /Markó Alexandra felvétele/

13 A hangok világa Az általánosítás: hang  fonéma int invas  [n] eltűnik a három [n] eltérése ing Fonéma: jegyek halmaza ver-vér ver-per Sok vita: jegyek, fonémák, szótagok-e a gyors kategorikus észlelés alapjai Beszélők közötti általánosítás: mintavételen alapuló normalizálás

14 Példa az invarianciára: perceptuális találatok az inger eltérései ellenére [di] és [du] [d]-je eltérő Az átmenetet tekinti az észlelő rendszer Együtt a magánhangzóval Talán saját motoros mintára fordítja Nagyon gyors: 25-30/sec, szekvenciákat jegyes meg: téves – tevés

15 Tévedések: összekeverés zajban a képzési hasonlóság alapján (Miller és Nicely, 1955)

16 szinteredeti formameghallott formaértelmezés hangészlelésgőzös hajóközös hajóhang hasonlóság szófelismerésvélelemvédelemgyakoribb szó morfológiafejezfejesgyakoribb rag morfológialeszedték a zárakat hibás tagolás mondatelemzéskerget a lányodkergeti a lányodategyértelműsíté s jelentéshallod lámhallomásértelmezés szövegösszefügg és csak egy játékszercsak egy pár ékszer ékszerboltban Tévedések a szófelismerésen Gósy Mária gyűjtése

17 Statisztika és szabályok viszonya A hangok elvárt sorrendjei: * kp, tv Ritka kra pro Vajon ez segíti vagy nehezíti-e az észlelést? Statisztikai tény-e, hogy az – ik és az – ás szóvég gyakori, vagy nyelvtani, szabályalapú hatás?

18 Felülről-lefelé hatások a hangok feldolgozásában Hosszabb szegmens: könnyebben felismerhető Ugyanaz a k hang szóban (kalap) könnyebben észlelhető Broadbent és Ladefoged: Mi a következő angol szó? bit, bet, bat, but 1.: gyakorlás 2. és 3.: b¥t közepesen magas mesterséges hang Ha a felvezető mély (2.), akkor bit Ha a felvezető magas (3.), akkor bet

19 A korai kétnyelvű előnyei Kétnyelvűnél sűrűbb a szürke állomány a parietális kéregben Minél jobban tudja Minél korábban tanulta Bellugi, Bavelier: jelelő siket a bal halántéklebenyt a jelekre használja, bár jobbat is a tlri jelrendszer miatt

20 A szavak világa Tövek és végződések: a szavak felépítése barátomat barátomat Feladatok szegmentálástő felismerés Végződések kezelése felismerésösszegzés

21 Szavak felismerése és a mentális szótár Alaptények: gyakoriság, kontextus felülről-lefelé kutya – kuvasz Hozzáférési utak: akusztikus, grafémikus, közös. Általánosítás 1: a jelentés egy közös szótárban Általánosítás 2: a hó és a hav a Hóhoz kapcsol Általánosítás 3: a szófaj is tárolva van, s sok mindent elárul pl. kabát *ik hisz a kabát főnév Küszöb és alapszint változások: logogén, kohorsz, és konnekcionista modellek

22 A LOGOGÉN MODELL (Morton) Külön akusztikus és vizuális út Az elvárások és gyakorisági hatások érvényesek a küszöbökre: könnyebb felismerni A kutya kergeti … a MACSKÁT A kutya kergeti … a MAJMOT Nincsen benne preferencia a szó kezdetekre

23 Kohorsz modell: hallott szavak felismerése: már az első szótag alapján Aktiválódás minden kompatibilis szóra, majd kiválasztás A moziba megvette a je… jeget jegyet jegyet jegenye jelet Tévedés: A moziba megvette a jeges kávét. Visszamenés a bemenethez. Igazodás akkor erős, ha összefüggő a szöveg. Izolált szavaknál s értelmetlen szövegnél kevesebb elvárási hatás van.

24 A szintek kölcsönhatása a konnekcionista felfogásban egy konkrét szó (TÉR) felismerésénél Találatok és Tévedések összjátéka

25 kanári madár állat hattyú emlős Tovaterjedő aktivációs modell: A szavak a jelentés alapján izgalomba hozzák a hozzájuk kapcsolódó szavakat. Ez megjelenik asszociációkban, de a szófelismerés kontextus hatásaiban is sárga doktor orvos láz zöld ba bölcső ágy kórház nap folyó hőhő fű nővér lázálom

26 A szavak jelentésviszonyai és az agyi képviselet (Pulvermüller): van egy közös rész, a Wernicke halántéki terület, s a szó jelentésének megfelelő másodlagos rész Cselekvés szavak: dob, rúg, fog Vizuális szavak: néz, lát, tekint, bámul Akciós potenciálok az agyban Közös terület: halántéklebeny Látási: tarkó, mozgási: mozgató lebeny

27 Tanulási hatás: Korai kétnyelvűnél nagy átfedés, késeinél szeparált a szókincs leképezése az agyban (Kim et al, 1997)

28 Az alaktan kérdései Szegmentálást segíti: hangsúly elől, szóalak korlátok A töveket és a ragot dolgozzuk fel elsődlegesen (Juhász és Pléh), lassabban, mint az angol vagy olasz A végződés feldolgozás már menet közben, hallgatáskor végbemegy (Gergely és Pléh) Feldolgozás Elemző default Egészleges Gyakori Egyedi: házasság

29 A mondat megértés kérdései Mondatszerkezet Propozicionális elemzés Szerepek: Alany, Tárgy Szerkezetek ADOTT-ÚJ tagolás A lekvárt a FIÚ ette meg. Cselekvés érték Edd már meg a lekvárt !

30 Módszerek a kutatásban On line és off line eljárások: menet közben, társított feladat illetve utólagos feladat. Finomabb mércék és spontaneitás kérdése Mondatkutatási módszerek Off line Emlékezés Listaillesztés Kvázi online Lejátszás Kérdésre válasz Füzetben lapozgatás Hibajavítás Verfiikáció On line Önütemezett olvasás RSVP gyors bemutatás Szemmozgás Szó vagy hangkereső feladatok

31 Egészítsük ki magánhangzókkal és mássalhangzókkal ! m*d*sz*r*t*n* k*t*t**s*k *e*é**é* i*ő é* a**i *u*a*ó*

32 Találd meg a bal oldali mondatok párját a jobb oldalon ! Írd mellé a számát ! A kutya a macskát kergette el. A rendőr a katonát puszilta meg. Az orvos a kutyát kötötte be. A gépész a cipőt pucolta ki. A lány a vendéget hívta fel. 1. A gépész kipucolta a cipőt. 2. Az orvos bekötötte a kutyát. 3. A lány felhívta a vendéget. 4. A rendőr megpuszilta a katonát. A kutya a macskát elkergette.

33 Késleltetett felismerés (Sinkovits Balázs kísérlete ) AZONOS A toronyóra napok óta nem jelezte pontosan az időt. Egy potyautas került fel múlt éjjel a csempészhajóra. Egy csokor virág díszítette a szépen megterített asztalt. A tapasztalt autószerelő nem tudott segíteni a széttört autón. Egy potyautas került fel a csempészhajóra múlt éjjel. SZEMANTIKAI Az idős úr tanácsot kapott a ravasz ügyvédtől. Az önkéntes tűzoltók a tó partján gyakoroltak. Muzsikáló bohóc mulattatta a szünetben a közönséget. Képtelen történeteket mesélt a messziről jött ember. A ravasz ügyvéd tanácsot adott az idős úrnak.

34 FÓKUSZBA EMELÉS ÉS PUSZTA SZÓREND VÁLTOZÁS FÓKUSZ A rendőrkutya izgatottan kerülgette a sonkás szendvicset. A konyhában nagy sürgés-forgás jelezte a vendégek érkezését. A kislibák gágogva igyekeztek a patak felé. A sonkás szendvicset kerülgette izgatottan a rendőrkutya. SZÓREND Egy mérges bika kergette a legényeket a patak mellett.. Gyönyörű tortával lepte meg János a menyasszonyát. A füstös kocsmában ma reggel csak törzsvendégek voltak. Három lótolvajt üldözött a seriff a prérin. Egy mérges bika kergette a patak mellett a legényeket.

35 a semleges szórendi változások már két mondat után is ignorálódnak a fókuszba emelési információ még a leghosszabb vizsgált idő után is megőrződik

36 On line módszerek Hibázás és idő mint két lehetséges adat Olvasás: önütemezés, fixációs mozgások RSVP: Rapid Serial Visual Presentation Monitorozás: belső anyag pl. adott hang, szókezdő szótag irreleváns anyag, külső a mondathoz képest pl. kattanás felismerése, lokalizációja

37 Önütemezett olvasás: inkrementális A lusta A lusta tengerész A lusta tengerész vitte A lusta tengerész vitte át A lusta tengerész vitte át a hódokat. Nagy határoknál lelassul

38 Egy mondat RSVPvel

39 A magas

40 királynő

41 kizsákmányolta

42 a vacogó

43 rendőröket

44 a kertben.

45 Ellenőrzés Királynő kert

46 Verifikációs idők és hibák A 4 nem páros szám. A 2 páratlan szám. A 8 nem páratlan szám. A 9 nem páros szám.

47 A csillag nem a kereszt felett van.

48 + *

49 A csillag nem a kereszt alatt van.

50 * +

51 A propozicionális elemzés kérdései Mondatbeli szerep eldöntése: mit használunk? Szórend, rag, élőség Szabályok és Statisztika viszonya Tévedések a gyors elemzésben Nyelvek eltérései A mondatszerkezet felállításának elvei

52 Egy példa: Egyszerű tárgyas mondatok értelmezése Bates és MacWhinney, 1989 Nyelv Gyermek Felnőtt Magyar Élő > Rag > Szórend Rag > Szórend Török Rag > Szórend ? Élő ? Rag > Élő > Szórend Szerb Élő > Rag > Szórend Rag > Egyeztetés > Élő Warlpiri Élő > Rag > Szórend Rag > Élő > Szórend Holland Szórend > Rag > Élő Rag > Szórend > Élő Angol Szórend > Élő > Egyezt Szórend > Élő > Egyezt Francia Szórend > Élő Egyezt > Élő > Szórend

53 A különböző tényezők magyarázó értéke magyar gyermekeknél Megmagyarázott variancia A ceruza kergeti a lovat ló illetve ceruza

54 A propozicionális elemzés néhány elve rögzített struktúra elve Feri megette a levest és a főzeléket kiöntötte. Tévedések alapja. Azért fura, mert ugyanoda kapcsolom. jobbra kötés elve Láttam a rendőrt a távcsővel. Kerti ösvény mondatok A fiam kergeti a lányod. A lány kergeti a fiam. A fiam kergeti a lány. ? Statisztikai, gyakorisági elvek és a tényezők kölcsönhatása Láttam a rendőrt a bottal. Láttam a rendőrt a pisztollyal.

55 A szótár mint a nyitottabb rendszer (Pinker) Nyelvtan Lassan változik történetileg, STABILABB Szabályok Korán rögzül a gyermeknél Elülsőbb agyrészek Szótár Gyorsan változik, nyitott FLOPPI, SZÉVELD Statisztika Véglegesen nem zárul le a felnőttnél Hátsóbb agyrészek

56 ADOTT-ÚJ tagolás Példák a félreértelmezésekre (Tévedés) A fiú a NAGYMAMÁT hívta fel, s nem meglátogatta. A rendőrt a TOLVAJT tartóztatta le, s nem az ügyészség. Mi rossz itt? A Téves szervezés azért Téves, mert azonosítjuk az ÚJ információt, a szembeállított FÓKUSZT. Közvetlenül ige előtt, nyomaték, s az igekötő elválik * A SÖRT megitta a fiú. * A LÁNY a barátját kidobta. * A kalauz TEÁT kiöntött.

57 Cselekvés érték: Példák az egyenértékűségre Minden mondat kap egy cselekvés értéket is: Közlés, Kérés, Utasítás Átkulcsolások a társalgásban: Ide tudnád adni a tollat? Én ne tudnám ! Kérés: felszólító Csukd be ! szükséglet Nem kellene becsukni? szándék Nem akarod becsukni?

58 Nyelv és társas élet A cselekvésérték számítása mutatja: a nyelvet összetett társas helyzetekben használjuk, társas célokra A soklépéses kognitív működések társas szerepe irányítja a Tévedések kivédését: együttműködni akarunk, ezért ‘kiszámítjuk’, mit is akarhatott a partner Ebben az értelemben a nyelv a kooperáció mikrokozmosza