Kiváltott agyi jelek informatikai feldolgozása (Bio-inspired signal processing and systems) (BMEVITMAV43) 1-4 óra anyaga Nemdeterminisztikus jelek gépi.

Az előadások a következő témára: "Kiváltott agyi jelek informatikai feldolgozása (Bio-inspired signal processing and systems) (BMEVITMAV43) 1-4 óra anyaga Nemdeterminisztikus jelek gépi."— Előadás másolata:

1 Kiváltott agyi jelek informatikai feldolgozása (Bio-inspired signal processing and systems) (BMEVITMAV43) 1-4 óra anyaga Nemdeterminisztikus jelek gépi feldolg. alapjai. A beszédelőállítás, hallás és beszédpercepció biológiai és kognitív háttere. Beszédfolyamat elemei. Vicsi Klára

2 Tantárgy célja: -- általánosságban az agyi aktivitáskor keletkező agyi jelek vizsgálata (összegzett elektromos aktivitás) -- a különböző agyi képalkotó eljárások megismerése. -- konkrétan a beszéd és hallás esetében lejátszódó jelfeldolgozási folyamatok vizsgálata, különös tekintettel a beszéd és a hallás, valamint a beszédmegértésnél keletkező agyi jelek vizsgálata. -- a „brain computer interface”-ek az invazív és nem invazív technológiák megismerése Általános áttekintő tudást ad, amely alapja lehet mélyebb, alaposabb ismeretek megszerzésének. EEG - fMRI Physiological Basis, Technique, and Applications Editors: Mulert, Christoph, Lemieux, Louis Springer 2010 Saeid Sanei: Adaptive Processing of Brain Signals 2013 John Wiley & Sons, Ltd Magyar beszéd Akadémiai kiadó 2010

3 Kerekesszék vezérlése EEG alapú beszédfelismerővel Center for Brain-Like Computing and Machine Intelligence, Shanghai 2013

4 Amerikai Egyesült Államokban Rhode Island-i egyetemen már két mozgásképtelen beteget is képessé tettek arra, hogy egy robotkart irányítsanak. A végső cél, hogy saját lebénult végtagjukat tudják ismét mozgatni. [Nature 2014] Paralysed woman moves robot with her mind

5 M e c h a n i k a i r e z g é s 20Hz-20 000Hz, 0-120dB E l e k t r o m o s j e l e k Max. néhány 100Hz, E l e k t r o m o s j e l e k µ V nagyságrend

6 1. A külvilág jelei A jelekkel foglalkozó tudomány meghatározása szerint a jel a valóság egy olyan, érzékszerveinkkel felfogható (látható, tapintható, hallható) darabja, jelensége, amely az emberi elme vagy értelem számára egy másik valóságdarabra, jelenségre utal. (George Klauss) A jelfolyamatot leíró függvényeket időfüggvényeknek szokás nevezni, és jelölésükre olyan függvényjelet alkalmaznak, amelynek argumentuma független változóként az időt is tartalmazza (pl.: f(t)).

7 Analóg jelek osztályozása Analóg jelek Determinisztikus jelek Periodikus jelek Harmonikus rezgések Általános periodikus jelek Nemperiodikus jelek Kváziperiodikus jelek Átmeneti folyamatok Nemdeterminisztikus jelek (sztochasztikus) Stacionárius jelekNemstacionárius jelek

8 Analóg jelek osztályozása Determinisztikusnak nevezünk egy folyamatot akkor, ha értékeinek változása minden tetszőleges időpontra előzetesen megadható, ill. kiszámítható, tehát ennek megfelelően zárt matematikai összefüggéssel leírható. Ellenkező esetben, ha ez a feltétel nem teljesül, a nemdeterminisztikus jelek csoportjáról beszélünk. Ezen jelek értékeinek változását főleg a statisztikai tulajdonságok határozzák meg.

9 Sztochasztikus folyamatok analízise 1. A teljesítménysűrűség-spektrum A véletlenszerű (sztochasztikus) jeleknek két, gyakorlati szempontból fontos csoportja van. Ezek a tiszta véletlenszerű jelek és a vegyes jelfolyamatok csoportja. Az utóbbi jeltípus nemdeterminisztikus folyamat mellett determinisztikus jelfolyamatokat is tartalmaznak. Véletlenszerű sztochasztikus jel (Fehérzaj) Zajjal terhelt harmonikus rezgés

10 Sztochasztikus folyamatok analízise 2. A sztochasztikus jelek egyik jellegzetessége a folytonos frekvenciaspektrum, továbbá a spektrum fázisának statisztikus ingadozása. Ebből az következik, hogy az ilyen jelet fázis nélküli függvénnyel, mégpedig a teljesítménysűrűség-spektrummal érdemes jellemezni. Definíciója: W( ω) = F(ω) F*(ω) W(ω) = [F R (ω) + jF 1 (ω)] [F R (ω) – jF 1 (ω)] = F (ω) + F (ω) = |F(ω)| 2 2R2R 2121 Ahol az F(ω) Fourier-transzformált valós részét F R (ω), képzetes részét F 1 (ω) jelöli, F*(ω) pedig az F(ω) konjugáltja. Ahol |F(ω)| =

11 Teljesítményszint vagy intenzitásszint sűrűség spektrum (Fourier-transzformált négyzete) egy meghatározott sávszélességre eső, meghatározott időintervallumban átlagolt teljesítmény vagy intenzitásszint [dB/Hz] eloszlásfüggvénye

12 2. Vizsgálandó Időfüggvényeink folytonos és időben változó jelek, amelyben a tranziens, közelállandó, és impulzusszerű jelek váltakozva követik egymást. Közelítés: A kvázistacioner részek sorozatának tekinthető, és spektrum elemzés a kvázistacioner részeken elvégezhető úgy, hogy az egymás után kijelölt pontokban (pl. 10-20ms-ként), mindig egy meghatározott időtartományban (pl. 25ms-ban) meghatározzuk a teljesítményspektrumot.

13 A gördülő spektrum A gyakorlati spektrális analízisben jól bevált az időfüggő spektrum (running- spectra) fogalma. Meghatározott időközönként, meghatározott időhosszúságú időablakban mérjük a jel teljesítmény spektrumát. Így kapjuk meg a gördülő teljesítményspektrumot, A TELJESÍTMÉNY- SPEKTROGRAMOT. Tehát a spektrogram a teljesítményspektrum időbeli változása, vagyis mutatja, a frekvencia-összetevők teljesítményszint eloszlásának időbeli változását. a(t) a digitális feldolgozásban egy véges (t 2 t 1 ) ideig tartó ablak. w(t)= a(-t) legtöbbször egy exponenciálisan felejtő súlyfüggvény, amely t<-t 1 tartományban zérus.

14 A l m a v a n a l á d á b a n Példa beszéd esetére Időfüggvény p(t) teljesítmény Spectrogrammok W( ω,t)

15 2. A nyelv és a beszéd

16 Az emberi nyelv elemei: a szinbólumok + a nyelvtan A nyelvi formában megjelenő gondolat 2 szimbólumrendszerben jelenik meg. Beszélt nyelv Írott nyelv fonéma legkisebb nyelvi egység betük további szimbólumok közösek: szótag szavak mondatok ?frázis? 16

17 A nyelv elemei: Szimbólumok + nyelvtan Szimbólumok a beszélt nyelvben: fonéma: legkisebb nyelvi egység, melynek cseréjével a szavak értelme megváltozik láp, lap, lop, lep; tér, tét, tév, lét; 14 magánhangzó 50 mássalhangzó szótag: érzékelés egysége szavak: néhány száz szó  több százezerig mondat: szerkezetének leírása  nyelvtan frázis: két levegővétel közötti szövegrész  értelem megkülönböztető szerepű, és a közlemény, grammatikai tagolási egységeiben érvényesül A királynőt megölni nem kell félnetek jó lesz ha mind beleegyeztek én nem ellenzem. 17

18 Nyelvtan: fonetika: fonémák biológiai, akusztikai, nyelvi leírása phonológia: fonémák, kapcsolódásuk egymásra hatásuk leírása morphológia: morfémák (legkisebb jelentéssel bíró egység) szavakká formálódásának leírása szintatika:mondattan, szemantika foglalkozik a jelentéssel szementika: szavak jelentéstana nagy szerep a szupraszegmentális elemeknek: hangsúly, hanglejtés, nyomaték, ritmus stb. 18

19 Beszédképzés Nyelvi megfogalmazás Hangképző szervi mozgások tervezése Hangképzőszervi izmok vezérlése

20 Beszédképzés DIVA modelje Frank H. Guenther: Neural Modeling and Imaging of the Cortical Interactions Underlying Syllable Production, Brain & Language (2006),

21 A beszéd információtartalma: Nyelvi információk: milyen nyelven beszél, milyen gondolatot közvetít, milyen stílusban adja elő, stb Nem nyelvi információk: ki beszél, férfi, nő, gyermek milyen a beszélő hangulata, fizikai állapota: fáradt, álmos, stb. egészségi állapota, stb.

22 Abeszéd fizikai leírása a. A beszédhang nyomás, beszédintenzitás, beszédteljesítmény (dB) Peff, Ieff, Weff sztatikus nyomás  1 atm  10 5 Pa beszéd nyomásingadozás  10 -2 10 -1 Pa visz.alap Suttogás 30-40dB, kiabálás 80-90dB Beszéd hangintenzitás változása ~50-60 dB  halk, hangos Beszéden belüli hangintenzitás változás ~30-35 dB  beszédhangok intenzitása különböző az energia nagyobb része a magánhangzókhoz (lásd később) kapcsolódik. legerősebb intenzitású az ‘á’, legkisebb intenzitású az ‘u’ és az ‘i’. A mássalhangzók nagy többsége kisebb intenzitású a magánhangzók és a ‘h’ a leggyengébb intenzitású hang.

23 b. Alapfrekvencia (Hz) Beszéd átlagos alapfrekvenciáját jelenti, férfiaknál 100-200 Hz, nőknél 150-300 Hz, gyermekeknél 250-600 Hz. Hangfekvés: átlagos alapfrekvencia Hangterjedelem: a beszélő legalacsonyabb és legmagasabb alapfrekvencia- értéke közötti különbség Intonáció

24 c. Hangszin [dB/Hz] A hang színezetére jellemző származtatott mennyiség a beszéd intenzitásszint sűrűség spektrum A beszédhangok megkülönböztetésében van lényeges szerepe. A megváltozott színkép tükrözője lehet a beszélő állapotának, jellemzi a beszélőt is; férfi, nő, vagy gyermek beszél-e. d. Időtartam, tempó, szünetek [sec] A beszédhangok, a beszédhangátmenetek időtartama a beszédhangok időtartam arányai fontos jellemzői a beszédnek. A beszédben az akusztikai összetevők a legváltozatosabb módon kombinálódnak, s lehetővé teszik, hogy a beszéd mint komplex akusztikai jelzés az árnyalt és differenciált közlés eszköze legyen. Például: - a beszélő hangosabban beszél, a frekvencia-összetétel is megváltozik. Nagyobb hangerő, a nagyobb frekvenciájú felhangok intenzitása nagyobb mértékben erősödik fel. - hangsúlyos beszédrészekben az alaphang magasabb.

25 Beszéd igen erősen redundáns A beszédjel összetett rezgés, amely időben folyamatosan változó, különböző rezgésmódok kombinációja. A beszéd egy biológiai produktum, nem determinisztikus, ahol a beszédjel időfüggvényének egyes megvalósulásai, pl. még ugyanazon személy kitartott ’á’ hangja időfüggvénye is esetről esetre más és más. Az emberi beszédfeldolgozás folyamatai azonban biztosítják, hogy az akusztikai különbségek ellenére a fonológiai döntések állandóak maradjanak!!!! A beszédjel fizikai jellemzésére hosszú időre vett átlagolás jó lehet, pl. teljesítmény vagy intenzitássűrűség spektrum.

26 e. Általános beszédszínkép

27 Vicsi Klára: Beszédfolyamat akusztikai fonetikai jellemzői.pdf Foniátria és Társtudományok, ELTE Eötvös kiadó, 2013. 2.1. fejezetVicsi Klára: Beszédfolyamat akusztikai fonetikai jellemzői.pdf (A pdf diavetített állapotban olvasható.)

28 ARTIKULÁCIÓS BÁZIS: A hangképző szervek jellemző mozgásainak összessége, amelyekkel a nyelvi rendszer elemeit a beszédben megvalósítjuk. A nyelvileg meghatározott artikulációs bázis a normatív anyanyelvi kiejtés feltétele.

29 3. Az emberi fül anatómiája

30 A fül akusztikai, mechanikai, hidrodinamikai elektromos jelátalakító, idegvezetési és agyi szerkezet.

31 Külső fül védő, hangoló szerep 2,5 – 2,7 cm hosszú, rezonancia ~ 3500 Hz-en. Középfül védő, illesztő szerep (A levegő és a belső fülben lévő folyadék között nagy az akusztikai impedanciabeli különbség. A középfül biztosítja az illesztést a két különböző közeg között olyan jól, hogy pl. 800 Hz-en gyakorlatilag veszteség nélkül jut be a mechanikai rezgés a belső fülbe, az akusztikai ellenállás megközelítőleg egyenlő a levegőével) csontocskák 2-8 mm, rezgést továbbítják a dobhártyától a belső fül hártyás ovális ablakára dobhártya Ø: 55 mm2 ovális ablakkerek ablak ovális ablak Ø: 3,2 mm2

32 Belső fül

33 (a)Egy kiterített csiga sematikus diagramja, amely az alaphártyát és az ovális és kerek ablakot szemlélteti. (b) Amikor a kengyel az ovális ablakhoz nyomódik, a nyomás lüktetése átterjed a csiga folyadékán keresztül a kerek ablakhoz, hullámokat keltve az alaphártyában (Rossing, 1990).

34 Az alaphártya maximális kimozdulása különböző a gerjesztő frakvencia függvényében (Békésy után, 1960) (Halott állatokon végzett kisérletek, és Békésy által készített mechanikus modell szerint)

35 (Helicotrema)

36

37

38 74. ábra (Tarnóczy, 1984)

39 A belső fül három lényeges működési tulajdonsága: a) a frekvencia az alaphártyán helyfüggvénnyé vált b) mechanikai energia elektroenergiát szabadít fel d) az idegek már nem az eredeti jelnek megfelelő (analóg) formát viszik át, hanem periodikusan egymást követő rövid kisüléseket indítanak el és vezetnek föl az agyba Impulzusszerű kisülések un. AKCIÓS POTENCIÁL: Intenzitás, impulzussorozatok sűrűségébe megy át. Impulzussűrűség egy ideghártyán ~ 800 Hz, nyugalmi helyzetben 1-100 Hz kb. Hangjel időkésése a dobhártyától az agykéregig 3-5 ms. Egy impulzusszerű kisülés: 1 ms időtartamú, néhány μV nagyságú (a csigából kilépve egy belső szőrsejtből 20 idegszál indul el) Fölmenő idegszálak: 95% a belső szőrsejtekből indul, 5% külső szőrsejtekből gyűjti az információt 10 külső szőrsejtet fog össze egy idegszál Leszálló rendszer: szabályzó utasításokat közöl az érzékelő szőrsejtnek oldalirányú gátlás alakul ki

40 Békésy halott állatokon kísérletezett Dallos élő cochleában végezte méréseit. Fölmenő idegrostokban mért hangolási görbék, amelyek éles frekvenciaszelektivítást mutattak. Baziláris membrán kitérése is jóval élesebb, mint Békésy feltételezte. Az aktív energiaigényes vibrációerősítő tevékenység hangjelenséggel jár – hallócsontokon keresztül kisugárzódik – otoakusztikus emisszió.

41 Hallóidegek agyba vezetése Mind a föl (afferens), mind a leszálló (efferens) ágak keresztezik egymást. A bal fülben beadott jel 80-85% a jobboldali agyfélteke homloklebenyébe fut és viszont.

42 4. Jelfeldolgozás a hallórendszerben A jelfeldolgozás a hallórendszerben két részre osztható: 1. az egyik jelfeldolgozási egység a periférikus hallórendszer (maga a fül), ahol a levegőben és a csontokban terjedő mechanikai rezgés elektromos impulzusokká alakul át, 2. a másik a hallási idegrendszer (agy).

43 4.1.Periférikus hallórendszer A fül, mint hallószerv akusztikus hangnyomásjelet dolgoz fel, először mechanikus rezgésmintázattá alakítva azt az alaphártyán, azután pedig ezt a mintát a szőrsejtekben keletkező impulzussorozat reprezentál, amelyet a hallóidegek továbbítanak az agy felé. Minden hallóidegszál egy bizonyos hangnyomás és frekvencia tartományon belül reagál. Maximális amplitúdó helyek a csiga alaphártyája mentén az ábrán feltüntetett frekvenciaértékekkel gerjesztve Hz-ben

44 Hat különböző idegszál hangolási görbéi egy macska hallószervében szemléltetik a reakcióküszöböket, egy 90dB-es 500 Hz –es szinusz hang gerjesztés esetén a frekvencia függvényében (Kiang és Moxon nyomán, 1974). Az idegi hangolási görbék élesednek ahogy az ideg pályákon az agy felé tartunk. Egy színuszos gerjesztő hang esetében:

45 Frekvencia válasz görbék tiszta színuszos hangpárokhoz. Amint a köztük lévő intervallum csökken, reakciógörbéik növekvő átfedést mutatnak. Egyidőben több színuszos gerjesztő hang esetén:

46 Kritikus sávok A kritikus sávok megfeleltethetőek a csiga frekvenciafelbontó képességének, ha ugyanis fülünket egyszerre több hang éri, és ezek egy kritikus sávon belül vannak, akkor intenzitásuk összegződik, de nem észleljük őket különálló hangként. Minden egyes kritikus sáv adatgyűjtési egységnek számít az alaphártyán. Kb. 24 kritikus sáv íveli át a hallási frekvenciatartományt, és ezzel az alaphártya régióit. Egy kritikus sáv 1,3 mm-es hosszúságú, és kb. 1300 neuront tartalmaz (Scharf, 1970).

47 A hallási (kritikus) sávszélességű szűrősor adatai A szűrő sorszáma Középfrekvenci a Alsó vágási frekvencia Felső vágási frekvencia Sávszélesség BarkHz 1 150 100 200 100 2 250 200 300 100 3 350 300 400 100 4 450 400 510 110 5 570 510 630 120 6 700 630 770 140 7 840 770 920 150 81000 9201080 160 9117010801270 190 10137012701480 210 11160014801720 240 12185017202000 280 13215020002320 320 14250023202700 380 15290027003150 450 16340031503700 550 17400037004400 700 18480044005300 900 195800530064001100 207000640077001300 [Zwicker, 1982.]

48 Periférikus hallásmodell

49 9.10.11.12. Bark szűrők átviteli jelleggörbéje

50 4.2. A hallási idegrendszer és az agy A hallóideg :kb. 30 000 afferens és efferens idegszálból áll, amelyeknek kb. 6%-a efferens, azaz a központi idegrendszerből a perifériás idegrendszerbe továbbít információt. Afferens sejtek: receptorsejtekként működnek. Efferens sejtek: - által kiváltott izomösszehúzódás aktívan befolyásolja az alaphártya viselkedését, például növelni tudja az alaphártya egyes frekvenciákra való fogékonyságát. - bizonyos irányból érkező hangokra fokozottan tudunk koncentrálni (szelektív térbeli hallás, koktélparti effektus).

51 A két homloklebeny nem szimmetrikus: bal féltekén időbeli megfejtés, beszéd-feldolgozás történik, jobb félteke a térbeli információ, színképi megfejtés helye (zene).

52 Az agykéreg baloldali nézete. Kék elsődleges hallókéreg A1 A hallókéreg 3 elkülönült részre van felosztva: Az elsődleges hallókéreg A1: tonotopikai szerveződésű, tehát bizonyos idegcsoportok más más frekvenciára érzékenyek. Azt tartják, hogy az agynak ez a része az ahol az alapfrekvencia és a hangosság meghatározása történik.

53 A másodlagos hallókéreg A2 a dallam és a ritmus feldolgozásáért felelős, valamint a beszédben a beszédhangok feldolgozásáért. A harmadlagos hallókéreg A3 a teljes zenei összbenyomásért felelős.

54 Left side of the brain showing the important regions of the brain for speech production like primary motor cortex, Broca’s area and Wernicke’s area Neurology for Physiology Students http://www.science.uwc.ac.za/physiology/neurology/neuro.cont.htm. Beszéd képzésnél és a beszédérzékelésénél szerepet játszó agyi területek

55 This part of the brain controls most movements of the human body Neurology for Physiology Students http://www.science.uwc.ac.za/physiology/neurology/neuro.cont.htm. Primary motor cortex.

56 Szó hallásánál, olvasásnál szerepet játszó agyi területek Wernicke-Geschwind-Model Dorit Ben Shalom and David Poeppel :Functional Anatomic Models of Language Neuroscientist 2007

57 http://www.sciencedirect.com/science/article/pii/S0010027703002282 A framework for understanding aspects of the functional anatomy of language G. Hickok and D. Poeppel: Dorsal and ventral streams: a framework for understanding aspects of the functional anatomy of language 2004

58 Ventrális információáramlás. Howard, Harry. Brain and Language. Retrieved 5 December 2015.

59 Dorzális információáramlás. Howard, Harry. Brain and Language. Retrieved 5 December 2015.

60

61 Elektronikus és mágneses agyi válaszok által felderített nyelvspecifikus fonéma-reprezentációk Risto Naatanen et al., Nature, Vol. 385, 1997. január 30. 1.a ábra. A nyilak a magánhangzó-ingerek helyét mutatják az F1-F2 térben. A finn és észt nyelvben a magánhangzók közösek, kivéve az ábrán szaggatott vonallal jelzett Ő hang, 1.b ábra. Az /e/, /ö/ és /o/ „jó fonéma”-reakciók százalékát mutatja a finn nyelvben (fent), az /e/, /ö/, /ő/ és /o/ reakciókat az észt nyelvben (lent) 10 pacienssel végzett viselkedési feladatban. Tehát a finn anyanyelvüeknél az Ő hang ingerre nem kaptak válasz reakciót, az észt anyanyelvüeknél viszont igen. A frekvenciaskálák logaritmikusak.

62 5. Szubjektív akusztika A hangélmény kialakulásával, leírásával foglalkozik

63 A fül nem lineáris átviteli rendszer. HANGÉLMÉNY KIALAKULÁSA fizikai paraméterek: hangérzet paraméterei: Intenzitás Frekvenci a Színkép Időtart am Irány stb. Φ érzék - szerv ideg- vezeté s agy- működé s Ψ Hangosság Hangmagasság Hangszínezet érzékelt időtartam érzékelt irány, stb. O = műveleti szabály

64 Fizikai paraméter Szubjektív minőség HangosságAlaphangHangszínTartósság Intenzitás++++++ Frekvencia+++++++ Színkép++++++ Időtartam++++++ A hangérzet minőségének a fizikai paraméterektől való függősége + = gyengén függő ++ = mérsékelten függő, +++ = erősen függő.

65 78. ábra

66 Észlelési küszöb: Különböző típusú hangérzet paraméterek éppen észlelhető különbségeiről akkor beszélünk, amikor a lehallgatók 75%-a már azt állítja az adott paraméterekről, hogy különböző. Intenzitásban:t  250 ms 60 dB intenzitásszintű zaj impulzus esetén, 0,3-1 dB, kisebb intenzitásszintnél 1-3 dB t  250 ms az ép észlelhető különbség még nagyobb érték Frekvenciában:t  100 ms szinuszos hang esetén1 kHz alatt1-3 Hz nagyobb frekvencián progresszíven nő: pl. 8 kHz-en100 Hz t  100 ms, vagy I  20 dB szinuszos hang esetén, ezek az értékek nagyobbak t  250 ms szinuszos hang esetén 850 megkülönböztethető frekvenciaszint lehetséges; keskenysávú zörej esetében ~ 132. t ~ 10 ms szinuszos hang esetén csak 120 frekvenciaszint lehetséges.

67 Azonos idejű elfedés Két, vagy több hang egyszerre szól

68

69 80. ábra

70

71 Időbeli elfedés Egymás után megszólaló hangok egymásra hatása

72

73 Összehasonlító hangosság Külön egymásután megszólaltatott hangok közötti hangosságviszonyt fejezi ki.

74 Egyenlő hangosságszintű görbék [phon] Színuszos hangokra v. keskenysávú zörejekre Kérdés: mekkora fizikai intenzitásszintűre kell beállítani a vizsgált hangot, hogy egyforma hangosságúnak érezzük, az 1000 Hz frekvenciájú X dB intenzitásszintű hanggal szabad hangtérben mérve, ahol a hangforrás a hallgatóval szemben volt elhelyezve. VONATKOZTATÁSI értékek: 1000 Hz-en X dB=X phon Egyéb frekvenciákon a fizikai és a szubjektív skála különböző

75 Look at the much steeper curves in the bass (red) of the new ISO 226:2003 standard.

76 Összetett hangok esetén: Fletcher kísérlet Együtt szól 10 db 60 dB-es szinuszos hang, melynek együttes intenzitás szintje 70 dB összesen. 10 db500 Hz 1000 Hz1500 Hz … 5000 Hz szinuszos hangok 60 dB 60 dB 60 dB 60 dB hang egyformán hangos 1 db 90 dB intenzitásszintű 1000 Hz-es Szinuszos hanggal

77

78 Összeg hangosság Egyszerre megszólaltatott hangok hangossága. Kritikus sávok összefoglaló képessége és az elfedés nagymértékben befolyásolja az érzetet. A jelenség igen összetett. a “son” összegzés érvényes ha elég távoli frekvencián szólnak a részhangok. ha az összetevők intenzitása nagyon különbözik – elfedés elfedés hangosságfüggő – erősebb hangoknál nagyobb mértékű

79 Example of loudness pattern (specific loudness) as a function of critical-bandwidth for a machine noise. Overall loudness is the area under the bold line and corresponds to the dash line Ordinate value (loudness level is 86 phons).

80 Hangmagasság Zenei (harmonikus) hangköz ~ arányos két hang frekvenciahányadosának logaritmusával. Szintérték! Oktáv – frekvenciaarány 2 ld2 = 1 oktáv Egyenletesen temperált félhang 12 részre osztást jelent, tehát frekvenciaaránya

81 85. ábra (Tarnóczy, 1982) Melodikus hangmagasság Kisérlet: Egymás után hallott hangoknál mikor lesz az egyik a másiknak fele, vagy kétszerese Egy kritikus sáv 100mel =1 Bark

82 Irányhallás, lokalizáció a) áramlási tér megzavarása (árnyékolás, elhajlások, stb) interaurális, monaurális intenzitáskülönbséget eredményez. (b) interaurális időkülönbség a hangútvonalak között. 3-4000 Hz környékén a fülkagyló irányítása is szerepet kap.

83 Térbeli hallás, irányérzékelés

84

85 Laterizáció esetén: a hallás minimum két, független kiértékelő mechanizmussal rendelkezik: a) az első az interaurális időeltolást értékeli ki a füljel vivőjében, ha a jelnek nincs 1.6 kHz feletti része. b) a második az interaurális szintkülönbségeket észleli ill. a füljel burkolójának interaurális időeltolását. Ez akkor dominál, ha a jel lényeges része 1.6 kHz felett van. Lokalizáció esetén: Síkhullámú beesés esetén a távolság növelésével a hangnyomás effektív értéke csökken. Lényeges, hogy a hangnyomás (P) effektív értéke a színképtől és a hangosságtól is függ. A hangosság növelésével a füljel szintje megnő, de a színkép sötétül (a kisfrekvenciák előjönnek, erősödnek szélessávú jel esetén). Ezek segédparaméterek a fül számára a hely meghatározásához. Az irányhallás, mivel a valós jelek többsége tartalmaz 1.6 kHz feletti komponenseket, ezért a b) kiértékelő mechanizmus szerepe lesz lényegesebb. Az interaurális szintkülönbségek 20 Hz-20 kHz-ig, az interaurális idődifferencia a finomstruktúrában 1.6 kHz-ig, a burkolóban 150 Hz-20 kHz-ig jelentős.

86 A hangnyomás átviteli függvénye (a hangforrástól a dobhártyáig) függ a dobhártya impedanciától, a hallójárattól, a fülkagyló és a fej együttes hatásától. Azt az átviteli függvényt, ami leírja az átvitelt különböző beesési irányokból a szabadtérből a hallójárat tetszőleges pontjáig (a dobhártyáig) a külső fül komplex átviteli függvényének nevezzük.

87 A külső fül rendszerleíró függvényei. Balra az impulzusválasz (HRIR), jobbra az abból számított átviteli függvény (HRTF) a bal és a jobb fülhöz, élő ember blokkolt hallójáratának bejáratán mérve „bal” (φ= - 90º) irányból

88 7. Beszédészlelés(percepció) és beszédmegértés A fonetikai szint beszédhangjait tehát a variabilitás jellemzi!!!!!! Azonban az absztrakt fonémák észlelése nem képzelhető el invariabilitás nélkül! Másképp hogyan lennénk képesek a beszédben előforduló sok száz hangot ötvennél kevesebb fonémához hozzárendelni? A beszédpercepcióval foglalkozó kutatások fő célja a beszédhangok képviselte sokféleségben azokat az ún. felismerési kulcsokat megtalálni, amelyek az emberi agy számára lehetővé teszik a releváns jegyek felismerését és a redundáns jegyek figyelmen kívül hagyását. Más szóval a beszédpercepció a pszicholingvisztikai modellek fonológiai és fonetikai szintje között található részfolyamatokat igyekszik leírni és modellezni.

89 A beszédmegértés a: Hanginger – hangészlelet – beszédészlelés – azonosítás – megértés A bejövő információ és az elraktározott információ közötti interakció eredménye.

90 Percepciós bázis Minden nyelvnek saját percepciós bázisa van – szoros korrelációban az artikulációs bázissal – az anyanyelv elsajátítása során alakul ki. Percepciós bázison azt a nyelv specifikus működés mechanizmust értjük, amelyek során az elhangzott közléssorozatot feldolgozzuk, mégpedig úgy, hogy a nyelvi sajátosságok a meghatározóak, és hatnak a fiziológiai rendszer működésére. (Nemser 71, Manszewski 75, Glucksberg-Danks 75)

91 A beszédészlelési folyamat működése - Akusztikai szint energia – hangosság, frekvencia – hangmagasság színkép - hangszín -Fonetikai szintű döntések például: F2 formáns határozza meg a magánhangzók hangmagasságérzetét F1 F2, formánsok határozzák meg a beszédhang típusát, az F3 inkább a beszélőre jellemző. 87. ábra

92 88. ábra (Vics) Spiráns hangok időtartam csökkentése (pl. CV kapcsolatban) azonos képzési helyen képzett affrikáták, majd zárhangok érzetét keltik.

93 Fonológiai szintű döntések például: Eva bátyja allergiás lett a [me:stØl]. Csak az értelmezés határozza meg hogy mézről, vagy mészről van e szó. A szegmentálás problémája: Nyelvspecifikus beszédészlelés és megértés folyamatainak funkciója a szegmentálás készsége az anyanyelvi elsajátítás során fejlődik ki szoros összefüggés az elhangzó beszéd akusztikumával.

94 nyelv- specifikus nyelvfüggetlen ASSZOCIÁCIÓK ÉRTELMEZÉSE BESZÉDMEGÉRTÉS szemantikaiszintaktikai elemzés BESZÉDÉSZLELÉS fonológiai szint fonetikai szint akusztikai szint HALLÁS BESZÉDMEGÉRTÉS HIERARHIKUS MODELLJE