A beszédben megjelenő érzelmek és a prozódia – elsősorban a beszéddallam – kapcsolatának vizsgálata Oltványi Gábor József Önálló laboratórium 1 – beszámoló PPKE–ITK, 2007.12.17. Konzulens: Takács György, Bárdi Tamás http://digitus.itk.ppke.hu/~oltgajo/tan/7/onlab1/
Prozódia a beszédben a beszéd szupraszegmentális akusztikai jegyeit leíró tudományága: több szegmentumon, azaz fonémán, vagy hangsoron átívelő jelenségek intonáció: hanglejtés, beszéddallam, hangerő és hangsúlyok, beszédritmus, tagolás, sebesség, szünetek, hangszín
Diszkrét emóciók Ekman: alapérzelmek/diszkrét emóciók: meglepetés félelem harag öröm szomorúság undor
Folytonos érzelmi dimenziók Aktivitás („befolyás”) Power Activity Valence Intensity Értékelés: jó/rossz (intenzitás)
Érzelmek a beszédben „Érződik a hanghordozásán, hogy…” itt különböző prozódiai jegyekre gondolunk elsősorban: beszéddallam, hangerő nem egyértelmű…
Érzelmes beszéd adatforrások beszédminta-adatbázisok: színészek által fölmondott, eljátszott érzelmek riporterek naiv embereket beszéltetnek, befolyásolva érzelmeiket stb.
Célkitűzésünk Valódi, átélt érzelmek Felnőtt, naiv beszélő eljátszott érzelmek nem jók Felnőtt, naiv beszélő gyerek: változóan, nem fejezi ki helyesen az érzelmeit szakértő, képzett beszélő: magyarázós – kontrolláltak az érzelmei Jó minőségű felvételek telefonbeszélgetés nem jó
Anyagminták, földolgozás Magyar Rádió: Vendég a háznál c. műsora „gyerekekről felnőtteknek” – interjúk 1-2 mondatos érzelmes részletek érzelmek váltakozásának vizsgálata, XML-tagek annotálása a szöveghez, diszkrét és folytonos érzelmi szempontok szerint. 3-4 szótagos szavak/kifejezések, amelyben érzelmes dallamvonulat figyelhető meg Praat: pitch markok bejelölése a meghallga-tásos kísérlethez (beszédhang stimulusok)
1. példa: pármondatos szöveg elemzése – Közelről Lillákat se ismerek. De a lányom az abszolút lilis. Szóval ... – Mi az, hogy lilis? Mit jelent az, hogy lilis, milyen egy Lili? – O'an-olyan nagyon nőcis. Olyan nagyon kis helyes kis csaj. És tényleg, első perctől kezdve, szóval, nagyon kis csajos volt, és tény- leg olyan 'an olyan lillás. d1.XML f1.XML
2. példa: rövid részlet elemzése „abszolút lilis” Vocal fry
További példák: # szöveg (kezdete) hang kép szöveg diszkrét .xml folytonos .xml d+f .xml műsor ideje 1. Közelről Lillákat se ismerek… 1.wav 1.jpg 1.txt d1.xml f1.xml df1.xml VaH, 2007.04.02.het-k13, 8:10-12:34 részből 1.1. abszolút lilis 1-1.wav 1-1.png 1.2. csajos volt 1-2.wav 1-2.png 1.3. de a lányom az 1-3.wav 1-3.png 1.4. nőcis 1-4.wav 1-4.png 2. Nem kérdeztünk nagyszülőket… 2.wav 2.jpg 2.txt d2.xml f2.xml df2.xml 2.1. föl se merült 2-1.wav 2-1.png 2.2. nem mondták, hogy nem 2-2.wav 2-2.png 2.3. névválasztás 2-3.wav 2-3.png 3. Kikapcsolt az agyam… 3.wav 3.jpg 3.txt d3.xml f3.xml df3.xml VaH, 2007.04.06.pen-k13, 4:00-tól kezd. részből 3.1. valóban 3-1.wav 3-1.png 3.2. a vége 3-2.wav 3-2.png 4. ’N tehát nehéz olyan… 4.wav 4.jpg 4.txt d4.xml f4.xml df4.xml VaH, 2007.04.06.pen-k13, 17:26-tól kezd. részből 4.1. el lehet 4-1.wav 4-1.png 4.2. mondani 4-2.wav 4-2.png 4.3. el lehet mondani 4-3.wav 4-3.png 5. Anyuval-apuval? Neem, dehogy… 5.wav 5.jpg 5.txt d5.xml f5.xml df5.xml VaH, 2007.04.19.csu-k13, 11:20 körüli részből 5.1. neem, dehogy 5-1.wav 5-1.png 5.2. megölnének 5-2.wav 5-2.png 6. Hát, az az igazság, hogy … 6.wav 6.jpg 6.txt d6.xml f6.xml df6.xml VaH, 2007.05.21.het-k13, 10:50 körüli részből 6.1. voltam 6-1.wav 6-1.png 6.2. elvetéltem 6-2.wav 6-2.png
Összegzés a féléves munkáról Munka volt: Hosszú: végighallgatni a műsorokat Programrészlet a beszédhang stimulusokhoz Saját megérzések alapján végig taggelni a szövegeket XML (DTD, XSLT) fájlok pontos szintaxisa Ez csak kis adatbázis, de bővíthető. Jövőterv (?) nyelvtechnológia bevonása a beszéd és érzelmek kapcsolatának vizsgálatába
Hallás-teszt