Az előadás letöltése folymat van. Kérjük, várjon

Az előadás letöltése folymat van. Kérjük, várjon

A beszédben megjelenő érzelmek és a prozódia – elsősorban a beszéddallam – kapcsolatá nak vizsgálata Oltványi Gábor József Oltványi Gábor József Önálló.

Hasonló előadás


Az előadások a következő témára: "A beszédben megjelenő érzelmek és a prozódia – elsősorban a beszéddallam – kapcsolatá nak vizsgálata Oltványi Gábor József Oltványi Gábor József Önálló."— Előadás másolata:

1

2 A beszédben megjelenő érzelmek és a prozódia – elsősorban a beszéddallam – kapcsolatá nak vizsgálata Oltványi Gábor József Oltványi Gábor József Önálló laboratórium 1 – beszámoló PPKE–ITK, Konzulens: Takács György, Bárdi Tamás

3 Prozódia a beszédben a beszéd szupraszegmentális akusztikai jegyeit leíró tudományága: több szegmentumon, azaz fonémán, vagy hangsoron átívelő jelenségek intonáció: intonáció: hanglejtés, beszéddallam, hangerőhangsúlyokbeszédritmus hangerő és hangsúlyok, beszédritmus, tagolás, sebesség, szünetek, hangszín hangszín

4 Diszkrét emóciók Ekman Ekman: alapérzelmek/diszkrét emóciók: meglepetés meglepetés félelem félelem harag harag öröm öröm szomorúság szomorúság undor undor

5 Folytonos érzelmi dimenziók Activity Valence Aktivitás Értékelés: jó/rossz Power („befolyás”) Intensity (intenzitás)

6 Érzelmek a beszédben „ Érződik a hanghordozásán, hogy …” „ Érződik a hanghordozásán, hogy …” itt különböző prozódiai jegyekre gondolunk itt különböző prozódiai jegyekre gondolunk elsősorban: beszéddallam, hangerő elsősorban: beszéddallam, hangerő nem egyértelmű… nem egyértelmű…

7 Érzelmes beszéd adatforrások beszédminta-adatbázisok: beszédminta-adatbázisok: színészek által fölmondott, eljátszott érzelmek színészek által fölmondott, eljátszott érzelmek riporterek naiv embereket beszéltetnek, befolyásolva érzelmeiket riporterek naiv embereket beszéltetnek, befolyásolva érzelmeiket stb. stb.

8 Célkitűzésünk Valódi, átélt érzelmek Valódi, átélt érzelmek eljátszott érzelmek nem jók eljátszott érzelmek nem jók Felnőtt, naiv beszélő Felnőtt, naiv beszélő gyerek: változóan, nem fejezi ki helyesen az érzelmeit gyerek: változóan, nem fejezi ki helyesen az érzelmeit szakértő, képzett beszélő: magyarázós – kontrolláltak az érzelmei szakértő, képzett beszélő: magyarázós – kontrolláltak az érzelmei Jó minőségű felvételek Jó minőségű felvételek telefonbeszélgetés nem jó telefonbeszélgetés nem jó

9 Anyagminták, földolgozás Magyar Rádió: Vendég a háznál c. műsora Magyar Rádió: Vendég a háznál c. műsora „gyerekekről felnőtteknek” – interjúk „gyerekekről felnőtteknek” – interjúk mondatos érzelmes részletek érzelmek váltakozásának vizsgálata, XML- tagek annotálása a szöveghez, diszkrét és folytonos érzelmi szempontok szerint. érzelmek váltakozásának vizsgálata, XML- tagek annotálása a szöveghez, diszkrét és folytonos érzelmi szempontok szerint szótagos szavak/kifejezések, amelyben érzelmes dallamvonulat figyelhető meg Praat : pitch markok bejelölése a meghallga- tásos kísérlethez (  beszédhang stimulusok) Praat : pitch markok bejelölése a meghallga- tásos kísérlethez (  beszédhang stimulusok)

10 1. példa: pármondatos szöveg elemzése – Közelről Lillákat se ismerek. De a lányom az abszolút lilis. Szóval... – Mi az, hogy lilis? Mit jelent az, hogy lilis, milyen egy Lili? – O'an-olyan nagyon nőcis. Olyan nagyon kis helyes kis csaj. És tényleg, első perctől kezdve, szóval, nagyon kis csajos volt, és tény- leg olyan 'an olyan lillás. d1.XML f1.XML

11 2. példa: rövid részlet elemzése Vocal fry „abszolút lilis”

12 További példák: # szöveg (kezdete) hangkép szö veg diszkrét.xml folytonos.xml d+f.xml műsor ideje 1.Közelről Lillákat se ismerek… 1.wav1.jpg1.txtd1.xmlf1.xmldf1.xml VaH, het- k13, 8:10-12:34 részből 1.1.abszolút lilis 1-1.wav1-1.png 1.2.csajos volt 1-2.wav1-2.png 1.3.de a lányom az 1-3.wav1-3.png 1.4.nőcis 1-4.wav1-4.png 2.Nem kérdeztünk nagyszülőket… 2.wav2.jpg2.txtd2.xmlf2.xmldf2.xml VaH, het- k13, 8:10-12:34 részből 2.1.föl se merült 2-1.wav2-1.png 2.2.nem mondták, hogy nem 2-2.wav2-2.png 2.3.névválasztás 2-3.wav2-3.png 3.Kikapcsolt az agyam… 3.wav3.jpg3.txtd3.xmlf3.xmldf3.xml VaH, pen -k13, 4:00-tól kezd. részből 3.1.valóban 3-1.wav3-1.png 3.2.a vége 3-2.wav3-2.png 4.’N tehát nehéz olyan… 4.wav4.jpg4.txtd4.xmlf4.xmldf4.xml VaH, pen -k13, 17:26-tól kezd. részből 4.1.el lehet 4-1.wav4-1.png 4.2.mondani 4-2.wav4-2.png 4.3.el lehet mondani 4-3.wav4-3.png 5.Anyuval-apuval? Neem, dehogy… 5.wav5.jpg5.txtd5.xmlf5.xmldf5.xml VaH, csu -k13, 11:20 körüli részből 5.1.neem, dehogy 5-1.wav5-1.png 5.2.megölnének 5-2.wav5-2.png 6.Hát, az az igazság, hogy … 6.wav6.jpg6.txtd6.xmlf6.xmldf6.xml VaH, het- k13, 10:50 körüli részből 6.1.voltam 6-1.wav6-1.png 6.2.elvetéltem 6-2.wav6-2.png

13 Összegzés a féléves munkáról Munka volt: Munka volt: Hosszú: végighallgatni a műsorokat Hosszú: végighallgatni a műsorokat Programrészlet a beszédhang stimulusokhoz Programrészlet a beszédhang stimulusokhoz Saját megérzések alapján végig taggelni a szövegeket Saját megérzések alapján végig taggelni a szövegeket XML (DTD, XSLT) fájlok pontos szintaxisa XML (DTD, XSLT) fájlok pontos szintaxisa Ez csak kis adatbázis, de bővíthető. Ez csak kis adatbázis, de bővíthető. Jövőterv (?) Jövőterv (?) nyelvtechnológia bevonása a beszéd és érzelmek kapcsolatának vizsgálatába nyelvtechnológia bevonása a beszéd és érzelmek kapcsolatának vizsgálatába

14 Hallás-teszt


Letölteni ppt "A beszédben megjelenő érzelmek és a prozódia – elsősorban a beszéddallam – kapcsolatá nak vizsgálata Oltványi Gábor József Oltványi Gábor József Önálló."

Hasonló előadás


Google Hirdetések