Beszéd és érzelem Pázmány Péter Katolikus Egyetem, Információs Technológia Kar Beszédfelismerés és szintézis - előadás - 2007. április 12. Bárdi Tamás.

Az előadások a következő témára: "Beszéd és érzelem Pázmány Péter Katolikus Egyetem, Információs Technológia Kar Beszédfelismerés és szintézis - előadás - 2007. április 12. Bárdi Tamás."— Előadás másolata:

1

2 Beszéd és érzelem Pázmány Péter Katolikus Egyetem, Információs Technológia Kar Beszédfelismerés és szintézis - előadás - 2007. április 12. Bárdi Tamás

3 Péter Pázmány Catholic University, Department of Information Technology Czap László beszélőfej modellje örömszomorúság

4 Péter Pázmány Catholic University, Department of Information Technology Czap László beszélőfej modellje meglepetés harag

5 Péter Pázmány Catholic University, Department of Information Technology Kommunikáció általában Kommunikáció: üzenetváltások közös kód alapján kódolás és dekódolás is történik Verbális kommunikáció: a kód előzetes megállapodással lett közössé pl. nyelvek, siket jelnyelv, protokollok Nem verbális kommunikáció: van közös kód, de nem megegyezés eredménye ilyen az érzelmi kommunikáció nagyobb részt a közös alap általában biológialag örökölt

6 Péter Pázmány Catholic University, Department of Information Technology A kommunikáció csatornái Közvetlen emberi kommunikáció elmélete (Buda Béla): - Verbális csatornák: beszélt nyelv, egyezményes jelek - Nem verbális csatornák: vokális expresszió, tekintet, mimika, gesztusok, távolság, emblémák A hangzó beszéd egyaránt verbális és nem verbális A beszéd nem verbális tartalma nagyrészt a prozódiában jelenik meg

7 Péter Pázmány Catholic University, Department of Information Technology Kódosztás a csatornák között Brunswick lencséje: Az érzelem felismerése lassabb és bizonytalanabb ha csökkentjük az elérhető nem-verbális csatornák számát

8 Péter Pázmány Catholic University, Department of Information Technology Metakommunikáció Kommunikáció a kommunikációról Az emberi közlésfolyamat mindig kétszintű: egy akaratlagos és egy spontán, amely „minősíti” a direkt tartalmat, érzelmi viszonyulást fejez ki Nem tudunk „nem kommunikálni” Az indirekt – akarattól független – kommunikáció mindig őszinte Analóg – digitális párhuzam

9 Péter Pázmány Catholic University, Department of Information Technology Emóciók Homeosztázis: a biológiai szervezeteknek van egy egyensúlyi állapota, ha megbomlik igyekeznek helyreállítani Az emóciók az egyensúlyi célállapotot változtatják meg, hogy a szervezetet a túlélés szempontjából „optimális” állapotba kerüljön Az emócióknak erős hatása van a vegetatív idegrendszer működésére, ezen keresztül számos betegséget okozhat a nem megfelelő érzelmi élet

10 Péter Pázmány Catholic University, Department of Information Technology Szomatikus markerek Antonio Damasio elmélete az érzelmekről Az érzelmi állapotokhoz jellemző testi mintázatok tartoznak Elsődleges érzelmek: kialakításukban döntően kéreg alatti területek vesznek részt, bizonyos szenzoros input mintázatok esetén automatikusan váltódnak ki. Másodlagos érzelmek: kialakításukban a prefrontális kéreg is részt vesz, kiváltódásuk mentális képek közbeiktatásával történik

11 Péter Pázmány Catholic University, Department of Information Technology Féltekei asszimetriák A beszédképzés és megértés nagyrészt bal féltekés A beszéddallam feldolgozása inkább jobb féltekés Pell: jobb és bal féltekés sérült betegeket vizsgált. Eredményei alapján az érzelmi prozódia inkább jobb féltekés, a grammatikai inkább balféltekés Damasio: a jobb féltekei prefrontális kéreg döntő a másodlagos érzelmek kialakításában.

12 Péter Pázmány Catholic University, Department of Information Technology Emotional expressions Darwin (1872): az emlős állatok az emberhez hasonlóan fejezik ki érzelmeiket (közös származás) Emóciók szerepe: belső biológiai szabályozás, és a külső megfigyelő befolyásolása (kommunikatív) Ohala: leakage theory

13 Péter Pázmány Catholic University, Department of Information Technology Alapérzelmek Diszkrét emóció elméletek (Ekman és mások): Abból indul ki, hogy van néhány alapérzelem, amit jól felismernek az emberek és ezeket kéne gépileg is felismerni. Ezt a modellt az arckifejezések kutatóitól importálták a beszédkutatók. Nincs teljes egyetértés az alapérzelmek listájában, de az alábbiakat mindenki felsorolja: meglepetés, félelem, harag, öröm, szomorúság, undor Visszatérő kérdés: univerzálisak vagy kultúrális eredetűek? “A display rule specifies who can show what emotion to whom, when.” - Ekman

14 Péter Pázmány Catholic University, Department of Information Technology Alapérzelmek az arcon Vannak akaratlagosan nem mozgatható arcizmok

15 Péter Pázmány Catholic University, Department of Information Technology Folytonos érzelmi dimenziók Activation, Valence, Power, Intensity Feeltrace: „cimkéző” eszköz

16 Péter Pázmány Catholic University, Department of Information Technology Resources: acted emotions Neutral (declarative) Marilyn won nine million dollars

17 Péter Pázmány Catholic University, Department of Information Technology Resources: acted emotions Excitement Marilyn won nine million dollars

18 Péter Pázmány Catholic University, Department of Information Technology Resources: acted emotions Disappointment Marilyn won nine million dollars

19 Péter Pázmány Catholic University, Department of Information Technology Resources: acted emotions Hot anger Marilyn won nine million dollars

20 Péter Pázmány Catholic University, Department of Information Technology Resources: acted emotions Cold anger Marilyn won nine million dollars

21 Péter Pázmány Catholic University, Department of Information Technology Resources: acted emotions Sarcastic Marilyn won nine million dollars

22 Péter Pázmány Catholic University, Department of Information Technology Resources: acted emotions Afraid Marilyn won nine million dollars

23 Péter Pázmány Catholic University, Department of Information Technology Resources: acted emotions Impatient Marilyn won nine million dollars

24 Péter Pázmány Catholic University, Department of Information Technology Resources: acted emotions Sad Marilyn won nine million dollars

25 Péter Pázmány Catholic University, Department of Information Technology Resources: acted emotions Lifeless Marilyn won nine million dollars

26 Péter Pázmány Catholic University, Department of Information Technology Resources: real emotions Gyerekekről – felnőtteknek (Kossuth Rádió): - öröm: anyuka anyuka - szomorúság: nővérke

27 Péter Pázmány Catholic University, Department of Information Technology Resources: real emotions angry

28 Péter Pázmány Catholic University, Department of Information Technology Resources: real emotions sad

29 Péter Pázmány Catholic University, Department of Information Technology Resources: real emotions joy

30 Péter Pázmány Catholic University, Department of Information Technology Érzelmes Beszéd Adatforrások Érzelem „portré” (acted emotion): színészek felmondják a kért szöveget a kért érzelmi tartalommal előny: előírható a szöveg „Valódi” érzelmek (real emotion): önkénteseket beszéltetnek, közben igyekeznek hangulatilag befolyásolni előny: hitelesebb, a beszélő átéli az érzelmeit így a megfelelő fiziológiás folyamatok lejátszódnak Szintetizált beszéd: az elméletek igazolásához használják

31 Péter Pázmány Catholic University, Department of Information Technology Alapérzelmek megkülönböztetése Analysis of Variables (ANOVA): Petri Laukka, PhD Thesis, 2004

32 Péter Pázmány Catholic University, Department of Information Technology Akusztikai jellemzők

33 Péter Pázmány Catholic University, Department of Information Technology Akusztikai jellemzők

34 Péter Pázmány Catholic University, Department of Information Technology Categorical Perception

35 Péter Pázmány Catholic University, Department of Information Technology Emofilt system anger fear joy sad neutral

36 Péter Pázmány Catholic University, Department of Information Technology Voice Conversion USC SAIL: A prozódia mellett a spektrális jellemzőket is változtatták (LPC) neutralangryhappy sad Cabral: Voice quality transformation originalangryhappy sad fear

37 Péter Pázmány Catholic University, Department of Information Technology Szabály alapú rendszerek Loquendo: szótagok akusztikai jellemzőit veszi figyelembe neutralangryhappy sad Kobayashi: Sentence HMM + speaking style readingjoyrough sad

38 Péter Pázmány Catholic University, Department of Information Technology Alkalmazási lehetőségek Érzelmes beszéd szintézise és gépi felismerése ma még gyerekcipőben A szórakoztató iparban lenne rá igény: játék szoftverek, animációs filmek Oktató szoftverekben is, elsősorban gyerekeknek Ami már működik: annoyance detection – az automata call center kapcsolja a kezelőt ha már kellően ideges az ügyfél

39 Péter Pázmány Catholic University, Department of Information Technology Irodalom a beszéd és érzelem témához Buda Béla: A közvetlen emberi kommunikáció szabályszerűségei Buda Béla: Empátia Hámori József: Az emberi agy aszimmetriái Antonio Damasio: Descartes tévedése Geoffrey Miller: A párválasztó agy PhD értekezések (angolul): Marc Schröder, Petri Laukka, Raul Fernandez, Sylvie Mozziconacci

40 Köszönöm a figyelmet