Péter Pázmány Catholic University, Department of Information Technology Beszéd és érzelem Beszédfelismerés és szintézis 7. előadás március 13. Bárdi Tamás előadása nyomán

Péter Pázmány Catholic University, Department of Information Technology Czap László beszélőfej modellje örömszomorúság

Péter Pázmány Catholic University, Department of Information Technology Czap László beszélőfej modellje meglepetés harag

Péter Pázmány Catholic University, Department of Information Technology Kommunikáció általában Kommunikáció: üzenetváltások közös kód alapján kódolás és dekódolás is történik Verbális kommunikáció: a kód előzetes megállapodással lett közössé pl. nyelvek, siket jelnyelv, protokollok Nem verbális kommunikáció: van közös kód, de nem megegyezés eredménye ilyen az érzelmi kommunikáció nagyobb részt a közös alap általában biológialag örökölt

Péter Pázmány Catholic University, Department of Information Technology A kommunikáció csatornái Közvetlen emberi kommunikáció elmélete (Buda Béla): - Verbális csatornák: beszélt nyelv, egyezményes jelek - Nem verbális csatornák: vokális expresszió, tekintet, mimika, gesztusok, távolság, emblémák A hangzó beszéd egyaránt verbális és nem verbális A beszéd nem verbális tartalma nagyrészt a prozódiában jelenik meg

Péter Pázmány Catholic University, Department of Information Technology Kódosztás a csatornák között Brunswick lencséje: Az érzelem felismerése lassabb és bizonytalanabb ha csökkentjük az elérhető nem-verbális csatornák számát

Péter Pázmány Catholic University, Department of Information Technology Metakommunikáció Kommunikáció a kommunikációról Az emberi közlésfolyamat mindig kétszintű: egy akaratlagos és egy spontán, amely „minősíti” a direkt tartalmat, érzelmi viszonyulást fejez ki Nem tudunk „nem kommunikálni” Az indirekt – akarattól független – kommunikáció mindig őszinte Analóg – digitális párhuzam

Péter Pázmány Catholic University, Department of Information Technology Antonio Damasio elmélete különbségtételt tesz érzelmek (angolul emotion) és érzések (angolul feeling) között Az érzés e változások észlelése Az érzés lényege: "folytonos monitorozási folyamat", Damasio szerint az érzelmek fontos szerepet játszanak az emberi szervezet biológiai szabályozó működéseinek rendszerében, a homeosztázisban. az érzelem és érzés a biológiai szabályozás központi mozzanatai, ezek hidat alkotnak a racionális és nem- racionális folyamatok között, a kérgi és kéregalatti struktúrák között

Péter Pázmány Catholic University, Department of Information Technology Emóciók Homeosztázis: a biológiai szervezeteknek van egy egyensúlyi állapota, ha megbomlik igyekeznek helyreállítani Az emóciók az egyensúlyi célállapotot változtatják meg, hogy a szervezetet a túlélés szempontjából „optimális” állapotba kerüljön Az emócióknak erős hatása van a vegetatív idegrendszer működésére, ezen keresztül számos betegséget okozhat a nem megfelelő érzelmi élet

Péter Pázmány Catholic University, Department of Information Technology Szomatikus markerek Az érzelmi állapotokhoz jellemző testi mintázatok tartoznak. Az elsődleges érzelmek a "korai életben átélt érzelmek„, ezeknek alapja a személyes élettörténet perspektívája. A másodlagos érzelmek pedig a "felnőtt" érzelmek, amelyek a tárgyak és helyzetek osztályainak, valamint az elsődleges érzelmek összekapcsolásán alapulnak. Elsődleges érzelmek: kialakításukban döntően kéreg alatti területek vesznek részt, bizonyos szenzoros input mintázatok esetén automatikusan váltódnak ki. Másodlagos érzelmek: kialakításukban a prefrontális kéreg is részt vesz, kiváltódásuk mentális képek közbeiktatásával történik

Péter Pázmány Catholic University, Department of Information Technology Féltekei asszimetriák A beszédképzés és megértés nagyrészt bal féltekés A beszéddallam feldolgozása inkább jobb féltekés Pell: jobb és bal féltekés sérült betegeket vizsgált. Eredményei alapján az érzelmi prozódia inkább jobb féltekés, a grammatikai inkább balféltekés Damasio: a jobb féltekei prefrontális kéreg döntő a másodlagos érzelmek kialakításában.

Péter Pázmány Catholic University, Department of Information Technology Emotional expressions Darwin (1872): az emlős állatok az emberhez hasonlóan fejezik ki érzelmeiket (közös származás) Emóciók szerepe: belső biológiai szabályozás, és a külső megfigyelő befolyásolása (kommunikatív) Ohala: leakage theory: Often, communication is ambivalent: people communicate one thing verbally and the opposite non-verbally. Leakage refers to communicative incidents in which nonverbal signals betray the true content of contradictory verbal messages.

Péter Pázmány Catholic University, Department of Information Technology Alapérzelmek Diszkrét emóció elméletek (Ekman és mások): Abból indul ki, hogy van néhány alapérzelem, amit jól felismernek az emberek és ezeket kéne gépileg is felismerni. Ezt a modellt az arckifejezések kutatóitól importálták a beszédkutatók. Nincs teljes egyetértés az alapérzelmek listájában, de az alábbiakat mindenki felsorolja: meglepetés, félelem, harag, öröm, szomorúság, undor Visszatérő kérdés: univerzálisak vagy kultúrális eredetűek? “A display rule specifies who can show what emotion to whom, when.” - Ekman

Péter Pázmány Catholic University, Department of Information Technology Alapérzelmek az arcon Vannak akaratlagosan nem mozgatható arcizmok

Péter Pázmány Catholic University, Department of Information Technology Folytonos érzelmi dimenziók Activation, Valence, Power, Intensity Feeltrace: „cimkéző” eszköz

Péter Pázmány Catholic University, Department of Information Technology Resources: acted emotions Neutral (declarative) Marilyn won nine million dollars

Péter Pázmány Catholic University, Department of Information Technology Resources: acted emotions Excitement Marilyn won nine million dollars

Péter Pázmány Catholic University, Department of Information Technology Resources: acted emotions Disappointment Marilyn won nine million dollars

Péter Pázmány Catholic University, Department of Information Technology Resources: acted emotions Hot anger Marilyn won nine million dollars

Péter Pázmány Catholic University, Department of Information Technology Resources: acted emotions Cold anger Marilyn won nine million dollars

Péter Pázmány Catholic University, Department of Information Technology Resources: acted emotions Sarcastic Marilyn won nine million dollars

Péter Pázmány Catholic University, Department of Information Technology Resources: acted emotions Afraid Marilyn won nine million dollars

Péter Pázmány Catholic University, Department of Information Technology Resources: acted emotions Impatient Marilyn won nine million dollars

Péter Pázmány Catholic University, Department of Information Technology Resources: acted emotions Sad Marilyn won nine million dollars

Péter Pázmány Catholic University, Department of Information Technology Resources: acted emotions Lifeless Marilyn won nine million dollars

Péter Pázmány Catholic University, Department of Information Technology Resources: real emotions Gyerekekről – felnőtteknek (Kossuth Rádió): - öröm: anyuka anyuka - szomorúság: nővérke

Péter Pázmány Catholic University, Department of Information Technology Resources: real emotions angry

Péter Pázmány Catholic University, Department of Information Technology Resources: real emotions sad

Péter Pázmány Catholic University, Department of Information Technology Resources: real emotions joy

Péter Pázmány Catholic University, Department of Information Technology Érzelmes Beszéd Adatforrások Érzelem „portré” (acted emotion): színészek felmondják a kért szöveget a kért érzelmi tartalommal előny: előírható a szöveg „Valódi” érzelmek (real emotion): önkénteseket beszéltetnek, közben igyekeznek hangulatilag befolyásolni előny: hitelesebb, a beszélő átéli az érzelmeit így a megfelelő fiziológiás folyamatok lejátszódnak Szintetizált beszéd: az elméletek igazolásához használják

Péter Pázmány Catholic University, Department of Information Technology Alapérzelmek megkülönböztetése Analysis of Variables (ANOVA): Petri Laukka, PhD Thesis, 2004

Péter Pázmány Catholic University, Department of Information Technology Akusztikai jellemzők

Péter Pázmány Catholic University, Department of Information Technology Akusztikai jellemzők

Péter Pázmány Catholic University, Department of Information Technology Categorical Perception

Péter Pázmány Catholic University, Department of Information Technology Emofilt system anger fear joy sad neutral

Péter Pázmány Catholic University, Department of Information Technology Voice Conversion USC SAIL: A prozódia mellett a spektrális jellemzőket is változtatták (LPC) neutralangryhappy sad Cabral: Voice quality transformation originalangryhappy sad fear

Péter Pázmány Catholic University, Department of Information Technology Szabály alapú rendszerek Loquendo: szótagok akusztikai jellemzőit veszi figyelembe neutralangryhappy sad Kobayashi: Sentence HMM + speaking style readingjoyrough sad

Péter Pázmány Catholic University, Department of Information Technology Alkalmazási lehetőségek Érzelmes beszéd szintézise és gépi felismerése ma még gyerekcipőben A szórakoztató iparban lenne rá igény: játék szoftverek, animációs filmek Oktató szoftverekben is, elsősorban gyerekeknek Ami már működik: annoyance detection – az automata call center kapcsolja a kezelőt ha már kellően ideges az ügyfél

Péter Pázmány Catholic University, Department of Information Technology Irodalom a beszéd és érzelem témához Buda Béla: A közvetlen emberi kommunikáció szabályszerűségei Buda Béla: Empátia Hámori József: Az agyféltekék asszimetriái Antonio Damasio: Descartaes tévedése Geoffry Miller: A párválasztó agy PhD értekezések (angolul): Marc Schröder, Petri Laukka, Raul Fernandez, Sylvie Mozziconacci

Péter Pázmány Catholic University, Department of Information Technology Köszönöm a figyelmet