A projekt az Európai Unió támogatásával, az Európai Szociális Alap társfinanszírozásával valósul meg. TÁMOP-4.2.1/B-09/1/KONV „A felsőoktatás minőségének javítása a kutatás-fejlesztés-innováció-oktatás fejlesztésén keresztül a Debreceni Egyetemen” Kutatóegyetemi Workshop Debreceni Egyetem BTK Az ember-gép kommunikáció multimodális adatbázisai: adatok és interpretáció Pápay Kinga Általános és Alkalmazott Nyelvészeti Tanszék Kutatócsoport-vezető: Hunyadi László

A projekt az Európai Unió támogatásával, az Európai Szociális Alap társfinanszírozásával valósul meg. TÁMOP-4.2.1/B-09/1/KONV „A felsőoktatás minőségének javítása a kutatás-fejlesztés-innováció-oktatás fejlesztésén keresztül a Debreceni Egyetemen” Magyar audió-vizuális adatbázis (HuComTech Multimodal Database) felépítése Kutatási célok: A verbális és nonverbális kommunikatív események közötti átfedések vizsgálata. A spontán beszéd intonációs szerkezetének és ezek képi kifejeződéseinek vizsgálata a következő jelenségek kapcsán: beágyazások, beékelések, iterációk, hezitációk, újrakezdések; érzelmek/kognitív állapotok; társalgási fordulók, visszajelzések (backchannels). Az ember-gép kommunikáció természetességének, hatékonyságának növelése (pl. spontánbeszéd-prozódia bekapcsolása a beszédfelismerő rendszerekbe) ‏ Projekt első lépése volt: adatbázis-tervezés és gyűjtés Második lépés: annotáció Bevezetés

A projekt az Európai Unió támogatásával, az Európai Szociális Alap társfinanszírozásával valósul meg. TÁMOP-4.2.1/B-09/1/KONV „A felsőoktatás minőségének javítása a kutatás-fejlesztés-innováció-oktatás fejlesztésén keresztül a Debreceni Egyetemen” Adatbázis tulajdonságai 1. lépés: reprezentatív adatbázis gyűjtése és annotálása, amely: – a vizsgálandó jelenségeket megfelelő mennyiségben tartalmazza; – beszédfelismerő rendszer betanítására és tesztelésére alkalmas; – reprezentatív nem, életkor, származás szerint. 121 egyetemi polgár, 51 órányi hanganyag multimodális adatbázis (audió- és videófelvételek) ‏

A projekt az Európai Unió támogatásával, az Európai Szociális Alap társfinanszírozásával valósul meg. TÁMOP-4.2.1/B-09/1/KONV „A felsőoktatás minőségének javítása a kutatás-fejlesztés-innováció-oktatás fejlesztésén keresztül a Debreceni Egyetemen” Nem és életkor szerinti eloszlás

A projekt az Európai Unió támogatásával, az Európai Szociális Alap társfinanszírozásával valósul meg. TÁMOP-4.2.1/B-09/1/KONV „A felsőoktatás minőségének javítása a kutatás-fejlesztés-innováció-oktatás fejlesztésén keresztül a Debreceni Egyetemen” Származás szerinti eloszlás

A projekt az Európai Unió támogatásával, az Európai Szociális Alap társfinanszírozásával valósul meg. TÁMOP-4.2.1/B-09/1/KONV „A felsőoktatás minőségének javítása a kutatás-fejlesztés-innováció-oktatás fejlesztésén keresztül a Debreceni Egyetemen” Bőr-, haj- és szemszín szerinti eloszlás

A projekt az Európai Unió támogatásával, az Európai Szociális Alap társfinanszírozásával valósul meg. TÁMOP-4.2.1/B-09/1/KONV „A felsőoktatás minőségének javítása a kutatás-fejlesztés-innováció-oktatás fejlesztésén keresztül a Debreceni Egyetemen” Stúdió-felszerelés Stúdió környezet Audió felszerelés: 1 kardioid mikrofon/beszélő (Shure 16 A) ‏ hangrögzítő szoftver: Sound Forge Pro 10 44,1 kHz, 16 bit, wav formátumú fájlok Videó felszerelés: 1 HD (Sony HDRXR520VE) kamera rögzítette a beszéltetőt 2 HD (Sony HDRXR520VE) és 2 webkamera (Logitech Webcam Pro 9000) rögzítette a beszélőt

A projekt az Európai Unió támogatásával, az Európai Szociális Alap társfinanszírozásával valósul meg. TÁMOP-4.2.1/B-09/1/KONV „A felsőoktatás minőségének javítása a kutatás-fejlesztés-innováció-oktatás fejlesztésén keresztül a Debreceni Egyetemen” Stúdió-felszerelés

A projekt az Európai Unió támogatásával, az Európai Szociális Alap társfinanszírozásával valósul meg. TÁMOP-4.2.1/B-09/1/KONV „A felsőoktatás minőségének javítása a kutatás-fejlesztés-innováció-oktatás fejlesztésén keresztül a Debreceni Egyetemen” Audió- és videótartalom beszélőnként Fonetikailag gazdag mondatok és szavak felolvasása (20 mondat, 7 szó) ‏ Beágyazott mondatok felolvasása Társalgási szituáció: formális és infromális konverzáció a beszéltető és a beszélő között, természetes témákról – emóciók provokálása kérdésekkel Időtartam beszélőnként: kb. 4 perc felolvasás, 26 perc irányított spontán társalgás Beszélők adatainak rögzítése: beszélő ID, nem, életkor, származási település

A projekt az Európai Unió támogatásával, az Európai Szociális Alap társfinanszírozásával valósul meg. TÁMOP-4.2.1/B-09/1/KONV „A felsőoktatás minőségének javítása a kutatás-fejlesztés-innováció-oktatás fejlesztésén keresztül a Debreceni Egyetemen” Formális kérdések (állásinterjú) ‏ Meséljen az előző munkahelyeiről! Miért jelentkezett a hirdetésre? Milyen az a pozíció, amelyben nem dolgozna? Milyen az a pozíció, amelyben szívesen dolgozna? Miért gondolja, hogy az állás, amelyre jelentkezett, passzolna önhöz? Mi az elképzelése a fizetéssel kapcsolatban? Let's switch to English, tell me about your strong and weak points. Mit gondol, milyen személyiség szükséges ehhez a munkakörhöz? Melyiket részesíti előnyben: az egyedüli munkát vagy inkább a csapatmunkát? Hogyan képzeli el az ideális főnököt? Sértő-e az ön számára, ha irányítják? Van-e valami kérdése a munkával kapcsolatban? Mikor tudna kezdeni?

A projekt az Európai Unió támogatásával, az Európai Szociális Alap társfinanszírozásával valósul meg. TÁMOP-4.2.1/B-09/1/KONV „A felsőoktatás minőségének javítása a kutatás-fejlesztés-innováció-oktatás fejlesztésén keresztül a Debreceni Egyetemen” Informális kérdések (informális társalgás) ‏ Mesélj a legboldogabb élményedről vagy valamilyen boldog élményedről. Másrészt mi a legszomorúbb élményed? Mondj egy viccet! Van-e baráti társaság, akikkel eljártok? Van-e esetleg olyan barátod, akiben csalódtál? Volt-e már olyan, hogy kiraboltak? Hogy történt? Voltál-e már tanúja valamilyen balesetnek vagy bűncselekménynek? Hogy történt? Volt-e már halálfélelmed? Mi a véleményed a vallásról? Vallásos vagy-e vagy társadalmi szempontból mi a véleményed, hasznos-e?

A projekt az Európai Unió támogatásával, az Európai Szociális Alap társfinanszírozásával valósul meg. TÁMOP-4.2.1/B-09/1/KONV „A felsőoktatás minőségének javítása a kutatás-fejlesztés-innováció-oktatás fejlesztésén keresztül a Debreceni Egyetemen” Beszédannotáió Annotáció = szegmentálás + címkézés Beszélő adatainak rögzítése pl. 001FDebrecen20F* Audió file-ok elnevezési konvenciója: 001_F (formális társalgás) ‏ 001_I (informális társalgás) ‏ 001_E (olvasott beágyazott mondatok) ‏ 001_P (olvasott fonetikailag gazdag mondatok) ‏ Szegmentálás tagmondat szinten

A projekt az Európai Unió támogatásával, az Európai Szociális Alap társfinanszírozásával valósul meg. TÁMOP-4.2.1/B-09/1/KONV „A felsőoktatás minőségének javítása a kutatás-fejlesztés-innováció-oktatás fejlesztésén keresztül a Debreceni Egyetemen” Audió-annotációs eszköz Audió-annotációs szoftver: Praat (Boersma-Weenink) ‏

A projekt az Európai Unió támogatásával, az Európai Szociális Alap társfinanszírozásával valósul meg. TÁMOP-4.2.1/B-09/1/KONV „A felsőoktatás minőségének javítása a kutatás-fejlesztés-innováció-oktatás fejlesztésén keresztül a Debreceni Egyetemen” Audió-annotációs szintek és címkék

A projekt az Európai Unió támogatásával, az Európai Szociális Alap társfinanszírozásával valósul meg. TÁMOP-4.2.1/B-09/1/KONV „A felsőoktatás minőségének javítása a kutatás-fejlesztés-innováció-oktatás fejlesztésén keresztül a Debreceni Egyetemen” Transkripciós szintek 4. szint: beszélő szövege 5. szint: beszéltető szövege Szöveges annotáció szempontjából problémás területek: helyesírás, nagybetűk, írásjelek, számok, mozaikszavak, betűzés, megakadások (hezitációk, félbehagyott szavak, újrakezdések, nyelvbotlások), zaj (beszélőzajok és külső zajok), nehezen érthető részek, idegen szavak és mondatok

A projekt az Európai Unió támogatásával, az Európai Szociális Alap társfinanszírozásával valósul meg. TÁMOP-4.2.1/B-09/1/KONV „A felsőoktatás minőségének javítása a kutatás-fejlesztés-innováció-oktatás fejlesztésén keresztül a Debreceni Egyetemen” Transkripciós szimbólumok

A projekt az Európai Unió támogatásával, az Európai Szociális Alap társfinanszírozásával valósul meg. TÁMOP-4.2.1/B-09/1/KONV „A felsőoktatás minőségének javítása a kutatás-fejlesztés-innováció-oktatás fejlesztésén keresztül a Debreceni Egyetemen” Videó-annotációs eszköz

A projekt az Európai Unió támogatásával, az Európai Szociális Alap társfinanszírozásával valósul meg. TÁMOP-4.2.1/B-09/1/KONV „A felsőoktatás minőségének javítása a kutatás-fejlesztés-innováció-oktatás fejlesztésén keresztül a Debreceni Egyetemen” Videó-annotációs címkék

A projekt az Európai Unió támogatásával, az Európai Szociális Alap társfinanszírozásával valósul meg. TÁMOP-4.2.1/B-09/1/KONV „A felsőoktatás minőségének javítása a kutatás-fejlesztés-innováció-oktatás fejlesztésén keresztül a Debreceni Egyetemen” Annotációk ellenőrzése L ehetséges címkék automatikus ellenőrzése Szegmentumhatárok ellenőrzése (timestamp-ek elhelyezése megfelelő-e) ‏ Címkék és szöveges annotáció ellenőrzése (transkripciós szabályok konzisztens használatának ellenőrzése, helyesírás ellenőrzése) ‏ Videó-annotációs szegmentumok és címkék ellenőrzése

A projekt az Európai Unió támogatásával, az Európai Szociális Alap társfinanszírozásával valósul meg. TÁMOP-4.2.1/B-09/1/KONV „A felsőoktatás minőségének javítása a kutatás-fejlesztés-innováció-oktatás fejlesztésén keresztül a Debreceni Egyetemen” Címkestatisztikák Audió címkék statisztikái – az egyes címketípusok gyakoriságának összehasonlítása: Formális és informális társalgás esetében Férfi beszélők és női beszélők esetében Kisebb és nagyobb településről (> fős) származó beszélők esetében 22 év alatti és 22 évesnél idősebb beszélők esetében Beszéltető backchannel-statisztikája beszélőnként Képi címkék audió címkékhez való kapcsolódásainak statisztikája, illetve a különböző audió szintek (IP, emotion, discourse) címkéinek egymáshoz kapcsolódásának statisztikája

A projekt az Európai Unió támogatásával, az Európai Szociális Alap társfinanszírozásával valósul meg. TÁMOP-4.2.1/B-09/1/KONV „A felsőoktatás minőségének javítása a kutatás-fejlesztés-innováció-oktatás fejlesztésén keresztül a Debreceni Egyetemen” Következő lépések Annotáció befejezése (eddig: 44 beszélőnyi annotált audió – 18 ellenőrzött, 17 beszélőnyi annotált videó) ‏ Címkestatisztikák véglegesítése Prozódiai szabályok felállítása Videójelek vizsgálata a prozódiai szabályokra gyakorolt hatásuk szempontjából (statisztikák alapján) ‏ IP kategóriák véglegesítése mérések alapján (F0, E) ‏ Prozódiai szabályok véglegesítése Prozódiai szegmentáló (Vicsi-Szaszák ) betanítása és tesztelése a teljes hanganyaggal Beszéltető visszajelzéseinek (backchennels) vizsgálata a beszélők hatásai szempontjából

A projekt az Európai Unió támogatásával, az Európai Szociális Alap társfinanszírozásával valósul meg. TÁMOP-4.2.1/B-09/1/KONV „A felsőoktatás minőségének javítása a kutatás-fejlesztés-innováció-oktatás fejlesztésén keresztül a Debreceni Egyetemen” Az IP-szint feldolgozása

A projekt az Európai Unió támogatásával, az Európai Szociális Alap társfinanszírozásával valósul meg. TÁMOP-4.2.1/B-09/1/KONV „A felsőoktatás minőségének javítása a kutatás-fejlesztés-innováció-oktatás fejlesztésén keresztül a Debreceni Egyetemen” Kutatóegyetemi Workshop Debreceni Egyetem BTK Köszönöm a figyelmet!