Slide 1/11 Bp BelAmI – Workshop Beszédtechnológia Helyzetkép

Slide 2/11 Bp Áttekintés Cél: Beszédtechnológia elemek kidolgozása/optimalizálása AAL környezetre és mintaalkalmazások kidolgozása Feladatok  3.1. Részfeladat: Gépi beszédfelismerés AAL-ben  3.2. Részfeladat: Gépi beszédkeltés AAL-ben  3.3. Részfeladat: Beszédtechnológiai alkalmazások

Slide 3/11 Bp Részfeladat: Gépi beszédfelismerés AAL-ben  Eredmények ( ): AAL környezetben használható kapcsolt szavas felismerési modellek kidolgozása, optimalizálása. Egy mobil eszközön (Windows mobile) futó beszédfelismerő rendszer alkalmazhatóságának vizsgálata AAL környezetben.  További feladatok Szerver alapú és mobil technológiák összehasonlítása ……

Slide 4/11 Bp Részfeladat: Gépi beszédkeltés AAL-ben  Eredmények ( ): Köznapi magyar nyelvű szöveg előállítására alkalmas szoftver kidolgozása Android 2.1 operációs rendszer alá C programozási nyelvén es annak megoldása, hogy Java programokból elérhető legyen  További feladatok Érzelemkifejezés TTS Személy adaptív TTS ….

Slide 5/11 Bp Részfeladat: Beszédtechnológiai alkalmazások  Eredmények ( ): Készítettünk egy alkalmazást Android platformra, melynek segítségével a felhasználó a következő dolgokat csinálhatja: -Kipróbálhatja a TMIT-en fejlesztett magyar nyelvű TTS szervert (Profivox ) -Kipróbálhat kétféle beszédfelismerési módot: -Az egyik folyamatosan küldi a telefon mikrofonja által hallott hangmintákat a felismerő szervernek -A másik csak akkor küld hangmintákat, ha egy bizonyos küszöb fölötti a hangerősség -Mindkét esetben a felismert parancsszót megjeleníti a program, illetve annak megfelelő utasításokat hajthat végre (kisautó irányítása és TV távvezérlése volt eddig implementálva). -PAELIFE AAL projekt előkészítése, szakmai támogatási döntés megvan  További feladatok -Alkalmazói mintarendszer továbbfejlesztése (pl. okosTV bevonásával) -Más leágazó eredmények kidolgozása

Slide 6/11 Bp Gépi beszédfelismerés AAL környezetben Mihajlik Péter BME-TMIT

Slide 7/11 Bp A „hagyományos” beszédfelismerés:  Közelítő pontosságú beszéd-szöveg átalakítás Személyfüggetlenül, valós időben, beszélőfüggetlenül 7 hangrezgés “ …Köszönöm akkor mostantól él a hangpostafiókon. Igen és otthon és meghallgathatja kereshet a tartalom van…” gépi szövegátirat

Slide 8/11 Bp Beszédfelismerés AAL környezetben:  Közelítő pontosságú beszéd-szöveg átalakítás Személyfüggetlenül, valós időben, beszélőfüggetlenül 8 hangrezgés “ …Köszönöm akkor mostantól él a hangpostafiókon. Igen és otthon és meghallgathatja kereshet a tartalom van…” gépi szövegátirat

Slide 9/11 Bp Beszédfelismerés AAL környezetben:  Nagy megbízhatóságú legyen  Távoli mikrofon(ok) Alacsony SNR  Az artikuláció nem standard  Csak egyszerűbb beszédfelismerési feladatok Irányított dialógusban izolált szavak Kis számú kulcsszó folyamatos figyelése

Slide 10/11 Bp Megvalósított AAL felismerő rendszer  Távoli mikrofonok rendszere  Szerver alapú processzálás  Rendszeraktiváló kulcsszó folyamatos figyelése  Aktiválás után dialógussal irányított izolált szavas felismerés Újraélesítés, kiértékelés, rendszer-optimalizálás

Slide 11/11 Bp Alternatív kutatások  Mobil „szerver” Telefonvezérelt kisautó (WinCE) Telefonvezérelt TV (WinCE) Új irány: Android alapú felismerő  Mobil kliens a számításigényesebb (pl. LVCSR- Large Vocabulary Continuous Speech Recognition) alkalmazásokra  Mikrofon-tömbök?