T.Gy. Beszedfelism es szint. 2010.04.13. 1 Beszédfelismerés és beszédszintézis Beszédszintézis alapok Takács György 11. előadás 2010. 04. 13.

Az előadások a következő témára: "T.Gy. Beszedfelism es szint. 2010.04.13. 1 Beszédfelismerés és beszédszintézis Beszédszintézis alapok Takács György 11. előadás 2010. 04. 13."— Előadás másolata:

1

2 T.Gy. Beszedfelism es szint. 2010.04.13. 1 Beszédfelismerés és beszédszintézis Beszédszintézis alapok Takács György 11. előadás 2010. 04. 13.

3 T.Gy. Beszedfelism es szint. 2010.04.13. 2 Mi a beszédszintézis? A természetes beszédlánchoz képest a beszédüzenetet küldő ember helyett egy intelligens eszköz (számítógép, telefonközpont, GPS alapú navigáló rendszer, mobiltelefon) kezdeményezi az üzenetet és beszédjel formájában közli a felfogó emberrel. Lehetőség szerint a beszédüzenet legyen természetes és érthető, mintha igazi ember mondta volna.

4 T.Gy. Beszedfelism es szint. 2010.04.13. 3 A beszédszintetizátorok alapvető osztályai

5 T.Gy. Beszedfelism es szint. 2010.04.13. 4 Megoldott kérdés-e a beszédszintézis, más szóval szöveg- beszéd átalakítás?

6 T.Gy. Beszedfelism es szint. 2010.04.13. 5 Igen Mert termékként állnak rendelkezésre megoldások. Mert jobb rendszerek beépített eleme (pl. OTP számlaegyenleg felolvasó, Hangposta, Windows XP) Mert könyvek leírják, iskolában tanítják….

7 T.Gy. Beszedfelism es szint. 2010.04.13. 6 Példa az XP rendszerben! Vezérlőpult/beszéd ….

8 T.Gy. Beszedfelism es szint. 2010.04.13. 7 NEM! Mert nem szeretik! Mert nem használják! Mert nem hozott komoly üzleti eredményt senkinek!

9 T.Gy. Beszedfelism es szint. 2010.04.13. 8

10 9

11 10 Elfogadjuk az ilyen szintetikus beszédet? Ha nem, akkor miért nem?

12 T.Gy. Beszedfelism es szint. 2010.04.13. 11 Az én válaszaim Nem is lehetett mindent megérteni (pl. 4:14 „A Reuters jelentése szerint a robbanás a Bagdad Karrada kerületében található Dzsabal Lubnan (Libanoni-hegység) szállodát döntötte romba.”) A szöveg-beszéd átalakítás nem „értette” azt amit mond. Azt sem tudta, hogy nekem mi lehet megértési probléma! Akadtak tényleges kiejtési hibák is! A beszéd több, mint elemek egymásutánisága! Hiányzottak a beszédfolyamat szükséges további tényezői közül a finom hangsúly, a dallam, a szünetek, a ritmus, a tempóváltások. Ezek az értelmezést is segítik, a beszédet emberivé, széppé teszik.

13 T.Gy. Beszedfelism es szint. 2010.04.13. 12 Friss hírek a hangportálon (2005. 03.30.) Hosszabb híranyag csemege1 csemege2 csemege3 csemege4 csemege5

14 T.Gy. Beszedfelism es szint. 2010.04.13. 13

15 T.Gy. Beszedfelism es szint. 2010.04.13. 14 Érdekesebb helyek a hálón! http://www.research.att.com/~ttsweb/tts/de mo.php#tophttp://www.research.att.com/~ttsweb/tts/de mo.php#top http://sayso.elan.fr/interactive_va.asp http://www.vakalap.hu

16 T.Gy. Beszedfelism es szint. 2010.04.13. 15 A beszédszintézis alapelemei ma Általános alapeszköz a PC - bőséges operatív memóriával, háttértárral, hangkártyával. Természetes beszéd alapelemeit tárolják, módosítják, összefűzik (concatenation). Mik legyenek a tárolt alapelemek? Teljes közlendő, mondatok, szavak, szótagok, hangok? Mik legyenek az összefűzési szabályok. Hogyan lehet olyan elemeket kialakítani, amelyek jól összefűzhetők és a prozódiai elemek is ráépíthetők? Mi az, amit át kell „fogalmazni”, előre le kell „fordítani” írásból beszédre felolvastatás előtt. Ami jó írott hír, az lehet nem jó emberi felolvasásra sem! Tehát hogyan lehet gépileg „érteni” a szöveget.

17 T.Gy. Beszedfelism es szint. 2010.04.13. 16 Néhány beszédminta elmélkedésre Nehezen érthető beszéd Jól érthető beszéd, pedig énekelt…..

18 T.Gy. Beszedfelism es szint. 2010.04.13. 17 A beszédhangok folytonos és diszkrét természete

19 T.Gy. Beszedfelism es szint. 2010.04.13. 18 Összefűzéses beszédszintézis A szintézis minősége annál jobb, minél kevesebb vágási ponttal áll össze a végső beszédrészlet. Ehhez nagyon nagy anyagot kel felvenni és ebből nehéz összeválogatni a legalkalmasabb elemeket. Ha kicsi az elemméret (pl. diád) nagyon sok az összefűzés. A prozódiai jellemzőket is rá kell ültetni (intenzitás, dallam, ritmus stb.) Nem csak a prozódiai jellemzők ráültetésének kivitelezése nehéz, hanem a tervezés a szöveg alapján.

20 T.Gy. Beszedfelism es szint. 2010.04.13. 19 Prozódiai elemek ráültetése hullámformaként tárolt és összefűzött elemekre PSOLA módszer (Pitch Synchronous Overlap Add) Első lépésben a zöngehelyek (pitch mark) kijelölése Második lépés a periódusok fázisviszonyainak átállítása koszinuszos összetevőkre – ez egy nem hallható manipuláció Harmadik lépésben a periódusok összébb tolhatók vagy széthúzhatók a dallamterv szerint. Az időtartamok periódusok ismétlésével vagy kihagyásával módosíthatók

21 T.Gy. Beszedfelism es szint. 2010.04.13. 20 Technical details Moulines & Charpentier, 1990 original waveform windowed waveform 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 1 4 7 10 13 16 19 shortened waveform 1 3 5 7 9 11 13 15 17 19 waveform with lower F0

22 T.Gy. Beszedfelism es szint. 2010.04.13. 21 Technical details 1 Segmental durations Segment alignment & PSOLA processing of durations : Alignment can be manual or automatic (with the help of speech recognition) keIeI min “…came in…”native keIeI in non-native m stretch shrink

23 T.Gy. Beszedfelism es szint. 2010.04.13. 22 Technical details 1+2 Segmental durations + F0 contour PSOLA processing of F0 on duration-treated utterance keIeI min native non-native keIeI min native F0 non-native F0

24 T.Gy. Beszedfelism es szint. 2010.04.13. 23 Technical details 1+3 Segmental durations + intensity contour Segment alignment & PSOLA processing of duations followed by intensity contour transfer keIeI min native keIeI in non-native m native intensity non-native intensity stretch shrink

25 T.Gy. Beszedfelism es szint. 2010.04.13. 24 Technical details 2+3 F0 contour + intensity contour “Reverse” segment alignment & PSOLA processing of F0 followed by intensity contour transfer keIeI min native keIeI in non-native m stretch shrink native F0 non-native F0 native intensity non-native intensity

26 T.Gy. Beszedfelism es szint. 2010.04.13. 25 Technical details Example Praat script native utterance non-native utterance synthetic non-native (durations+F0+intensity) synthetic non-native (durations+intensity) synthetic non-native (F0+intensity)

27 T.Gy. Beszedfelism es szint. 2010.04.13. 26 Technical details Comparison before synthesis – duration, F0 & intensity native utterance non-native utterance (blue & yellow)

28 T.Gy. Beszedfelism es szint. 2010.04.13. 27 Technical details Comparison after synthesis – duration, F0 & intensity native utterance synthetic non-native (blue & yellow)

29 T.Gy. Beszedfelism es szint. 2010.04.13. 28 Technical details Comparison after synthesis – duration & intensity native utterance synthetic non-native (blue & yellow)

30 T.Gy. Beszedfelism es szint. 2010.04.13. 29 PSOLA pitch-módosítás példa (időszerkezet maradt) Ének eredeti: Ének módosított: Ének „kiegyenesítve”:

31 T.Gy. Beszedfelism es szint. 2010.04.13. 30