Beszédfelismerés és beszédszintézis Spektrális módszerek a beszédfeldolgozásban Takács György 3. előadás 2014. 02. 18. Beszedfelism és szint. 2014.02.18.

Az előadások a következő témára: "Beszédfelismerés és beszédszintézis Spektrális módszerek a beszédfeldolgozásban Takács György 3. előadás 2014. 02. 18. Beszedfelism és szint. 2014.02.18."— Előadás másolata:

1 Beszédfelismerés és beszédszintézis Spektrális módszerek a beszédfeldolgozásban
Takács György 3. előadás Beszedfelism és szint

2 Tartalom Ismétlés A beszéd, mint lineáris idővariáns rendszer
Fourier-módszerek, spektrális alapfogalmak – mi az, amire léteznek eszközök (periodikus jel, egyszeri folyamat, sztochasztikus folyamat) A gördülő spektrum Kváziperiodikus jel jellemzése Fourier-sorok sorozatával Spektrum-burkoló, formáns Magánhangzók, felpattanó zárhangok jellemzői, lokusz Beszedfelism és szint

3 A természetes beszédlánc
Beszedfelism és szint

4 Beszédhang A legkisebb olyan egységek, amelyek sorozatával egy nyelvet megvalósító beszéd akármilyen részlete az agy számára reprodukálható, beszédhangnak nevezzük. A beszédhangok a beszéd olyan szegmensei, részletei, amelyeket a nyelvet beszélő egymástól elkülöníteni és felismerni teljes biztonsággal képes. A beszédhangok a nyelvre jellemzőek! Egyes nyelvekben a hangmagasság hajlítása is megkülönböztet beszédhangokat. Az élő beszéd olyan leírása, amely a beszéd hangzásának leírására törekszik – a fonetikai átírás. Ennek elterjedt rendszerei az APhI és a SAMPA. Beszedfelism és szint

5 A beszédhangok folytonos és diszkrét természete
Beszedfelism és szint

6 A beszéd szerkezete A beszéd egymástól megkülönböztethető elemek szervezett időbeni egymásutánisága – soros szerkezet. Elem lehet egy összefüggő mondanivaló, egy hosszabb szünetekkel elhatárolt beszédrész, egy mondat, egy szó, egy beszédhang. Egy ötven beszédhangból álló nyelvben (leszámítva, hogy nem minden hang mondható egymás után) kb. egymillió különböző tíz hangból álló szó képezhető. A beszéd szerkezete felülről gyakorlatilag nyitott, alulról zárt. Beszedfelism és szint

7 A fonéma Egy nyelv fonémakészlete elemek olyan minimális számosságú halmaza, amelyből minden szó jelentéshelyesen, de csak egyféleképpen állítható elő A fonémakészlet elemei a fonémák. Az azonos fonémákat képviselő beszédhangok az allofonok. Beszedfelism és szint

8 Beszedfelism és szint

9 Beszedfelism és szint

10 Beszedfelism és szint

11 Beszedfelism és szint

12 A beszéd, mint lineáris idővariáns rendszer
A beszéd, mint akusztikus jelenség egy rendszer bizonyos gerjesztésekre adott válasza gerjesztés válasz Lineáris idővariáns rendszer g(t) v(t) Beszedfelism és szint

13 Gerjesztések különböző helyeken Időben változó toldalékcső
válasz Gerjesztések különböző helyeken Időben változó toldalékcső H g(t) v(t) lineáris idővariáns rendszer Beszedfelism és szint

14 A gerjesztés és válasz kapcsolatát leíró általános kapcsolat
Ha a rendszer lineáris, akkor érvényes rá a szuperpozíció tétele, azaz több gerjesztésre adott válasz az egyes gerjesztésekre adott válaszok összege. Egy lineáris rendszer a magfüggvénnyel leírható, azaz létezik egy olyan magfüggvény, amellyel tetszőleges g(t) gerjesztésre adott v(t) válasz megadható A h magfüggvény lefutása függ attól, hogy a rendszert melyik időpillanatban érte a gerjesztés. A válasz egy adott időpillanatban a gerjesztésnek nemcsak a ugyanabban a pillanatban felvett értékétől függ (a rendszer „emlékezik”). Beszedfelism és szint

15 Lineáris időinvariáns rendszereknél a helyzet egyszerűbb:
Ebben az esetben h súlyfüggvény kapcsolatban áll a lineáris rendszer Átviteli karakterisztikájával, azaz: Ahol Av a válasz szinuszjel és Ag a gerjesztő szinuszjel amplitúdója Beszedfelism és szint

16 Beszedfelism és szint

17 Beszedfelism és szint

18 Beszedfelism és szint

19 Beszedfelism és szint

20 Beszedfelism és szint

21 Beszedfelism és szint

22 Beszedfelism és szint

23 Beszédjel spektrális jellemzésének nehézségei
Kezelhető periodikus függvényeknél a Fourier-sor, Egyszeri folyamatoknál a Fourier-integrál, stacionárius sztochasztikus folyamatoknál a spektrális sűrűség (az autokorrelációs függvény Fourier-transzformáltja A beszédjelnek csak rövid szakaszai sorolható be a fenti függvénytípusok valamelyikébe! Nem tudjuk hogyan csinálja a fül!!!! Bizonyosan végez valamifajta spektrális elemzést Csak véges szakaszok feldolgozása lehetséges gépi úton. A periódusidő meghatározása nehéz. Beszedfelism és szint

24 Beszedfelism és szint

25 Beszedfelism és szint

26 Beszedfelism és szint

27 Beszedfelism és szint

28 A vonalas spektrum burkolója értelmezhető úgy, mint egy
folytonos függvény, amelynek értékei megegyeznek a felharmonikus frekvenciákon a vonalas spektrum értékeivel, egyebütt pedig sinx / x típusú interpolációval állítható elő. Beszedfelism és szint

29 Formánsok A magánhangzók vonalas spektrumának burkolója több helyi maximummal rendelkezik. Egy helyi maximumot és környezetét formánsnak nevezzük. Szokásos jelölésük: F1, F2, F3, … FN Beszedfelism és szint

30 Magyar magánhangzók első és második formáns frekvenciái
Beszedfelism és szint

31 Beszedfelism és szint

32 Beszedfelism és szint

33 Beszedfelism és szint

34 Beszedfelism és szint

35 Beszedfelism és szint

36 Beszedfelism és szint

37 Beszedfelism és szint

38 Felpattanó zárhangok jellemzője
A rákövetkező magánhangzó formánsfrekvenciái a megelőző felpattanó zárhangra jellemző módon egy kezdő értékből indulnak ki és érik el a magánhangzóra jellemző állandósult értéket. Legjellemzőbb a második formáns frekvencia kezdőértéke, amelyet a nyelvészeti szakirodalom lokusz-nak nevez. Beszedfelism és szint

39 Beszedfelism és szint

40 Beszedfelism és szint