T.Gy. Beszedfel 2013. 03. 20.1 Beszédfelismerés és beszédszintézis Beszédjel-tömörítés Takács György 7. előadás.

Az előadások a következő témára: "T.Gy. Beszedfel 2013. 03. 20.1 Beszédfelismerés és beszédszintézis Beszédjel-tömörítés Takács György 7. előadás."— Előadás másolata:

1 T.Gy. Beszedfel 2013. 03. 20.1 Beszédfelismerés és beszédszintézis Beszédjel-tömörítés Takács György 7. előadás

2 T.Gy. Beszedfel 2013. 03. 20.2 Minek tömöríteni a beszédjelet, hiszen a rendelkezésre álló sávszélesség ma már nem korlátoz?

3 T.Gy. Beszedfel 2013. 03. 20.3 Minek tömöríteni a beszédjelet – válaszaim: Nagyon korlátozott a sávszélesség a rádiótelefonra rendelkezésre álló sávokban (a mai forgalomsűrűségnél). Nagy az árverseny a transzkontinentális összeköttetéseken Korlátos, de főként nem garantált az interneten rendelkezésre álló sávszélesség….. Korlátos a beszédjel tárolásához rendelkezésre álló kapacitás (pl. diktafon funkció mobiltelefonnál…) Olimpiai közvetítések kommentátor hangjait TV hangminőségben telefonvonalon kell továbbítani….(ma jellemző az 1kép+100hang arány) A beszédjelet a jellegzetes átviteli hibákkal szemben ellenállóvá kell tenni (Fading –rádiós átvitelnél, csomagvesztés -- IP telefonnál)

4 T.Gy. Beszedfel 2013. 03. 20.4 Mekkora redundancia van a beszédjelben? Hány bitet kell átvinni legalább? (A digitális telefonátvitelben 8kHz mintavétel és 8 bites minta a szabványos > 64kbit/s)

5 T.Gy. Beszedfel 2013. 03. 20.5 Mekkora a redundancia – válaszaim beszédkeltés, beszédszintézis megfontolásból: A leggyorsabb beszéd átlagosan kb. 10 beszédhang/s A kb. 50 beszédhang van nyelvenként (angolban kb. 25) 1 beszédhang információ tartalma kb. 0,5 bit (az egyes beszédhangok előfordulási gyakorisági értékei miatt) Eredmény kb. 250 (angolban 125) bit/s

6 T.Gy. Beszedfel 2013. 03. 20.6 Mekkora a redundancia – válaszaim beszédérzékelés, beszédfelismerés megfontolásból: Az emberi agy teljes folyamatos információ feldolgozó képessége kb. 50 bit/s Ebből az akusztikai információ befogadási sebesség kb. 30 bit/s

7 T.Gy. Beszedfel 2013. 03. 20.7 Miből fakad a nagyságrendi eltérés?

8 T.Gy. Beszedfel 2013. 03. 20.8 Miből fakad a nagyságrendi eltérés – válaszaim: Amikor én Önök elé állok mit szoktam mondani első mondatban? Mekkora új információt hordoz Önök számára, ha ismét elmondom? A nyelv (mint jelrendszer) szintaktikája miatt (milyen szavak vannak a szótárban, milyen szabályok szerint kapcsolódhatnak egymáshoz, milyen a nyelvtani megkötöttségek) – mekkora már a lehetséges és tényleg használt szimbólum stringek aránya??? Mekkora az egymás mellé sorsolható és a tényleg kimondható beszédhang stringek aránya???? Ha már a második magánhangzónál tartunk mekkora a magánhangzó rákövetkezésének esélye????? Az eltérés mértéke attól függ, hogy milyen mély nyelvi elemzésbe megyünk bele, mennyire értjük az üzenetet, mennyire személyes az információs kapcsolat…. Ha a tényleges legmélyebb, személyes szintre megyünk le – még a 30 bit/s is alig jön ki – tehát nincs eltérés!!!!!

9 T.Gy. Beszedfel 2013. 03. 20.9 Az emberi információ-feldolgozás egy általános modellje Forrás: Christopher D. Wickens and Justin G. Hollands, Engineering Psychology and Human Performance, Third ed. (Upper Saddle River, NJ: Prentice Hall, 2000)

10 T.Gy. Beszedfel 2013. 03. 20.10 A természetes beszédlánc

11 T.Gy. Beszedfel 2013. 03. 20.11 A beszédhangok folytonos és diszkrét természete

12 T.Gy. Beszedfel 2013. 03. 20.12

13 T.Gy. Beszedfel 2013. 03. 20.13 A mai beszédtömörítőknek melyik beszédlánc-elem tulajdonságait kell kihasználniuk? A nyelvi folyamatok szabályait és háttérismereteit? A beszédkeltés folyamatának kötöttségét? A hallási folyamat megkötöttségeit? Az agyi beszédmegértési folyamat megkötöttségeit? Miért????

14 T.Gy. Beszedfel 2013. 03. 20.14 Mit várunk a beszédtömörítőktől? Értse amit mondunk – nem! Tudja milyen nyelven beszélünk – nem! A beszédképzési vagy beszédfelfogási megközelítés jelenti az elvi határt a tömörítésben? Nyilvánvalóan a képzési megfontolások jelenthetik az elvi határt, azaz a kb. 250 bit/s elvi határértéket!

15 T.Gy. Beszedfel 2013. 03. 20.15 Hol tart ma a beszédtömörítés gyakorlata az elvi határértékhez képest? A laboratóriumi rendszerek lementek 1 kbit/s alá! Ami az Önök zsebében most ott lapul, az 5,6 kbit/s értéket tudja (half rate codec) Nyilvános rendszerek alkalmazásaiban legyen szabványos, realizálható, hibatűrő, minőség/sávszélesség aránya szerint skálázható – és ésszerű áron megvalósítható!!!!.

16 T.Gy. Beszedfel 2013. 03. 20.16 Semmi tömörítés: DÉL Tömörítés abszolút nullára: ÉJFÉL Shannon szerinti telefon 13 óra (96000bit/s) GSM FULL RATE 22 óra 29 perc (13000 bit/s) GSM HALF RATE 23 óra 18 perc (5600 bit/s) Laboratóriumi csúcs 23 óra 51 perc 1000bit/s Elvi kiejtési határ 23 óra 58 perc 250 bit/s

17 T.Gy. Beszedfel 2013. 03. 20.17 "A lathe is a big tool. Grab every dish of sugar." Eredeti 2400 bit/s

18 T.Gy. Beszedfel 2013. 03. 20.18

19 T.Gy. Beszedfel 2013. 03. 20.19

20 T.Gy. Beszedfel 2013. 03. 20.20 Közelítő feltételek után a csőben terjedő hanghullámokat leíró egyenletek: Ahol: p – hangnyomás, u -- térfogatsebesség ρ – a levegő sűrűsége c – a levegőben terjedő hang sebessége

21 T.Gy. Beszedfel 2013. 03. 20.21 (a) The vocal tract, modeled as a single one-dimensional acoustic tube of varying cross-sectional area and (b) an eight tube model suitable for discretization

22 T.Gy. Beszedfel 2013. 03. 20.22 Egy állandó keresztmetszetű kis szakaszra: A(x,t)=A 0 Emlékezzünk a sodrott érpárakat leíró egyenletek alakjára

23 T.Gy. Beszedfel 2013. 03. 20.23 Egy keresztmetszetváltás és a csatlakozó csőszakaszok viszonyai

24 T.Gy. Beszedfel 2013. 03. 20.24 Egy állandó keresztmetszetű szakaszon a haladó hullámok csak késleltetést szenvednek, ezért A keresztmetszetváltásnál felírható a folytonossági egyenlet Bevezetve a reflexiós tényezőt:

25 T.Gy. Beszedfel 2013. 03. 20.25 Egy keresztmetszetváltás és a hozzá kapcsolódó szakaszok térfogatsebesség viszonyai folyamatábrában

26 T.Gy. Beszedfel 2013. 03. 20.26 Térfogatsebesség viszonyok a cső végén

27 T.Gy. Beszedfel 2013. 03. 20.27 Térfogatsebesség viszonyok a cső elején

28 T.Gy. Beszedfel 2013. 03. 20.28 A toldalékcső modellje egyenletesen felosztott, állandó keresztmetszetű csőszakaszokkal

29 T.Gy. Beszedfel 2013. 03. 20.29 Hogyan határozhatók meg a csőmodell paraméterei a beszédjel mintáiból?

30 T.Gy. Beszedfel 2013. 03. 20.30 Lineáris predikció alapok A beszédjel n-edik mintája becsülhető a megelőző p beszédminta lineáris kombinációjával ahol az α i lineáris predikciós együtthatók hordozzák a jelenségre vonatkozó előismereteket, tapasztalatokat. p -- a prediktor fokszáma

31 T.Gy. Beszedfel 2013. 03. 20.31 A predikció pontatlanságát jellemzi az predikciós hiba A predikciós hiba általában mintáról mintára változik! Gyakorlati feladatoknál a predikálandó jelenséget időszakaszokra bontjuk és egy-egy szakaszban úgy határozzuk meg az α i értékeket, hogy a predikciós hiba négyzetösszege minimális legyen.

32 T.Gy. Beszedfel 2013. 03. 20.32 Ez a négyzetes hiba az [n 0, n 1 ] tartományra vonatkozik! A z eredeti jel, predikált jel, hibajel értelmezhető úgy is, mint a predikciós együtthatókkal leírt fizikai rendszerek be- és kimeneti jelei.

33 T.Gy. Beszedfel 2013. 03. 20.33

34 T.Gy. Beszedfel 2013. 03. 20.34

35 T.Gy. Beszedfel 2013. 03. 20.35 A PARCOR eljárás

36 T.Gy. Beszedfel 2013. 03. 20.36

37 T.Gy. Beszedfel 2013. 03. 20.37 Az egyenleteket rendezgetve egy rekurzív formula nyerhető: Bevezetve az új k változót Tehát nem nagy mátrix-egyenleteket kell megoldani, hanem α értékei rekurzív formulával számolhatók!

38 T.Gy. Beszedfel 2013. 03. 20.38 Először kiszámoljuk k 1 -et minden n-re Majd e 1 (n) és f 1 (n) értékeit minden n-re és ez hasonlóan tovább ismételhető Fontos!!! | k i |≤1

39 T.Gy. Beszedfel 2013. 03. 20.39 Belátható, hogy az alábbi rács struktúrák ekvivalensek… Ezért a csőmodell azonos a PARCOR szintézis modellel, ha r i = ─ k i

40 T.Gy. Beszedfel 2013. 03. 20.40 A beszédtömörítés alapvető modelljei 2013- ban A beszédjel mintákból a lineáris predikció PARCOR együtthatói rekurzív képlettel kiszámolhatók. Az együtthatók kis hibával leírják a beszédjel egy szakaszát. A hibajel és az együtthatók pontos értékei a számítási hibán belül pontosan leírják az eredeti beszédjelet. A modell stabilitási kritériumai garantálhatók számítási és átviteli hibák esetén is. A predikciós együtthatók és a hibajelek jól kvantálhatók staisztikai jellemzőik és percepciós kísérletek eredményei alapján. A predikciós paraméterek és hibajel paraméterek a beszédképzési modell jellemzőivel közvetlen fizikai kapcsolatban állnak.

41 Audio compression format Creator First public release date Latest stable versionEncoder Cost Player Cost AMR-WB3GPP2001.4.10 ETSI TS 126 190 V8.0.0 (2009- 01) Non-free AMR-WB+3GPP2004.6.14 ETSI TS 126 290 V8.0.0 (2009- 01) Non-free apt-XAPTX19892007Non-free CELT Xiph.Org Foundation, Jean-Marc Valin 2007.12.82000.9.1Free G.711ITU-T 1972 (ITU-T standard from 1988) G.711 Appendix II (02/00)Free G.722ITU-Tnov.88 Free G.722.1ITU-Tszept.99G.722.1 (05/05)Free G.723.1ITU-Tmárc.96G.723.1 (05/06)Non-free 41T.Gy. Beszedfel 2013. 03. 20.

42 Audio compression format Creator First public release date Latest stable versionEncoder Cost Player Cost G.726ITU-Tdec.90 Free G.728ITU-Tszept.92 Non-free G.729ITU-Tmárc.96G.729 (01/07)Non-free GSM-FR ETSI Special Mobile Group 1990-1994 (ETS 300 580-2) ETSI EN 300 961 V8.1.1 (2000– 11) Free iLBCGlobal IP Solutions2002 Free iSACGlobal IP Solutions ? Non-free SILK Skype Limited2009.1.7 Free Siren 7 PictureTel Corp. (now Polycom Inc.) 1999 Speex Xiph.Org Foundation, Jean-Marc Valin 2003.3.242001.1.12Free SVOPCSkype Limited2007 ?? 42T.Gy. Beszedfel 2013. 03. 20.