T.Gy. Beszedfelism es szint. 2013. 03. 22. 1 Beszédfelismerés és beszédszintézis Beszédkodekek Takács György 8. beszédelőadás 2013. 03. 22.

Az előadások a következő témára: "T.Gy. Beszedfelism es szint. 2013. 03. 22. 1 Beszédfelismerés és beszédszintézis Beszédkodekek Takács György 8. beszédelőadás 2013. 03. 22."— Előadás másolata:

1 T.Gy. Beszedfelism es szint. 2013. 03. 22. 1 Beszédfelismerés és beszédszintézis Beszédkodekek Takács György 8. beszédelőadás 2013. 03. 22.

2 T.Gy. Beszedfelism es szint. 2013. 03. 22. 2 Definíció Ismétlés Általános kodek jellemzők G.729 kodek GSM kodek SPEEX kodek SILK kodek Kodek csipek

3 T.Gy. Beszedfelism es szint. 2013. 03. 22. 3 CODECS Codecs are used to convert an analog voice signal to digitally encoded version. Codecs vary in the sound quality, the bandwidth required, the computational requirements, etc. Each VoIP service, program, phone, gateway, etc typically supports several different codecs, and when talking to each other, negotiate which codec they will use.

4 T.Gy. Beszedfelism es szint. 2013. 03. 22. 4 Minek tömöríteni a beszédjelet – válaszaim: Nagyon korlátozott a sávszélesség a rádiótelefonra rendelkezésre álló sávokban (a mai forgalomsűrűségnél). Nagy az árverseny a transzkontinentális összeköttetéseken Korlátos, de főként nem garantált az interneten rendelkezésre álló sávszélesség….. Korlátos a beszédjel tárolásához rendelkezésre álló kapacitás (pl. diktafon funkció mobiltelefonnál…) Olimpiai közvetítések kommentátor hangjait TV hangminőségben telefonvonalon kell továbbítani….(ma jellemző az 1kép+100hang arány) A beszédjelet a jellegzetes átviteli hibákkal szemben ellenállóvá kell tenni (Fading –rádiós átvitelnél, csomagvesztés -- IP telefonnál)

5 T.Gy. Beszedfelism es szint. 2013. 03. 22. 5 Mit várunk a beszédtömörítőktől? Értse amit mondunk – nem! Tudja milyen nyelven beszélünk – nem! A beszédképzési vagy beszédfelfogási megközelítés jelenti az elvi határt a tömörítésben? Nyilvánvalóan a képzési megfontolások jelenthetik az elvi határt, azaz a kb. 250 bit/s elvi határértéket!

6 T.Gy. Beszedfelism es szint. 2013. 03. 22. 6 "A lathe is a big tool. Grab every dish of sugar." Eredeti 2400 bit/s

7 T.Gy. Beszedfelism es szint. 2013. 03. 22. 7

8 8 (a) The vocal tract, modeled as a single one-dimensional acoustic tube of varying cross-sectional area and (b) an eight tube model suitable for discretization

9 T.Gy. Beszedfelism es szint. 2013. 03. 22. 9 Egy keresztmetszetváltás és a csatlakozó csőszakaszok viszonyai

10 T.Gy. Beszedfelism es szint. 2013. 03. 22. 10 Egy állandó keresztmetszetű szakaszon a haladó hullámok csak késleltetést szenvednek, ezért A keresztmetszetváltásnál felírható a folytonossági egyenlet Bevezetve a reflexiós tényezőt:

11 T.Gy. Beszedfelism es szint. 2013. 03. 22. 11 A toldalékcső modellje egyenletesen felosztott, állandó keresztmetszetű csőszakaszokkal

12 T.Gy. Beszedfelism es szint. 2013. 03. 22. 12 Hogyan határozhatók meg a csőmodell paraméterei a beszédjel mintáiból?

13 T.Gy. Beszedfelism es szint. 2013. 03. 22. 13 Lineáris predikció alapok A beszédjel n-edik mintája becsülhető a megelőző p beszédminta lineáris kombinációjával ahol az α i lineáris predikciós együtthatók hordozzák a jelenségre vonatkozó előismereteket, tapasztalatokat. p -- a prediktor fokszáma

14 T.Gy. Beszedfelism es szint. 2013. 03. 22. 14 A PARCOR eljárás

15 T.Gy. Beszedfelism es szint. 2013. 03. 22. 15

16 T.Gy. Beszedfelism es szint. 2013. 03. 22. 16 A beszédtömörítés alapvető modelljei 2012- ben A beszédjel mintákból a lineáris predikció PARCOR együtthatói rekurzív képlettel kiszámolhatók. Az együtthatók kis hibával leírják a beszédjel egy szakaszát. A hibajel és az együtthatók pontos értékei a számítási hibán belül pontosan leírják az eredeti beszédjelet. A modell stabilitási kritériumai garantálhatók számítási és átviteli hibák esetén is. A predikciós együtthatók és a hibajelek jól kvantálhatók staisztikai jellemzőik és percepciós kísérletek eredményei alapján. A predikciós paraméterek és hibajel paraméterek a beszédképzési modell jellemzőivel közvetlen fizikai kapcsolatban állnak.

17 Audio compression format Creator First public release date Latest stable versionEncoder Cost Player Cost AMR-WB3GPP2001.4.10 ETSI TS 126 190 V8.0.0 (2009- 01) Non-free (G.722.2) AMR-WB+3GPP2004.6.14 ETSI TS 126 290 V8.0.0 (2009- 01) Non-free apt-XAPTX19892007Non-free CELT Xiph.Org Foundation, Jean-Marc Valin 2007.12.82000.9.1Free G.711ITU-T 1972 (ITU-T standard from 1988) G.711 Appendix II (02/00)Free G.722ITU-Tnov.88 Free G.722.1ITU-Tszept.99G.722.1 (05/05)Free (AMR-WB) G.723.1ITU-Tmárc.96G.723.1 (05/06)Non-free 17T.Gy. Beszedfelism es szint. 2013. 03. 22.

18 Audio compression format Creator First public release date Latest stable versionEncoder Cost Player Cost G.726ITU-Tdec.90 Free G.728ITU-Tszept.92 Non-free G.729ITU-Tmárc.96G.729 (01/07)Non-free GSM-FR ETSI Special Mobile Group 1990-1994 (ETS 300 580-2) ETSI EN 300 961 V8.1.1 (2000– 11) Free iLBCGlobal IP Solutions2002 Free iSACGlobal IP Solutions ? Non-free SILK Skype Limited2009.1.7 Free Siren 7 PictureTel Corp. (now Polycom Inc.) 1999 Speex Xiph.Org Foundation, Jean-Marc Valin 2003.3.242001.1.12Free SVOPCSkype Limited2007 ?? Audio compression format Creator First public release date Latest stable versionEncoder Cost Player Cost 18T.Gy. Beszedfelism es szint. 2013. 03. 22.

19 19 VoIP CODEC Family GIPS Family - 13.3 Kbps and up GSM - 13 Kbps (full rate), 20ms frame size iLBC - 15Kbps,20ms frame size: 13.3 Kbps, 30ms frame size ITU G.711 - 64 Kbps, sample-based Also known as alaw/ulaw ITU G.722 - 48/56/64 Kbps ADPCM 7Khz audio bandwidth ITU G.722.1 - 24/32 Kbps 7Khz audio bandwidth (based on Polycom's SIREN codec) ITU G.722.1C - 32 Kbps, a Polycom extension, 14Khz audio bandwidth ITU G.722.2 - 6.6Kbps to 23.85Kbps. Also known as AMR-WB. CELP 7Khz audio bandwidth ITU G.723.1 - 5.3/6.3 Kbps, 30ms frame size ITU G.726 - 16/24/32/40 Kbps ITU G.728 - 16 Kbps ITU G.729 - 8 Kbps, 10ms frame size Speex - 2.15 to 44.2 Kbps LPC10 - 2.5 Kbps DoD CELP - 4.8 Kbps SVOPC – 20kbps SILK 6-40 kbps

20 T.Gy. Beszedfelism es szint. 2013. 03. 22. 20 To use G.729 or G.723.1 you may need to pay a royalty fee!!!!!!!!!! this code is available for you to download for education purposes only!!!!!!!!!!!!

21 T.Gy. Beszedfelism es szint. 2013. 03. 22. 21 In VoIP networks, codecs are used to compress regular audio (16 bit signed linear audio, usually sampled at 8000Hz). Codecs are usually `lossy'. This means that the output data does not have to be perfectly identical to the source data, it just has to sound the same when converted to sound. If your VoIP network is on an office LAN and the signal doesn't ever traverse a WAN connection (internet, VPN, DSL, etc), then compression isn't critical. If your VoIP signals may need to traverse a WAN, then you need to compress the signal as much as possible. This allows you to fit more simultaneous phone calls into a single WAN connection. Compression also creates smaller packets. Smaller packets means less audible delay and lower risk of packet loss.

22 T.Gy. Beszedfelism es szint. 2013. 03. 22. 22 Many devices offer only 1 or 2 low bit rate codecs, usually G.729 and one other or just G.729. If you have bought phones that only support G.729, then you have little choice. Some gateway providers will only allow you to talk to their gateway with G.729. A good G.729 implementation uses less bandwidth and less CPU power than other low bit rate codecs such as iLBC. G.729 uses 8kbps, iLBC uses 13kbps. Some people have observed their CPU performing up to 50% better when doing G.729 compression compared to iLBC.

23 T.Gy. Beszedfelism es szint. 2013. 03. 22. 23 Few phones implement iLBC (one such phone is Budgetone 101 and 102). Many others - Cisco 7940, Snom, Swissvoice - only offer G.729 Most phones offer G.711 (ulaw/alaw) as well - that is actually 64kbps, eight times the bandwidth required by G.729. It is only for use on LANs. G.723.1 is used for similar reasons to those just listed, but gives the benefit of using even less bandwidth but with a more noticable degradation of sound quality.

24 T.Gy. Beszedfelism es szint. 2013. 03. 22. 24 Features of G.729, G.729A & G.729AB Vocoder Compresses 8 kHz CODEC or linear audio data to 8 kbps. Operates on 10ms frames with short algorithm delays. Short-term synthesis filter is based on a 10th order Linear Prediction (LP) filter. Long-term, or pitch synthesis, filter is implemented using the adaptive-code book approach.

25 T.Gy. Beszedfelism es szint. 2013. 03. 22. 25

26 T.Gy. Beszedfelism es szint. 2013. 03. 22. 26

27 T.Gy. Beszedfelism es szint. 2013. 03. 22. 27

28 T.Gy. Beszedfelism es szint. 2013. 03. 22. 28

29 T.Gy. Beszedfelism es szint. 2013. 03. 22. 29

30 T.Gy. Beszedfelism es szint. 2013. 03. 22. 30

31 T.Gy. Beszedfelism es szint. 2013. 03. 22. 31

32 T.Gy. Beszedfelism es szint. 2013. 03. 22. 32

33 T.Gy. Beszedfelism es szint. 2013. 03. 22. 33 GSM KODEK követelmények Nagy tömörítés (64 kbit/s-ről kb. 13 kbit/s-re) Tisztán digitális rendszer Jó minőség Hibatűrés (a rádiós átvitel sajátosságai miatt) Stabilitás Kis késleltetés (max. 50 ms) Kis fogyasztás Implementálhatóság Full Rate, Half Rate, Enhanced Full Rate, Adaptive Rate változatok

34 T.Gy. Beszedfelism es szint. 2013. 03. 22. 34

35 T.Gy. Beszedfelism es szint. 2013. 03. 22. 35

36 T.Gy. Beszedfelism es szint. 2013. 03. 22. 36

37 T.Gy. Beszedfelism es szint. 2013. 03. 22. 37 Kodek alapjellemzők Mintavételi frekvencia 8kHz Analízis keret 20ms (160 minta) Reflexiós együtthatók száma 8 (prediktor fokszáma) kifejezése LAR (Log Area Reflexion) paraméterekkel Reziduális hiba tovább bontva 4 db 40 mintás alszegmensre RPE (Regular Pulse Exitation) kódolás és LTP (Long Term Predictor) kódolással 260 bit/20 ms (13000 bit/s) nettó bitsebesség

38 T.Gy. Beszedfelism es szint. 2013. 03. 22. 38

39 T.Gy. Beszedfelism es szint. 2013. 03. 22. 39

40 T.Gy. Beszedfelism es szint. 2013. 03. 22. 40

41 T.Gy. Beszedfelism es szint. 2013. 03. 22. 41

42 T.Gy. Beszedfelism es szint. 2013. 03. 22. 42 Speex is based on CELP and is designed to compress voice at bitrates ranging from 2 to 44 kbps. Some of Speex's features include : Narrowband (8 kHz), wideband (16 kHz), and ultra- wideband (32 kHz) compression in the same bitstream Intensity stereo encoding Packet loss concealment Variable bitrate operation (VBR) Voice Activity Detection (VAD) Discontinuous Transmission (DTX) Fixed-point port Acoustic echo canceller Noise suppression http://www.speex.org/samples/

43 T.Gy. Beszedfelism es szint. 2013. 03. 22. 43 A SPEEX kodek koncepciója A fejlesztők egy nyílt forráskódú beszédkodeket terveztek, amelynél nem kell kodekenként díjat fizetni a szabadalom tulajdonosainak. Valami olyat terveztek, mint a Vorbis az audio (zenei) kodekek területén. Nem a mobiltelefonok igényét tartották szemelőtt (persze abból már működik több, mint 2 milliárd darab), hanem kifejezetten az IP alapú hálózatok igényeit és a VoIP alkalmazásokat. Jól alkalmazható a SPEEX beszédjelek tömör tárolására is fájlokban.

44 T.Gy. Beszedfelism es szint. 2013. 03. 22. 44 A SPEEX kodek koncepciója Legyen rugalmas és széles beszédminőség- tartományban használható azaz különböző bitsebességeknél. Felöleli a szélessávú (16kHz mintavételes) jóminőségű beszédkódolástól a szokásos telefonminőségen át a 4,8 kbps tömörítésig. A SPEEX jól tűri a csomagveszést, de nem működik jól bithibák esetén. Azt feltételezi, hogy a csomagok vagy megérkeznek rendben vagy elvesznek. Mivel sokféle eszközben tervezték a felhasználását, ezért törekedtek a fejlesztésénél ara, hogy megvalósításánál a processzorteljesítmény és tárterület igény minimális legyen.

45 T.Gy. Beszedfelism es szint. 2013. 03. 22. 45 A SPEEX kodek koncepciója A követelmények alapján a legjobban illeszkedő kódolási technika a CELP (Code Excitation Linear Prediction). Ez a technika egyrészt bevált, megbízható, továbbá alkalmas széles minőségi tartományban hasonló algoritmusú működésre. A SPEEX kódolás veszteséges, azaz a tömörítést beszédminőség rovására hajtja végre. A tömörítési arány beállítható és lehetséges az állandó (CBR) vagy változó (VBR) bitsebességű működés is. (2,15 kbps – 44kbps) A kódolás komplexitása is változtatható.

46 T.Gy. Beszedfelism es szint. 2013. 03. 22. 46 A SPEEX kodek koncepciója Beszéddetektálás (VAD) a kodek eldönti, hogy jön-e beszédjel, vagy beszédszünet van (esetleg háttérzaj). Ha nincs aktív beszédjel, akkor nem kódol, hanem csak egy pár mintával reprezentált „komfort” zajt ad ki. A SPEEX kodek elvi (CPU idő nélküli) késleltetése 8kHz mintavételezésnél 30 ms, 16 kHz-nél 34 ms.

47 T.Gy. Beszedfelism es szint. 2013. 03. 22. 47 SPEEX keskenysávú módban

48 T.Gy. Beszedfelism es szint. 2013. 03. 22. 48 SPEEX szélessávú módban

49 T.Gy. Beszedfelism es szint. 2013. 03. 22. 49 SPEEX kodek elemek - segédelemek Zajcsökkentés Automatikus szintszabályozás (AGC) Beszéddetektálás (VAD) Adaptív buffer Visszhangzár

50 T.Gy. Beszedfelism es szint. 2013. 03. 22. 50 Visszhangzár elve (hangszórós működéskor fontos, hogy a partner ne hallja késleltetve vissza a saját hangját)

51 T.Gy. Beszedfelism es szint. 2013. 03. 22. 51 A CELP elv

52 T.Gy. Beszedfelism es szint. 2013. 03. 22. 52 A CELP eredő gerjesztőjele Ahol: –e(n) - az LPC szintézis szűrőt gerjesztő jel – a predikált periodikus hibajel –C(n) a rögzített kódkönyvtárból vett gerjesztő jel

53 T.Gy. Beszedfelism es szint. 2013. 03. 22. 53 Teljes keret elemzés 8 kHz mintavételt feltételezve Egy keret 20 ms – (160 minta) Keretenként számolandók a Line Spectra Pairs (LSP) értékek és global gain (g frame )értékek Az értékek kvantálandók

54 T.Gy. Beszedfelism es szint. 2013. 03. 22. 54 Miért nem az LPC együtthatókat kvantáljuk? stabilitási kritérium -- P(z) és Q(z) gyökei az egységkörön vannak és felváltva jönnek fizikai tartalom Vektorkvantálás után elegendő 18-30 bit az LSP együtthatók kvantált leírására.

55 T.Gy. Beszedfelism es szint. 2013. 03. 22. 55 Alkeret elemzés szintézissel (AbS) 8 kHz-es mintavételnél Minden keretet 4 db 5 ms hosszú alkeretre bontunk (40 beszédminta) Az AbS a fő különbség a többi CELP kodekhez képest. A SPEEX egy valós számmal írja le a pitch értéket, de egy háromlépcsős prediktort és 3 pitch gain értéket használ fel az e a (n) kiszámolásához

56 T.Gy. Beszedfelism es szint. 2013. 03. 22. 56

57 T.Gy. Beszedfelism es szint. 2013. 03. 22. 57 Forrás The Speex Codec Manual Version 1.2 Beta 3 Jean-Marc Valin December 8, 2007 http://speex.org/docs/manual/speex-manual.pdf

58 SILK A Skype Limited fejlesztette 2009-től vezették be Teljeskörű leírás http://tools.ietf.org/html/draft-vos-silk-01 566 oldal forráskóddal, magyarázatokkalhttp://tools.ietf.org/html/draft-vos-silk-01 Több szempontból skálázott: négyféle mintavételi frekvencia, igazodás az átviteli jellemzőkhöz (bitsebesség, csomagsebesség, csomagvesztés, DTX), igazodás a rendelkezésre álló processzor- teljesítményhez, jellemzői menet közben is változtathatók. T.Gy. Beszedfelism es szint. 2013. 03. 22. 58

59 T.Gy. Beszedfelism es szint. 2013. 03. 22. 59

60 Pitch estimator T.Gy. Beszedfelism es szint. 2013. 03. 22. 60

61 Prediction analysis –voiced speech For a frame of voiced speech the pitch pulses will remain dominant in the pre-whitened input signal. Further whitening is desirable as it leads to higher quality at the same available bit-rate. To achieve this, a Long-Term Prediction (LTP) analysis is carried out to estimate the coefficients of a fifth order LTP filter for each of four sub-frames. The LTP coefficients are used to find an LTP residual signal with the simulated output signal as input to obtain better modelling of the output signal. This LTP residual signal is the input to an LPC analysis where the LPCs are estimated using Burgs method, such that the residual energy is minimized. The estimated LPCs are converted to a Line Spectral Frequency (LSF) vector, and quantized as described in Section 2.1.2.7. After quantization, the quantized LSF vector is converted to LPC coefficients and hence by using these quantized coefficients the encoder remains fully synchronized with the decoder. The LTP coefficients are quantized using a method described in Section 2.1.2.8. The quantized LPC and LTP coefficients are now used to filter the high- pass filtered input signal and measure a residual energy for each of the four subframes.Section 2.1.2.7Section 2.1.2.8 T.Gy. Beszedfelism es szint. 2013. 03. 22. 61

62 T.Gy. Beszedfelism es szint. 2013. 03. 22. 62 Kell-e egy mai mérnöknek CODEC programot írnia? Nem, mert letölthető sok változat, kapható kész chipset!

63 T.Gy. Beszedfelism es szint. 2013. 03. 22. 63

64 T.Gy. Beszedfelism es szint. 2013. 03. 22. 64

65 T.Gy. Beszedfelism es szint. 2013. 03. 22. 65

66 T.Gy. Beszedfelism es szint. 2013. 03. 22. 66

67 T.Gy. Beszedfelism es szint. 2013. 03. 22. 67

68 T.Gy. Beszedfelism es szint. 2013. 03. 22. 68 Int. Headquarters ISRAEL AudioCodes Ltd. 1 Hayarden Street, Airport City Lod, 70151 (Get Directions)Get Directions Tel: +972-3-976-4000 Fax: +972-3-976-4040

69 T.Gy. Beszedfelism es szint. 2013. 03. 22. 69 Egyik alapvető kodek termék: AudioCodes’ AC494/5/6/7 family of System on Chip (SoC) provides IP phone and Customer Premises Equipment (CPE) manufacturers with cutting-edge VoIP processing system capabilities. The AC494 family combines MIPS Controller, AC49x DSP Core and a rich set of peripherals such as Codecs, Ethernet MACs and Phys, integrated 3 Port Switch and more. Several silicon derivatives of this family allow cost optimization per application.

70 T.Gy. Beszedfelism es szint. 2013. 03. 22. 70 AudioCodes’ AC494/5/6/7 Software Specifications Channel Density: Up to 6 channels Voice Coders: G.711, G.723, G.729, G.722.2, iLBC, G.722* Echo CancellerG.168-2002 compliant; Full duplex acoustic EC 3/4 Way Conferencing: 3/4 participants from PSTN or IPPSTN Quality Enhancement: –Voice Activity Detection (VAD), –Comfort Noise Generation (CNG), –Packet Loss Concealment (PLC), –Adaptive Jitter Buffer (up to 300 msec)

71 T.Gy. Beszedfelism es szint. 2013. 03. 22. 71 Hasznos linkek http://www.comms.eee.strath.ac.uk/~gozalvez/g sm/gsm.html http://ccnga.uwaterloo.ca/~jscouria/GSM/gsmrep ort.html http://www.analog.com/UploadedFiles/Product_ Briefs/627038651430chipset.pdf http://www.ddj.com/print/ (komplett C nyelvű algoritmus) http://www.commsdesign.com/design_corner/OE G20030711S0010