Beszéd alapfrekvencia meghatározása - Pitch detektor algoritmusok - Pázmány Péter Katolikus Egyetem, Információs Technológia Kar Bárdi Tamás doktorandusz.

Az előadások a következő témára: "Beszéd alapfrekvencia meghatározása - Pitch detektor algoritmusok - Pázmány Péter Katolikus Egyetem, Információs Technológia Kar Bárdi Tamás doktorandusz."— Előadás másolata:

1

2 Beszéd alapfrekvencia meghatározása - Pitch detektor algoritmusok - Pázmány Péter Katolikus Egyetem, Információs Technológia Kar Bárdi Tamás doktorandusz előadása alapján

3 Péter Pázmány Catholic University, Department of Information Technology Mi az alapfrekvencia ? Alapfrekvencia: a hangszalagok pillanatnyi rezgésszáma Szokásos jelölése: F 0

4 Péter Pázmány Catholic University, Department of Information Technology Gerjesztés típusok a beszédben Alapfrekvenciát csak akkor értelmezünk, ha zöngés (kváziperiodikus) gerjesztés jelen van a beszédben.

5 Péter Pázmány Catholic University, Department of Information Technology Pitch is….. “…..that attribute of auditory sensation in terms of which sounds may be ordered on a musical scale” (American Standards Association, 1960; cited in Moore, 1997) What is the definition of pitch? Vagyis: - a pitch (hangmagasság) érzeti mennyiség - az alapfrekvencia (F 0 ) fizikai mennyiség

6 Péter Pázmány Catholic University, Department of Information Technology Azonos-e a hangmagasság?  Egyik hang  Másik hang

7 Péter Pázmány Catholic University, Department of Information Technology

8  Egyik hang  Másik hang

9 Péter Pázmány Catholic University, Department of Information Technology Time Frequency Tones that have the same repetition rate tend to have the same pitch:

10 Péter Pázmány Catholic University, Department of Information Technology Melyik hang alapfrekvenciája nagyobb?

11 Péter Pázmány Catholic University, Department of Information Technology Miért érdekes az alapfrekvencia? A hangmagasság változásai a beszédben nyelvi, érzelmi, hangulati, stb. jelentést hordoznak. Illusztráció: egy rövid beszédfelvétel a pitch kontúrjával.

12 Péter Pázmány Catholic University, Department of Information Technology Pitch kontúr előállítása  Fő részfeladatok:- F0 becslése, - zöngésség megállapítása  PDA – Pitch Detector Algorithm: Olyan algoritmus, amely a beszédjelből a fenti értelemben vett pitch kontúrt képes előállítani.  VDA – Voicing Detection Algorithm: A PDA-nak az a része, amely a zöngés/zöngétlen szakaszok megkülönböztetéséért felelős

13 Péter Pázmány Catholic University, Department of Information Technology Pitch detektorok alkalmazásai  Low-bitrate speech coding: pitch adaptive (pl. GSM)  Speech Synthesis: processing unit inventories  Linguistic analysis, prosody processing  Music: auto-scoring, editing, midi conversion …

14 Péter Pázmány Catholic University, Department of Information Technology Hogyan áll össze egy pitch kontúr Haladunk ablakról ablakra: - mindegyikre adunk egy alapfrekvencia becslést - tipikus hossz: 20 – 40 ms - tipikus lépésköz: 10 ms - általában átfedik egymást

15 Péter Pázmány Catholic University, Department of Information Technology Algoritmusok: ACF Auto Correlation Function (autokorreláció függvény): s(t) – a beszédjel; w – az elemzett ablak hossza

16 Péter Pázmány Catholic University, Department of Information Technology Csúcs kiválasztás ACF-en Az elemzett beszédablak:Csúcskeresés az ACF-en:

17 Péter Pázmány Catholic University, Department of Information Technology Detekciós hiba lehetőségek  Nagy hibák: oktáv vagy még nagyobb tévesztés az alapfrekvenciában. Jellemzően a gyorsan halkuló vagy hangosodó szakaszokon fordul elő, leginkább szó elején vagy végén.  Kis hibák: apróbb pontatlanságok az alapfrekvenciában. Jellemzően a vegyes gerjesztésű hangoknál fordul elő (zöngés mássalhangzók)  Zöngés-zöngétlen tévesztés: jellemzően ez is a vegyes gerjesztésű hangoknál.

18 Péter Pázmány Catholic University, Department of Information Technology Examples for ACF

19 Péter Pázmány Catholic University, Department of Information Technology Algoritmusok: ASDF Average Squared Difference Function: s(t) – a beszédjel; w – az elemzett ablak hossza

20 Péter Pázmány Catholic University, Department of Information Technology Examples for ASDF

21 Péter Pázmány Catholic University, Department of Information Technology Algoritmusok: AMDF Average Magnitude Difference Function: s(t) – a beszédjel; w – az elemzett ablak hossza

22 Péter Pázmány Catholic University, Department of Information Technology Algoritmusok: Cepstrum Homomorph analysis: CEPSTRUM(x) = IFFT(LOG(|FFT(x)|))

23 Péter Pázmány Catholic University, Department of Information Technology Algoritmusok: LPC  Csúcsokat keresünk az LPC hibajelben: - ezt pitch-mark kijelölésnek is hívják

24 Péter Pázmány Catholic University, Department of Information Technology F0 contour with ACF method Applying ACF directly on speech signal: Preproc.

25 Péter Pázmány Catholic University, Department of Information Technology A beszédjel célszerű torzításával csökkenthetjük a hibák arányát My preprocessor is a combination of low-pass filteringandcenter clipping.

26 Péter Pázmány Catholic University, Department of Information Technology A Preprocesszor (1): Az eredeti beszédjel a burkolójával, valamint a beszédjel alul-áteresztő szűrés után:

27 Péter Pázmány Catholic University, Department of Information Technology A Preprocesszor (2): A szűrt jel és a középre vágási szint (center clip level) - a burkoló 40%-a:

28 Péter Pázmány Catholic University, Department of Information Technology A Preprocesszor (3): Az eredeti beszédjel a burkolójával, valamint a beszédjel alul-áteresztő szűrés után:

29 Péter Pázmány Catholic University, Department of Information Technology A Preprocesszor (4): Hangzó illusztráció (s, sz, c eltűnik):

30 Péter Pázmány Catholic University, Department of Information Technology F0 contour with ACF method Applying ACF after preprocessing the speech signal: Original

31 Péter Pázmány Catholic University, Department of Information Technology Egy összetett Pitch Detektor struktúrája Preprocesszor Basic Extractor - ACF számítása és elemzése - F0 becslés Bemenő beszédjel Meghallgatható: Ablakozás V/UV döntés Pitch kontúr *

32 Péter Pázmány Catholic University, Department of Information Technology A kiértékelés adatbázisa Pitch detektor algoritmusok kiértékelésére olyan beszéd adatbázisokat lehet használni, melyekben a zöngés-zöngétlen szakaszok ill. az alapfrekvencia értékek címkézve vannak. A címkézés automatikussá vagy fél-automatikussá tehető laryngográf jel felvételével. Database 2: FDA Evaluation Database Paul Bagshow & al. Centre for Speech Technology Research, University of Edinburgh Database 1: Keele Pitch Database Georg Meyer Keele University

33 Péter Pázmány Catholic University, Department of Information Technology Beszédfelvétel és laryngográf jel

34 Péter Pázmány Catholic University, Department of Information Technology Zöngés-zöngétlen átmenet

35 Péter Pázmány Catholic University, Department of Information Technology Zöngés-zöngétlen átmenet

36 Péter Pázmány Catholic University, Department of Information Technology Optimization on the database Expected decision error rate in terms of the threshold: Without preprocessor After preprocessor

37 Péter Pázmány Catholic University, Department of Information Technology Zöngés/zöngétlen megkülönböztetés: A basic extractor-ban kiválasztott csúcs nagysága és a beszédablak energiája szolgál döntési paraméterként. Mindkettőt egy-egy küszöbbel hasonlítjuk össze. A tévesztési arány keresztkiértékeléssel: 2.1%

38 Péter Pázmány Catholic University, Department of Information Technology Összehasonlítás: Bagshaw (1993):

39 Péter Pázmány Catholic University, Department of Information Technology Rekedt beszédhang pitch kontúrja:

40 Péter Pázmány Catholic University, Department of Information Technology Hangmagasság módosítása Pitch-Synchronous Overlap-Add (PSOLA) on LPC residual 80% eredeti 167% 125% 200%

41 Péter Pázmány Catholic University, Department of Information Technology

42 SD Á hang Á hang hibajele