A „HANGOK TANÁTÓL” A BESZÉDTECHNOLÓGIÁIG

Az előadások a következő témára: "A „HANGOK TANÁTÓL” A BESZÉDTECHNOLÓGIÁIG"— Előadás másolata:

1 A „HANGOK TANÁTÓL” A BESZÉDTECHNOLÓGIÁIG
Gósy Mária MTA Nyelvtudományi Intézet, Kempelen Farkas Beszédkutató Laboratórium

2 A FONETIKA TÖRTÉNETÉBŐL
Az első teljes magyar hangtan: Bél Mátyás (1718) munkája, terjedelme: 7 oldal! Bél Mátyás „modern” megállapításai: a hangokat másként ejtjük a szó különböző helyein; a hangoknak stilisztikai sajátosságuk van; némely mássalhangzónk összetett; a kiejtés számos tényező függvénye.

3 A FONETIKA TÖBB TUDOMÁNY HATÁRTERÜLETÉN

4 A BESZÉD

5 KÉT ALAPKÉRDÉS MI A KAPCSOLAT A FONETIKA ÉS A BESZÉDTECHNOLÓGIA KÖZÖTT? MI A KAPCSOLAT AZ ALKALMAZOTT FONETIKA ÉS A BESZÉDTECHNOLÓGIA KÖZÖTT?

6 fonetika alkalmazott fonetika beszédtechnológia
beszélő felismerése beszédzavarok beszédtechnika fonológia beszéd- hallás fonetika alkalmazott fonetika beszédtechnológia BESZÉD FELHASZ- NÁLÁS beszédfelismerés digitális jel- feldolgozás beszéd- szintézis beszélőazonosítás (verifikálás) zajtisztítás

7 FONETIKA, BESZÉDTECHNOLÓGIA, ALKALMAZÁSOK
beszélő felismerése fonetika alkalmazott fonetika beszédtechnológia beszéd- hallás beszéd- szintézis

8 A MAGYAR BESZÉD-TECHNOLÓGIA KEZDETEI
az első működő beszélőgép: Kempelen Farkas (1791) kísérlet magánhangzók mesterséges felismerésére: Tarnóczy (1950-es évek) Kossuth hangjának „megtisztítása” analóg beszédjel digitális átalakítása: az első számítógépek

9

10

11 MAGÁNHANGZÓK HANGSZÍNKÉPEI
á a o ü e ö i u o a á i é e ü ö Bal oldalon: Kempelen gépének hangjai Jobb oldalon: ember ejtette hangok

12 rajzolt rezgésképből beszéd
„HANGFANTÓMOK”: 1939 Egy magyar napilap Tudomány és technika rovata hírt ad angol és német mérnökök mesterségesbeszéd-előállításáról rajzolt rezgésképből beszéd

13 HANGELEMEK „FESTÉSE” A MEGSZÓLALTATÁSHOZ

14 AZ ELSŐ MAGYAR FORMÁNS-SZINTETIZÁTOR (1983)

15 A KORSZERŰ BESZÉD-SZINTÉZIS ALAPELVE

16 A BESZÉDSZINTÉZIS EREDMÉNYEI
Jól érthető, azonnal megszólaltatható folyamatos beszéd. A FELHASZNÁLÁS LEHETŐSÉGEIBŐL: oktatás beszédrehabilitáció vakok számítógép-használata internetes kommunikáció távközlési szolgáltatások ipari alkalmazások

17 A BESZÉDSZINTÉZIS A HALLÁS VIZSGÁLATÁBAN (1986–)
A beszédalapú hallásvizsgálat előnyei: egyszerű, megbízható, gyors, gyermekek szűrésére kiváló (8000 Hz-ig) Természetes beszéddel nem megoldható, a többletinformációk miatt Megoldás: célzottan fejlesztett mesterséges beszéd

18 A GOH BESZÉDHALLÁS-SZŰRŐ

19 A GOH-KÉSZÜLÉK

20 A GOH EREDMÉNYEI a hallás zavarának jelzése
információt ad a gyermek általános beszédészleléséről a szűrést védőnő, óvónő, logopédus, tanító végezheti 3-10 éves gyerekek tömeges szűrésének lehetősége az országban több ezer készüléket használnak

21 A HALLÁSRA ÉPÜLŐ ÉSZLELÉSI FOLYAMATOK
FONOLÓGIAI SZINT FONETIKAI SZINT AKUSZTIKAI SZINT hallás tárolás

22 ÉSZLELÉS, MEGÉRTÉS GMP FUNKCIÓI: a beszéd értése tiszta kiejtés
szókincsbővülés olvasástanulás írástanulás helyesírás összes tanulási folyamat GMP Beszédészlelési és beszédmegértési diagnosztika 3-12 éveseknek

23 KÉSŐN BESZÉLNI KEZDŐK

24 OLVASÁSI NEHÉZSÉGGEL KÜZDŐK
elvárt

25 ÉSZLELÉSI TELJESÍTMÉNY EGYOLDALI NAGYOTHALLÁS ESETÉN
elvárt

26 AZ AJAKARTIKULÁCIÓ KÍSÉRLETI VIZSGÁLATÁNAK KEZDETEI
Otto Jespersen: 1904

27 PHANTOPHON: SIKETEK BESZÉDTANÍTÁSÁHOZ (1934)

28 HALLÁSSÉRÜLTEK KORSZERŰ BESZÉDTANÍTÁSA

29 HALLÁSSÉRÜLTEK BESZÉD-TANÍTÁSÁNAK EREDMÉNYEI

30 19. SZÁZAD: A BESZÉD RÖGZÍTÉSÉNEK KEZDETEI
Edison első fonográfja 20. SZÁZAD: A BESZÉLŐ AZONOSÍTÁSA A RÖGZÍTETT BESZÉDE ALAPJÁN

31 UJJLENYOMAT – HANGLENYOMAT?
A TUDOMÁNYOS KÉRDÉS: A beszéd oly mértékben jellemző az emberre, hogy a beszéde alapján azonosítható a beszélő személy? ÁLTALÁNOS VÁLASZ: Miért ne lenne? Felismerjük barátainkat, ismerőseinket, például telefonon át is...

32 A BESZÉLŐ VISZONYULÁSA SZEMÉLYÉNEK AZONOSÍTÁSÁHOZ
 ÉRDEKE AZ AZONOSÍTÁS  BIZTONSÁGI RENDSZEREK, LABORATÓRIUMOK, EGYES MUNKAHELYEK STB.  INFORMÁCIÓKÉRÉS: BANKSZÁMLÁK, TELEFONSZÁMOK, ADATSZOLGÁLTATÁS STB.  NEM ÉRDEKE AZ AZONOSÍTÁS BŰNÜGYEK

33 A BESZÉLŐ SZEMÉLYAZONOSÍTÁSÁNAK PROBLÉMÁJA
A beszéd akusztikai szerkezete beszélőnként változik: „ún. beszélők közötti különbségek”. Ugyanazon beszélő esetében is változik a helyzettől függően: „egy beszélőn belüli különbségek”.

34 HÁNY BESZÉLŐ BESZÉDÉRŐL KÉSZÜLTEK AZ ÁBRÁK?
Egy beszélő vagy Egy beszélő vagy kettő? kettő?

35 A BESZÉD FONETIKAI VIZSGÁLATA BESZÉLŐAZONOSÍTÁSKOR
Beszédhangok összevetése Beszéddallam, hangsúly, beszédtempó, szünetek Megakadásjelenségek Egyéni artikulációs sajátosságok Műszeres és szubjektív elemzések

36

37 A BESZÉLŐAZONOSÍTÁS LEHETSÉGES EREDMÉNYEI
 ~  NAGY VALÓSZÍNŰSÉGGEL AZONOS  ?  AZ AZONOSSÁG NEM BIZONYÍTOTT, DE NEM KIZÁRHATÓ  ≠  AZ AZONOSSÁG KIZÁRHATÓ AZ AZONOSÍTÁS ELVÉGZÉSE LEHETETLEN

38 A JÖVŐ HÁROM MONDATBAN 1. BESZÉDÜNK TITKAI CSAKNEM VÉGTELENEK... 2. A BESZÉDTECHNOLÓGIA MIND TÖBB ISMERETET NYÚJT A GYAKORLATNAK. 3. A KUTATÁSI EREDMÉNYEK ALKALMAZÁSAI SZINTE KORLÁTLANOK...

39 KÖSZÖNÖM A FIGYELMÜKET!