T.Gy. Beszedfelism es szint. 2015.02.13. 1 Beszédfelismerés és beszédszintézis Takács György 1. előadás 2015. 02. 13.

Az előadások a következő témára: "T.Gy. Beszedfelism es szint. 2015.02.13. 1 Beszédfelismerés és beszédszintézis Takács György 1. előadás 2015. 02. 13."— Előadás másolata:

1 T.Gy. Beszedfelism es szint. 2015.02.13. 1 Beszédfelismerés és beszédszintézis Takács György 1. előadás 2015. 02. 13.

2 T.Gy. Beszedfelism es szint. 2015.02.13. 2 A beszédtárgy szerepe a PPKE informatikus képzésben A jelelméletről, kódelméletről, jelfeldolgozásról általában, képfeldolgozásról speciálisan, kommunikációs rendszerekről általában már sok ismeret összegyűlt. Egy jellegzetesen szintetizáló tárgy. Sokrétű alapon, sokfelé kitekintéssel dolgozik. A beszéd régebbi, hatékonyabb, emberibb kommunikációs forma, mint az írás! Az emberi beszédfolyamat másként összetett, mint a számítógépek folyamatai. A beszédtechnológiák másként összetettek, mint az írott- nyelv technológia.

3 T.Gy. Beszedfelism es szint. 2015.02.13. 3 Mivel foglalkozik ez a tantárgy? A beszéddel, mint akusztikai jelenséggel A beszéddel, mint nyelvi jelenséggel Az emberi beszédkeltés folyamatával Az emberi beszédérzékelés folyamatával Mesterséges beszédfunkciókkal és alkalmazásokkal –Beszéd gépi felismerése –Mesterséges beszéd, beszédszintézis –Beszélő személy felismerése Beszédkódolással, beszédtömörítéssel Multimodális beszédtechnológiával

4 T.Gy. Beszedfelism es szint. 2015.02.13. 4 Mivel nem foglalkozik ez a tantárgy (pedig szép és érdekes lenne -- s ha van komoly érdeklődő kutathat) A beszédfeldolgozás történeti kérdéseivel A szép beszéddel (eufonetika) Beszédtisztítással (speech enhancement) Beszédmanipulációval (voice transformation) Beszédkiejtés-javítás gépi segédeszközeivel Sérültek beszédkommunikációját segítő eszközökkel Hangfájlok szerkezetével, kezelésével, szerkesztésével…. Párbeszéd -rendszerekkel – amelynek elemei a természetes beszéd megértése, a dialógus irányítása, a válaszok és kérdések generálása és kimondása. Beszéd gépi fordításával (spoken language translation) Hallhatatlan beszéddel (silent speech) Kulcsszavak keresésével a folyamatos beszédben (word spotting) Magyar beszéd és a magyarok eredete…….

5 T.Gy. Beszedfelism es szint. 2015.02.13. 5 Tantárgyprogram

6 T.Gy. Beszedfelism es szint. 2015.02.13. 6 Tankönyv, jegyzet, segédanyagok…. Előadások (szokás szerint) a honlapon Új tankönyv van, de nagyon vastag… A régi elavult és nem kapható! Nagyon jó CD oktatóanyag van! Nyelvtudományi Intézet Fonetikai kutatólaboratóriuma készítette. Jogvédett! Csak korábbi böngészőkkel fut!!!!

7 T.Gy. Beszedfelism es szint. 2015.02.13. 7 Tárgykövetelmények Az előadásokat célszerű látogatni A laboratóriumi gyakorlatok kötelezők Minden mérési feladatot teljesíteni kell Szóbeli vizsga magyar nyelven, az aláírás feltétele : eredményes ZH, teljesített mérések. Lehet egyéni vállalást tenni (pl. mérés előkészítés stb.) Érdeklődőknek korlátlan TDK lehetőségek Önálló labor és szakdolgozat feladatok választhatók a témában

8 T.Gy. Beszedfelism es szint. 2015.02.13. 8 Néhány beszédminta elmélkedésre Nehezen érthető beszéd Jól érthető beszéd, pedig énekelt…..

9 T.Gy. Beszedfelism es szint. 2015.02.13. 9 Miért különleges információhordozó a beszéd? Sötétben is mindent kifejez… Álmunkban is megértjük….. Kb. 20dB szinttel halkabban elég a nevünket hallani az ébredéshez, mint egyéb szöveget…… Az ember információ befogadó sebessége kb. 50 bit/másodperc!!!!!!!!!! Ebből kb. 2/3 rész a hallás!!!!!!!!!!!! Óriási redundanciája van … a kabaré artikulálatlan hadarását is megértjük, de csak az anyanyelv és a háttérismeretek birtokosai!!!!!!!!!!! A nyelv (beszéd) segítségével szinte minden kifejezhető.

10 T.Gy. Beszedfelism es szint. 2015.02.13. 10 Feladatmegoldás különböző kommunikációs módoknál

11 T.Gy. Beszedfelism es szint. 2015.02.13. 11

12 T.Gy. Beszedfelism es szint. 2015.02.13. 12

13 T.Gy. Beszedfelism es szint. 2015.02.13. 13

14 T.Gy. Beszedfelism es szint. 2015.02.13. 14 Massachusetts Institute of Technology

15 T.Gy. Beszedfelism es szint. 2015.02.13. 15

16 T.Gy. Beszedfelism es szint. 2015.02.13. 16

17 T.Gy. Beszedfelism es szint. 2015.02.13. 17

18 T.Gy. Beszedfelism es szint. 2015.02.13. 18

19 T.Gy. Beszedfelism es szint. 2015.02.13. 19

20 T.Gy. Beszedfelism es szint. 2015.02.13. 20

21 T.Gy. Beszedfelism es szint. 2015.02.13. 21

22 T.Gy. Beszedfelism es szint. 2015.02.13. 22

23 T.Gy. Beszedfelism es szint. 2015.02.13. 23

24 ELTE BTK Fonetikai Tanszék Beszédtudomány – előadás Az előadás a beszéd tudományát interdiszciplináris megközelítésben tárgyalja az elmélettől az alkalmazásokig. A cél a verbális kommunikáció megismerésének megalapozása a beszédtervezéstől a beszédmegértésig. Ismerteti e két fő mechanizmus szintjeit, ezek működéseit, az egyes folyamatok elemzési, ill. vizsgálati lehetőségeit. Foglalkozik a beszédprodukció önellenőrzési folyamataival, a lexikális hozzáférés modelljeivel, a spontán beszéd sajátosságaival, az objektív és kvázi-szubjektív kísérleti lehetőségekkel. Áttekinti a beszédtechnológiai területeket. Fonetika A fonetika kurzus célja a beszéd artikulációs, akusztikai és percepciós sajátosságainak megtanítása. Foglalkozik a beszédképzés elméleteivel, a beszéd élettani alapjaival, a beszédprodukció és a beszédpercepció szerveivel, a szegmentális (beszédhangok képzése) és a szupraszegmentális (dallam, hangsúly, tempó stb.) hangszerkezettel. Bemutatja a fonetikai átírásokat és a beszéd vizsgálati eszközeit. Tárgyalja a másodlagos képzési sajátosságokat, a koartikulációs folyamatokat, a beszédhangok gyakoriságát. Megismertet az artikuláció és az akusztikum kapcsolatával, a beszédhangok akusztikai szerkezetével, a spontán beszéd jellemzővel. A szeminárium alkalmat ad átírási gyakorlatokra és a beszédhangok artikulációs és akusztikai elemzésére. T.Gy. Beszedfelism es szint. 2015.02.13. 24

25 Kísérleti és alkalmazott fonetika – előadás Az előadás megismertet a hazai és nemzet­közi eredményekkel, a kísérleti megközelítésekkel, módszerekkel és a megoldásra váró prob­lémákkal. Foglalkozik a beszéddel kapcsolatos kutatások megtervezésével, a kísérletek lefolytatásával, az adatok feldolgozásával – számos példa bemutatásán keresztül. Tárgyalja a kísérleti eredmények gyakorlati alkalmazásának lehetőségeit több területen (pl. gyógypedagógiai, hallásvizsgálati vonatkozások). Áttekinti az fonetikai alkalmazások fejlesztéseit, és bemutatja a megoldásra váró problémákat. Pszicholingvisztika – előadás A cél a tudományág és azon belül az egyes tudományterületek bemutatása, valamint a problémák kritikai elemzése. A hallgatók megismerik a pszicholingvisztika interdiszciplináris sajátosságait, kérdésfeltevéseit, azok elemzési lehetőségeit, az elméleti és a gyakorlati kapcsolódásokat. Foglalkozik az agy működésével, felépítésével, a legújabb eredményekkel; a beszédprodukció és a beszédmegértés folyamatával; a mentális lexikon mibenlétével; valamint az anyanyelv-elsajátítás elméleti kérdéseivel, szakaszaival, általános és magyar nyelvi sajátosságaival. Beszédtechnológia – szeminárium A beszédkutatás eredményeinek egyfajta gyakorlati alkalmazásaival foglalkozik. Kitér a beszédszintézis és a mesterséges beszédfelismerés fonetikai vonatkozásaira, a működő rendszerek ismertetésére, a jelfeldolgozás aktuális kérdéseire, valamint a beszélő személy felismerésének (azonosításának) fonetikai sajátosságaira. T.Gy. Beszedfelism es szint. 2015.02.13. 25

26 PPKE BTK Bevezetés a nyelvtudományba Tervezett előadásmenet: Nyelv és kommunikáció – általános kérdések Fonetika Fonológia Morfológia Szintaxis Lexikon Szemantika Változatok a nyelvben A nyelvrokonság A nyelvek változása: történetiség Elméletek és módszerek a nyelvtudomány történetében (A sorrendben változások előfordulhatnak.) T.Gy. Beszedfelism es szint. 2015.02.13. 26

27 PPKE BTK FONETIKA tárgy T.Gy. Beszedfelism es szint. 2015.02.13. 27

28 T.Gy. Beszedfelism es szint. 2015.02.13. 28 Tantárgyprogram

29 T.Gy. Beszedfelism es szint. 2015.02.13. 29 Mik a főbb fejlődési irányok? Meggazdagodott-e már valaki beszédfelismerés vagy beszédszintézis termékeken?

30 Three Trends to Watch in 2013 [Speech Technology] In smartphone use, there's mounting interest in effectively using speech technology in multimodal and cross-channel environments. This development requires voice user interface (VUI) and graphical user interface (GUI) designers to work together and create fully integrated applications. The creation of voice-enabled virtual assistants for the enterprise. Unlike Siri, these virtual assistants are designed for business purposes. Siri is the intelligent personal assistant that helps you get things done just by asking. It allows you to use your voice to send messages, schedule meetings, place phone calls, and more. Siri is available for iPhone 5, iPhone 4S, iPad with Retina display, iPad mini, and iPod touch (5th generation). Voice biometrics -- "Your Voice Is Your Password„ -- voiceprints (hanglenyomat?) T.Gy. Beszedfelism es szint. 2015.02.13. 30

31 T.Gy. Beszedfelism es szint. 2015.02.13. 31

32 T.Gy. Beszedfelism es szint. 2015.02.13. 32

33 T.Gy. Beszedfelism es szint. 2015.02.13. 33

34 T.Gy. Beszedfelism es szint. 2015.02.13. 34

35 T.Gy. Beszedfelism es szint. 2015.02.13. 35

36 T.Gy. Beszedfelism es szint. 2015.02.13. 36 https://dictation.io/ Érdemes kipróbálni, ha még nem tették! Ingyenes ez?

37 T.Gy. Beszedfelism es szint. 2015.02.13. 37

38 38T.Gy. Beszedfelism es szint. 2015.02.13.

39 Status and Potential of the European Language Technology Markets (March 2013) LT ‐ Innovate has developed a market model to estimate the size of LT market in terms of sales and services. The worldwide LT market is worth around €19.3B today and should grow to nearly €30B by 2015. The European speech technology market is growing by 9.7%; and should grow to €8.6B by 2015. The intelligent content market is set to grow to €6.2B. The translation technology market is worth some €8.6B and should grow to €14.9B. T.Gy. Beszedfelism es szint. 2015.02.13. 39

40 40T.Gy. Beszedfelism es szint. 2015.02.13.

41 41