Szintetikus látható beszéd bemutató és megbeszélés Pázmány Péter Katolikus Egyetem Információs Technológiai Kar 1083 Budapest, Práter u. 50/a. 2006. június.

Slides:



Advertisements
Hasonló előadás
Készült a 25 éves osztálytalálkozónk emlékére !
Advertisements

Néhány fontos terület a Kreatív Ipar fejlődéséhez
Péter Pázmány Catholic University, Department of Information Technology Videó előfeldolgozás Audio előfeldolgozás Szinkronizált Audio-vizuális adatbázis.
Információs és kommunikációs technikák szerepe a szakképzésben
Alapképzések a Debreceni Egyetem Informatikai Karán
FELÜGYELŐ BIZOTTSÁG Elnök: Dr
INFRASTRUKTÚRA MENEDZSMENT
Mobil hangkommunikációs hálózati ismeretek Projekt- összefoglaló.
MTA Távközlő Rendszerek Bizottság tevékenysége Sallai Gyula, elnök Imre Sándor, titkár.
FÖKIR Integrált Elektronikus Közoktatási Információs Rendszer TISZKIR Térségi Integrált Szakképző Központ Információs Rendszer Fővárosi Oktatástechnológiai.
2009. november 30. Szegedi Tudományegyetem BTK Informatikus Könyvtáros Szak 1 NEMZETKÖZI TARTALOMIPAR ÁGAZATOK ÉS TRENDEK 12. előadás.
Gőzerővel dolgozott mindenki. A művészek dolgoztak lelkesen, a kréta fogyott rendesen!
50 éves a szegedi informatika
FOTOGRAMMETRIA és TÉRINFORMATIKA TANSZÉK
1 Matematika oktatás mérnök és műszaki informatikai képzésekben Ráckeve, március 2-4. Moson Péter, BME, Matematika Intézet Budapesti Műszaki és Gazdaságtudományi.
Fényképek: 640x480!.
Az informatika oktatása a Debreceni Egyetem Informatikai Karán
Bányai Júlia Gimnázium
Doktorandusi Pálya a Pázmány Egyetem Interdiszciplináris Műszaki Tudományok Doktori Iskolájában 2009 április.
Önálló laboratórium december 19.1 Fejlesztő rendszer kialakítása SYMBIAN operációs rendszerű GSM terminálokhoz Hegedűs Iván Mihály Pázmány Péter.
Önálló laboratórium II május 23.1 Mobiltelefonon futtatható program készítése Hegedűs Iván Mihály Pázmány Péter Katolikus Egyetem Információs.
Persa György Témavezető: Szabó Csanád Pázmány Péter Katolikus Egyetem Információs Technológiai Kar 1.
Kiss Attila: Korszerű adatbázisok Adatbázis kutatási eredmények a TÁMOP támogatásával Június 7. Visegrád.
Dr. Surján György és munkatársai IMEA TEA március 30. IMEA TEA Az Internetes Magyar Egészségügyi Adattár egyéves fejlődése.
Az emberi természet természettudományos vizsgálata
2011. évi Közgyűlés Jutalmazás, kitüntetés Sallai Gyula, elnök május 25.
„A pedagógusképzés tartalmi és szerkezeti fejlesztése” című projekt eredményeinek disszeminációja a Kecskeméti Főiskola Tanítóképző Főiskolai Karának oktatói.
Megoldottuk a számítógép nyelvét... Prószéky Gábor MTA, november 4. MTA, november 4.
Prószéky Gábor MorphoLogic DAT-2006, november 21. Prószéky Gábor MorphoLogic
2009. november 16. Szegedi Tudományegyetem BTK Informatikus Könyvtáros Szak 1 NEMZETKÖZI TARTALOMIPAR ÁGAZATOK ÉS TRENDEK 10. előadás.
Controlling a gyakorlatban
Jövő Internet Nemzeti Technológiai Platform Workshop program június 4. Levezető elnök: Dr. Bakonyi Péter Napirend: 1. Tudománypolitikai Stratégia.
Kézmozdulat felismerő rendszer
AGRÁRMÉRNÖKI SZAK (MSc.) NYME Mezőgazdaság- és Élelmiszertudományi Kar
Fogyatékossággal élő hallgatók a Nyíregyházi Főiskolán Göncziné dr. Szabó Terézia „Egyenlő esélyek biztosítása a felsőoktatásban” november 26.
Kompetencia alapú nyelvtanítás Projektindító szakmai értekezlet Sümeg2010.
Szakmai munkánk a pályázatban
Nicsak, ki beszél – már a számítógépek is... Szita István Eötvös Collegium.
IKT IMPLANTÁTUMOK - közvetlen ember gép kommunikáció - ( IT3 mélyfúrás) - IT3 Baráti Társaság március 2. -
Sikeres ipar-egyetemi együttműködés Pannon Egyetem - KÜRT Zrt. Dr Remzső Tibor pályázati igazgató egyetemi docens Microsoft Innovációs Nap november.
Szitakötő projekt az Irinyiben Készítette: Horváth Irén projektvezető
Mérnöki tervezés december Hangelemző rendszer fejlesztése Symbian OS-re Hegedűs Iván Mihály Pázmány Péter Katolikus Egyetem Információs Technológiai.
HEVESY GYÖRGY ÁLTALÁNOS ISKOLA TURA
MTA SZTAKI Department of Distributed Systems Mutasd a hangod! intelligens gépi jeltolmács beszéd- és halláskárosultaknak Mátételki Péter.
Charon Intézet - Technológiák
a segítő kommunikáció (AAK) oktatásához
ALKÍMIA MA Az anyagról mai szemmel, a régiek megszállottságával
A Nyelv- és Beszédtechnológiai Platform egy éve Váradi Tamás MTA Nyelvtudományi Intézet Nyelvi áttörés A nyelv- és beszédtechnológia mint húzóágazat.
Társulatunk május 4-én alakult. 10 ÉVE SZOLGÁLJUK A NEMZETI ENERGIAPOLITIKÁT 1.
Telekocsi szolgáltatás kialakítása “Ruby on Rails” és lokalizációs megoldások felhasználásával Pázmány Péter Katolikus Egyetem Információs Technológiai.
BUDAPEST FŐVÁROS ÖNKORMÁNYZATÁNAK FŐPOLGÁRMESTERI HIVATALA FŐPOLGÁRMESTER Tarlós István FŐPOLGÁRMESTER Tarlós István Irányítás szakmai.
IKT A PEDAGÓGIÁBAN 1 Készítette: dr. Létray Zoltán.
TÁMOP B- 12/ „Szakképző intézmények felkészülésének támogatása a rövidebb idejű szakképzés bevezetésére” az 500. Sz. Angster József Szakképző.
Óbudai Egyetem FENNTARTÓ Rektor Kancellár Szenátus
ÚTI BESZÁMOLÓ Tanártovábbképzés Barcelonàban
BIM törekvések Magyarországon - MABIM bemutatkozó előadás
Meghívó ! Agykutatás Napjai Budapesten március 17-18
FÖKIR Integrált Elektronikus Közoktatási Információs Rendszer
Országos mérési eredmények
- Mobil navigáció látássérülteknek -
IGAZGATÓI DICSÉRETEK Budai Vendel 3.b
PhD online közösségi oldal Dr
HAT pályázat beszámolója
Oktatás a mérnök informatikus szakon: tények és vélemények
A konferencia megszervezéséhez és lebonyolításához a támogatást a Nemzeti Kutatási és Technológiai Hivatal (NKTH), valamint a Kutatás-fejlesztési Pályázati.
Takács György, Olaszy Gábor, Podoletz György, Tihanyi Attila
A gépi beszédfelismerés kezdeti kutatásai
BME VBK tájékoztató 1.
Mobilsuli program a Mobkom X Egyesülettel
Előadás másolata:

Szintetikus látható beszéd bemutató és megbeszélés Pázmány Péter Katolikus Egyetem Információs Technológiai Kar 1083 Budapest, Práter u. 50/a június 28. Takács György

Péter Pázmány Catholic University, Department of Information Technology A PPKE Információs Technológiai Kar sajátosságai Mérnök-informatikusokat képzünk, multidiszciplináris szemlélettel: a hagyományos információs technológiák élőlények információ feldolgozási sajátosságaival egészülnek ki. A tananyagban szerepel neurobiológia, molekuláris biológia, nanotechnológia, az érzékelés-felismerés tudománya műszaki és biológiai megközelítésben. A legfejlettebb számítógép- és távközlési technológiák kapcsolódnak a legújabb biológiai eredményekhez. Doktori iskolánk és kutatási tevékenységünk is ebben a szemléletben működik és fejlődik. Az állami normatíva működési költségeinknek kb. felét fedezi. A többit kutatási pályázatokból teremtjük elő.

Péter Pázmány Catholic University, Department of Information Technology A „Siketek beszédkommunikációját mobiltelefonnal segítő eszközök fejlesztése” c. projekt története A mai mobiltelefon rendszerek és végberendezések igen fejlett és speciális rendszert képeznek. A Kar sajátosságainak megfelelő kutatási-fejlesztési feladatokat kerestünk mobil alkalmazási területen. Építhettünk a meglévő nyelvtechnológiai (beszédtechnológiai) iskolára is. Számítottunk a pályáztatók lelkiismeretére is. A pályázó konzorcium vezetője volt a PPKE ITK, további tagjai SINOSZ és T-MOBILE (WESTEL). A pályázatot 2003-ban nyertük el és 2005-ben zártuk le.

Péter Pázmány Catholic University, Department of Information Technology A projekt koncepciója Célul tűztük ki kommunikációs segédeszközök fejlesztését siket felhasználók számára. Nagyban építettünk a siketek kifinomult képességeire, amelyekkel a számukra töredékesen érkező beszédinformációt kiegészítve és korrigálva hatékony kommunikációra képesek. Olyan megoldásokat kerestünk, amelyek egy fejlett mobiltelefon erőforrásaival megoldhatók. A bemenő jel a telefonba érkező beszéd. Olyan kimenő jelet kerestünk, amely a siketek számára a beszédet érthető formában jeleníti meg. Kiderült, hogy számukra természetes és egyedül elfogadható, ha egy mozgó fej képe jelenik meg a kijelzőn, amelynek szájmozgásáról olvashatják le a beszédüzenetet.

Péter Pázmány Catholic University, Department of Information Technology A megoldás alapelvei A beszédhangból szájmozgás képévé történő közvetlen átalakítását tűztük ki célul (anélkül, hogy diszkrét nyelvi elemekre vonatkozó felismerést végrehajtanánk a rendszerben). Mértékadó szakmai tekintélyek hirdetik, hogy ez nem lehetséges (pl. INTERSPEECH 2005). Mi is tudjuk, hogy ez csak tökéletlenül lehetséges, de kiegészítve a részleges vizuális reprezentációt a siketek sokéves gyakorlásban kialakult különleges képességeivel egy gyakorlati hasznosságú eszköz kialakítható. Ez egy eredeti új működési alapelv, amely magában hordozza a nyelvfüggetlen működés lehetőségét is. További eredeti újdonság rendszerünkben, hogy bár köznapi beszélők beszédjelét kell majd szájmozgássá alakítani, de a tanító adatbázishoz kizárólag hivatásos jeltolmácsok hang- és képfelvételeit használtuk.

Péter Pázmány Catholic University, Department of Information Technology Videó előfeldolgozás Audio előfeldolgozás Szinkronizált Audio-vizuális adatbázis Ellenőrzés Eredmények Szájmozgást előállító rendszer NN MFCC w 1 … w 6 főkomponens súlytényezők PCA -1 MPEG-4 alapú mozgó száj megjelenítés Akusztikus lényegkiemelés FP tartópont koordináták

Péter Pázmány Catholic University, Department of Information Technology A kiválasztott MPEG-4 tartópontok

Péter Pázmány Catholic University, Department of Information Technology

A feladat megoldásában közreműködtek: Bárdi Tamás, Harczos Tamás, Feldhoffer Gergely Doktoranduszok Borsi Bence, Jung Gergely, Víg János, Szappanos András, Pozsgay Tamás, Szabó Gábor Dániel, Srancsik Bálint, Hegedűs Iván Mihály IV. és V. éves hallgatók Mikesy György SINOSZ elnök Szomolányi Márta, Szabó Judit, Hanák Petra, Künsztler György, és társaik, akik tolmácsoltak és a felvételeken szerepeltek, Tihanyi Attila laborvezető Akik a siketek közül a kísérletekben segítettek: Balog Emília, Birkmayer Petra, Csemi Mónika, Csiki Márton, Dusz Béla, Erdélyi Krisztina, Falkus Zoltán, Gazsi Tímea, Horváth Balázs, Kató Sándor, Király Dóra, Mongyi Laura, Pusztai Tibor és további társaik..

Péter Pázmány Catholic University, Department of Information Technology További menetrend: Előzetes kísérletek, elemző, tömörítő és transzformáló rendszerelemek, adatbázis készítés – Bárdi Tamás és Feldhoffer Gergely doktoranduszok előadása. Képfeldolgozási érdekességek, MPEG-4 alapú fejmodellek – Tihanyi Attila és Srancsik Bálint előadása. A rendszer bemutatója „Előremutató irányok a nyelvfeldolgozásban” Prószéky Gábor előadása „Fej animáció” Ruttkay Zsófia tervezett előadása, amely sajnos most elmarad Összefoglaló és vita.

Péter Pázmány Catholic University, Department of Information Technology Videó előfeldolgozás Audio előfeldolgozás Szinkronizált Audio-vizuális adatbázis Ellenőrzés Eredmények Szájmozgást előállító rendszer NN MFCC w 1 … w 6 főkomponens súlytényezők PCA -1 MPEG-4 alapú mozgó száj megjelenítés Akusztikus lényegkiemelés FP tartópont koordináták Következik: Előzetes kísérletek, elemző, tömörítő és transzformáló rendszerelemek, adatbázis készítés