MTA SZTAKI Department of Distributed Systems Mutasd a hangod! intelligens gépi jeltolmács beszéd- és halláskárosultaknak Mátételki Péter.

Az előadások a következő témára: "MTA SZTAKI Department of Distributed Systems Mutasd a hangod! intelligens gépi jeltolmács beszéd- és halláskárosultaknak Mátételki Péter."— Előadás másolata:

1 MTA SZTAKI Department of Distributed Systems Mutasd a hangod! intelligens gépi jeltolmács beszéd- és halláskárosultaknak Mátételki Péter

2 dsd.sztaki.hu MTA SZTAKI Department of Distributed Systems 2 Helen Keller „A vakság a dolgoktól választ el, a siketség az emberektől.”

3 dsd.sztaki.hu MTA SZTAKI Department of Distributed Systems 3 Mi a probléma? Siketek, hallás- és beszédkárosultak: mindennapos kommunikációs problémák mindennapos kommunikációs problémák nehéz társadalmi integráció nehéz társadalmi integráció munkaerőpiaci nehézségek munkaerőpiaci nehézségek elszigeteltség elszigeteltség “klikkesedés” “klikkesedés”

4 dsd.sztaki.hu MTA SZTAKI Department of Distributed Systems 4 Jelnyelvi tolmács

5 dsd.sztaki.hu MTA SZTAKI Department of Distributed Systems 5 Silent Speech Translation (interACT)

6 dsd.sztaki.hu MTA SZTAKI Department of Distributed Systems 6 Eyes-Free Keypad Input

7 dsd.sztaki.hu MTA SZTAKI Department of Distributed Systems 7 Keyboard Glove – University of Alabama

8 dsd.sztaki.hu MTA SZTAKI Department of Distributed Systems 8 Hogyan segíthetünk? Megoldást jelentene egy intelligens segédeszköz intelligens segédeszköz fogyatékkal élők és épek integrációja fogyatékkal élők és épek integrációja áthidalja a kommunikációs szakadékot áthidalja a kommunikációs szakadékot mindennapi használatra mindennapi használatra intuitív intuitív

9 dsd.sztaki.hu MTA SZTAKI Department of Distributed Systems 9 Ez meg mi?

10 dsd.sztaki.hu MTA SZTAKI Department of Distributed Systems 10 Megoldásunk jelnyelvből beszéd jelnyelvből beszéd folyamatos, valós idejű működés folyamatos, valós idejű működés jelnyelvi szinkrontolmács jelnyelvi szinkrontolmács innovatív hardver- és szoftverrendszer innovatív hardver- és szoftverrendszer Tolmácskesztyű szinkrontolmácsgép beszéd- és halláskárosultaknak

11 dsd.sztaki.hu MTA SZTAKI Department of Distributed Systems 11 Így működik jelnyelv – nem igényel betanulást jelnyelv – nem igényel betanulást egyik kézen viselhető kesztyű egyik kézen viselhető kesztyű szenzorok szenzorok mikrovezérlés mikrovezérlés adatfeldolgozás adatfeldolgozás Bluetooth Bluetooth mobil app mobil app jelfeldolgozás jelfeldolgozás nyers szöveg nyers szöveg nyelvi elemzés nyelvi elemzés felolvasás felolvasás közösségi szolgáltatások közösségi szolgáltatások gesztusok megosztása gesztusok megosztása

12 dsd.sztaki.hu MTA SZTAKI Department of Distributed Systems 12 Gesztusfelismerés 9DOF integrált chipek 9DOF integrált chipek jelfúzió jelfúzió inerciahálózat inerciahálózat virtuális kéz virtuális kéz gesztusleírók gesztusleírók 30 gesztus/sec 30 gesztus/sec soros USB soros USB soros Bluetooth soros Bluetooth

13 dsd.sztaki.hu MTA SZTAKI Department of Distributed Systems 13 Daktil “ujjábécé”

14 dsd.sztaki.hu MTA SZTAKI Department of Distributed Systems 14 Nyelvi elemzés hibák hibák rosszul mutatott jelek rosszul mutatott jelek jól mutatott jelek jól mutatott jelek átmeneti jelek átmeneti jelek duplikált jelek duplikált jelek természetes nyelvi elemzés természetes nyelvi elemzés betűhatárok felismerése – szegmentálás betűhatárok felismerése – szegmentálás ablakozó algoritmus ablakozó algoritmus kézdinamikai vizsgálat alapján kézdinamikai vizsgálat alapján kontextusérzékeny szövegjavítás kontextusérzékeny szövegjavítás confusion matrix confusion matrix módosított Levenshtein távolság módosított Levenshtein távolság n-gram n-gram

15 dsd.sztaki.hu MTA SZTAKI Department of Distributed Systems 15 Működés jelnyelv (Daktil és saját) jelnyelv (Daktil és saját) betanítható saját gesztusok betanítható saját gesztusok kézállapotok digitalizálása kézállapotok digitalizálása gesztusleírók létrehozása gesztusleírók létrehozása jelfeldolgozás (szegmentáció) jelfeldolgozás (szegmentáció) szöveg készítése szöveg készítése automatikus felolvasás automatikus felolvasás

16 dsd.sztaki.hu MTA SZTAKI Department of Distributed Systems 16 Felhasználás Fogyatékos Személyek Esélyegyenlőségéért Közalapítvány, ’Jelnyelvi tolmácsszolgáltatás igénybevételi adatainak elemzése a 2009. június 01. és 2010. május 31. közötti tárgyidőszakra vonatkozóan’

17 dsd.sztaki.hu MTA SZTAKI Department of Distributed Systems 17 Felhasználás Fogyatékosok hétköznapi szituációkban: munka munka banki ügyintézés banki ügyintézés vásárlás üzletben, piacon vásárlás üzletben, piacon közhivatali ügyintézés közhivatali ügyintézés egészségügyi ellátás egészségügyi ellátás oktatás oktatás szabadidő szabadidő …

18 dsd.sztaki.hu MTA SZTAKI Department of Distributed Systems 18 Tervek dinamikus kesztyű dinamikus kesztyű kétkezes kesztyű kétkezes kesztyű speciális felhasználás (pl. tűzoltók, katasztrófa) speciális felhasználás (pl. tűzoltók, katasztrófa) gyógyászati felhasználás gyógyászati felhasználás trendi (fiatalos) felhasználási területek trendi (fiatalos) felhasználási területek egyéb ipari felhasználás egyéb ipari felhasználás

19 dsd.sztaki.hu MTA SZTAKI Department of Distributed Systems 19 Pályázat KMR-12 MTA SZTAKI Euronet Zrt. 2012.10.01. 24 hónap

20 dsd.sztaki.hu MTA SZTAKI Department of Distributed Systems 20 Köszönöm a figyelmet! Mátételki Péter matetelki@sztaki.hu MTA SZTAKI DSD http://dsd.sztaki.hu/projects/TolmacsKesztyu/hu/