Mérnöki tervezés december Hangelemző rendszer fejlesztése Symbian OS-re Hegedűs Iván Mihály Pázmány Péter Katolikus Egyetem Információs Technológiai Kar

2Mérnöki tervezés december 15. Emlékeztető A célunk siketek számára egy olyan speciális alkalmazás készítése mobil készülékekre, ami beszédhangból közvetlenül egy modellezett száj vagy fej mozgását tudja előállítani. Első lépések: Ismerkedés a készülékekkel és Symbian operációs rendszerrel Ismerkedés a készülékekkel és Symbian operációs rendszerrel Stabil fejlesztői környezet kialakítása (SDK) Stabil fejlesztői környezet kialakítása (SDK) Kisebb programok készítése futtatása Kisebb programok készítése futtatása

3Mérnöki tervezés december 15. Készülékek és korábbi eredmények Telefonok és jellemzőik: Nokia 7610 és, Sony Ericsson P910 Symbian OS 7.0s P910 jobban terhelhető Nokia 6680: Symbian OS 8.0 OpenGL ES támogatásEredmények: „Audio input stream” alkalmazás FFT implementálása Fordítási gondok! Emulátoron működik, készülékre nem fordul?

4Mérnöki tervezés december 15. Beszédhang elemző rendszer A felmerült hibákra megoldást kell találni! Feladatunk újbóli átgondolása (visszalépés) „Inkrementális fejlesztés”

5Mérnöki tervezés december 15. Hangszintmérő Önálló alkalmazás Egyszerű grafikus megjelenítés „Van beszéd nincs beszéd” döntéshozó szerep Átalakítva alapmodulként használjuk a továbbiakban

6Mérnöki tervezés december 15. Javított FFT modul Nagy erőforrásigény Kritikus pontok: 1. koszinusz tábla tárolása és mérete 2. „TReal” azaz „double” típus Megoldások: 1. Koszinusz tábla: –Statikus vagy dinamikus tömbben tárolása –A tábla méret csökkentése 2. „TRreal32” azaz „float” típus

7Mérnöki tervezés december 15. MFCC modul (Mel Frequency Cepstrum Coefficients – MFCC) Neurális hálózatnak elkészíti a FFT értékeiből számított megfelelő bemenetei jelsorozatot Főbb lépesei: Hamming ablak Hamming ablak Fast Fourier Transformation (FFT) Fast Fourier Transformation (FFT) Logaritmus Logaritmus diszkrét koszinusz transzformációt (DCT) diszkrét koszinusz transzformációt (DCT) Emulátoron sikeres tesztek A készüléken még nem képes futni a rendszerünkbe beépített modul

8Mérnöki tervezés december 15. Neurális háló és PCA Neurális háló: Mobil készüléken ki kell váltanunk! Tanítása PC-n történik A betanított háló szinapszis értékeiből C++ kódot generálunk Kiértékelő függvény Főkomponens analízis (PCA): Szintén automatán generált kód Jelentősége pixelkoordináták kinyerése a neurális háló kapott értékekből A grafikus felület az itt kapott értékkel kapcsolható rendszerünkhöz

9Mérnöki tervezés december 15. Összefoglalás A részmoduljaink többsége kész A készüléken az előfeldolgozás (MFCC) futtatása a legfontosabb feladat Emulátoros környezetben már minden adott az első rendszerteszthez További feladataink: Végtelenítési feladat Összekapcsolás a grafikus felülettel

10Mérnöki tervezés december 15. Köszönöm a figyelmet!