Mérnöki tervezés - 2005. december 15. 1 Hangelemző rendszer fejlesztése Symbian OS-re Hegedűs Iván Mihály Pázmány Péter Katolikus Egyetem Információs Technológiai.

Az előadások a következő témára: "Mérnöki tervezés - 2005. december 15. 1 Hangelemző rendszer fejlesztése Symbian OS-re Hegedűs Iván Mihály Pázmány Péter Katolikus Egyetem Információs Technológiai."— Előadás másolata:

1 Mérnöki tervezés - 2005. december 15. 1 Hangelemző rendszer fejlesztése Symbian OS-re Hegedűs Iván Mihály Pázmány Péter Katolikus Egyetem Információs Technológiai Kar

2 2Mérnöki tervezés - 2005. december 15. Emlékeztető A célunk siketek számára egy olyan speciális alkalmazás készítése mobil készülékekre, ami beszédhangból közvetlenül egy modellezett száj vagy fej mozgását tudja előállítani. Első lépések: Ismerkedés a készülékekkel és Symbian operációs rendszerrel Ismerkedés a készülékekkel és Symbian operációs rendszerrel Stabil fejlesztői környezet kialakítása (SDK) Stabil fejlesztői környezet kialakítása (SDK) Kisebb programok készítése futtatása Kisebb programok készítése futtatása

3 3Mérnöki tervezés - 2005. december 15. Készülékek és korábbi eredmények Telefonok és jellemzőik: Nokia 7610 és, Sony Ericsson P910 Symbian OS 7.0s P910 jobban terhelhető Nokia 6680: Symbian OS 8.0 OpenGL ES támogatásEredmények: „Audio input stream” alkalmazás FFT implementálása Fordítási gondok! Emulátoron működik, készülékre nem fordul?

4 4Mérnöki tervezés - 2005. december 15. Beszédhang elemző rendszer A felmerült hibákra megoldást kell találni! Feladatunk újbóli átgondolása (visszalépés) „Inkrementális fejlesztés”

5 5Mérnöki tervezés - 2005. december 15. Hangszintmérő Önálló alkalmazás Egyszerű grafikus megjelenítés „Van beszéd nincs beszéd” döntéshozó szerep Átalakítva alapmodulként használjuk a továbbiakban

6 6Mérnöki tervezés - 2005. december 15. Javított FFT modul Nagy erőforrásigény Kritikus pontok: 1. koszinusz tábla tárolása és mérete 2. „TReal” azaz „double” típus Megoldások: 1. Koszinusz tábla: –Statikus vagy dinamikus tömbben tárolása –A tábla méret csökkentése 2. „TRreal32” azaz „float” típus

7 7Mérnöki tervezés - 2005. december 15. MFCC modul (Mel Frequency Cepstrum Coefficients – MFCC) Neurális hálózatnak elkészíti a FFT értékeiből számított megfelelő bemenetei jelsorozatot Főbb lépesei: Hamming ablak Hamming ablak Fast Fourier Transformation (FFT) Fast Fourier Transformation (FFT) Logaritmus Logaritmus diszkrét koszinusz transzformációt (DCT) diszkrét koszinusz transzformációt (DCT) Emulátoron sikeres tesztek A készüléken még nem képes futni a rendszerünkbe beépített modul

8 8Mérnöki tervezés - 2005. december 15. Neurális háló és PCA Neurális háló: Mobil készüléken ki kell váltanunk! Tanítása PC-n történik A betanított háló szinapszis értékeiből C++ kódot generálunk Kiértékelő függvény Főkomponens analízis (PCA): Szintén automatán generált kód Jelentősége pixelkoordináták kinyerése a neurális háló kapott értékekből A grafikus felület az itt kapott értékkel kapcsolható rendszerünkhöz

9 9Mérnöki tervezés - 2005. december 15. Összefoglalás A részmoduljaink többsége kész A készüléken az előfeldolgozás (MFCC) futtatása a legfontosabb feladat Emulátoros környezetben már minden adott az első rendszerteszthez További feladataink: Végtelenítési feladat Összekapcsolás a grafikus felülettel

10 10Mérnöki tervezés - 2005. december 15. Köszönöm a figyelmet!