Péter Pázmány Catholic University, Department of Information Technology Videó előfeldolgozás Audio előfeldolgozás Szinkronizált Audio-vizuális adatbázis Ellenőrzés Eredmények Szájmozgást előállító rendszer NN MFCC w 1 … w 6 főkomponens súlytényezők PCA -1 MPEG-4 alapú mozgó száj megjelenítés Akusztikus lényegkiemelés FP tartópont koordináták

Képfeldolgozási érdekességek, MPEG-4 alapú fejmodellek Srancsik Bálint, Tihanyi Attila Pázmány Péter Katolikus Egyetem Információs Technológiai Kar 1083 Budapest, Práter u. 50/a június 28.

Péter Pázmány Catholic University, Department of Information Technology Videó előfeldolgozás Audio előfeldolgozás Szinkronizált Audio-vizuális adatbázis Ellenőrzés Eredmények Szájmozgást előállító rendszer NN MFCC w 1 … w 6 főkomponens súlytényezők PCA -1 MPEG-4 alapú mozgó száj megjelenítés Akusztikus lényegkiemelés FP tartópont koordináták

Péter Pázmány Catholic University, Department of Information Technology Arcanimáció (FA) – informatikai megközelítés Kutató Művész  MPEG-4

Péter Pázmány Catholic University, Department of Information Technology Kódolás, dekódolás Kódoló ? Dekódoló ? Adat formátum Az MPEG-4 FA-ban nincs szabványosítva a kódoló és a dekódoló

Péter Pázmány Catholic University, Department of Information Technology Paraméterezés

Péter Pázmány Catholic University, Department of Information Technology Kódolás-dekódolás szerkezete FDP – Face Definition Parameter FP – Feature Point FAP – Facial Animation Parameter FAPU – Facial Animation Parameter Unit (FAT – Face Animation Tables)

Péter Pázmány Catholic University, Department of Information Technology Arckifejezések MPEG-4-es megvalósítása Az első csoportba tartozó két FAP magas szintű paraméter -> előre definiált komplexebb mozgásokat lehet végrehajtani velük. Számítógépes modell - Neme (fiú, lány) - Kora - Érzelmi állapota

Péter Pázmány Catholic University, Department of Information Technology Vizuális adatbázis létrehozása

Péter Pázmány Catholic University, Department of Information Technology Döntéshozás FP meghatározás Eredeti Lényeg- kiemelés Invertálás Dilatáció Erózió

Péter Pázmány Catholic University, Department of Information Technology Referencia alkalmazása

Péter Pázmány Catholic University, Department of Information Technology Videó előfeldolgozás Audio előfeldolgozás Szinkronizált Audio-vizuális adatbázis Ellenőrzés Eredmények Szájmozgást előállító rendszer NN MFCC w 1 … w 6 főkomponens súlytényezők PCA -1 Akusztikus lényegkiemelés FP tartópont koordináták MPEG-4 alapú mozgó száj megjelenítés

Péter Pázmány Catholic University, Department of Information Technology Lucia -Bőr (15736) -Haj (4608) -Szemek (5376) -Fogak (1033) -Nyelv (236) -Torok (318)

Péter Pázmány Catholic University, Department of Information Technology Animáció megvalósítás  Tartópont mozgatás  Tartópontok egymásra hatása  Száj körül a bőrfelült részekre osztásával valósítható meg a mozgatás

Péter Pázmány Catholic University, Department of Information Technology Tartópontok egymásra hatása Álkapocs forgáspont rögzítése szükséges Közeli pontok hatóköre összeér Álcsúcs mozgatásának a hatóköre nagy!

Péter Pázmány Catholic University, Department of Information Technology Műveletek MPEG-4 adatokkal Alapállású fej Érzelmet, szájállást megjelenítő fej  A modell méretarányának ismeretében határozhatók meg az egyes FDP-k elmozdulásának mértékei Érzelmet, szájállást megjelenítő fej Alapállású fej

Péter Pázmány Catholic University, Department of Information Technology Animáció meggyorsítása  A modell méretarányának ismeretében határozhatók meg az egyes FDP-k elmozdulásának mértékei  Előre legkésőbb a modell betöltésekor meghatározhatók az FDP-k által mozgatott hálópontok  Modellt alkotó háló pontjainak válogatása, sorba állítása elmozdulás mértéke szerint  Rendelkezésre álló gép kapacitásnak azonnali automatikus skálázása valósítható meg.

Péter Pázmány Catholic University, Department of Information Technology Szájmozgást előállító rendszer Videó előfeldolgozás Audio előfeldolgozás Szinkronizált Audio-vizuális adatbázis Ellenőrzés Eredmények NN MFCC w 1 … w 6 főkomponens súlytényezők PCA -1 MPEG-2 alapú mozgó száj megjelenítés Akusztikus lényegkiemelés FP tartópont koordináták

Péter Pázmány Catholic University, Department of Information Technology Teszt eredmények Markerekkel vezérelve Hanggal vezérelve EllenőrzésEredmény

Péter Pázmány Catholic University, Department of Information Technology Teszt eredmények  A: Video felvételek  B: LUCIA FP koordinátákkal vezérelve  C: LUCIA hanggal vezérelve

Péter Pázmány Catholic University, Department of Information Technology Továbblépések Előfeldolgozás Szájmozgást előállító rendszer Adatbázis

Péter Pázmány Catholic University, Department of Information Technology Modellek

Péter Pázmány Catholic University, Department of Information Technology Videó előfeldolgozás Audio előfeldolgozás Szinkronizált Audio-vizuális adatbázis Ellenőrzés Eredmények Szájmozgást előállító rendszer NN MFCC w 1 … w 6 főkomponens súlytényezők PCA -1 MPEG-4 alapú mozgó száj megjelenítés Akusztikus lényegkiemelés FP tartópont koordináták Bemutató következik

Péter Pázmány Catholic University, Department of Information Technology  Gy.Takacs, A. Tihanyi, T. Bárdi, G. Feldhoffer, B. Srancsik Database Construction for Speech to Lip- readable Animation Conversion Proceedingd Elmar Zadar, pp june  Takacs Gy., Tihanyi A., Bárdi T.,Fedlhoffer G., Srancsik B Beszédjel átalakítása mozgó száj képévé siketek kommunikációjának segítésére Hiradástechnika LXI évf. 3. szám old 2006