Péter Pázmány Catholic University, Department of Information Technology Videó előfeldolgozás Audio előfeldolgozás Szinkronizált Audio-vizuális adatbázis.

Az előadások a következő témára: "Péter Pázmány Catholic University, Department of Information Technology Videó előfeldolgozás Audio előfeldolgozás Szinkronizált Audio-vizuális adatbázis."— Előadás másolata:

1 Péter Pázmány Catholic University, Department of Information Technology Videó előfeldolgozás Audio előfeldolgozás Szinkronizált Audio-vizuális adatbázis Ellenőrzés Eredmények Szájmozgást előállító rendszer NN MFCC w 1 … w 6 főkomponens súlytényezők PCA -1 MPEG-4 alapú mozgó száj megjelenítés Akusztikus lényegkiemelés FP tartópont koordináták

2 Képfeldolgozási érdekességek, MPEG-4 alapú fejmodellek Srancsik Bálint, Tihanyi Attila Pázmány Péter Katolikus Egyetem Információs Technológiai Kar 1083 Budapest, Práter u. 50/a. 2006. június 28.

3 Péter Pázmány Catholic University, Department of Information Technology Videó előfeldolgozás Audio előfeldolgozás Szinkronizált Audio-vizuális adatbázis Ellenőrzés Eredmények Szájmozgást előállító rendszer NN MFCC w 1 … w 6 főkomponens súlytényezők PCA -1 MPEG-4 alapú mozgó száj megjelenítés Akusztikus lényegkiemelés FP tartópont koordináták

4 Péter Pázmány Catholic University, Department of Information Technology Arcanimáció (FA) – informatikai megközelítés Kutató Művész  MPEG-4

5 Péter Pázmány Catholic University, Department of Information Technology Kódolás, dekódolás Kódoló ? Dekódoló ? Adat formátum Az MPEG-4 FA-ban nincs szabványosítva a kódoló és a dekódoló

6 Péter Pázmány Catholic University, Department of Information Technology Paraméterezés

7 Péter Pázmány Catholic University, Department of Information Technology Kódolás-dekódolás szerkezete FDP – Face Definition Parameter FP – Feature Point FAP – Facial Animation Parameter FAPU – Facial Animation Parameter Unit (FAT – Face Animation Tables)

8 Péter Pázmány Catholic University, Department of Information Technology Arckifejezések MPEG-4-es megvalósítása Az első csoportba tartozó két FAP magas szintű paraméter -> előre definiált komplexebb mozgásokat lehet végrehajtani velük. Számítógépes modell - Neme (fiú, lány) - Kora - Érzelmi állapota

9 Péter Pázmány Catholic University, Department of Information Technology Vizuális adatbázis létrehozása

10 Péter Pázmány Catholic University, Department of Information Technology Döntéshozás FP meghatározás Eredeti Lényeg- kiemelés Invertálás Dilatáció Erózió

11 Péter Pázmány Catholic University, Department of Information Technology Referencia alkalmazása

12 Péter Pázmány Catholic University, Department of Information Technology Videó előfeldolgozás Audio előfeldolgozás Szinkronizált Audio-vizuális adatbázis Ellenőrzés Eredmények Szájmozgást előállító rendszer NN MFCC w 1 … w 6 főkomponens súlytényezők PCA -1 Akusztikus lényegkiemelés FP tartópont koordináták MPEG-4 alapú mozgó száj megjelenítés

13 Péter Pázmány Catholic University, Department of Information Technology Lucia -Bőr (15736) -Haj (4608) -Szemek (5376) -Fogak (1033) -Nyelv (236) -Torok (318)

14 Péter Pázmány Catholic University, Department of Information Technology Animáció megvalósítás  Tartópont mozgatás  Tartópontok egymásra hatása  Száj körül a bőrfelült részekre osztásával valósítható meg a mozgatás

15 Péter Pázmány Catholic University, Department of Information Technology Tartópontok egymásra hatása Álkapocs forgáspont rögzítése szükséges Közeli pontok hatóköre összeér Álcsúcs mozgatásának a hatóköre nagy!

16 Péter Pázmány Catholic University, Department of Information Technology Műveletek MPEG-4 adatokkal Alapállású fej Érzelmet, szájállást megjelenítő fej  A modell méretarányának ismeretében határozhatók meg az egyes FDP-k elmozdulásának mértékei Érzelmet, szájállást megjelenítő fej Alapállású fej

17 Péter Pázmány Catholic University, Department of Information Technology Animáció meggyorsítása  A modell méretarányának ismeretében határozhatók meg az egyes FDP-k elmozdulásának mértékei  Előre legkésőbb a modell betöltésekor meghatározhatók az FDP-k által mozgatott hálópontok  Modellt alkotó háló pontjainak válogatása, sorba állítása elmozdulás mértéke szerint  Rendelkezésre álló gép kapacitásnak azonnali automatikus skálázása valósítható meg.

18 Péter Pázmány Catholic University, Department of Information Technology Szájmozgást előállító rendszer Videó előfeldolgozás Audio előfeldolgozás Szinkronizált Audio-vizuális adatbázis Ellenőrzés Eredmények NN MFCC w 1 … w 6 főkomponens súlytényezők PCA -1 MPEG-2 alapú mozgó száj megjelenítés Akusztikus lényegkiemelés FP tartópont koordináták

19 Péter Pázmány Catholic University, Department of Information Technology Teszt eredmények Markerekkel vezérelve Hanggal vezérelve EllenőrzésEredmény

20 Péter Pázmány Catholic University, Department of Information Technology Teszt eredmények  A: Video felvételek  B: LUCIA FP koordinátákkal vezérelve  C: LUCIA hanggal vezérelve

21 Péter Pázmány Catholic University, Department of Information Technology Továbblépések Előfeldolgozás Szájmozgást előállító rendszer Adatbázis

22 Péter Pázmány Catholic University, Department of Information Technology Modellek

23 Péter Pázmány Catholic University, Department of Information Technology Videó előfeldolgozás Audio előfeldolgozás Szinkronizált Audio-vizuális adatbázis Ellenőrzés Eredmények Szájmozgást előállító rendszer NN MFCC w 1 … w 6 főkomponens súlytényezők PCA -1 MPEG-4 alapú mozgó száj megjelenítés Akusztikus lényegkiemelés FP tartópont koordináták Bemutató következik

24 Péter Pázmány Catholic University, Department of Information Technology  Gy.Takacs, A. Tihanyi, T. Bárdi, G. Feldhoffer, B. Srancsik Database Construction for Speech to Lip- readable Animation Conversion Proceedingd Elmar- 2006 Zadar, pp151-154 2006 june 07-09  Takacs Gy., Tihanyi A., Bárdi T.,Fedlhoffer G., Srancsik B Beszédjel átalakítása mozgó száj képévé siketek kommunikációjának segítésére Hiradástechnika LXI évf. 3. szám 31-37 old 2006