Kommunikációs Rendszerek A kommunikáció Forrás kódolás Feladat: -az információ tömörítése

Kommunikációs Rendszerek Amit továbbítani akarunkAdó Vevő a látott képet a hallott hangot ??? A két végpont: --- a valóságot leképező emberi érzékelés --- a megjelenítésre rendelkezésre álló eszköz

Kommunikációs Rendszerek szempontok  Eltérő típusú, összefüggő információk (hang, kép..) –Az „összecsomagolás” szükségszerű (közös csatorna miatt)  Időben kötött megjelenítés –időosztás feloldási, szinkronizálási mechanizmus kell  Számos műsor és készülék előállító kompatibilitása –Szabványosított megoldások  H.261, H.263, H.264  MPEG-1, MPEG-2, MPEG-4, MPEG-7, MPEG-21

Kommunikációs Rendszerek MPEG áttekintés  MPEG-1: Video CD és MP3  MPEG-2: Digital TV, Set Top Box, DVD.  MPEG-4: Internet multimédia, mobil, DivX  MPEG-7: Multimedia Content Description Interface  MPEG-21: Multimedia Framework

Kommunikációs Rendszerek MPEG modellek Pixel alapú ábrázolás Objektum alapú ábrázolás Szemantikára alapozott ábrázolás MPEG-1 MPEG-2 MPEG-4 MPEG-7 Objektum formálás és követés Objektum tulajdonságok kinyerése

Kommunikációs Rendszerek MPEG 1-2 <> MPEG 4 élő kódolás továbbítás

Kommunikációs Rendszerek MPEG-4 Video formátumok  Bit ráták –min. 5kbit/s –max. 10 Mbit/s  Formátumok –progressziv –Váltott soros  Felbontások –min. sub-QCIF (172 x 144 Pixel) –max. > HDTV (1440 x 1152 Pixel)

Kommunikációs Rendszerek Ábrázolás videó objektumokkal

Kommunikációs Rendszerek MPEG-4: tartalomfüggő működés

Kommunikációs Rendszerek VOP alapú kódolás VO Kialakitás VO Kialakitás VO1 decoding VO2 decoding VO3 decoding VO4 decoding User Interaction MUX DMUX Video Objektumok összeépítése Video Objektumok összeépítése Bitstream

Kommunikációs Rendszerek MPEG-4: tartalomfüggő működés Az eredeti FRAME felbontása több VOP-re

Kommunikációs Rendszerek videó objektumok osztályai  VOP (Video Object Plane) – Egy Video Objektumnak adott pillanatban érvényes formája. Tartalmazza a mozgásra, alakra és felületre vonatkozó információt.  VOL (Video Object Layer) – A VO kódolása egy vagy több módusban is történhet. A VOL réteg biztosítja a skálázhatóságot.  VO (Video Objektum) a video szcenarió egy meghatározott 2-D eleme. A legegyszerübb esetben négyszögletes, de lehet tetszőleges alakú.  (VS) Visual Object Sequence : ez a komplett MPEG-4 szcenarió, ami állhat tetsőleges 2-D vagy 3-D természetes vagy mesterséges objektumból.

Kommunikációs Rendszerek MPEG-4: hierarchikus struktúra Minden VOP tartalmazza a mozgásra, alakra és felületre (motion, shape, texture) vonatkozó adatokat

Kommunikációs Rendszerek MPEG-4 struktúra az adatfolyamban  Hierarhia – magasabb struktúra alacsonyabb struktúrákat tartalmaz. VO VOL VOP

Kommunikációs Rendszerek MPEG-4 szcenárió példa

Kommunikációs Rendszerek A szcenárió logikai struktúrája SzemélyHáttérVideó AlakHang Szcenárió Szintetikus Objektumok földgömbasztal

Kommunikációs Rendszerek Szcenarió leírása A különböző audio-vizuális objektumok térbeli és időbeni viszonyait leíró információk kódolása..

Kommunikációs Rendszerek A szcenárió leírása.  A VRML-ből kindulva, az MPEG kifejlesztett egy bináris nyelvet, amelyet elnevezett: BInary Format for Scenes (BIFS).  A média objektumok adott koordináta rendszerben bárhova helyezhetők.  Transzformációk alkalmazhatók a média objektumok geometriai vagy akusztikai megjelenésének változtatására.  Primitive média objektumok csoportosításval összetett objektumok hozhatók létre.  Interactiv módon megváltoztathatóak a végfelhasználói nézési és hallgatási pozíciói.

Kommunikációs Rendszerek az adattovábbítás

Kommunikációs Rendszerek Az MPEG-4 objektum típusai Primitiv Objektum Video Objektum (VO)Audio Objektum (AO) Természetes (kamera) Szintetikus (számítógép) Természetes (mikrofon) Szintetikus (számítógép)

Kommunikációs Rendszerek Audió kódolás  Természetes –Beszéd  Harmonic Vector eXcitation Code (HVXC) 2-6kBit/s bei 8kHz  Code Excitat Linear Prediction (CELP) 6-24kBit/s bei 8 bis 16 kHz –Zene  MPEG 2 AAC  TwinVQ  Szintetikus –Text to Speech –MIDI –Structured Audio Orchestra Language

Kommunikációs Rendszerek Természetes Videó Objektumok Videó Objektum (VO) Forma (shape coding) Textúra (texture coding) Mozgás- Informaciók (motion coding) Háttér (sprite coding)

Kommunikációs Rendszerek VOP

Kommunikációs Rendszerek Macroblock Grid példa

Kommunikációs Rendszerek Szintetikus videó kódolások  Arc- és testanimáció  2D-rácsháló  VRML-Szabvány integrálva.

Kommunikációs Rendszerek Facial and Body Animation

Kommunikációs Rendszerek 2D-Meshes

Kommunikációs Rendszerek MPEG4 dekódolási séma

Kommunikációs Rendszerek MPEG 4 <> MPEG 7, 21 MPEG-4: Audio-Visual Objetumok Kódolása MPEG-1 (VCD) MPEG-2 -- (DVD) -- (HDTV) MPEG-7 : Multimedia Tartalom Leíró Interface Tartalom MegjelenítésTartalom Leírás MPEG-21: Multimedia Framework Tartalom Azonosítás, Használat, IPMP MPEG-7 data model Dublin Core data model RDF SMPTE XML