Kommunikációs Rendszerek A kommunikáció Forrás kódolás Feladat: -az információ tömörítése.

Az előadások a következő témára: "Kommunikációs Rendszerek A kommunikáció Forrás kódolás Feladat: -az információ tömörítése."— Előadás másolata:

1 Kommunikációs Rendszerek A kommunikáció Forrás kódolás Feladat: -az információ tömörítése

2 Kommunikációs Rendszerek Amit továbbítani akarunkAdó Vevő a látott képet a hallott hangot ??? A két végpont: --- a valóságot leképező emberi érzékelés --- a megjelenítésre rendelkezésre álló eszköz

3 Kommunikációs Rendszerek szempontok  Eltérő típusú, összefüggő információk (hang, kép..) –Az „összecsomagolás” szükségszerű (közös csatorna miatt)  Időben kötött megjelenítés –időosztás feloldási, szinkronizálási mechanizmus kell  Számos műsor és készülék előállító kompatibilitása –Szabványosított megoldások  H.261, H.263, H.264  MPEG-1, MPEG-2, MPEG-4, MPEG-7, MPEG-21

4 Kommunikációs Rendszerek MPEG áttekintés  MPEG-1: Video CD és MP3  MPEG-2: Digital TV, Set Top Box, DVD.  MPEG-4: Internet multimédia, mobil, DivX  MPEG-7: Multimedia Content Description Interface  MPEG-21: Multimedia Framework

5 Kommunikációs Rendszerek MPEG modellek Pixel alapú ábrázolás Objektum alapú ábrázolás Szemantikára alapozott ábrázolás MPEG-1 MPEG-2 MPEG-4 MPEG-7 Objektum formálás és követés Objektum tulajdonságok kinyerése

6 Kommunikációs Rendszerek MPEG 1-2 <> MPEG 4 élő kódolás továbbítás

7 Kommunikációs Rendszerek MPEG-4 Video formátumok  Bit ráták –min. 5kbit/s –max. 10 Mbit/s  Formátumok –progressziv –Váltott soros  Felbontások –min. sub-QCIF (172 x 144 Pixel) –max. > HDTV (1440 x 1152 Pixel)

8 Kommunikációs Rendszerek Ábrázolás videó objektumokkal

9 Kommunikációs Rendszerek MPEG-4: tartalomfüggő működés

10 Kommunikációs Rendszerek VOP alapú kódolás VO Kialakitás VO Kialakitás VO1 decoding VO2 decoding VO3 decoding VO4 decoding User Interaction MUX DMUX Video Objektumok összeépítése Video Objektumok összeépítése Bitstream

11 Kommunikációs Rendszerek MPEG-4: tartalomfüggő működés Az eredeti FRAME felbontása több VOP-re

12 Kommunikációs Rendszerek videó objektumok osztályai  VOP (Video Object Plane) – Egy Video Objektumnak adott pillanatban érvényes formája. Tartalmazza a mozgásra, alakra és felületre vonatkozó információt.  VOL (Video Object Layer) – A VO kódolása egy vagy több módusban is történhet. A VOL réteg biztosítja a skálázhatóságot.  VO (Video Objektum) a video szcenarió egy meghatározott 2-D eleme. A legegyszerübb esetben négyszögletes, de lehet tetszőleges alakú.  (VS) Visual Object Sequence : ez a komplett MPEG-4 szcenarió, ami állhat tetsőleges 2-D vagy 3-D természetes vagy mesterséges objektumból.

13 Kommunikációs Rendszerek MPEG-4: hierarchikus struktúra Minden VOP tartalmazza a mozgásra, alakra és felületre (motion, shape, texture) vonatkozó adatokat

14 Kommunikációs Rendszerek MPEG-4 struktúra az adatfolyamban  Hierarhia – magasabb struktúra alacsonyabb struktúrákat tartalmaz. VO VOL VOP

15 Kommunikációs Rendszerek MPEG-4 szcenárió példa

16 Kommunikációs Rendszerek A szcenárió logikai struktúrája SzemélyHáttérVideó AlakHang Szcenárió Szintetikus Objektumok földgömbasztal

17 Kommunikációs Rendszerek Szcenarió leírása A különböző audio-vizuális objektumok térbeli és időbeni viszonyait leíró információk kódolása..

18 Kommunikációs Rendszerek A szcenárió leírása.  A VRML-ből kindulva, az MPEG kifejlesztett egy bináris nyelvet, amelyet elnevezett: BInary Format for Scenes (BIFS).  A média objektumok adott koordináta rendszerben bárhova helyezhetők.  Transzformációk alkalmazhatók a média objektumok geometriai vagy akusztikai megjelenésének változtatására.  Primitive média objektumok csoportosításval összetett objektumok hozhatók létre.  Interactiv módon megváltoztathatóak a végfelhasználói nézési és hallgatási pozíciói.

19 Kommunikációs Rendszerek az adattovábbítás

20 Kommunikációs Rendszerek Az MPEG-4 objektum típusai Primitiv Objektum Video Objektum (VO)Audio Objektum (AO) Természetes (kamera) Szintetikus (számítógép) Természetes (mikrofon) Szintetikus (számítógép)

21 Kommunikációs Rendszerek Audió kódolás  Természetes –Beszéd  Harmonic Vector eXcitation Code (HVXC) 2-6kBit/s bei 8kHz  Code Excitat Linear Prediction (CELP) 6-24kBit/s bei 8 bis 16 kHz –Zene  MPEG 2 AAC  TwinVQ  Szintetikus –Text to Speech –MIDI –Structured Audio Orchestra Language

22 Kommunikációs Rendszerek Természetes Videó Objektumok Videó Objektum (VO) Forma (shape coding) Textúra (texture coding) Mozgás- Informaciók (motion coding) Háttér (sprite coding)

23 Kommunikációs Rendszerek VOP

24 Kommunikációs Rendszerek Macroblock Grid példa

25 Kommunikációs Rendszerek Szintetikus videó kódolások  Arc- és testanimáció  2D-rácsháló  VRML-Szabvány integrálva.

26 Kommunikációs Rendszerek Facial and Body Animation

27 Kommunikációs Rendszerek 2D-Meshes

28 Kommunikációs Rendszerek MPEG4 dekódolási séma

29 Kommunikációs Rendszerek MPEG 4 <> MPEG 7, 21 MPEG-4: Audio-Visual Objetumok Kódolása MPEG-1 (VCD) MPEG-2 -- (DVD) -- (HDTV) MPEG-7 : Multimedia Tartalom Leíró Interface Tartalom MegjelenítésTartalom Leírás MPEG-21: Multimedia Framework Tartalom Azonosítás, Használat, IPMP MPEG-7 data model Dublin Core data model RDF SMPTE XML