Kommunikációs Rendszerek A kommunikáció Forrás kódolás Feladat: -az információ tömörítése.

Az előadások a következő témára: "Kommunikációs Rendszerek A kommunikáció Forrás kódolás Feladat: -az információ tömörítése."— Előadás másolata:

1 Kommunikációs Rendszerek A kommunikáció Forrás kódolás Feladat: -az információ tömörítése

2 Kommunikációs Rendszerek Amit továbbítani akarunkAdó Vevő a látott képet a hallott hangot ??? A két végpont: --- a valóságot leképező emberi érzékelés --- a megjelenítésre rendelkezésre álló eszköz

3 Kommunikációs Rendszerek tömörítések Általános eljárásokTipusfüggő eljárások Állókép veszteségmentes veszteséges Mozgóképkép Hang

4 Kommunikációs Rendszerek Állókép tömörítés Térbeli redundancia (intra-frame) JPEG, JPEG2000

5 Kommunikációs Rendszerek Mozgókép tömörítés Térbeli redundancia (intra-frame) Időbeni redundancia (inter-frame)

6 Kommunikációs Rendszerek Kép különbség Választott stratégia ? csak a különbség ?

7 Kommunikációs Rendszerek Mozgás becslés T=1T=2

8 Kommunikációs Rendszerek Mozgás becslés Keressünk a másik képben hasonló részletet Kódoljuk hogy hol találtuk meg (mozgás vektor) Továbbítani csak a maradékot szükséges.

9 Kommunikációs Rendszerek A mozgás becslés lépései Mozgásvektor kiszámítása (az előző helyreállított és az aktuális kép alapján.) A mozgásvektorok alapján az adatok eltolása( előáll az aktuális kép becsült formája) Az aktuális kép becsült és tényleges formájának összehasonlítása. A mozgásvektorok és a becslési hiba továbbítása.

10 Kommunikációs Rendszerek A mozgás becslés lépései

11 Kommunikációs Rendszerek A mozgás becslés lépései

12 Kommunikációs Rendszerek

13 Frame Tipusok –I frame: teljes kép –P framek: az legutóbbi I képhez viszonyított módosítás sorozatokat szolgáltatják. I1I1 P1P1 P2P2 I2I2 módosítás I 1 +P 1 I 1 +P 1 +P 2

14 Kommunikációs Rendszerek Frame Tipusok –B frame: az I és P framek közötti inerpoláció I1I1 I2I2 I 1 +P 1 I 1 +P 1 +P 2 B1B1 B2B2 B3B3 B4B4 B5B5 B6B6 B7B7 B8B8 B9B9 Interpolációk

15 Kommunikációs Rendszerek Frame Tipusok az I típusú teljes egészében, 1:7 arányú JPEG tömörítés az P típusú az előző és az aktuális frameből származtatva, kb. 1:20 arányú tömörítés. az B típusú az előző és a következő frameből származtatva, kb. 1:50 arányú tömörítés.

16 Kommunikációs Rendszerek MPEG Mozgás kompresszió I B B B P B B B I Bidirectional prediction B=f(I,P) Forward prediction P=f(I)

17 Kommunikációs Rendszerek I-képek Intra frame coded - csak képkockán belül kódolt. Csak olyan információt használ fel, amely a képkockán belül megtalálható. Az egyes képkockákon belül JPEG tömörítést alkalmaz, amely az MJPEG tömörítésnél ismertetett DCT transzformációra épül.MJPEGDCT Az I-képek tömörítési aránya viszonylag csekély, de közvetlen hozzáférési pontokként szolgálnak az MPEG video-adatfolyamhoz, ami a pozicionáláskor, szerkesztésnél, vágásnál (ebből adódóan a broadcast MPEG2-nél) nagyon fontos.

18 Kommunikációs Rendszerek P-képek P (predicted) képkocka az őt megelőző "I" vagy "P" képen alapul, azokat használja referenciaként. Ezt nevezik "forward prediction"-nek ~ előre haladó jóslásnak. A P kép a megelőző I vagy P frame képrészleteinek elmozdulását, illetve a képtartalmak közti különbséget rögzíti. A videó egymást követő képkockáiban az objektumok alakja általában nem változik. Az MPEG a P (és B) képekben az objektumok elmozdulását mozgásvektorokkal írja le, a mozgáskompenzációs eljárás segítségével. Az eltérő alak- és színinformációk meghatározása a megelőző (I, P) kép megfelelő információira épül, a különbséget, változást kódolja. A P-képek tömörítési aránya nagyobb, mint az I-képeké. Mivel a P-képek P-képből is származtathatók, előfordulhatnak közöttük hibásak is, és további hibák forrásai lehetnek ezeket a hibás frame-et referenciaként használó képkockák kódolásakor.

19 Kommunikációs Rendszerek

20 B-képek B (bidirectional) kép a megelőző és rákövetkező "I" vagy "P" képkockákat is felhasználja referenciaként. A kódolás a mozgáskompenzációs technika felhasználásával, a P- képekhez hasonló módon, de két irányból történik. Ezt az eljárást "bidirectional prediction" ~ kétirányú (két irányból történő) jóslásnak nevezik. Az eltérő alak információ rögzítése a megelőző és következő I vagy P kép alakinformációinak átlagolásán alapul. A B-képeknek a tömörítési aránya a legnagyobb. A B-kép nem szolgál referenciaként más képek kódolásakor, ezért nem terjeszt hibákat sem.

21 Kommunikációs Rendszerek

22 Mpeg kódoló

23 Kommunikációs Rendszerek c

24 MPEG struktúra rétegei GOP-1GOP-2GOP-n I B B B P B B.. Slice-1 Slice-2 … Slice-N mb-1mb-2mb-n Szekvencia réteg GOP réteg kép réteg Slice réteg Makroblok réteg 01 23 45 8x8 blok

25 Kommunikációs Rendszerek MPEG struktúra rétegei Szekvencia réteg: Magát a kódolt szekvenciát jelöli, melynek fejléce tartalmazza a rendszeradatokat (képméretek, bitsebesség, kódolt vagy kijelzési képsebesség, stb.). Képcsoport réteg (Group Of Pictures: GOP): Legalább egy, önmagában kódolt (un. intra: I) képet tartalmazó, bizonyos számú kép együttese, a véletlen hozzáférés egysége. Képréteg: Egy kép kódolt adatait tartalmazza, típusát a kódolás határozza meg. Az MPEG-1 csak progresszív képeket kezel, míg az MPEG-2 alkalmas váltott-soros képek kódolására is. Szelet réteg: A makroblokkok (MB) sorfolytonos csoportja, az un. újra- szinkronizációs egység. Ez a legalsó szint, ahol a dekóder bithiba esetén még képes feléledni. Makroblokk réteg: A világosságjel 16x16-os, valamint a színkülönbségi jelek (U,V) 8x8, 8x16 vagy 16x16-os blokkjaiból áll, a mozgáskompenzáció egysége. Blokk réteg: A MB egy 8x8-as blokkja, a DCT kódolás egysége.

26 Kommunikációs Rendszerek MPEG stream

27 Kommunikációs Rendszerek MPEG stream

28 Kommunikációs Rendszerek c

29 c

30 Data representation pyramid Pixel alapú ábrázolás Objektum alapú ábrázolás Szemantikára alapozott ábrázolás MPEG-1 MPEG-2 MPEG-4 MPEG-7 Objektum formálás és követés Objektum tulajdonságok kinyerése

31 Kommunikációs Rendszerek -------------------------------------------

32 Kommunikációs Rendszerek MPEG rate

33 Kommunikációs Rendszerek MPEG-2: Profiles and Levels Levels Profiles SNR 4:2:0 Spatial 4:2:0 High 4:2:0;4:2:2 Multiview 4:2:0 High Enhancement1920 X 1151/60 Lower960 X 576/301920 X 1151/60 Bitrate100, 80,25130, 50, 80 High-1440 Enhancement1440 X 1152/60 1920 X 1152/60 Lower720 X 576/30 1920 X 1152/60 Bitrate60, 40, 1580, 60, 20100, 40, 60 Main Enhancement720 X 576/30 Lower352 X 288/30720 X 576/30 Bitrate15, 1020, 15, 425, 10, 15 Low Enhancement352 X 288/30 Lower352 X 288/30 Bitrate4, 38, 4, 4

34 Kommunikációs Rendszerek c

35 Standards for Video HDTV CCIR 601 NTSC CCIR 601 PAL CIFQCIF Luminance Resolution 1920 x 1080720 x 486720 x 576352 x 288176 x 144 Chrominance Resolution 960 x 540360 x 486360 x 576176 x 14488 x 72 Color Subsampling 4:2:2 4:2:0 Fields/sec60 5030 Aspect Ratio16:94:3 InterlacingYes No CCIR – Consultative Committee for International Radio CIF – Common Intermediate Format (approximately VHS quality)

36 Kommunikációs Rendszerek c

37 c

38 Media Types realistic non-realistic aural visual language-based aural visual still image moving imagevideo of person running photograph of person text formal language book mathematical formulae aural visual spoken narrative still image moving imagecartoon diagram, sketch musicsynthetic sound bird songnatural recorded sound 38 © Copyright 2002 Michael G. Christel and Alexander G. Hauptmann Carnegie Mellon

39 Kommunikációs Rendszerek Media Selection Guidelines Info. TypePreferred MediaExample Physicalstill or moving imagebuilding diagram Abstracttext or speechexplain sales policy Descriptivetext or speechchemical properties Visio spatialrealistic media - photo person’s face Valuetext/tables/number lists pressure reading Relationships/ values design images -histogram of graphs, chartsrainfall/month

40 Kommunikációs Rendszerek Media Selection Guidelines Info. TypePreferred MediaExample Proceduralimages, series, textevacuation instructions Discrete Action still imagemake coffee Continuous Action moving imagemaneuvers while skiing Eventssound, speechfire alarm Statesstill image, textphoto of weather conditions Compositionstill/moving imageexploded parts diagram Causalmoving image, text,video of rainstorm speechcausing flash flood