Időbeli redundancia

- Idő -> mozgás Intra-Frames: codiertes Einzelbild Inter-Frames: Differenzbild I-képek: Intra frame coded - csak képkockán belül kódolt. Csak olyan információt használ fel, amely a képkockán belül megtalálható. Az egyes képkockákon belül JPEG tömörítést alkalmaz, amely az MJPEG tömörítésnél ismertetett DCT transzformációra épül. Az I-képek tömörítési aránya viszonylag csekély, de közvetlen hozzáférési pontokként szolgálnak az MPEG video- adatfolyamhoz, ami a pozicionáláskor, szerkesztésnél, vágásnál (ebből adódóan a broadcast MPEG2-nél) nagyon fontos.MJPEGDCT

- P-képek: a P (predicted) képkocka az őt megelőző "I" vagy "P" képen alapul, azokat használja referenciaként. Ezt nevezik "forward prediction"-nek ~ előre haladó jóslásnak. A P kép a megelőző I vagy P frame képrészleteinek elmozdulását, illetve a képtartalmak közti különbséget rögzíti. A videó egymást követő képkockáiban az objektumok alakja általában nem változik. Az MPEG a P (és B) képekben az objektumok elmozdulását mozgásvektorokkal írja le, a mozgáskompenzációs eljárás segítségével. Az eltérő alak- és színinformációk meghatározása a megelőző (I, P) kép megfelelő információira épül, a különbséget, változást kódolja. A P-képek tömörítési aránya nagyobb, mint az I-képeké. Mivel a P-képek P-képből is származtathatók, előfordulhatnak közöttük hibásak is, és további hibaforrásul szolgálhatnak a hibás frame-et referenciaként használó képkockák kódolásakor. B-képek: a B (bidirectional) kép a megelőző és rákövetkező "I" vagy "P" képkockákat is felhasználja referenciaként. A kódolás a mozgáskompenzációs technika felhasználásával, a P-képekhez hasonló módon, de két irányból történik. Ezt az eljárást "bidirectional prediction" ~ kétirányú (két irányból történő) jóslásnak nevezik. Az eltérő alakinformáció rögzítése a megelőző és következő I vagy P kép alakinformációinak átlagolásán alapul. A B-képeknek a tömörítési aránya a legnagyobb. A B-kép nem szolgál referenciaként más képek kódolásakor, ezért nem terjeszt hibákat sem.

YC B C R 4:1:1 YC B C R 4:2:0 YC B C R 4:2:2 YC B C R 4:4:4 RGB 4:4:4 Farbreduktion R0R0 R1R1 R2R2 R3R3 G0G0 G1G1 G2G2 G3G3 B0B0 B1B1 B2B2 B3B3 Y0Y0 Y1Y1 Y2Y2 Y3Y3 C B0 C B1 C B2 C B3 C R0 C R1 C R2 C R3 Y0Y0 Y1Y1 Y2Y2 Y3Y3 C B0123 C R0123 C R01 C R23 Y0Y0 Y1Y1 Y2Y2 Y3Y3 C B01 C B23 Y0Y0 Y1Y1 Y2Y2 Y3Y3 Y4Y4 Y5Y5 Y6Y6 Y7Y7 C B0123 C B4567 C R0123 C R4567 Jpeg ITU 601-4

Scanning Video (Cont…) Chroma subsampling: human visual system is more sensitive to luminance than chrominance –We can subsample chrominance 4:4:4 – No subsampling 4:2:2, 4:1:1 – horizontally subsample 4:2:0 – horizontally and vertically 4:1:1 4:2:2 4:2:0

Standards for Video HDTV CCIR 601 NTSC CCIR 601 PAL CIFQCIF Luminan ce Resolutio n 1920 x x x x x 144 Chromin ance Resolutio n 960 x x x x x 72 Color Subsampl ing 4:2:2 4:2:0 Fields/sec Aspect Ratio 16:94:3 Interlacin g Yes No CCIR – Consultative Committee for International Radio CIF – Common Intermediate Format (approximately VHS quality)

Frame Reconstruction –I frame complete image –P frames provide series of updates to most recent I frame I1I1 P1P1 P2P2 I2I2 updates I 1 +P 1 I 1 +P 1 +P 2

Frame Reconstruction (cont). –B frames interpolate between frames represented by I’s & P’s I1I1 I2I2 I 1 +P 1 I 1 +P 1 +P 2 B1B1 B2B2 B3B3 B4B4 B5B5 B6B6 B7B7 B8B8 B9B9 Interpolations

MPEG-2: Profiles and Levels Levels Profiles SNR 4:2:0 Spatial 4:2:0 High 4:2:0;4:2:2 Multiview 4:2:0 High Enhancement1920 X 1151/60 Lower960 X 576/ X 1151/60 Bitrate100, 80,25130, 50, 80 High-1440 Enhancement1440 X 1152/ X 1152/60 Lower720 X 576/ X 1152/60 Bitrate60, 40, 1580, 60, 20100, 40, 60 Main Enhancement720 X 576/30 Lower352 X 288/30720 X 576/30 Bitrate15, 1020, 15, 425, 10, 15 Low Enhancement352 X 288/30 Lower352 X 288/30 Bitrate4, 38, 4, 4

MPE: Structure of the Coded Bit- Stream Sequence layer: picture dimensions, pixel aspect ratio, picture rate, minimum buffer size, DCT quantization matrices GOP layer: will have one I picture, start with I or B picture, end with I or P picture, has closed GOP flag, timing info, user data Picture layer: temporal ref number, picture type, synchronization info, resolution, range of motion vectors Slices: position of slice in picture, quantization scale factor Macroblock: position, H and V motion vectors, which blocks are coded and transmitted GOP-1GOP-2GOP-n I B B B P B B.. Slice-1 Slice-2 … Slice-N mb-1mb-2mb-n Sequence layer GOP layer Picture layer Slice layer Macroblock layer 8x8 block