MULTIMÉDIA

Az előadás rövid tartalma 4 Mi a multimédia ? (definíció) 4 A hang és kép 4 A sávszélesség kihívása (néhány szó a tömörítésről) 4 Néhány multimédia progam  Üzleti potenciál

Fontosabb fogalmak 4 protokoll 4 hálózati elemek 4 entitás 4 protokoll adategység

Multimédia - definíció Multimédia = Médium + Médium + Médium (kép) + (hang) + (szöveg)

Motiváció 4 A modern generáció TV-n nőtt fel nem könyveken 4 Multimédiás technológia a CD-ROM formájában már 1992 óta jelen van 4 Hatalmas üzleti potenciál (pl. video and music on demand)

Kihívások Alapvető kihívások: 4 SÁVSZÉLESSÉG !!!! 4 KÉSLELTETÉS !!!! 4 felhasználók eszközeinek minősége Az első kettő struktúrális probléma, az utolsó pénzkérdés

Sávszélesség Miért probléma ? A felhasználói MODEM 28.8 Kbps (telefonvonal), vagy 128 Kbps (ISDN) - majdnem 1/40-ed része a legrégebbi MODEM sebességeknek. A beszéd sávszélessége 64 Kbps A CD minőségű zene sávszélessége 706 Kbps A video sávszélessége 40 Mbps Konklúzió: 2-szer, 25-ször vagy 1400-ször nagyobb sávszélesség kellene !!!

Megoldás Tömörítés, tömörítés és tömörítés. Elérendő tömörítési arány max 1:5000

Késleltés: Vonalkapcsolás Csomagkapcsolás (késleltetés nem probléma (késleltetés probléma, de jó a de rossz a kihasználtság) kihasználtság) 4 Nem probléma ATM esetén (az ATM-et QoS kommunikációra tervezték) 4 Az IP-nál probléma, hiszen az Internet eredetileg nem QoS kommunikációra jött létre (megoldás IntServ és DiffServ)

Felhasználói HW és SW eszközök: 4 Hangkartya 4 video-capture kártya

A média (hang és kép) rövid jellemzése A hang: Tipikus sávszélességek: Beszéd 300 Hz - 3.6KHz zene: 20Hz - 20KHz

Digitalizált hang PCM beszéd: mintevétel 8 KHz, egy minta kvantálása 8 bit a beszédjel. digitális savszelessege 64Kbps CD zene: mintevétel 44.1 KHz, egy minta kvantlasa 16 bit a zene digitális savszelessege Kbps (1 csatornás monoaural) Kvantáló Mintvevő Analóg hang Digitalizált hang

Hangjelek tömörítése Adaptív prediktív kódolás: a hangminták statisztikai függősége (korreláltsága) miatt a múlt meghatorázza a jövőt ezért elég átvinni Adaptív PCM (ADPCM) x eredeti hangminta, w preidktor egyuthhatok, e atvitt hiba

Alapelv A múlt meghatározza a jövőt !!! Múlt: „Infokom Jövő: munikáció” Múlt: „Kérnék egy pohár sö Jövő: tét olajat a gép kenéséhez”

Statisztikai függőség A múlt csak bizonyos valószínűséggel határozza meg a jövőt Korreláltság Kérnék egy pohár sö rt 99% Kérnék egy pohár sötét olajat a gép kenéséhez 1%

A korreláció Milyen hasonlóságot mutat a múlt a jövővel múlt jövő Ha adott-re mindig ugyanaz az akkor nagy a folyamat korreláltsága

A nagy korreláltságú folyamatot lehet hatékonyan tömöríteni Kérnék egy pohár sö rt 99% Kérnék egy pohár sötét olajat a gép kenéséhez 1% rt 1 bit tét olajat bit

A tömörítés mint „jóslás” (predikció) Mintavételi időpontok Kvan- tálási szin- tek A kapott bitsorozat = Ha csak a változást kódoljuk =

Konklúzió Csak a változtatást érdemes kódolni. 12 bit helyett 6 bit elegendő

Delta modulátor Quantizer Sampler Predictor x(t) xnxn enen

Pl. Delta Moduláció Elsőrendű predikot, plusz egy bites kvantáló (csak azt jelzi, hogy a jel nő-e, vagy csökken-e az előző mintához képest) Ezekkel a módszerekkel pl. a beszédjelsávszélessége 6,4 Kbps-re, azaz egy tizedére csökkenthető !!!! (Ennek ára a nagy jeldolgozási igény, ami drága DSP-ket tesz szükségessé - hangkártya)

Adaptív prediktív kódoló Prediktor A jósolt érték A múltbeli értékek A hiba Sokkal kevesebb bit is elegendő a kvantálásához Az eredeti jel (sok bit kell a kvantálásához)

Probléma 4 Lassan változó jelek a jók (a minták közt nagy a korreláltság) 4 Túlmintavételezés 4 Erőforrásigény = minták száma x bitszám JÓ KOMPROMISSZUM ???

Más megközelítés - a zene tömörítése Komplex időjel (vagy spektrum) Hatalmas adatmennyiség Az adatok generálása (eseménytér) Pl. megszólal a hegedű... Sokkal kisebb adatmennyiség

Probléma Zenekar (szintetizátor) Jó interpretáció (drága PC) Rossz interpretáció (olcsó PC)

MIDI szabvány a zene tömörítésére Music Instrument Digital Interface (MIDI)- minden hangszer nek megfelel egy kód (pl. a zonogora 0, a hegedű 40) Összesen 127 hangszernek van kódja. A MIDI rendszerben a számítógép a kapott üzenetek alapján egy szintetizátorral generálja a zenét. A szintetizátor mind a 127 hangszert ismeri és a megfelelő spektrumot generálja a kapott utasítások alapján. Előny: a hatalmas sávszélességbeli csökkenés. Hátrány: a generált zene minősége nagyban függ a szintetizátortól (minden PC-ben más lehet)

A videojel paraméterei A színes digitális videojel: 600x800= képpont 100 szintes kvantálás ld 100 = 3,19 Mbit másodpercenkent 25 keret 80 Mbps + 2 db alacsonyabb felbontású színkülönbségi jel = 84 Mbps sávszélesség A számítógépes képek: 40x480 VGA, 800x600 SVGA, 1024x768 XGA. Egy XGA képernyő 24 bit per képelem felbontással és 25 keret per másodperc átvitelével 472 Mbps-os sávszélességet igényel.

Képtömörítés

Egy kicsit jobb megoldás Így is csak fele sávszélesség kell !!!

Mi a jó képtömörítés ??? Lényegtelen és lényeges részek szétválasztása 1. térbeli frekvenciák alapján 2. statisztikai függetlenség alapján 3. Időbeli változások alapján

A képtömörítés algoritmusa Alapgondolat: A nem fontos részek eldobása. Azt hogy mi a fontos egy transzformáció mondja meg, amely a képet “fontossági sorrendbe állítja”. Transzformáció a fontossági sorrend felállítására Ere- deti kép „prioritezált” kép „Vágás”(a nem fontos info. eldobása) Tömörített kép Inverz transzformáció Veszteséges visszaállítás a vágás után

Transzformációk 4 Karhunen - Loéve Transzformáció (KLT): a fontossági sorrendet a “főkomponen-sek” határozzák meg, amelyek lineár kombinációjából létrejön a korelált videojel. 4 Discrete Cosine Transform (DCT): A magasabb térbeli periodicitású komponensek elhagyása

Kivitelezés állóképekre: JPEG JPEG:. l Az információ lokális feldolgozása: Ossza fel az eredeti képet 8x8-as blokkokra. Transzformáció: Minden blokkon hajtson végre egy DCT- t asíkbeli frekvenciák eloszlásának a meghatározására. Kvantálás: Kerekítse a DCT együtthatóit, úgy hogy "agresszívebb" kerekítést szenvedjenek a nagyfrekvenciás komponensek együtthatói. Kódolás: Hajtsa végre Huffman kódolást a digitalizált együtthatókon további tömörítés végett (ebben a lépésben nincs addicionális információvesztés).

Kivitelezés mozgóképekre- MPEG Nemcsak a térbeli, hanem az időbeli korreláltság kihasználása különbségképzéssel. 4 különboző keret kerül elküldésre: 4 Intracoded frames: JPEG kódolt állóképek 4 Predictive frames: a megelőző kerettel vett blokkonkénti különbség 4 Bidirectional frames: Az adottkeretnek az őt megelőző és őt követő kerettel vett különbsége 4 DC-coded fames: Blokk átlagok a gyors előretekeréshez

File-ok tömörítése Szótáralapú módszerek (Lempel- Ziv) Egy szótár felállítása és a bináris szavakra való referálás, mutatók és hosszak által. Pl.

Adaptív forráskódolás - alapgondolat Nagyban banális, hogy a banditák hogyan bandukolnak Klasszikus módszer: ABC +írásjelek = 42 karakter 1 karakter = 6 bit Pl. A = B= A teljes szöveghez szügséges bitek száma 51 karaktrer x 6 bit = 306 bit

Megoldás Nagyban banális, hogy a banditák hogyan bandukolnak Szótár ban nagy hogy a n

Forráskódolási módszerek: Adaptív Huffman kódolás 30 bit hosszú 20 bit hosszú Tömörítés: W U

Alkalmazás - Video on demand Video on demand = virtuális videokölcsönző A felhasználók képesek: 4 elindítani 4 megállítani 4 előre és hátratekerni a filmet. Jelenleg nem megvalósítható.

Near video on demand Egy filmet minden 10 percben újraindítva szünet nékül ad a szolgáltató. Íg a felhasználó minidg újra indíthatja a filmet (ha közben elefont kapott) semmi nem vész el, csak max. 10 percig a már lejátszott részek jönnek.

Video szerverek 4 Hatalmas mennyiségű film tárolására alkalmasak (az összes film becsült száma 65000) 4 Egy film (MPEG2-ben) kb 4GByte memória 4 hívási statisztika C/k 4 tárolási hierarchia RAM RAID Optical Disk Tape archive

Üzleti potenciál 4 Pay-per-view video 4 Pay-per-view audio 4 Otthoni bevásárlás (pl. kisfilm az új fűnyírótípus használatáról, interaktív termékinfo …etc.) 4 On-line aukciók 4 híradók, sporthírek …etc.