Különböző médiumok feldolgozása Készítette: Kosztyán Zsolt kzst@almos.vein.hu kzst@ond.vein.hu

Számítógépes grafika Vektorgrafika A program egy láthatatlan hálóra rajzolja ki a készülő grafikát A grafikát utasítások halmazaként tárolja. (pl. pont, vonal, kör stb. helyét esetleg irányítását) Megjelenítéskor ezek az utasítások hajtódnak végre Előny: Kis méret (általában) Hátrány: Bonyolult (foto-realisztikus) ábrákat nem, vagy nagyon nehezen lehet leírni vektorgrafikus állományként Alkalmazás: pl. CAD/CAM

Számítógépes grafika Bittérképes grafika Kép függőleges és vízszintes irányban pontokra (pixel) van felosztva Megjelenítéskor a képernyő pontjaiban megjelennek az adott pontról tárolt színinformációk Előnye: Foto-realisztikus képek egyszerű megjelenítése Hátránya: Nagyobb méret. Nem vagy nehezen lehet műveleteket végezni a képeken lévő alakzatokkal Megjegyzés: Vektorgrafikus=>Bittérképes konverzió egyszerű, Bittérképes=>Vektorgrafikus konverzió nagyon bonyolult

Képek jellemzői – színmélység Színinfromáció-mennyiség képpontonként Megjeneíthető színek száma 4 bit 16 8 bit 256 16 bit 65 536 24, 32 bit (True Color) 16 777 216

Képek jellemzői - színmélység

Képek jellemzői - méret A képállomány mértét meghatározza: Vízszintes felbontás Függőleges felbontás Színmélység Leggyakoribb monitorfelbontások (általában 4:3) 320 x 200, 320 x 240 640 x 480 800 x 600 1024 x 768 1240 x 1024 1600 x 1240 Pl. 800 x 600 x 24 bit = 1 440 000 Byte

Képek digitalizálása Lapolvasók fajtái: A kép digitalizálás folyamata: Kézi szkenner Asztali (lap) szkenner A kép digitalizálás folyamata: Analóg kép (pl. fénykép) Kvantálás (dpi=dot per inch) Digitális kép Pl. 3 inch (7,62 cm) x 300 dpi x 2 inch (5,08) x 300 dpi x 24 bit = 540 000 képpont x 3 Byte = 1 620 000 Byte

Képek digitalizálása - szempontok Felbontás: Kép esetén általában 100-300 dpi elég. Ha túl magas dpi-n mintavételezünk, akkor egyrészt túl nagy lesz a kép másrészt a képen túl sok zaj jelenhet meg. Szövegfelismerés esetén kb. 400 dpi Színmélység: Lehető legmagasabb színmélységben mintavételezzünk, és ha szükséges a színek számát csak később a digitalizálás után redukáljuk.

Képek jellemzése - hisztogram Hisztogram: Adott színből (gradációs fokozatból) mennyit tartalmaz

Képfeldolgozás – különböző digitalizálási hibák kijavítása Leggyakrabban előforduló hibák Nem megfelelő (relatív) világosság Nem megfelelő kontraszt Nem megfelelő élesség Különböző zajok megjelenése a képen Kicsinyítésből és nagyításból eredő hibák

(Relatív) világosság, kontraszt változtatása

Gamma karakterisztika, hisztogram kiegyenlítése

Elmosás, élkiemelés, éldetektálás – Diszkrét konvolúció segítségével

Különböző zajok szűrése a képen Átlag (mean): Szórásnégyzet (variance): Mean Square Error (MSE) Jel-zaj arány (signal to noise ratio - SNR)

Nagyításból és kicsinyítésből eredő hibák kiküszöbölése Elvesznek élek Információ vesztés Nagyításból eredő hibák „pixelesség”

Színes képek manipulálása A képfeldolgozó program esetében szükséges egy belső színtér, mely legyen: Egyenlő közű Legyen értelmezve rajta a: Világosság Színezet, vagy színezeti szög Telítettség, vagy a króma

Legelterjedtebb képi formátumok BMP (BitMapped Picture) Kódolás nélkül, vagy veszteségmentes RLE kódolással tárolt képi formátum GIF (Graphic Interchange Format) Helyettesítési (veszteségmentes) eljáráson alapuló maximum 256 színmésélységű képet megjeleníteni képes képformátum Ha a kép viszonylag homogén, és max 256 színt tartalmaz akkor célszerű ebben a formátumban tárolni. (Egy továbbfejlesztett változata a PNG, de ez még nem nagyon terjedt el.)

Legelterjedtebb képi formátumok JPEG (Joint Photographic Expert Group) Veszteséges és veszteségmentes (nagy hatékonyságú pszichovizuális és kódolási redundanciát kiküszöbölő) tömörítést alkalmaz Akár 1:5 (fekete fehér képeknél), 1:10 (színes képeknél) tömörítési arányt is képes produkálni számottevő (észrevehető) minőségromlás nélkül

JPEG Képtömörítés A tömörítés lépései: RGB => YUV szín-koordinátarendszerbe transzformál Elválasztja a világosság- és színkódokat (elsősorban a színi információk mennyiségét csökkenti) 8 x 8 –as tagból álló makró blokkokra bontja, majd a blokkokra egy diszkrét koszinusz transzformáció segítségével kiszámítja a blokkokat alkotó frekvencia komponensek amplitúdóját. Az eljárás elhagyja azokat a frekvencia komponenseket, melyek amplitúdói egy előre definált paraméter alatt vannak. A megmaradt képi információkat Huffmann-kódolással tömöríti. MEGJEGYZÉS: A JPEG 2000, DCT transzformáció helyett diszkrét Wavelet transzformációt használ

Digitális videotechnika - Színes TV rendszerek NTSC (National Television Standard Comitee) /1949 USA/ Képváltás: 29,97 képkocka/s = 59,94 félkép/s Sorok száma: 525 sor/váltosoros Képarány 4:3 => függőleges felbontás: 525*4/3=700 képpont

Digitális videotechnika - Színes TV rendszerek SECAM (SÉquential Couleur Avec Memoire) /1957 Francia ország: Henry de France/ Képváltás: 25 képkocka/s = 50 félkép/s Sorok száma: 625 sor/váltosoros (egyik változata 819 sort definiál) Képarány 4:3 => függőleges felbontás: 625*4/3=833,3 = kb. 833 képpont (819*4/3=1092 képpont)

Digitális videotechnika - Színes TV rendszerek PAL (Phase Alternation Line) /1961 NSZK Walter Bruch/ Képváltás: 25 képkocka/s = 50 félkép/s Sorok száma: 625 sor/váltosoros (ebből 575 látszik) Képarány 4:3 => függőleges felbontás: 575*4/3=766,6 = kb. 766 képpont (Létezik egy PAL-M változat, mely az Európában állomásozó amerikai hadsereg számára lett kifejlesztve. Paraméterei a képváltás kivételével (29,97 kép/s) megegyeznek a PAL rendszerrel.)

Digitális videotechnika - Színes TV rendszerek D2-MAC (Doubinary Multiplexed Analogue Components) Közbenső megoldás a HDTV és a mai televíziózás között Képváltás: 25 képkocka/s = 50 félkép/s Sorok száma: 625 sor/váltosoros (ebből 574 látszik) Képarány 4:3, 16:9

Digitális videotechnika - Színes TV rendszerek HDTV (High Definition Television) 2, 3m nézési távolság 45o-os vízszintes látószög esetén Képarány: 16:9 1100 aktív sor, soronként legalább 1900 képpont 100 Hz képváltási frekvencia Kompatibilitás: konverterek segítégével

Digitális videotechnika - Analóg videoanyagok lejátszása Videoillesztő kártyák Képernyő számára analóg videojelet állít elő A képernyőt egy kiváló minőségű TV készülékké alakítja Előnye: Kevés az erőforrásigénye (grafikuskártya megkerülése) Hátránya: Nem lehet képkocka sorokat későbbi felhasználásra rögzíteni

Digitális videotechnika - Analóg videoanyagok lejátszása Overlay kártyák Beérkező képjelet digitalizálja Mintavételezési frekvencia legalább 10 MHz, színmélység legalább 16 bit Lehetővé tesz képkocka befagyasztást A megjelenített ablak általában 320 x 240 pixel Pl. 320 x 240 x 24 bit x 25 kép/s = 5,493 MB/s

Videojelek digitalizálása Analóg videojel Leképzés Kétdimenziós képfüggvény Mintavételezés Mintavételezett képkocka Kvantálás Digitális képkocka

Videodigitalizáló kártyák Video esetleg Audio jel digitalizálása Tömörítés Szoftveresen Hardveresen Tömörített formátum DVI (Digital Video Interactive) MPEG (1,2) (Moving Picture Experts Group) M-JPEG (Motion JPEG)

Videoállományok tömörítése Tömörítés/kibontás szempontjai Hatékonyság Sebesség Tömörítési arány Minőség A tömörítés során csökkenteni kell: Pszichovizuális Pszichoakusztikus Kódolási redundanciát Az egyes képkockák nem függetlenek egymástól, hanem közöttük kapcsolat (korreláció) van

Videoállományok tömörítése AVI (Audio Video Interleaved): Kép és hanginformáció egymás után Fejléccel rendelkezik, ami megmutatja, hogy milyen tömörítési eljárást használtunk Szükséges a lejátszáshoz egy megfelelő dekoder M-JPEG (Motion JPEG) Az egyes képkockákat JPEG eljárással kódolják A képek közötti kapcsolatokat nem veszik figyelembe

INDEO, DVI Változtatható képméret és képváltási frekvencia (5-30 Hz) Képkockák Kulcs-képkocka Delta-képkocka

Videoállományok tömörítése – MPEG szabványok (MPEG 1) Háromfajta képkocka I képkocka: teljes képet tartalmaz, tömörítése a JPEG eljáráshoz hasonlít P képkocka: előrebecsült képkocka. Csak az előző I és P képkockához képest viszonyított változást tartalmazza. Minél több P képkocka következik egymás után, annál inkább eltérhet a kibontott video állomány az eredeti videoállománytól B képkocka: Azokat a makroblokkokat tartalmazza melyek a korábbi, vagy későbbi I vagy P képkockához képest megváltoztak

Videoállományok tömörítése – MPEG szabványok (MPEG 1)

Videoállományok tömörítése – MPEG szabványok (MPEG 2) I,B, P képkockák használata Térbeli, időbeli redundanciák keresése Objektumok keresése Változó bitsebességű kódolás (VBR) Képkockák közötti és a képkockán belüli tömörítés azonos elvek szerint Hang és képállomány független elemi adatfolyamokban (ES) Független elemi adatfolyamokból csomagolt elemi adatfolyamokat hoz létre (PES) Ebből továbbított adatfolyamokat hoz létre (TS)

Videoállományok tömörítése – MPEG szabványok (MPEG 2) Átviteli sebesség max 40 Gbit/s Max képpont 16 000 x 16 000 Rövid képcsoportok -> Előnyös a szerkesztéshez

Videoállományok tömörítése – MPEG szabványok (MPEG 4) Tetszőleges alakú képi objektumokat lehet önállóan kezelni. Tartalom alapú kódolás. Hangadatokat, képadatokat audiovizuális objektumokként kezeli (AVO) Audiovizuális objektumokból összetett ábrák rakhatók össze Egy audiovizuális jelenet több hierarchikusan szervezett audiovizuális objektumból áll

Videoállományok tömörítése – MPEG szabványok (MPEG 4) Bitsebesség VLBV (Very Low Bit-rate Video) szint: 176 x 144 képpont max 15 Hz 4,8 – 64 kbit/s 64 kbit/s – 10 MBit/s

Feladat - Képfeldolgozás Egy színes képet tartalmazó fotót (8”x12”) digitalizálunk 1200x1200-as dpi mintavételezéssel 24 bites színmélységben. Ezután tömörítjük a képet JPEG eljárás segítségével. A tömörítési arány 1:8. Mekkora lesz a tömörített kép? Lesz-e észrevehető minőségromlás? Indokolja válaszát! Egy festő megkér bennünket, hogy ezt egy vászonra nyomtassuk ki neki, melyet ő majd, mint alapot használ, és később majd erre fest, illetve ezt a képet egészíti ki. A vászon mérete 50 cm x 70 cm (egy ” = 2,54 cm). Milyen torzulások léphetnek fel a nyomtatás során? Ezek hogyan küszöbölhetők ki?

Megoldás A digitalizált kép mérete: 1200 x 1200 x 8 x 12 x 24 = 3317760000 bit =  414720000 B = 395,5078125 MB A tömörített kép mérete: 49,4384765625 MB Valószínűleg nem vehető észrevehető a minőségromlás mivel általában 1:8 tömörítési arány színes képek esetén még nem jár minőségromlással. A minőségromlás nyomtatáskor: Színtorzulás, nagyításból eredő hibák stb.

Feladat - Hangfeldolgozás Egy Dolby Digital hangrendszer segítségével (5 csatorna) rögzítettünk egy 3 perc, 51 másodperces zene számot. A mintavételezés 48 kHz. A kvantálási hossz 24 bit. Ezután tömörítettük MPEG 2 AAC segítségével az egyes csatornákat 96 kbps sűrűségüre. Mekkora az eredeti fájl mérete? Mekkora a tömörítési arány? Mekkora a tömörített fájl mérete?

Feladat – Videófeldolgozás Egy internetes újság a következőkkel bíz meg bennünket: egy közéleti személyiség beszédét (39 perc 37 másodperc 320 x 240 –es felbontásban 16 bites színmélység mellett) kell az Interneten keresztül elérhetővé tenni mindenki számára. Főnökünk azt szeretné, ha olyanok is letölthetnék, illetve folyamatosan nézhetnék, akiknek csak modemjük van, és csak 40 kbps sávszélességet tudnak átlagban kihasználni. Továbbá közli velünk, hogy maximum csak 19 MB–ot tud számunkra biztosítani. A videóanyagot PAL rendszerű VHS kazettára vették fel. Melyet először digitalizálunk tömörítés nélkül (564x768 képkocka x 24 bites színmélység 25 kép/s, a hangot sztereó hangminőségben 44,1 kHz-en 16 bites kvantálási hosszal)

Feladat – Videófeldolgozás Mekkora a tömörítetlen file hossza? Mekkorának kell legalább lenni a tömörítési aránynak, hogy a fenti feltételeknek megfelelő minimális minőségromlással járó videóanyagot kapjon? Megoldható-e a fenti feladat? Indokolja állítását! Amennyiben a feladat megoldható, úgy részletesen írja le a megoldás menetét (használjon ki minden lehetséges tömörítési lehetőséget pl. beszéd tömörítéséhez szükséges kvantálási hossz, megjeleníteni kívánt videó-ablakméret, kép/sec, tömöríési eljárás stb.)!

Megoldás A tömörítetlen file hossza: (39x60+37)x(564x768x24x25+44100x16x2)= = 2377x(259891200+1411200) = 621115804800 bit = 77639475600 B = = 74042,7738189697265625 MB = 72,30739630758762359619140625 GB A tömörítési arány: A folyamatosság miatt, a file mérete maximum: 40x1024x(39x60+37)= 97361920 bit = 12170240 B = 11,6064453125 MB < 19 MB, tehát ezt a file méretet kell alapul venni! A teljes tömörítési arány tehát: 97361920:621115804800=1:6379,453125 –nak kellene lennie.

Megoldás A kívánt tömörítési arányt el lehet érni a következőképpen: Felbontás színmélység, kvantálási hossz, mintavételezési frekvencia csökkentése: A kívánt videó-állomány jellemzői: (320x240x16x16 + 11025x8)x(39x60+37)= 46943373000 bit ez 1:13,231171198541698313838675375968 tömörítés Ez után MPEG 4 eljárással kódoljuk a videó-anyagot, mely kódolás kihasználja, hogy egy beszéd esetén nincs túl sok mozgás. Hangot is csak egy szűk tartományba kell kódolni.

Irodalom CSÁNKY LAJOS: Multimédia PC-s környezetben, LSI Oktatóközpont, Budapest, 1996. RALF STEINMETZ: Multimédia Springer Hungarica Kiadó Kft., Budapest

Irodalom - folyóiratok Vége Csapó Ennyi, Digitális Videó Eszközök. CHIP Magazin XII. évfolyam 8.szám. 2000. augusztus Lame az enyém MP3. CHIP Magazin XIV. évfolyam 7. szám 2002. július Tippek és Tanácsok 23. Hogyan készíthetünk videoanyagokat PC-n, PC Word melléklet. 2001/10. október Digitális Videó És Számítástechnika, VIDEO praktika V. évfolyam 8-9 szám. 1999.

Irodalom - Internet http://www.adobe.com http://www.matrox.com/mga http://www.sysopt.com/reviews/matrox-g450 http://www.fontolo.hu/magazin/digivideo/digivideo.html http://www.mpeg.org/MPEG/audio.html http://www.fraunhoffer.iis http://www.intermedia.c3.hu/oktanyag/video/videotechgyak http://www.movie-collage.de

Köszönöm a figyelmet!