Különböző médiumok feldolgozása

Az előadások a következő témára: "Különböző médiumok feldolgozása"— Előadás másolata:

1 Különböző médiumok feldolgozása
Készítette: Kosztyán Zsolt

2 Számítógépes grafika Vektorgrafika
A program egy láthatatlan hálóra rajzolja ki a készülő grafikát A grafikát utasítások halmazaként tárolja. (pl. pont, vonal, kör stb. helyét esetleg irányítását) Megjelenítéskor ezek az utasítások hajtódnak végre Előny: Kis méret (általában) Hátrány: Bonyolult (foto-realisztikus) ábrákat nem, vagy nagyon nehezen lehet leírni vektorgrafikus állományként Alkalmazás: pl. CAD/CAM

3 Számítógépes grafika Bittérképes grafika
Kép függőleges és vízszintes irányban pontokra (pixel) van felosztva Megjelenítéskor a képernyő pontjaiban megjelennek az adott pontról tárolt színinformációk Előnye: Foto-realisztikus képek egyszerű megjelenítése Hátránya: Nagyobb méret. Nem vagy nehezen lehet műveleteket végezni a képeken lévő alakzatokkal Megjegyzés: Vektorgrafikus=>Bittérképes konverzió egyszerű, Bittérképes=>Vektorgrafikus konverzió nagyon bonyolult

4 Képek jellemzői – színmélység
Színinfromáció-mennyiség képpontonként Megjeneíthető színek száma 4 bit 16 8 bit 256 16 bit 65 536 24, 32 bit (True Color)

5 Képek jellemzői - színmélység

6 Képek jellemzői - méret
A képállomány mértét meghatározza: Vízszintes felbontás Függőleges felbontás Színmélység Leggyakoribb monitorfelbontások (általában 4:3) 320 x 200, 320 x 240 640 x 480 800 x 600 1024 x 768 1240 x 1024 1600 x 1240 Pl. 800 x 600 x 24 bit = Byte

7 Képek digitalizálása Lapolvasók fajtái: A kép digitalizálás folyamata:
Kézi szkenner Asztali (lap) szkenner A kép digitalizálás folyamata: Analóg kép (pl. fénykép) Kvantálás (dpi=dot per inch) Digitális kép Pl. 3 inch (7,62 cm) x 300 dpi x 2 inch (5,08) x 300 dpi x 24 bit = képpont x 3 Byte = Byte

8 Képek digitalizálása - szempontok
Felbontás: Kép esetén általában dpi elég. Ha túl magas dpi-n mintavételezünk, akkor egyrészt túl nagy lesz a kép másrészt a képen túl sok zaj jelenhet meg. Szövegfelismerés esetén kb. 400 dpi Színmélység: Lehető legmagasabb színmélységben mintavételezzünk, és ha szükséges a színek számát csak később a digitalizálás után redukáljuk.

9 Képek jellemzése - hisztogram
Hisztogram: Adott színből (gradációs fokozatból) mennyit tartalmaz

10 Képfeldolgozás – különböző digitalizálási hibák kijavítása
Leggyakrabban előforduló hibák Nem megfelelő (relatív) világosság Nem megfelelő kontraszt Nem megfelelő élesség Különböző zajok megjelenése a képen Kicsinyítésből és nagyításból eredő hibák

11 (Relatív) világosság, kontraszt változtatása

12 Gamma karakterisztika, hisztogram kiegyenlítése

13 Elmosás, élkiemelés, éldetektálás – Diszkrét konvolúció segítségével

14 Különböző zajok szűrése a képen
Átlag (mean): Szórásnégyzet (variance): Mean Square Error (MSE) Jel-zaj arány (signal to noise ratio - SNR)

15 Nagyításból és kicsinyítésből eredő hibák kiküszöbölése
Elvesznek élek Információ vesztés Nagyításból eredő hibák „pixelesség”

16 Színes képek manipulálása
A képfeldolgozó program esetében szükséges egy belső színtér, mely legyen: Egyenlő közű Legyen értelmezve rajta a: Világosság Színezet, vagy színezeti szög Telítettség, vagy a króma

17 Legelterjedtebb képi formátumok
BMP (BitMapped Picture) Kódolás nélkül, vagy veszteségmentes RLE kódolással tárolt képi formátum GIF (Graphic Interchange Format) Helyettesítési (veszteségmentes) eljáráson alapuló maximum 256 színmésélységű képet megjeleníteni képes képformátum Ha a kép viszonylag homogén, és max 256 színt tartalmaz akkor célszerű ebben a formátumban tárolni. (Egy továbbfejlesztett változata a PNG, de ez még nem nagyon terjedt el.)

18 Legelterjedtebb képi formátumok
JPEG (Joint Photographic Expert Group) Veszteséges és veszteségmentes (nagy hatékonyságú pszichovizuális és kódolási redundanciát kiküszöbölő) tömörítést alkalmaz Akár 1:5 (fekete fehér képeknél), 1:10 (színes képeknél) tömörítési arányt is képes produkálni számottevő (észrevehető) minőségromlás nélkül

19 JPEG Képtömörítés A tömörítés lépései:
RGB => YUV szín-koordinátarendszerbe transzformál Elválasztja a világosság- és színkódokat (elsősorban a színi információk mennyiségét csökkenti) 8 x 8 –as tagból álló makró blokkokra bontja, majd a blokkokra egy diszkrét koszinusz transzformáció segítségével kiszámítja a blokkokat alkotó frekvencia komponensek amplitúdóját. Az eljárás elhagyja azokat a frekvencia komponenseket, melyek amplitúdói egy előre definált paraméter alatt vannak. A megmaradt képi információkat Huffmann-kódolással tömöríti. MEGJEGYZÉS: A JPEG 2000, DCT transzformáció helyett diszkrét Wavelet transzformációt használ

20 Digitális videotechnika - Színes TV rendszerek
NTSC (National Television Standard Comitee) /1949 USA/ Képváltás: 29,97 képkocka/s = 59,94 félkép/s Sorok száma: 525 sor/váltosoros Képarány 4:3 => függőleges felbontás: 525*4/3=700 képpont

21 Digitális videotechnika - Színes TV rendszerek
SECAM (SÉquential Couleur Avec Memoire) /1957 Francia ország: Henry de France/ Képváltás: 25 képkocka/s = 50 félkép/s Sorok száma: 625 sor/váltosoros (egyik változata 819 sort definiál) Képarány 4:3 => függőleges felbontás: 625*4/3=833,3 = kb. 833 képpont (819*4/3=1092 képpont)

22 Digitális videotechnika - Színes TV rendszerek
PAL (Phase Alternation Line) /1961 NSZK Walter Bruch/ Képváltás: 25 képkocka/s = 50 félkép/s Sorok száma: 625 sor/váltosoros (ebből 575 látszik) Képarány 4:3 => függőleges felbontás: 575*4/3=766,6 = kb. 766 képpont (Létezik egy PAL-M változat, mely az Európában állomásozó amerikai hadsereg számára lett kifejlesztve. Paraméterei a képváltás kivételével (29,97 kép/s) megegyeznek a PAL rendszerrel.)

23 Digitális videotechnika - Színes TV rendszerek
D2-MAC (Doubinary Multiplexed Analogue Components) Közbenső megoldás a HDTV és a mai televíziózás között Képváltás: 25 képkocka/s = 50 félkép/s Sorok száma: 625 sor/váltosoros (ebből 574 látszik) Képarány 4:3, 16:9

24 Digitális videotechnika - Színes TV rendszerek
HDTV (High Definition Television) 2, 3m nézési távolság 45o-os vízszintes látószög esetén Képarány: 16:9 1100 aktív sor, soronként legalább 1900 képpont 100 Hz képváltási frekvencia Kompatibilitás: konverterek segítégével

25 Digitális videotechnika - Analóg videoanyagok lejátszása
Videoillesztő kártyák Képernyő számára analóg videojelet állít elő A képernyőt egy kiváló minőségű TV készülékké alakítja Előnye: Kevés az erőforrásigénye (grafikuskártya megkerülése) Hátránya: Nem lehet képkocka sorokat későbbi felhasználásra rögzíteni

26 Digitális videotechnika - Analóg videoanyagok lejátszása
Overlay kártyák Beérkező képjelet digitalizálja Mintavételezési frekvencia legalább 10 MHz, színmélység legalább 16 bit Lehetővé tesz képkocka befagyasztást A megjelenített ablak általában 320 x 240 pixel Pl. 320 x 240 x 24 bit x 25 kép/s = 5,493 MB/s

27 Videojelek digitalizálása
Analóg videojel Leképzés Kétdimenziós képfüggvény Mintavételezés Mintavételezett képkocka Kvantálás Digitális képkocka

28 Videodigitalizáló kártyák
Video esetleg Audio jel digitalizálása Tömörítés Szoftveresen Hardveresen Tömörített formátum DVI (Digital Video Interactive) MPEG (1,2) (Moving Picture Experts Group) M-JPEG (Motion JPEG)

29 Videoállományok tömörítése
Tömörítés/kibontás szempontjai Hatékonyság Sebesség Tömörítési arány Minőség A tömörítés során csökkenteni kell: Pszichovizuális Pszichoakusztikus Kódolási redundanciát Az egyes képkockák nem függetlenek egymástól, hanem közöttük kapcsolat (korreláció) van

30 Videoállományok tömörítése
AVI (Audio Video Interleaved): Kép és hanginformáció egymás után Fejléccel rendelkezik, ami megmutatja, hogy milyen tömörítési eljárást használtunk Szükséges a lejátszáshoz egy megfelelő dekoder M-JPEG (Motion JPEG) Az egyes képkockákat JPEG eljárással kódolják A képek közötti kapcsolatokat nem veszik figyelembe

31 INDEO, DVI Változtatható képméret és képváltási frekvencia (5-30 Hz)
Képkockák Kulcs-képkocka Delta-képkocka

32 Videoállományok tömörítése – MPEG szabványok (MPEG 1)
Háromfajta képkocka I képkocka: teljes képet tartalmaz, tömörítése a JPEG eljáráshoz hasonlít P képkocka: előrebecsült képkocka. Csak az előző I és P képkockához képest viszonyított változást tartalmazza. Minél több P képkocka következik egymás után, annál inkább eltérhet a kibontott video állomány az eredeti videoállománytól B képkocka: Azokat a makroblokkokat tartalmazza melyek a korábbi, vagy későbbi I vagy P képkockához képest megváltoztak

33 Videoállományok tömörítése – MPEG szabványok (MPEG 1)

34 Videoállományok tömörítése – MPEG szabványok (MPEG 2)
I,B, P képkockák használata Térbeli, időbeli redundanciák keresése Objektumok keresése Változó bitsebességű kódolás (VBR) Képkockák közötti és a képkockán belüli tömörítés azonos elvek szerint Hang és képállomány független elemi adatfolyamokban (ES) Független elemi adatfolyamokból csomagolt elemi adatfolyamokat hoz létre (PES) Ebből továbbított adatfolyamokat hoz létre (TS)

35 Videoállományok tömörítése – MPEG szabványok (MPEG 2)
Átviteli sebesség max 40 Gbit/s Max képpont x Rövid képcsoportok -> Előnyös a szerkesztéshez

36 Videoállományok tömörítése – MPEG szabványok (MPEG 4)
Tetszőleges alakú képi objektumokat lehet önállóan kezelni. Tartalom alapú kódolás. Hangadatokat, képadatokat audiovizuális objektumokként kezeli (AVO) Audiovizuális objektumokból összetett ábrák rakhatók össze Egy audiovizuális jelenet több hierarchikusan szervezett audiovizuális objektumból áll

37 Videoállományok tömörítése – MPEG szabványok (MPEG 4)
Bitsebesség VLBV (Very Low Bit-rate Video) szint: 176 x 144 képpont max 15 Hz 4,8 – 64 kbit/s 64 kbit/s – 10 MBit/s

38 Feladat - Képfeldolgozás
Egy színes képet tartalmazó fotót (8”x12”) digitalizálunk 1200x1200-as dpi mintavételezéssel 24 bites színmélységben. Ezután tömörítjük a képet JPEG eljárás segítségével. A tömörítési arány 1:8. Mekkora lesz a tömörített kép? Lesz-e észrevehető minőségromlás? Indokolja válaszát! Egy festő megkér bennünket, hogy ezt egy vászonra nyomtassuk ki neki, melyet ő majd, mint alapot használ, és később majd erre fest, illetve ezt a képet egészíti ki. A vászon mérete 50 cm x 70 cm (egy ” = 2,54 cm). Milyen torzulások léphetnek fel a nyomtatás során? Ezek hogyan küszöbölhetők ki?

39 Megoldás A digitalizált kép mérete: 1200 x 1200 x 8 x 12 x 24 = bit =   B = 395, MB A tömörített kép mérete: 49, MB Valószínűleg nem vehető észrevehető a minőségromlás mivel általában 1:8 tömörítési arány színes képek esetén még nem jár minőségromlással. A minőségromlás nyomtatáskor: Színtorzulás, nagyításból eredő hibák stb.

40 Feladat - Hangfeldolgozás
Egy Dolby Digital hangrendszer segítségével (5 csatorna) rögzítettünk egy 3 perc, 51 másodperces zene számot. A mintavételezés 48 kHz. A kvantálási hossz 24 bit. Ezután tömörítettük MPEG 2 AAC segítségével az egyes csatornákat 96 kbps sűrűségüre. Mekkora az eredeti fájl mérete? Mekkora a tömörítési arány? Mekkora a tömörített fájl mérete?

41 Feladat – Videófeldolgozás
Egy internetes újság a következőkkel bíz meg bennünket: egy közéleti személyiség beszédét (39 perc 37 másodperc 320 x 240 –es felbontásban 16 bites színmélység mellett) kell az Interneten keresztül elérhetővé tenni mindenki számára. Főnökünk azt szeretné, ha olyanok is letölthetnék, illetve folyamatosan nézhetnék, akiknek csak modemjük van, és csak 40 kbps sávszélességet tudnak átlagban kihasználni. Továbbá közli velünk, hogy maximum csak 19 MB–ot tud számunkra biztosítani. A videóanyagot PAL rendszerű VHS kazettára vették fel. Melyet először digitalizálunk tömörítés nélkül (564x768 képkocka x 24 bites színmélység 25 kép/s, a hangot sztereó hangminőségben 44,1 kHz-en 16 bites kvantálási hosszal)

42 Feladat – Videófeldolgozás
Mekkora a tömörítetlen file hossza? Mekkorának kell legalább lenni a tömörítési aránynak, hogy a fenti feltételeknek megfelelő minimális minőségromlással járó videóanyagot kapjon? Megoldható-e a fenti feladat? Indokolja állítását! Amennyiben a feladat megoldható, úgy részletesen írja le a megoldás menetét (használjon ki minden lehetséges tömörítési lehetőséget pl. beszéd tömörítéséhez szükséges kvantálási hossz, megjeleníteni kívánt videó-ablakméret, kép/sec, tömöríési eljárás stb.)!

43 Megoldás A tömörítetlen file hossza: (39x60+37)x(564x768x24x x16x2)= = 2377x( ) = bit = B = = 74042, MB = 72, GB A tömörítési arány: A folyamatosság miatt, a file mérete maximum: 40x1024x(39x60+37)= bit = B = 11, MB < 19 MB, tehát ezt a file méretet kell alapul venni! A teljes tömörítési arány tehát: : =1:6379, –nak kellene lennie.

44 Megoldás A kívánt tömörítési arányt el lehet érni a következőképpen:
Felbontás színmélység, kvantálási hossz, mintavételezési frekvencia csökkentése: A kívánt videó-állomány jellemzői: (320x240x16x x8)x(39x60+37)= bit ez 1:13, tömörítés Ez után MPEG 4 eljárással kódoljuk a videó-anyagot, mely kódolás kihasználja, hogy egy beszéd esetén nincs túl sok mozgás. Hangot is csak egy szűk tartományba kell kódolni.

45 Irodalom CSÁNKY LAJOS: Multimédia PC-s környezetben, LSI Oktatóközpont, Budapest, 1996. RALF STEINMETZ: Multimédia Springer Hungarica Kiadó Kft., Budapest

46 Irodalom - folyóiratok
Vége Csapó Ennyi, Digitális Videó Eszközök. CHIP Magazin XII. évfolyam 8.szám augusztus Lame az enyém MP3. CHIP Magazin XIV. évfolyam 7. szám július Tippek és Tanácsok 23. Hogyan készíthetünk videoanyagokat PC-n, PC Word melléklet. 2001/10. október Digitális Videó És Számítástechnika, VIDEO praktika V. évfolyam 8-9 szám

47 Irodalom - Internet http://www.adobe.com http://www.matrox.com/mga

48 Köszönöm a figyelmet!