Különböző médiumok feldolgozása Készítette: Kosztyán Zsolt kzst@almos.vein.hu kzst@ond.vein.hu

Médiumok Szöveg Kép Hang Videó Animáció

Szöveg bevitele Hagyományos módon – begépeléssel Már korábban elkészült szöveg beszerkesztése OCR (karakterfelismerő program segítségével)

OCR karakterfelismerő algoritmusok Összehasonlítás Körvonalelemzés

Szövegfelismerés lépései Feldolgozandó kép elérése A kép előfeldolgozása Felbontás, zónázás Felismerés Ellenőrzés, tanítás Mentés

Szöveg elhelyezése a képernyőn Legyen a szöveg megfelelően nagy méretű Ne legyen túl sok betűtípus a képernyőn Ne legyen túl sok szöveg egy képernyőn

Tömörítés - alapfogalmak Redundancia: Egy adathalmaz redundáns, ha mennyisége több, mint amennyi az információ hordozásához és megjelenítéséhez szükséges lenne. Kódolási redundancia Képi redundancia Pszichovizuális redundancia Pszichoakusztikus redundancia

Tömörítés - alapfogalmak Kódolási redundancia: Az információt hordozó adathalmazban az adatkódoknak kevesebb variációja fordul elő, mint amennyit a kódok mérete lehetővé tenne. Pl. Egy CD biztonságosabb letapogatása érdekében 8 bitből álló kódot 14 biten jelenítenek meg. 14 bitnek 16384 variációja van, amiből a CD technika csak 256–ot használ.

Tömörítéssel szemben támasztott elvárások A tömörített és az eredeti adathalmaz mennyiségének hányadosa (a tömörítési arány) a lehető legkisebb legyen! A tömörítő algoritmus használja ki a tömörítendő adathalmaz belső szerkezetének sajátosságait!

Tömörítéssel szemben támasztott elvárások A tömörítő algoritmus legyen hatékony! Az algoritmus illeszkedjék a már meglévő rendszerekhez! Az információveszteség legyen minimális vagy nulla!

Tömörítés A tömörítési eljárások fajtái: Veszteségmentes Veszteséges Pl. Entrópia kódolás Veszteséges Pl. JPEG, MPEG

Veszteségmentes tömörítés Egyszerű veszteségmentes tömörítések Futamhossz kódolás Különbségi kódolás Változó hosszúságú kodolás Huffmann kódolás Statikus Globálisan adaptív Lokálisan adaptív Aritmetikai kodolás Entrópia: Az átlagos kódhossz: Tehát értékét érdemes -nak választani.

Veszteségmentes tömörítés Bitsík kódolás Homogén foltok kódolása Határoló vonal kódolás Futamhossz-kódolás Kontúrkövetés Előrebecsléses kódolás Alkalmazás: pl. kép (.GIF, .PCX) kódolása

Veszteséges tömörítés Előrebecslésen alapuló eljárások Matematikai transzformáción alapuló módszerek Karhumen-Loeve transzformáció Diszkrét Fourier transzformáció Wals-Hadamart transzformáció Diszkrét koszinusz transzformáció Wavelet transzformáció

Hangok – a hang fizikai jellemzői Hang: Mechanikai rezgés, ami valamely anyagi közegben terjed. Hangsebesség: A hangrezgéseknek a vivőközegben való terjedési sebessége.

Hangok – a hang érzékelése A hallható hang: 16Hz – 20 kHz (életkor függő) 16Hz alatt infrahang 20kHz felett ultrahang

Akusztikai alapfogalmak Akusztika: az emberi hallás jellemzőivel foglalkozik Hangerő (hangintenzitás): A hangrezgés amplitúdója – 1m2 –re eső, wattban mért hangteljesítmény. A hangerő mértékegysége az akusztikus decibel

Akusztikai alapfogalmak Akusztikus decibel: értéke alkalmazkodik az emberi hangérzékeléshez, a hangerő nagyság tízes alapú logaritmusának húszszorosával egyenes arányban lévő szám. A hallásküszöbnek a 0 decibel (dB) érték felel meg, míg a fájdalomküszöb értéke 120 dB.

Akusztikai alapfogalmak Hangmagasság: a hang frekvenciájától függő mennyiség Hangszín: az adott hangjel frekvenciatartományi viselkedése

A hangok rögzítése Analóg rögzítés Digitális rögzítés

Analóg rögzítés és lejátszás A hangjel átalakítása rögzíthető, elektromos jelformára, melyben a jel frekvenciái és intenzitásai megfelelnek az eredeti hangjelnek Az elektromos jel rögzítése Példa: Elektromechanikus hangrögzítés Mágneses hangrögzítés

Analóg rögzítés és lejátszás A rögzített jelek érzékelése, elektromos jellé történő átalakítása Az elektromos jel felerősítése és visszaadása az eredeti hangjelhez hasonló alakban

Hangok digitális rögzítése és lejátszása Mintavételezés A mintavételezési frekvencia értéke legyen legalább kétszerese az eredeti analóg jelben előforduló legnagyobb frekvenciának (Shannon tétele). Kvantálás

Mintavételezés Mintavételezési frekvencia Használt terület 8 kHz A telefontechnika használja 11,025 kHz 1/4 CD-DA mintavételezési frekvencia 22,1 kHz 1/2 CD-DA mintavételezési frekvencia 32 kHz MPEG Audio által használt mintavételezési frekvencia 44,1 kHz CD-DA mintavételezési frekvencia 48 kHz Digital Audio Tape, MPEG Audio, Dolby Digital mintavételezési frekvencia

Kvantálás 8 bit = 256 jelszint, kb. 48 dB hangerő tartomány

Mintavételezés és kvantálás

A digitalizált hangállományok minőségének meghatározása Milyen hibával lehet a digitalizált hangállományból visszaállítani az eredeti analóg hanganyagot

A digitalizált hangállomány mérete A hangállomány méretét befolyásolja: Mintavételezési frekvencia értéke A kvantálási hossz A rögzített csatornák száma

A digitalizált hangállomány mérete   Mintavételezési frekvencia Kvantálási hossz 11,025 kHz 22,05 kHz 44,1 kHz 48 kHz 8 bit 0,631 MB 1,262 MB 2,524 MB 2,747 MB 16 bit 5,048 MB 5,496 MB 24 bit 1,893 MB 3,786 MB 7,572 MB 8,241 MB Pl 44 100 x 16 x 1 x 60 = 42 336 000 bit = 5 292 000 B= = 5,048 MB 1 perc hosszú, mono hangállomány hossza mintavételezési frekvencia és kvantálási hossz függvényében

A digitalizálás minősége   Mintavételezési frekvencia Kvantálási hossz 11,025 kHz 22,05 kHz 44,1 kHz 8 bit Nagyon gyenge (beszéd) Közepes minőség (beszéd) Jó minőség (beszéd zene) 16 bit Elfogad-ható (beszéd) Jó (beszéd, zene) Hi-Fi minőség (beszéd, zene)

Fontosabb hangkártya szabványok AdLib szabvány: Bevezette az FM szintézist a PC hang előállításához. Ez lett a mono üzemmódban működő MIDI rendszer szabványa. SoundBlaster szabvány: Bevezette a digitális technika használatát a hangrögzítésben, megteremtette a hullámtáblázat használatának feltételeit. Sztereo üzemmódot ismerő szabvány.

Fontosabb hangkártya szabványok Roland MT-32 szabvány: Bevezette a 256 mintavételezett alaphangot tároló ROM-ot a hangkártyán.

MIDI – Musical Instrument Digital Interface Számítógép és az elektronikus hangszerek közti kommunikációt rögzíti General MIDI szabvány: Hangszerek kiválasztása Szólamok száma

Hangtömörítés Pszichoakusztikus redundancia: Az ember nem hallja a nagy hangerejű hangfrekvenciákhoz közeli zajfrekvenciát. (Ez azonban csak egy szűk frekvenciasávra érvényes.) Az ember hallását zavarják azok a zajok, melyeknek frekvenciája közelében nincs hangfrekvencia. A pszichoakusztikus tömörítő eljárások részsávokra bontják a hallható hangfrekvencia sávot, és elemzik az egyes részsávok tartalmát.

Hangtömörítési eljárások Alapjuk a pszichoakusztikus redundancia csökkentése MPEG Audio (Layer 1, Layer 2, Layer 3) MPEG 2 AAC MPEG 4 Dolby eljárások Dolby Stereo Digital Dolby Surround Pro Logic

MPEG Audio Mintavételezési frekvencia: 32; 44,1; 48 kHz Mono Joint stereo Stereo Csatornánként a bitfolyam sebessége: 32 kb/s - 224 kb/s

MPEG Audio Layer 1: Legegyszerűbb eljárás. 128 kb/s fölötti sebesség esetén használható (csatornánként) Layer 2: Közepes bonyolultságú eljárás. 128 kb/s körül használható CD-ROM-on szinkronizált video és hangrögzítés Video CD-n videoállomány hangjának rögzítése

Rövidhullámú rádióadásnál jobb Középhullámú rádióadásnál jobb MPEG Audio Layer 3: a legbonyolultabb eljárás Hangminőség Sávszélesség Üzemmód Bitsebesség Tömörítési arány Telefon minőség 2,5 kHz Mono 8 kb/s 96:1 Rövidhullámú rádióadásnál jobb 4,5 kHz 16 kb/s 48:1 Középhullámú rádióadásnál jobb 7,5 kHz 32 kb/s 24:1 FM rádióadás minőség 11 kHz Sztereó 56 … 64 kb/s 26 … 24:1 Közel CD minőség 15 kHz 96 kb/s 16:1 CD minőség > 15 kHz 112 … 128 kb/s 14 … 12:1

MP3 Pro 2001 júniusában a német Frauenhofer Gesellschaft, a francia Thomson és az amerikai RCA/Coding Technologies bejelentettek egy módszert, melynél 64 kbps kódolással elérik azt, amit a CD-kódolásnál csak 128 kbps-es kódolással érhető el. A Coding Technologies az új "Spectral Band Replication" (SBR) módszere, a magas hangok kódolásáért felelős, míg az alacsonyabb frekvenciák a hagyományos mp3 szerint kerülnek kódolásra. A kettő együtt adja az mp3PRO kódolás tulajdonságait. Miután az SBR rész csak néhány kbps-t igényel, hagyományos mp3 felvételek lejátszhatók az mp3PRO lejátszókon. Ezek az SBR részt figyelmen kívül hagyják. Fordítva természetesen nem, azaz hagyományos mp3 lejátszókon nem hallhatók az új kódolás tulajdonságai.

MPEG 2 AAC Környezeti hangtér legalább 5 hangszóró Alkalmazás: Mintavételezés: 8 kHz … 96 kHz Kódolt részsávok száma: 1 … 48 Veszteséges (pszichoakusztikus) + veszteségmentes (entrópiakódolás) Alkalmazás: Filmipar

AC-3 (Audio Coding number 3) és a Dolby Az AC-3 (Audio Coding number 3) érzékelésen alapuló digitális audió kódolási (zajcsökkentési és tömörítési) technika. A zajcsökkentés azon alapszik, hogy csökkentik a kimenő szintet, ha nincs jel. Viszont engedik, hogy a nagy hangerő elfedje a jelben lévő zajt. Mivel így csak a jelhez közeli frekvencián keletkező zaj nyomható el, ezért a Dolby a hallható hangokat minden csatornán keskeny frekvenciasávokra tagolja a hallás frekvenciaérzékenységének megfelelően. Ha a sávban nincs jel, a Dolby csökkenti, esetleg megszünteti a kódolást, ami valójában zaj lenne. Ha a sávban van jel, a jel elnyomja a zajt. A tömörítés igen nagyfokú. Míg a tömörítetlen csatorna adatátviteli sebessége 700 kbit/sec, a Dolby Digital teljes sávszélességű csatornájának átviteli sebessége 75 kbit/sec.

MPEG 4 Bitsebesség, és objektumorientáltság Szerzői jogvédelem (vízjel) Hibatűrés MPEG 2 AAC továbbfejlesztése 3D Audio

Dolby eljárások Dolby Stereo Digital eljárás Dolby Sorround Pro Logic Négy analóg hangcsatornát két digitális csatornába kódol Dolby Sorround Pro Logic Dekódolja a hangállományt, és szétosztja négy külön csatornába Dolby Digital 1 … 5 hangcsatornát egy hangcsatornán történő kissebességű átvitelre alkalmas

Színmetrika - alapfogalmak Az elektromágneses sugárzás 1 nm és 1 mm közé eső részét hívjuk optikai sugárzásnak, ennek része a látható sugárzás. A színinger a látható színképtartományban sugárzott teljesítmény.

A szem szerkezete

A szem szerkezete

Színlátási rendellenességek a protanópia, vagy vörös gyengeség. Ezen személyek a vörös színeket sötét árnyalatúnak látják „vörös” színészleletük nincs. Valószínű oka, hogy az L fotopigmensük hiányzik (vagy nincsenek L csapjaik, vagy az M csapokra jellemző fotopigmens van ezen csapokban is. a deuteranópia, vagy zöld gyengeség. Deuteranopok a zöld színeket látják viszonylag sötéteknek, ez a leggyakoribb színtéveszési forma. Valószínű oka, hogy az M fotopigmensük hiányzik (vagy nincsenek M csapjaik, vagy az L csapokra jellemző fotopigmens van ezen csapokban is. tritanópia, vagy kék-vakság: tritanopok a kék színeket nem látják (igen ritkán fordul elő, valószínű oka az S-csappigmens hiánya).

Színlátási rendellenességek

Láthatósági függvény

Színingermetrika – színinger egyeztetés

Színmetrika – Grasmann törvények Szimmetria törvény: Ha A stimulus megfelel B stimulussal, akkor B stimulus is megfelel A stimulussal. Transitivitás törvénye: Ha A megfelel B-vel és B megfelel C-vel, akkor A is megfelel C-vel. Proporcionalitás törvénye: Ha A megfelel B-vel, akkor aA megfelel aB-vel, ahol a tetszésszerinti pozitív tényező. Additivitás törvénye: Ha A, B, C, D négy színinger, akkor ha bármely két egyenlőség az alábbiak közül fennáll A  B, C  D, (A +C)  (B + D) akkor fennáll a következő egyenlőség is (A +D)  (B + C)

Színképi érzékenység L = 1,0000R + 4,5907G + 0,0601B.

CIE XYZ színingertér olyan színingerösszetevő függvényekhez vezet, melyeknek csak pozitív értékei vannak, melynél az egyik alapszíninger megegyezik a V()-függvénnyel (az ezzel meghatározott színingerösszetevő fotometriai adatot szolgáltat), az equienergetikus színinger mindhárom színingerösszetevője azonos, és a lehető legszorosabban veszi közre a valós színinger vektorok által meghatározott színtérrészt

CIE XYZ színingertér

CIE (x,y,Y) diagram

MacAdam ellipszisek

CIE LUV

CIE LUV

CIE LUV huv = arctg[(v' - v'n) / (u' - u'n)] = arctg (v* / u*) (színezeti szög) suv = 13[(u' - u'n)2 + (v' - v'n)2]1/2 (telítettség)

CIA LAB

További szín-koordinátarendszerek YUV szín-koordinátarendszer (PAL-SECAM) Y = 0,3 R +0,59G + 0,11 B (luminancia) U = (B-Y) x 0,493 (krominancia) V = (R-Y) x 0,877 (krominancia)

További szín-koordinátarendszerek YIQ szín-koordinátarendszer (NTSC) Y = 0,30 R + 0,59 G + 0,11 B I = 0,60 R – 0,28 G – 0,32 B Q = 0,21 R – 0,52 G + 0,31 B HSB szín-koordinátarendszer Brightness = Y Hue = arctg((R-Y)/(B-Y)) Saturation = 1 – min {R, G, B}/Y

Irodalom CSÁNKY LAJOS: Multimédia PC-s környezetben, LSI Oktatóközpont, Budapest, 1996. RALF STEINMETZ: Multimédia Springer Hungarica Kiadó Kft., Budapest

Irodalom - Internet http://www.adobe.com http://www.matrox.com/mga http://www.sysopt.com/reviews/matrox-g450 http://www.fontolo.hu/magazin/digivideo/digivideo.html http://www.mpeg.org/MPEG/audio.html http://www.fraunhoffer.iis http://www.intermedia.c3.hu/oktanyag/video/videotechgyak http://www.movie-collage.de

Köszönöm a figyelmet!