Különböző médiumok feldolgozása

Az előadások a következő témára: "Különböző médiumok feldolgozása"— Előadás másolata:

1 Különböző médiumok feldolgozása
Készítette: Kosztyán Zsolt

2 Médiumok Szöveg Kép Hang Videó Animáció

3 Szöveg bevitele Hagyományos módon – begépeléssel
Már korábban elkészült szöveg beszerkesztése OCR (karakterfelismerő program segítségével)

4 OCR karakterfelismerő algoritmusok
Összehasonlítás Körvonalelemzés

5 Szövegfelismerés lépései
Feldolgozandó kép elérése A kép előfeldolgozása Felbontás, zónázás Felismerés Ellenőrzés, tanítás Mentés

6 Szöveg elhelyezése a képernyőn
Legyen a szöveg megfelelően nagy méretű Ne legyen túl sok betűtípus a képernyőn Ne legyen túl sok szöveg egy képernyőn

7 Tömörítés - alapfogalmak
Redundancia: Egy adathalmaz redundáns, ha mennyisége több, mint amennyi az információ hordozásához és megjelenítéséhez szükséges lenne. Kódolási redundancia Képi redundancia Pszichovizuális redundancia Pszichoakusztikus redundancia

8 Tömörítés - alapfogalmak
Kódolási redundancia: Az információt hordozó adathalmazban az adatkódoknak kevesebb variációja fordul elő, mint amennyit a kódok mérete lehetővé tenne. Pl. Egy CD biztonságosabb letapogatása érdekében 8 bitből álló kódot 14 biten jelenítenek meg. 14 bitnek variációja van, amiből a CD technika csak 256–ot használ.

9 Tömörítéssel szemben támasztott elvárások
A tömörített és az eredeti adathalmaz mennyiségének hányadosa (a tömörítési arány) a lehető legkisebb legyen! A tömörítő algoritmus használja ki a tömörítendő adathalmaz belső szerkezetének sajátosságait!

10 Tömörítéssel szemben támasztott elvárások
A tömörítő algoritmus legyen hatékony! Az algoritmus illeszkedjék a már meglévő rendszerekhez! Az információveszteség legyen minimális vagy nulla!

11 Tömörítés A tömörítési eljárások fajtái: Veszteségmentes Veszteséges
Pl. Entrópia kódolás Veszteséges Pl. JPEG, MPEG

12 Veszteségmentes tömörítés
Egyszerű veszteségmentes tömörítések Futamhossz kódolás Különbségi kódolás Változó hosszúságú kodolás Huffmann kódolás Statikus Globálisan adaptív Lokálisan adaptív Aritmetikai kodolás Entrópia: Az átlagos kódhossz: Tehát értékét érdemes -nak választani.

13 Veszteségmentes tömörítés
Bitsík kódolás Homogén foltok kódolása Határoló vonal kódolás Futamhossz-kódolás Kontúrkövetés Előrebecsléses kódolás Alkalmazás: pl. kép (.GIF, .PCX) kódolása

14 Veszteséges tömörítés
Előrebecslésen alapuló eljárások Matematikai transzformáción alapuló módszerek Karhumen-Loeve transzformáció Diszkrét Fourier transzformáció Wals-Hadamart transzformáció Diszkrét koszinusz transzformáció Wavelet transzformáció

15 Hangok – a hang fizikai jellemzői
Hang: Mechanikai rezgés, ami valamely anyagi közegben terjed. Hangsebesség: A hangrezgéseknek a vivőközegben való terjedési sebessége.

16 Hangok – a hang érzékelése
A hallható hang: 16Hz – 20 kHz (életkor függő) 16Hz alatt infrahang 20kHz felett ultrahang

17 Akusztikai alapfogalmak
Akusztika: az emberi hallás jellemzőivel foglalkozik Hangerő (hangintenzitás): A hangrezgés amplitúdója – 1m2 –re eső, wattban mért hangteljesítmény. A hangerő mértékegysége az akusztikus decibel

18 Akusztikai alapfogalmak
Akusztikus decibel: értéke alkalmazkodik az emberi hangérzékeléshez, a hangerő nagyság tízes alapú logaritmusának húszszorosával egyenes arányban lévő szám. A hallásküszöbnek a 0 decibel (dB) érték felel meg, míg a fájdalomküszöb értéke 120 dB.

19 Akusztikai alapfogalmak
Hangmagasság: a hang frekvenciájától függő mennyiség Hangszín: az adott hangjel frekvenciatartományi viselkedése

20 A hangok rögzítése Analóg rögzítés Digitális rögzítés

21 Analóg rögzítés és lejátszás
A hangjel átalakítása rögzíthető, elektromos jelformára, melyben a jel frekvenciái és intenzitásai megfelelnek az eredeti hangjelnek Az elektromos jel rögzítése Példa: Elektromechanikus hangrögzítés Mágneses hangrögzítés

22 Analóg rögzítés és lejátszás
A rögzített jelek érzékelése, elektromos jellé történő átalakítása Az elektromos jel felerősítése és visszaadása az eredeti hangjelhez hasonló alakban

23 Hangok digitális rögzítése és lejátszása
Mintavételezés A mintavételezési frekvencia értéke legyen legalább kétszerese az eredeti analóg jelben előforduló legnagyobb frekvenciának (Shannon tétele). Kvantálás

24 Mintavételezés Mintavételezési frekvencia Használt terület 8 kHz
A telefontechnika használja 11,025 kHz 1/4 CD-DA mintavételezési frekvencia 22,1 kHz 1/2 CD-DA mintavételezési frekvencia 32 kHz MPEG Audio által használt mintavételezési frekvencia 44,1 kHz CD-DA mintavételezési frekvencia 48 kHz Digital Audio Tape, MPEG Audio, Dolby Digital mintavételezési frekvencia

25 Kvantálás 8 bit = 256 jelszint, kb. 48 dB hangerő tartomány

26 Mintavételezés és kvantálás

27 A digitalizált hangállományok minőségének meghatározása
Milyen hibával lehet a digitalizált hangállományból visszaállítani az eredeti analóg hanganyagot

28 A digitalizált hangállomány mérete
A hangállomány méretét befolyásolja: Mintavételezési frekvencia értéke A kvantálási hossz A rögzített csatornák száma

29 A digitalizált hangállomány mérete
Mintavételezési frekvencia Kvantálási hossz 11,025 kHz 22,05 kHz 44,1 kHz 48 kHz 8 bit 0,631 MB 1,262 MB 2,524 MB 2,747 MB 16 bit 5,048 MB 5,496 MB 24 bit 1,893 MB 3,786 MB 7,572 MB 8,241 MB Pl x 16 x 1 x 60 = bit = B= = 5,048 MB 1 perc hosszú, mono hangállomány hossza mintavételezési frekvencia és kvantálási hossz függvényében

30 A digitalizálás minősége
Mintavételezési frekvencia Kvantálási hossz 11,025 kHz 22,05 kHz 44,1 kHz 8 bit Nagyon gyenge (beszéd) Közepes minőség (beszéd) Jó minőség (beszéd zene) 16 bit Elfogad-ható (beszéd) Jó (beszéd, zene) Hi-Fi minőség (beszéd, zene)

31 Fontosabb hangkártya szabványok
AdLib szabvány: Bevezette az FM szintézist a PC hang előállításához. Ez lett a mono üzemmódban működő MIDI rendszer szabványa. SoundBlaster szabvány: Bevezette a digitális technika használatát a hangrögzítésben, megteremtette a hullámtáblázat használatának feltételeit. Sztereo üzemmódot ismerő szabvány.

32 Fontosabb hangkártya szabványok
Roland MT-32 szabvány: Bevezette a 256 mintavételezett alaphangot tároló ROM-ot a hangkártyán.

33 MIDI – Musical Instrument Digital Interface
Számítógép és az elektronikus hangszerek közti kommunikációt rögzíti General MIDI szabvány: Hangszerek kiválasztása Szólamok száma

34 Hangtömörítés Pszichoakusztikus redundancia:
Az ember nem hallja a nagy hangerejű hangfrekvenciákhoz közeli zajfrekvenciát. (Ez azonban csak egy szűk frekvenciasávra érvényes.) Az ember hallását zavarják azok a zajok, melyeknek frekvenciája közelében nincs hangfrekvencia. A pszichoakusztikus tömörítő eljárások részsávokra bontják a hallható hangfrekvencia sávot, és elemzik az egyes részsávok tartalmát.

35 Hangtömörítési eljárások
Alapjuk a pszichoakusztikus redundancia csökkentése MPEG Audio (Layer 1, Layer 2, Layer 3) MPEG 2 AAC MPEG 4 Dolby eljárások Dolby Stereo Digital Dolby Surround Pro Logic

36 MPEG Audio Mintavételezési frekvencia: 32; 44,1; 48 kHz
Mono Joint stereo Stereo Csatornánként a bitfolyam sebessége: 32 kb/s kb/s

37 MPEG Audio Layer 1: Legegyszerűbb eljárás. 128 kb/s fölötti sebesség esetén használható (csatornánként) Layer 2: Közepes bonyolultságú eljárás. 128 kb/s körül használható CD-ROM-on szinkronizált video és hangrögzítés Video CD-n videoállomány hangjának rögzítése

38 Rövidhullámú rádióadásnál jobb Középhullámú rádióadásnál jobb
MPEG Audio Layer 3: a legbonyolultabb eljárás Hangminőség Sávszélesség Üzemmód Bitsebesség Tömörítési arány Telefon minőség 2,5 kHz Mono 8 kb/s 96:1 Rövidhullámú rádióadásnál jobb 4,5 kHz 16 kb/s 48:1 Középhullámú rádióadásnál jobb 7,5 kHz 32 kb/s 24:1 FM rádióadás minőség 11 kHz Sztereó 56 … 64 kb/s 26 … 24:1 Közel CD minőség 15 kHz 96 kb/s 16:1 CD minőség > 15 kHz 112 … 128 kb/s 14 … 12:1

39 MP3 Pro 2001 júniusában a német Frauenhofer Gesellschaft, a francia Thomson és az amerikai RCA/Coding Technologies bejelentettek egy módszert, melynél 64 kbps kódolással elérik azt, amit a CD-kódolásnál csak 128 kbps-es kódolással érhető el. A Coding Technologies az új "Spectral Band Replication" (SBR) módszere, a magas hangok kódolásáért felelős, míg az alacsonyabb frekvenciák a hagyományos mp3 szerint kerülnek kódolásra. A kettő együtt adja az mp3PRO kódolás tulajdonságait. Miután az SBR rész csak néhány kbps-t igényel, hagyományos mp3 felvételek lejátszhatók az mp3PRO lejátszókon. Ezek az SBR részt figyelmen kívül hagyják. Fordítva természetesen nem, azaz hagyományos mp3 lejátszókon nem hallhatók az új kódolás tulajdonságai.

40 MPEG 2 AAC Környezeti hangtér legalább 5 hangszóró Alkalmazás:
Mintavételezés: 8 kHz … 96 kHz Kódolt részsávok száma: 1 … 48 Veszteséges (pszichoakusztikus) + veszteségmentes (entrópiakódolás) Alkalmazás: Filmipar

41 AC-3 (Audio Coding number 3) és a Dolby
Az AC-3 (Audio Coding number 3) érzékelésen alapuló digitális audió kódolási (zajcsökkentési és tömörítési) technika. A zajcsökkentés azon alapszik, hogy csökkentik a kimenő szintet, ha nincs jel. Viszont engedik, hogy a nagy hangerő elfedje a jelben lévő zajt. Mivel így csak a jelhez közeli frekvencián keletkező zaj nyomható el, ezért a Dolby a hallható hangokat minden csatornán keskeny frekvenciasávokra tagolja a hallás frekvenciaérzékenységének megfelelően. Ha a sávban nincs jel, a Dolby csökkenti, esetleg megszünteti a kódolást, ami valójában zaj lenne. Ha a sávban van jel, a jel elnyomja a zajt. A tömörítés igen nagyfokú. Míg a tömörítetlen csatorna adatátviteli sebessége 700 kbit/sec, a Dolby Digital teljes sávszélességű csatornájának átviteli sebessége 75 kbit/sec.

42 MPEG 4 Bitsebesség, és objektumorientáltság
Szerzői jogvédelem (vízjel) Hibatűrés MPEG 2 AAC továbbfejlesztése 3D Audio

43 Dolby eljárások Dolby Stereo Digital eljárás Dolby Sorround Pro Logic
Négy analóg hangcsatornát két digitális csatornába kódol Dolby Sorround Pro Logic Dekódolja a hangállományt, és szétosztja négy külön csatornába Dolby Digital 1 … 5 hangcsatornát egy hangcsatornán történő kissebességű átvitelre alkalmas

44 Színmetrika - alapfogalmak
Az elektromágneses sugárzás 1 nm és 1 mm közé eső részét hívjuk optikai sugárzásnak, ennek része a látható sugárzás. A színinger a látható színképtartományban sugárzott teljesítmény.

45 A szem szerkezete

46 A szem szerkezete

47 Színlátási rendellenességek
a protanópia, vagy vörös gyengeség. Ezen személyek a vörös színeket sötét árnyalatúnak látják „vörös” színészleletük nincs. Valószínű oka, hogy az L fotopigmensük hiányzik (vagy nincsenek L csapjaik, vagy az M csapokra jellemző fotopigmens van ezen csapokban is. a deuteranópia, vagy zöld gyengeség. Deuteranopok a zöld színeket látják viszonylag sötéteknek, ez a leggyakoribb színtéveszési forma. Valószínű oka, hogy az M fotopigmensük hiányzik (vagy nincsenek M csapjaik, vagy az L csapokra jellemző fotopigmens van ezen csapokban is. tritanópia, vagy kék-vakság: tritanopok a kék színeket nem látják (igen ritkán fordul elő, valószínű oka az S-csappigmens hiánya).

48 Színlátási rendellenességek

49 Láthatósági függvény

50 Színingermetrika – színinger egyeztetés

51 Színmetrika – Grasmann törvények
Szimmetria törvény: Ha A stimulus megfelel B stimulussal, akkor B stimulus is megfelel A stimulussal. Transitivitás törvénye: Ha A megfelel B-vel és B megfelel C-vel, akkor A is megfelel C-vel. Proporcionalitás törvénye: Ha A megfelel B-vel, akkor aA megfelel aB-vel, ahol a tetszésszerinti pozitív tényező. Additivitás törvénye: Ha A, B, C, D négy színinger, akkor ha bármely két egyenlőség az alábbiak közül fennáll A  B, C  D, (A +C)  (B + D) akkor fennáll a következő egyenlőség is (A +D)  (B + C)

52 Színképi érzékenység L = 1,0000R + 4,5907G + 0,0601B.

53 CIE XYZ színingertér olyan színingerösszetevő függvényekhez vezet, melyeknek csak pozitív értékei vannak, melynél az egyik alapszíninger megegyezik a V()-függvénnyel (az ezzel meghatározott színingerösszetevő fotometriai adatot szolgáltat), az equienergetikus színinger mindhárom színingerösszetevője azonos, és a lehető legszorosabban veszi közre a valós színinger vektorok által meghatározott színtérrészt

54 CIE XYZ színingertér

55 CIE (x,y,Y) diagram

56 MacAdam ellipszisek

57 CIE LUV

58 CIE LUV

59 CIE LUV huv = arctg[(v' - v'n) / (u' - u'n)] = arctg (v* / u*) (színezeti szög) suv = 13[(u' - u'n)2 + (v' - v'n)2]1/2 (telítettség)

60 CIA LAB

61 További szín-koordinátarendszerek
YUV szín-koordinátarendszer (PAL-SECAM) Y = 0,3 R +0,59G + 0,11 B (luminancia) U = (B-Y) x 0,493 (krominancia) V = (R-Y) x 0,877 (krominancia)

62 További szín-koordinátarendszerek
YIQ szín-koordinátarendszer (NTSC) Y = 0,30 R + 0,59 G + 0,11 B I = 0,60 R – 0,28 G – 0,32 B Q = 0,21 R – 0,52 G + 0,31 B HSB szín-koordinátarendszer Brightness = Y Hue = arctg((R-Y)/(B-Y)) Saturation = 1 – min {R, G, B}/Y

63 Irodalom CSÁNKY LAJOS: Multimédia PC-s környezetben, LSI Oktatóközpont, Budapest, 1996. RALF STEINMETZ: Multimédia Springer Hungarica Kiadó Kft., Budapest

64 Irodalom - Internet http://www.adobe.com http://www.matrox.com/mga

65 Köszönöm a figyelmet!