Az előadás letöltése folymat van. Kérjük, várjon

Az előadás letöltése folymat van. Kérjük, várjon

2009. Nagy Szilvia 6. Forráskódolás alapjai KÓDOLÁSELMÉLET.

Hasonló előadás


Az előadások a következő témára: "2009. Nagy Szilvia 6. Forráskódolás alapjai KÓDOLÁSELMÉLET."— Előadás másolata:

1 2009. Nagy Szilvia 6. Forráskódolás alapjai KÓDOLÁSELMÉLET

2 Széchenyi István Egyetem 2 Információ KÓDOLÁSELMÉLET – Forráskódolás alapjai Az információ valamely véges számú, előre ismert esemény közül annak megneve- zése, hogy melyik következett be. Alternatív megfogalmazás: az információ mértéke azonos azzal a bizonytalansággal, amelyet megszűntet. Shannon: minél váratlanabb egy esemény, bekövetkezése annál több információt jelent. Legyen A={A 1, A 2, … A m } esemény- halmaz, az A 1 esemény valószínűsége p 1, … az A m -é p m. Ekkor az A i megnevezésekor nyert információ: Forráskódolás alapjai Alapfogalmak Források jellemzése Forráskódok Egyértelműen dekódolható kódok Forráskódolási tétel Forráskódolási eljárások

3 Széchenyi István Egyetem 3 1.Csak az esemény valószínűségének függvénye. 2.Nem negatív: I ≥ 0 3.Additív: ha m = m 1 ∙m 2, I(m 1 ∙m 2 ) = I(m 1 ) + I(m 2 ) 4.Monoton: ha p i ≥ p j, akkor I(A i ) ≤ I(A j ) 5.Normálás: legyen I(A)=1, ha p(A)=0,5. Ekkor kettes alapú logaritmus használandó és az információegysége a bit. Megjegyzés: ha tízes alapú logaritmust (lg-t) használunk, a hartley, az egység. Ekkor a normálás: I(p=0,1)=1. Ha természetes alapú logaritmussal definiáljuk az információt (I=−ln p), akkor a natban mérjük az információt, a normálás pedig I(p=1/e)=1. Információ KÓDOLÁSELMÉLET – Forráskódolás alapjai Forráskódolás alapjai Alapfogalmak Források jellemzése Forráskódok Egyértelműen dekódolható kódok Forráskódolási tétel Forráskódolási eljárások

4 Széchenyi István Egyetem 4 KÓDOLÁSELMÉLET – Forráskódolás alapjai Az entrópia Az entrópia az információ várható értéke: Az entrópia tulajdonképpen annak a kijelentésnek az információtartalma, hogy az m db egymást kizáró esemény közül az egyik bekövetkezett. A p log 2 p kifejezés p  0 esetén: L’Hospital- szabály szerint Forráskódolás alapjai Alapfogalmak Források jellemzése Forráskódok Egyértelműen dekódolható kódok Forráskódolási tétel Forráskódolási eljárások

5 Széchenyi István Egyetem 5 KÓDOLÁSELMÉLET – Forráskódolás alapjai Az entrópia 1. Nem negatív: H( p 1, p 2, …, p m ) ≥ 0 2.Az események valószínűségeinek folytonos függvénye. 3. H( p 1, p 2, …, p m, 0 ) = H( p 1, p 2, …, p m ) 4.Ha p i = 1, a többi p k = 0, ( k=1, …, i−1, i+1,…, m ), akkor H( p 1, p 2, …, p m ) =0. 5. H( p 1, p 2, …, p m ) ≤ H( 1/m, 1/m, … 1/m ) 6.H(p 1, …, p k−1,p ℓ,p k+1,…,p ℓ−1,p k,p ℓ+1,…,p m ) = H( p 1, p 2, …, p m ),  k, ℓ ; azaz az entrópia szimmetrikus változóinak cseréjére. Forráskódolás alapjai Alapfogalmak Források jellemzése Forráskódok Egyértelműen dekódolható kódok Forráskódolási tétel Forráskódolási eljárások

6 Széchenyi István Egyetem 6 KÓDOLÁSELMÉLET – Forráskódolás alapjai A kölcsönös entrópia Legyen A={A 1, …, A m 1 } a lehetséges leadott jelek halmaza, B={B 1, …, B m 2 } pedig a vehető jelek halmaza. Vizsgáljuk azt az összetett eseményt, hogy egy A-beli és egy B-beli esemény is bekövetkezik. A i és B j együttes bekövetkezési valószínűsége p i,j = p(A i ∙ B j ), a két esemény együttes bekövetkezésekor nyert információ I(A i ∙ B j )=−log 2 p(A i ∙ B j )=−log 2 p i,j. Mindig igaz a kölcsönös információra, hogy I(A i ∙ B j )≥ I(A i ), és I(A i ∙ B j )≥ I(B j ). Forráskódolás alapjai Alapfogalmak Források jellemzése Forráskódok Egyértelműen dekódolható kódok Forráskódolási tétel Forráskódolási eljárások

7 Széchenyi István Egyetem 7 KÓDOLÁSELMÉLET – Forráskódolás alapjai A kölcsönös entrópia Legyen A={A 1, …, A m 1 } a lehetséges leadott jelek halmaza, B={B 1, …, B m 2 } pedig a vehető jelek halmaza. Vizsgáljuk azt az összetett eseményt, hogy egy A-beli és egy B-beli esemény is bekövetkezik. A i és B j együttes bekövetkezési valószínűsége p i,j = p(A i ∙ B j ), a két esemény együttes bekövetkezésekor nyert információ I(A i ∙ B j )=−log 2 p(A i ∙ B j )=−log 2 p i,j. A és B halmazok kölcsönös entrópiája : Forráskódolás alapjai Alapfogalmak Források jellemzése Forráskódok Egyértelműen dekódolható kódok Forráskódolási tétel Forráskódolási eljárások

8 Széchenyi István Egyetem 8 KÓDOLÁSELMÉLET – Forráskódolás alapjai A feltételes entrópia Legyen A={A 1, …, A m 1 } a lehetséges leadott jelek halmaza, B={B 1, …, B m 2 } pedig a vehető jelek halmaza. Minden A-beli esemény bekövetkezése maga után von egy B-beli eseményt. A i -nek B j -re vonatkoztatott feltételes valószínűsége p(A i | B j ). Az A halmaz B halmazra vonatkoztatott feltételes entrópiája : Forráskódolás alapjai Alapfogalmak Források jellemzése Forráskódok Egyértelműen dekódolható kódok Forráskódolási tétel Forráskódolási eljárások

9 Széchenyi István Egyetem 9 KÓDOLÁSELMÉLET – Forráskódolás alapjai A feltételes entrópia Legyen A={A 1, …, A m 1 } a lehetséges leadott jelek halmaza, B={B 1, …, B m 2 } pedig a vehető jelek halmaza. Minden A-beli esemény bekövetkezése maga után von egy B-beli eseményt. A i -nek B j -re vonatkoztatott feltételes valószínűsége p(A i | B j ). Mivel p(A i ∙B j )=p(B j ) ∙ p( A i |B j ) minden i-re és j-re, H(A ∙ B )= H(B) ∙ H(A|B )= H(A) ∙ H(B|A ). Így H(A) ≥ H(A∙B) ≥ 0 Forráskódolás alapjai Alapfogalmak Források jellemzése Forráskódok Egyértelműen dekódolható kódok Forráskódolási tétel Forráskódolási eljárások

10 Széchenyi István Egyetem 10 A források jellemzése Olyan forrásokkal fogunk foglalkozni, amelyek kimenetén véges sok elemből álló A ={A 1, …, A n } halmaz elemei jelenhetnek meg. Az A halmazt ekkor forrásábécé nek nevezzük. Az A elemeiből képezett véges A (1) A (2) A (3) … A (m) sorozatok az üzenet ek. (m tetszőleges természetes szám) A lehetséges üzenetek halmaza A. KÓDOLÁSELMÉLET – Forráskódolás alapjai Forráskódolás alapjai Alapfogalmak Források jellemzése Forráskódok Egyértelműen dekódolható kódok Forráskódolási tétel Forráskódolási eljárások

11 Széchenyi István Egyetem 11 Ha egy A forrás által kibocsátott üzenet diszkrét jelek sorozata, akkor A diszkrét információforrás. A forrás emlékezet nélküli, ha A (i) független A (i−k) -től,  i, k. A forrás stacionárius, ha A (i)  A  i, és p( A (i) = A j ) = p j,  i, j. Előfordulhat, hogy a forrás által kibocsátott szimbólum függ az azt megelőző kibocsátásoktól KÓDOLÁSELMÉLET – Forráskódolás alapjai A források jellemzése Forráskódolás alapjai Alapfogalmak Források jellemzése Forráskódok Egyértelműen dekódolható kódok Forráskódolási tétel Forráskódolási eljárások

12 Széchenyi István Egyetem 12 A rendszer lehetséges állapotainak a halmaza: S={S 1, S 2, …, S n }. Tegyük fel, hogy a forrás egy S előző állapotban van, és az aktuális szimbólumkibocsátás után egy S új állapotba kerül. Ha p(S új |S előző, S előző−1,…, S előző−m )= p(S új |S előző ), akkor a rendszer egy Markov-folyamat tal leírható. A források általában jól modellezhetők Markov-folyamatokkal. KÓDOLÁSELMÉLET – Forráskódolás alapjai A források jellemzése Forráskódolás alapjai Alapfogalmak Források jellemzése Forráskódok Egyértelműen dekódolható kódok Forráskódolási tétel Forráskódolási eljárások

13 Széchenyi István Egyetem 13 A források jellemzése KÓDOLÁSELMÉLET – Forráskódolás alapjai A források leírhatók Markov-folyamatokkal. A legegyszerűbb Markov-folyamat során a forrás minden betűje azonos valószínűséggel fordul elő, és a szimbólumkibocsátások független események. Legyen öt betűnk, A, B, C, D és E, mind 0,2 előfordulási valószínűséggel. Egy tipikus példa így előállt szövegre (Shannon művéből): Forráskódolás alapjai Alapfogalmak Források jellemzése Forráskódok Egyértelműen dekódolható kódok Forráskódolási tétel Forráskódolási eljárások

14 Széchenyi István Egyetem 14 A források leírhatók Markov-folyamatokkal. Egy összetettebb Markov-folyamat során a karakterek előfordulási valószínűsége más és más, a szimbólum-kibocsátások független események. Legyen p A =0,4; p B =0,1; p C =0,2; p D =0,2 és p E =0,1. Egy tipikus példa így előállt szövegre (Shannon művéből): A források jellemzése KÓDOLÁSELMÉLET – Forráskódolás alapjai Forráskódolás alapjai Alapfogalmak Források jellemzése Forráskódok Egyértelműen dekódolható kódok Forráskódolási tétel Forráskódolási eljárások

15 Széchenyi István Egyetem 15 A források leírhatók Markov-folyamatokkal. Egy összetettebb Markov-folyamat során a karakterek előfordulási valószínűsége más és más, a szimbólum-kibocsátások független események. Legyen p A =0,4; p B =0,1; p C =0,2; p D =0,2 és p E =0,1. A források jellemzése KÓDOLÁSELMÉLET – Forráskódolás alapjai Egyetlen állapot A folyamat gráfja: Forráskódolás alapjai Alapfogalmak Források jellemzése Forráskódok Egyértelműen dekódolható kódok Forráskódolási tétel Forráskódolási eljárások

16 Széchenyi István Egyetem 16 Még összetettebb Markov-folyamatok során nem csak a karakterek előfordulási valószínűsége más és más, hanem a szimbólum-kibocsátások sem független események. A legegyszerűbb ilyen eset, ha az aktuális szimbólum csak az őt eggyel megelőzőtől függ. Legyen p A =1/3; p B =16/27; p C =2/27, és a feltételes valószínűségek: A források jellemzése KÓDOLÁSELMÉLET – Forráskódolás alapjai P(a i |a j ) i ABC j A04/51/5 B1/2 0 C 2/51/10 Forráskódolás alapjai Alapfogalmak Források jellemzése Forráskódok Egyértelműen dekódolható kódok Forráskódolási tétel Forráskódolási eljárások

17 Széchenyi István Egyetem 17 Legyen p A =1/3; p B =16/27; p C =2/27, és a feltételes valószínűségek: Egy tipikus példa így előállt szövegre (Shannon művéből): A források jellemzése KÓDOLÁSELMÉLET – Forráskódolás alapjai P(a i |a j ) i ABC j A04/51/5 B1/2 0 C 2/51/10 Forráskódolás alapjai Alapfogalmak Források jellemzése Forráskódok Egyértelműen dekódolható kódok Forráskódolási tétel Forráskódolási eljárások

18 Széchenyi István Egyetem 18 Ellenőrizhetjük a feltételes és együttes előfor- dulási valószínűségek közötti összefüggé- seket. Az együttes valószínűségekre igaz: ahol p A =1/3=9/27; p B =16/27; p C =2/27, és A források jellemzése KÓDOLÁSELMÉLET – Forráskódolás alapjai P(a i |a j ) i ABC j A04/51/5 B1/2 0 C 2/51/10 P(a j ∙a i ) i ABC j A04/151/15 B8/27 0 C1/274/1351/135 Forráskódolás alapjai Alapfogalmak Források jellemzése Forráskódok Egyértelműen dekódolható kódok Forráskódolási tétel Forráskódolási eljárások

19 Széchenyi István Egyetem 19 p A =1/3=9/27; p B =16/27; p C =2/27, és A források jellemzése KÓDOLÁSELMÉLET – Forráskódolás alapjai P(a i |a j ) i ∑ ABC j A04/51/51 B1/2 01 C 2/51/101 P(a j ∙a i ) i ∑ ABC j A04/151/151/3 B8/27 016/27 C1/274/1351/1352/27 ∑9/2716/272/271 Forráskódolás alapjai Alapfogalmak Források jellemzése Forráskódok Egyértelműen dekódolható kódok Forráskódolási tétel Forráskódolási eljárások

20 Széchenyi István Egyetem 20 Legyen p A =1/3; p B =16/27; p C =2/27, és a feltételes valószínűségek: A gráf: A források jellemzése KÓDOLÁSELMÉLET – Forráskódolás alapjai P(a i |a j ) i ABC j A04/51/5 B1/2 0 C 2/51/10 3 állapot A C B Forráskódolás alapjai Alapfogalmak Források jellemzése Forráskódok Egyértelműen dekódolható kódok Forráskódolási tétel Forráskódolási eljárások

21 Széchenyi István Egyetem 21 A források leírhatók Markov-folyamatokkal. Még magasabb összetettségi szintű Markov- folyamatok során a karakterek helyett a belőlük épített szavaknak van valamilyen előfordulási statisztikája. A szavakat is választhatjuk egymástól függetlenül. Egy ilyen példa (Shannon művéből): A következő 16 szó fordulhat elő az előttük álló valószínűségekkel: A források jellemzése KÓDOLÁSELMÉLET – Forráskódolás alapjai Forráskódolás alapjai Alapfogalmak Források jellemzése Forráskódok Egyértelműen dekódolható kódok Forráskódolási tétel Forráskódolási eljárások

22 Széchenyi István Egyetem 22 A források leírhatók Markov-folyamatokkal. Még magasabb összetettségi szintű Markov- folyamatok során a karakterek helyett a belőlük épített szavaknak van valamilyen előfordulási statisztikája. A szavakat is választhatjuk egymástól függetlenül. Egy tipikus példa így előállt szövegre (Shannon művéből): A források jellemzése KÓDOLÁSELMÉLET – Forráskódolás alapjai Forráskódolás alapjai Alapfogalmak Források jellemzése Forráskódok Egyértelműen dekódolható kódok Forráskódolási tétel Forráskódolási eljárások

23 Széchenyi István Egyetem 23 A források jellemzése KÓDOLÁSELMÉLET – Forráskódolás alapjai A szavakat alapul vevő, független szóvá- lasztású Markov-folyamatunk egy gráfja: számos állapot A B C D E CA AD ADE szó vége BE BEB BA szó vége−D szó eleje Forráskódolás alapjai Alapfogalmak Források jellemzése Forráskódok Egyértelműen dekódolható kódok Forráskódolási tétel Forráskódolási eljárások

24 Széchenyi István Egyetem 24 A források jellemzése – forrásentrópia Ha a forrás az S i állapotban van, akkor minden j-re p(S j |S i ) ismert, ebből Ha ismerjük az S i állapot P i előfordulási valószínűségét, akkor a forrásentrópia : Ha a forrás stacionárius, azaz p(S j |S i )=p(A j |A i ) és p(A j |A i )= p(A j ), akkor a forrásentrópia megegyezik az egyetlen szimbólum kibocsátásának entrópiájával: KÓDOLÁSELMÉLET – Forráskódolás alapjai Forráskódolás alapjai Alapfogalmak Források jellemzése Forráskódok Egyértelműen dekódolható kódok Forráskódolási tétel Forráskódolási eljárások

25 Széchenyi István Egyetem 25 A források jellemzése – forrásentrópia Vizsgáljuk a forrás egymást követő N szimbólum-kibocsátását: az A (1), A (2), …, A (N) sorozatot. Az A forrás forrásentrópiája : Nem keverendő -vel, a forrás- ábécé entrópiájával. Ha a forrás stacionárius, akkor H =H(A) KÓDOLÁSELMÉLET – Forráskódolás alapjai Forráskódolás alapjai Alapfogalmak Források jellemzése Forráskódok Egyértelműen dekódolható kódok Forráskódolási tétel Forráskódolási eljárások

26 Széchenyi István Egyetem 26 A forráskódok jellemzése A kódolt üzenetek egy B ={B 1, …, B s } szintén véges halmaz elemeiből épülnek fel, B a kódábécé. A B elemeiből álló véges hosszúságú B (1) B (2) B (3) … B (m) sorozatok a kódszavak. A lehetséges kódszavak halmaza B. Az illetve függvényeket (forrás) kód oknak nevezzük. Az f leképezés a forrás egy- egy szimbólumához rendel egy-egy kódszót, az F ennél általánosabb. KÓDOLÁSELMÉLET – Forráskódolás alapjai Forráskódolás alapjai Alapfogalmak Források jellemzése Forráskódok Egyértelműen dekódolható kódok Forráskódolási tétel Forráskódolási eljárások

27 Széchenyi István Egyetem 27 Egyértelműen dekódolható kódok Egy f forráskód egyértelműen dekódolható, ha minden egyes B-beli sorozatot csak egyféle A-beli sorozatból állít elő. (A neki megfeleltethető F invertálható. Az nem elég, hogy f invertálható.) Az állandó kód- szóhosszú kódok egyértelműen dekódol- hatók, megfejthetők, de nem elég gazdaságosak. Egy f betűnkénti kód prefix, ha a lehet- séges kódszavak közül egyik sem áll elő egy másik folytatásaként. prefixposztfix a 000 b 1001 c d KÓDOLÁSELMÉLET – Forráskódolás alapjai Forráskódolás alapjai Alapfogalmak Források jellemzése Forráskódok Egyértelműen dekódolható kódok Forráskódolási tétel Forráskódolási eljárások

28 Széchenyi István Egyetem 28 Az olyan kódokat, amelyek különböző A-beli szimbólumokhoz más és más hosszúságú kódszavakat rendelnek, változó szóhosszúságú kódoknak nevezzük. Az B -beli sorozat, avagy kódszó hossza ℓ i. Egy f kód átlagos szóhossza ℓ i várható értéke: A kódszavak átlagos hossza AiAi kódszóℓiℓi pipi L(A)L(A) α010,42 1,91 β0120,34 γ01130,15 δ011140,09 KÓDOLÁSELMÉLET – Forráskódolás alapjai Forráskódolás alapjai Alapfogalmak Források jellemzése Forráskódok Egyértelműen dekódolható kódok Forráskódolási tétel Forráskódolási eljárások

29 Széchenyi István Egyetem 29 AiAi kódszóℓiℓi pipi L(A)L(A) α01130,42 2,95 β011140,34 γ010,15 δ0120,09 Az olyan kódokat, amelyek különböző A-beli szimbólumokhoz más és más hosszúságú kódszavakat rendelnek, változó szóhosszúságú kódoknak nevezzük. Az B -beli sorozat, avagy kódszó hossza ℓ i. Egy f kód átlagos szóhossza ℓ i várható értéke: A kódszavak átlagos hossza KÓDOLÁSELMÉLET – Forráskódolás alapjai Forráskódolás alapjai Alapfogalmak Források jellemzése Forráskódok Egyértelműen dekódolható kódok Forráskódolási tétel Forráskódolási eljárások

30 Széchenyi István Egyetem 30 AiAi kódszóℓiℓi pipi L(A)L(A) α011130,42 3,09 β01140,34 γ0110,15 δ020,09 Az olyan kódokat, amelyek különböző A-beli szimbólumokhoz más és más hosszúságú kódszavakat rendelnek, változó szóhosszúságú kódoknak nevezzük. Az B -beli sorozat, avagy kódszó hossza ℓ i. Egy f kód átlagos szóhossza ℓ i várható értéke: A kódszavak átlagos hossza KÓDOLÁSELMÉLET – Forráskódolás alapjai Forráskódolás alapjai Alapfogalmak Források jellemzése Forráskódok Egyértelműen dekódolható kódok Forráskódolási tétel Forráskódolási eljárások

31 Széchenyi István Egyetem 31 A Jensen-egyenlőtlenség Ha f egy valós, konvex függvény az [a,b] intervallumon, Z pedig valószínűségi változó, mely értékét az [a,b] intervallumon veszi fel, akkor Bizonyítás: ha f konvex, és  x(a,b)-re  jobb és bal oldali deriváltja f-nek KÓDOLÁSELMÉLET – Forráskódolás alapjai Forráskódolás alapjai Alapfogalmak Források jellemzése Forráskódok Egyértelműen dekódolható kódok Forráskódolási tétel Forráskódolási eljárások

32 Széchenyi István Egyetem 32 A Jensen-egyenlőtlenség A jobb oldali érintő: ekkorígy várható értéket véve: KÓDOLÁSELMÉLET – Forráskódolás alapjai Forráskódolás alapjai Alapfogalmak Források jellemzése Forráskódok Egyértelműen dekódolható kódok Forráskódolási tétel Forráskódolási eljárások várható értéke 0

33 Széchenyi István Egyetem 33 A Jensen-egyenlőtlenség Állítás: ha p i ≥ 0, q i > 0, i=1,2,…,n, és akkor (Egyenlőség csak p i =q i  i esetén) Bizonyítás: belátása: KÓDOLÁSELMÉLET – Forráskódolás alapjai Forráskódolás alapjai Alapfogalmak Források jellemzése Forráskódok Egyértelműen dekódolható kódok Forráskódolási tétel Forráskódolási eljárások

34 Széchenyi István Egyetem 34 A Jensen-egyenlőtlenség A belátandó: Legyen egy új vsz.-i változó: így Mivel a −log függvény konvex: KÓDOLÁSELMÉLET – Forráskódolás alapjai Forráskódolás alapjai Alapfogalmak Források jellemzése Forráskódok Egyértelműen dekódolható kódok Forráskódolási tétel Forráskódolási eljárások

35 Széchenyi István Egyetem 35 A McMillan-egyenlőtlenség Minden egyértelműen dekódolható kódra igaz, hogy ahol s a kódábécé elemszáma n pedig a forrásábécéé. Bizonyítás: az összeg N-edik hatványa: ahol, A ℓ pedig az N kódszó egymás után íráskor keletkezhető ℓ elemű sztringek száma. KÓDOLÁSELMÉLET – Forráskódolás alapjai Forráskódolás alapjai Alapfogalmak Források jellemzése Forráskódok Egyértelműen dekódolható kódok Forráskódolási tétel Forráskódolási eljárások

36 Széchenyi István Egyetem 36 A McMillan-egyenlőtlenség A kód egyértelműen dekódolható, így ebből így KÓDOLÁSELMÉLET – Forráskódolás alapjai Forráskódolás alapjai Alapfogalmak Források jellemzése Forráskódok Egyértelműen dekódolható kódok Forráskódolási tétel Forráskódolási eljárások

37 Széchenyi István Egyetem 37 A Kraft-egyenlőtlenség Legyen ℓ 1, ℓ 2, …, ℓ n  N, s >1 egész, és legyen rájuk érvényes, hogy Ekkor létezik olyan prefix kód, amelynek kódábécéje s elemű, és az n elemű forrásábécé A 1, A 2, …, A n elemeihez rendelt kódszavak hossza rendre ℓ 1, ℓ 2, …, ℓ n. Bizonyítás: legyen ℓ 1 ≤ ℓ 2 ≤ … ≤ ℓ n és KÓDOLÁSELMÉLET – Forráskódolás alapjai Forráskódolás alapjai Alapfogalmak Források jellemzése Forráskódok Egyértelműen dekódolható kódok Forráskódolási tétel Forráskódolási eljárások

38 Széchenyi István Egyetem 38 A Kraft-egyenlőtlenség Ekkor és Legyen w j szám s-alapú számrendszerbeli alakjának eléírt 0-kal ℓ j hosszúságúra kiegészített verziója f j. Ha ezt a kódszót rendeljük az a j forrásábécébeli elemhez, akkor nyilván minden betűhöz más és más kódszó fog jutni, mivel KÓDOLÁSELMÉLET – Forráskódolás alapjai Forráskódolás alapjai Alapfogalmak Források jellemzése Forráskódok Egyértelműen dekódolható kódok Forráskódolási tétel Forráskódolási eljárások

39 Széchenyi István Egyetem 39 A Kraft-egyenlőtlenség Indirekt bizonyítása annak, hogy a kapott kódrendszer prefix: tegyük fel, hogy  j,k, j < k, melyre ha f j végére megfelelő ℓ k − ℓ j db számjegyet írunk f k -t kapjuk. Osszuk el f k -t (w k -t) -nel. Ha a fenti állítás igaz, akkor Ugyanakkor KÓDOLÁSELMÉLET – Forráskódolás alapjai Forráskódolás alapjai Alapfogalmak Források jellemzése Forráskódok Egyértelműen dekódolható kódok Forráskódolási tétel Forráskódolási eljárások

40 Széchenyi István Egyetem 40 A Jensen-egyenlőtlenség egy következmé- nye, hogy ha p i ≥ 0, q i > 0, és akkor A kódszavak átlagos hosszáról szóló tétel Minden egyértelműen dekódolható kódra Bizonyítás: KÓDOLÁSELMÉLET – Forráskódolás alapjai Forráskódolás alapjai Alapfogalmak Források jellemzése Forráskódok Egyértelműen dekódolható kódok Forráskódolási tétel Forráskódolási eljárások

41 Széchenyi István Egyetem 41 Független i-től, állandó McMillan: ≤ 1 KÓDOLÁSELMÉLET – Forráskódolás alapjai A kódszavak átlagos hosszáról szóló tétel Forráskódolás alapjai Alapfogalmak Források jellemzése Forráskódok Egyértelműen dekódolható kódok Forráskódolási tétel Forráskódolási eljárások

42 Széchenyi István Egyetem 42 Létezik olyan prefix kód, melyre KÓDOLÁSELMÉLET – Forráskódolás alapjai A kódszavak átlagos hosszáról szóló második tétel Bizonyítás: Legyenek ℓ 1, ℓ 2, …, ℓ n pozitív egész számok, melyekre Forráskódolás alapjai Alapfogalmak Források jellemzése Forráskódok Egyértelműen dekódolható kódok Forráskódolási tétel Forráskódolási eljárások

43 Széchenyi István Egyetem 43 Létezik olyan prefix kód, melyre Bizonyítás: Legyenek ℓ 1, ℓ 2, …, ℓ n pozitív egész számok, melyekre KÓDOLÁSELMÉLET – Forráskódolás alapjai A kódszavak átlagos hosszáról szóló második tétel Forráskódolás alapjai Alapfogalmak Források jellemzése Forráskódok Egyértelműen dekódolható kódok Forráskódolási tétel Forráskódolási eljárások

44 Széchenyi István Egyetem 44 Minden A = { A 1, A 2, …, A n } véges forrásábécéjű forráshoz található olyan s elemű kódábécével rendelkező kód, amely az egyes forrásszimbólumokhoz rendre ℓ 1, ℓ 2, …, ℓ n szóhosszúságú kódszavakat rendel, és Az olyan kódok, amelyekre ez teljesül az optimális kódok. KÓDOLÁSELMÉLET – Forráskódolás alapjai Shannon forráskódolási tétele Forráskódolás alapjai Alapfogalmak Források jellemzése Forráskódok Egyértelműen dekódolható kódok Forráskódolási tétel Forráskódolási eljárások

45 Széchenyi István Egyetem 45 KÓDOLÁSELMÉLET – Forráskódolás alapjai Huffman-kód A legrövidebb átlagos szóhosszú bináris prefix kód. 1.Valószínűségek szerint sorba rendez 2.A két legkisebb valószínűségű szimbólumot összevonja. Az összevont szimbólum valószí- nűsége a két eredeti szimbólum valószínű- ségének összege. 3.Az 1-2. lépést addig ismétli, amíg egyetlen, 1 valószínűségű összevont szimbólumot nem kap. Forráskódolás alapjai Alapfogalmak Források jellemzése Forráskódok Egyértelműen dekódolható kódok Forráskódolási tétel Forráskódolási eljárások

46 Széchenyi István Egyetem 46 KÓDOLÁSELMÉLET – Forráskódolás alapjai Huffman-kód A legrövidebb átlagos szóhosszú bináris prefix kód. 3.Az 1-2. lépést addig ismétli, amíg egyetlen, 1 valószínűségű összevont szimbólumot nem kap. 4.A kapott gráf minden csomópontja előtti két élt megcímkézi 0-val és 1-gyel. 5.A kódfa gyökerétől elindulva megkeresi az adott szimbólumhoz tartozó útvonalat, kiolvassa az éleknek megfelelő biteket. A kapott bitsorozatot rendeli a szimbólumhoz kódszóként. Forráskódolás alapjai Alapfogalmak Források jellemzése Forráskódok Egyértelműen dekódolható kódok Forráskódolási tétel Forráskódolási eljárások

47 Széchenyi István Egyetem 47 Aritmetikai kód Aritmetikai kód Legyen a forrásábécé elemszáma n, és m elemű blokkokat kódoljunk. 1.Felosztja a [0,1) intervallumot n diszjunkt részre, minden résznek megfeleltet egy- egy forrásábécébeli elemet. Célszerű a kis valószínűségű betűkhöz rövid, a gyakoriakhoz hosszú részintervallumot rendelni. 2.Kiválasztja a blokk soron következő karakterének megfelelő intervallumot. 3.Az új intervallumot felosztja ugyanolyan arányban, mint a [0,1)-et osztotta, és ugyanolyan sorrendben rendeli a részintervallumokhoz a lehetséges szimbólumokat. KÓDOLÁSELMÉLET – Forráskódolás alapjai Forráskódolás alapjai Alapfogalmak Források jellemzése Forráskódok Egyértelműen dekódolható kódok Forráskódolási tétel Forráskódolási eljárások

48 Széchenyi István Egyetem 48 Aritmetikai kód Aritmetikai kód Legyen a forrásábécé elemszáma n, és m elemű blokkokat kódoljunk. 3.Az új intervallumot felosztja ugyanolyan arányban, mint a [0,1)-et osztotta, és ugyanolyan sorrendben rendeli a részintervallumokhoz a lehetséges szimbólumokat. 4.A 2-3. lépéseket ismétli, amíg el nem fogy a blokk. 5.A végül maradt kis intervallumból kiválaszt egy (binárisan) jól leírható számot, az lesz a kódszó. KÓDOLÁSELMÉLET – Forráskódolás alapjai Forráskódolás alapjai Alapfogalmak Források jellemzése Forráskódok Egyértelműen dekódolható kódok Forráskódolási tétel Forráskódolási eljárások

49 Széchenyi István Egyetem 49 Lempel—Ziv-algoritmusok Nem szükséges előre ismerni a kódolandó karakterek előfordulási valószínűségét. Az üzenet bolvasása során egy láncolt listát, ú.n. szótár at épít. Egy szótársornak 3 mezője van: m sorszám, n mutató és a karakter. A kódolt információ a sorszámokból álló sorozat lesz. A kódolás során a vevő is megkapja a szükséges információt, párhuzamosan építi a szótárat, vagy pedig a tömörített fájlban szerepel maga a szótár is. KÓDOLÁSELMÉLET – Forráskódolás alapjai Forráskódolás alapjai Alapfogalmak Források jellemzése Forráskódok Egyértelműen dekódolható kódok Forráskódolási tétel Forráskódolási eljárások

50 Széchenyi István Egyetem 50 A szótár nulladik sora adott: m=0, n=0 a karakter pedig üres. A kódolás elején a megjegyzett sorszám n m = 0, az utolsó használt sorszám is m u =0. A kódoló a következő lépéseket ismétli, amíg el nem fogy az üzenet: Beolvassa a következő karaktert, amit nevezzünk „c”-nek –Ha nem szerepel a karakter a szótárban nyit neki egy új sort, a sor paraméterei: m=m u +1, n=0, a karakter „c”. A megjegyzett elem n m = 0 az utolsó sorszám m u =m u +1. LZ78 KÓDOLÁSELMÉLET – Forráskódolás alapjai Forráskódolás alapjai Alapfogalmak Források jellemzése Forráskódok Egyértelműen dekódolható kódok Forráskódolási tétel Forráskódolási eljárások

51 Széchenyi István Egyetem 51 –Ha már szerepel a karakter a szótár- ban, akkor vizsgálja azokat a sorokat, amelyeknek a megjegyzett n m szerepel a mutató mezejükben. Ha talál olyant, amelynek a karaktermezejében „c” szerepel, annak a sornak az indexe lesz az új n m, m u nem változik. Ha nem talál olyan sort, amelyikben „c” a karakter, akkor nyit egy újat. A sorszám m=m u +1, a mutató n m, a karakter „c”. Az új megjegyzett sorszám 0. A használt utolsó sorszám m u =m u +1. LZ78 KÓDOLÁSELMÉLET – Forráskódolás alapjai Forráskódolás alapjai Alapfogalmak Források jellemzése Forráskódok Egyértelműen dekódolható kódok Forráskódolási tétel Forráskódolási eljárások

52 Széchenyi István Egyetem 52 A szótár első k sora tartalmazza a használni kínánt k darab karaktert. A kódolás elején a megjegyzett sorszám n m = 0, az utolsó használt sorszám m u =k. A kódoló a következő lépéseket ismétli, amíg el nem fogy az üzenet: Beolvassa a következő karaktert, amit nevezzünk „c”-nek. Vizsgálja azokat a sorokat, amelyeknek a megjegyzett n m szerepel a mutató mezejükben. Ha talál olyant, amelynek a karaktermezejében „c” szerepel, annak a sornak az indexe lesz az új n m. LZW KÓDOLÁSELMÉLET – Forráskódolás alapjai Forráskódolás alapjai Alapfogalmak Források jellemzése Forráskódok Egyértelműen dekódolható kódok Forráskódolási tétel Forráskódolási eljárások

53 Széchenyi István Egyetem 53 Ha talál olyant, amelynek a karaktermezejében „c” szerepel, annak a sornak az indexe lesz az új n m. Ha nem talál olyan sort, amelyikben „c” a karakter, akkor nyit egy újat. A sorszám m=m u +1, a mutató n m, a karakter „c”. Az új megjegyzett sorszám annak a sornak az m-je, ahol a „c” karakter először szerepelt. A használt utolsó sorszám m u =m u +1. Az üzenet ezen láncához rendelt kódszó n m. LZW KÓDOLÁSELMÉLET – Forráskódolás alapjai Forráskódolás alapjai Alapfogalmak Források jellemzése Forráskódok Egyértelműen dekódolható kódok Forráskódolási tétel Forráskódolási eljárások


Letölteni ppt "2009. Nagy Szilvia 6. Forráskódolás alapjai KÓDOLÁSELMÉLET."

Hasonló előadás


Google Hirdetések