2005. Információelmélet Nagy Szilvia 2. A forráskódolás elmélete

Széchenyi István Egyetem 2 A források jellemzése Olyan forrásokkal fogunk foglalkozni, amelyek kimenetén véges sok elemből álló A ={A 1, …, A n } halmaz elemei jelenhetnek meg. Az A halmazt ekkor forrásábécé nek nevezzük. Az A elemeiből képezett véges A (1) A (2) A (3) … A (m) sorozatok az üzenet ek. (m tetszőleges természetes szám) A lehetséges üzenetek halmaza A. Forráskódolás elmélete Források jellemzése Forráskódok Egyértelműen dekódolható kódok Kódszavak átlagos hossza McMillan- egyen- lőtlenség Kraft-egyen- lőtlenség Forráskódolási tétel Információelmélet – A forráskódolás elmélete

Széchenyi István Egyetem 3 Ha egy A forrás által kibocsátott üzenet diszkrét jelek sorozata, akkor A diszkrét információforrás. A forrás emlékezet nélküli, ha A (i) független A (i−k) -től,  i, k. A forrás stacionárius, ha A (i)  A  i, és p( A (i) = A j ) = p j,  i, j. Előfordulhat, hogy a forrás által kibocsátott szimbólum függ az azt megelőző kibocsátásoktól Forráskódolás elmélete Források jellemzése Forráskódok Egyértelműen dekódolható kódok Kódszavak átlagos hossza McMillan- egyen- lőtlenség Kraft-egyen- lőtlenség Forráskódolási tétel Információelmélet – A forráskódolás elmélete A források jellemzése

Széchenyi István Egyetem 4 A rendszer lehetséges állapotainak a halmaza: S={S 1, S 2, …, S n }. Tegyük fel, hogy a forrás egy S előző állapotban van, és az aktuális szimbólumkibocsátás után egy S új állapotba kerül. Ha p(S új |S előző, S előző−1,…, S előző−m )= p(S új |S előző ), akkor a rendszer egy Markov-folyamat tal leírható. A források általában jól modellezhetők Markov-folyamatokkal. Forráskódolás elmélete Források jellemzése Forráskódok Egyértelműen dekódolható kódok Kódszavak átlagos hossza McMillan- egyen- lőtlenség Kraft-egyen- lőtlenség Forráskódolási tétel Információelmélet – A forráskódolás elmélete A források jellemzése

Széchenyi István Egyetem 5 A források jellemzése Forráskódolás elmélete Források jellemzése Forráskódok Egyértelműen dekódolható kódok Kódszavak átlagos hossza McMillan- egyen- lőtlenség Kraft-egyen- lőtlenség Forráskódolási tétel Információelmélet – A forráskódolás elmélete A források leírhatók Markov-folyamatokkal. A legegyszerűbb Markov-folyamat során a forrás minden betűje azonos valószínűséggel fordul elő, és a szimbólumkibocsátások független események. Legyen öt betűnk, A, B, C, D és E, mind 0,2 előfordulási valószínűséggel. Egy tipikus példa így előállt szövegre (Shannon művéből):

Széchenyi István Egyetem 6 A források leírhatók Markov-folyamatokkal. Egy összetettebb Markov-folyamat során a karakterek előfordulási valószínűsége más és más, a szimbólum-kibocsátások független események. Legyen p A =0,4; p B =0,1; p C =0,2; p D =0,2 és p E =0,1. Egy tipikus példa így előállt szövegre (Shannon művéből): A források jellemzése Forráskódolás elmélete Források jellemzése Forráskódok Egyértelműen dekódolható kódok Kódszavak átlagos hossza McMillan- egyen- lőtlenség Kraft-egyen- lőtlenség Forráskódolási tétel Információelmélet – A forráskódolás elmélete

Széchenyi István Egyetem 7 A források leírhatók Markov-folyamatokkal. Egy összetettebb Markov-folyamat során a karakterek előfordulási valószínűsége más és más, a szimbólum-kibocsátások független események. Legyen p A =0,4; p B =0,1; p C =0,2; p D =0,2 és p E =0,1. A források jellemzése Forráskódolás elmélete Források jellemzése Forráskódok Egyértelműen dekódolható kódok Kódszavak átlagos hossza McMillan- egyen- lőtlenség Kraft-egyen- lőtlenség Forráskódolási tétel Információelmélet – A forráskódolás elmélete Egyetlen állapot A folyamat gráfja:

Széchenyi István Egyetem 8 Még összetettebb Markov-folyamatok során nem csak a karakterek előfordulási valószínűsége más és más, hanem a szimbólum-kibocsátások sem független események. A legegyszerűbb ilyen eset, ha az aktuális szimbólum csak az őt eggyel megelőzőtől függ. Legyen p A =1/3; p B =16/27; p C =2/27, és a feltételes valószínűségek: A források jellemzése Forráskódolás elmélete Források jellemzése Forráskódok Egyértelműen dekódolható kódok Kódszavak átlagos hossza McMillan- egyen- lőtlenség Kraft-egyen- lőtlenség Forráskódolási tétel Információelmélet – A forráskódolás elmélete P(a i |a j ) i ABC j A04/51/5 B1/2 0 C 2/51/10

Széchenyi István Egyetem 9 Legyen p A =1/3; p B =16/27; p C =2/27, és a feltételes valószínűségek: Egy tipikus példa így előállt szövegre (Shannon művéből): A források jellemzése Forráskódolás elmélete Források jellemzése Forráskódok Egyértelműen dekódolható kódok Kódszavak átlagos hossza McMillan- egyen- lőtlenség Kraft-egyen- lőtlenség Forráskódolási tétel Információelmélet – A forráskódolás elmélete P(a i |a j ) i ABC j A04/51/5 B1/2 0 C 2/51/10

Széchenyi István Egyetem 10 Ellenőrizhetjük a feltételes és együttes előfor- dulási valószínűségek közötti összefüggé- seket. Az együttes valószínűségekre igaz: ahol p A =1/3=9/27; p B =16/27; p C =2/27, és A források jellemzése Forráskódolás elmélete Források jellemzése Forráskódok Egyértelműen dekódolható kódok Kódszavak átlagos hossza McMillan- egyen- lőtlenség Kraft-egyen- lőtlenség Forráskódolási tétel Információelmélet – A forráskódolás elmélete P(a i |a j ) i ABC j A04/51/5 B1/2 0 C 2/51/10 P(a j ∙a i ) i ABC j A04/151/15 B8/27 0 C1/274/1351/135

Széchenyi István Egyetem 11 p A =1/3=9/27; p B =16/27; p C =2/27, és A források jellemzése Forráskódolás elmélete Források jellemzése Forráskódok Egyértelműen dekódolható kódok Kódszavak átlagos hossza McMillan- egyen- lőtlenség Kraft-egyen- lőtlenség Forráskódolási tétel Információelmélet – A forráskódolás elmélete P(a i |a j ) i ∑ ABC j A04/51/51 B1/2 01 C 2/51/101 P(a j ∙a i ) i ∑ ABC j A04/151/151/3 B8/27 016/27 C1/274/1351/1352/27 ∑9/2716/272/271

Széchenyi István Egyetem 12 Legyen p A =1/3; p B =16/27; p C =2/27, és a feltételes valószínűségek: A gráf: A források jellemzése Forráskódolás elmélete Források jellemzése Forráskódok Egyértelműen dekódolható kódok Kódszavak átlagos hossza McMillan- egyen- lőtlenség Kraft-egyen- lőtlenség Forráskódolási tétel Információelmélet – A forráskódolás elmélete P(a i |a j ) i ABC j A04/51/5 B1/2 0 C 2/51/10 3 állapot A C B

Széchenyi István Egyetem 13 A források leírhatók Markov-folyamatokkal. Még magasabb összetettségi szintű Markov- folyamatok során a karakterek helyett a belőlük épített szavaknak van valamilyen előfordulási statisztikája. A szavakat is választhatjuk egymástól függetlenül. Egy ilyen példa (Shannon művéből): A következő 16 szó fordulhat elő az előttük álló valószínűségekkel: A források jellemzése Forráskódolás elmélete Források jellemzése Forráskódok Egyértelműen dekódolható kódok Kódszavak átlagos hossza McMillan- egyen- lőtlenség Kraft-egyen- lőtlenség Forráskódolási tétel Információelmélet – A forráskódolás elmélete

Széchenyi István Egyetem 14 A források leírhatók Markov-folyamatokkal. Még magasabb összetettségi szintű Markov- folyamatok során a karakterek helyett a belőlük épített szavaknak van valamilyen előfordulási statisztikája. A szavakat is választhatjuk egymástól függetlenül. Egy tipikus példa így előállt szövegre (Shannon művéből): A források jellemzése Forráskódolás elmélete Források jellemzése Forráskódok Egyértelműen dekódolható kódok Kódszavak átlagos hossza McMillan- egyen- lőtlenség Kraft-egyen- lőtlenség Forráskódolási tétel Információelmélet – A forráskódolás elmélete

Széchenyi István Egyetem 15 A források jellemzése Forráskódolás elmélete Források jellemzése Forráskódok Egyértelműen dekódolható kódok Kódszavak átlagos hossza McMillan- egyen- lőtlenség Kraft-egyen- lőtlenség Forráskódolási tétel Információelmélet – A forráskódolás elmélete A szavakat alapul vevő, független szóvá- lasztású Markov-folyamatunk egy gráfja: számos állapot A B C D E CA AD ADE szó vége BE BEB BA szó vége−D szó eleje

Széchenyi István Egyetem 16 A források jellemzése – forrásentrópia Ha a forrás az S i állapotban van, akkor minden j-re p(S j |S i ) ismert, ebből Ha ismerjük az S i állapot P i előfordulási valószínűségét, akkor a forrásentrópia : Ha a forrás stacionárius, azaz p(S j |S i )=p(A j |A i ) és p(A j |A i )= p(A j ), akkor a forrásentrópia megegyezik az egyetlen szimbólum kibocsátásának entrópiájával: Forráskódolás elmélete Források jellemzése Forráskódok Egyértelműen dekódolható kódok Kódszavak átlagos hossza McMillan- egyen- lőtlenség Kraft-egyen- lőtlenség Forráskódolási tétel Információelmélet – A forráskódolás elmélete

Széchenyi István Egyetem 17 A források jellemzése – forrásentrópia Vizsgáljuk a forrás egymást követő N szimbólum-kibocsátását: az A (1), A (2), …, A (N) sorozatot. Az A forrás forrásentrópiája : Nem keverendő -vel, a forrás- ábécé entrópiájával. Ha a forrás stacionárius, akkor H =H(A) Forráskódolás elmélete Források jellemzése Forráskódok Egyértelműen dekódolható kódok Kódszavak átlagos hossza McMillan- egyen- lőtlenség Kraft-egyen- lőtlenség Forráskódolási tétel Információelmélet – A forráskódolás elmélete

Széchenyi István Egyetem 18 A forráskódok jellemzése A kódolt üzenetek egy B ={B 1, …, B s } szintén véges halmaz elemeiből épülnek fel, B a kódábécé. A B elemeiből álló véges hosszúságú B (1) B (2) B (3) … B (m) sorozatok a kódszavak. A lehetséges kódszavak halmaza B. Az illetve függvényeket (forrás) kód oknak nevezzük. Az f leképezés a forrás egy- egy szimbólumához rendel egy-egy kódszót, az F ennél általánosabb. Forráskódolás elmélete Források jellemzése Forráskódok Egyértelműen dekódolható kódok Kódszavak átlagos hossza McMillan- egyen- lőtlenség Kraft-egyen- lőtlenség Forráskódolási tétel Információelmélet – A forráskódolás elmélete

Széchenyi István Egyetem 19 Egyértelműen dekódolható kódok Egy f forráskód egyértelműen dekódolható, ha minden egyes B-beli sorozatot csak egyféle A-beli sorozatból állít elő. (A neki megfeleltethető F invertálható. Az nem elég, hogy f invertálható.) Az állandó kód- szóhosszú kódok egyértelműen dekódol- hatók, megfejthetők, de nem elég gazdaságosak. Egy f betűnkénti kód prefix, ha a lehet- séges kódszavak közül egyik sem áll elő egy másik folytatásaként. Forráskódolás elmélete Források jellemzése Forráskódok Egyértelműen dekódolható kódok Kódszavak átlagos hossza McMillan- egyen- lőtlenség Kraft-egyen- lőtlenség Forráskódolási tétel prefixposztfix a 000 b 1001 c d Információelmélet – A forráskódolás elmélete

Széchenyi István Egyetem 20 Az olyan kódokat, amelyek különböző A-beli szimbólumokhoz más és más hosszúságú kódszavakat rendelnek, változó szóhosszúságú kódoknak nevezzük. Az B -beli sorozat, avagy kódszó hossza ℓ i. Egy f kód átlagos szóhossza ℓ i várható értéke: A kódszavak átlagos hossza Forráskódolás elmélete Források jellemzése Forráskódok Egyértelműen dekódolható kódok Kódszavak átlagos hossza McMillan- egyen- lőtlenség Kraft-egyen- lőtlenség Forráskódolási tétel AiAi kódszóℓiℓi pipi L(A)L(A) α010,42 1,91 β0120,34 γ01130,15 δ011140,09 Információelmélet – A forráskódolás elmélete

Széchenyi István Egyetem 21 AiAi kódszóℓiℓi pipi L(A)L(A) α01130,42 2,95 β011140,34 γ010,15 δ0120,09 Az olyan kódokat, amelyek különböző A-beli szimbólumokhoz más és más hosszúságú kódszavakat rendelnek, változó szóhosszúságú kódoknak nevezzük. Az B -beli sorozat, avagy kódszó hossza ℓ i. Egy f kód átlagos szóhossza ℓ i várható értéke: A kódszavak átlagos hossza Forráskódolás elmélete Források jellemzése Forráskódok Egyértelműen dekódolható kódok Kódszavak átlagos hossza McMillan- egyen- lőtlenség Kraft-egyen- lőtlenség Forráskódolási tétel Információelmélet – A forráskódolás elmélete

Széchenyi István Egyetem 22 AiAi kódszóℓiℓi pipi L(A)L(A) α011130,42 3,09 β01140,34 γ0110,15 δ020,09 Az olyan kódokat, amelyek különböző A-beli szimbólumokhoz más és más hosszúságú kódszavakat rendelnek, változó szóhosszúságú kódoknak nevezzük. Az B -beli sorozat, avagy kódszó hossza ℓ i. Egy f kód átlagos szóhossza ℓ i várható értéke: A kódszavak átlagos hossza Forráskódolás elmélete Források jellemzése Forráskódok Egyértelműen dekódolható kódok Kódszavak átlagos hossza McMillan- egyen- lőtlenség Kraft-egyen- lőtlenség Forráskódolási tétel Információelmélet – A forráskódolás elmélete

Széchenyi István Egyetem 23 A McMillan-egyenlőtlenség Minden egyértelműen dekódolható kódra igaz, hogy ahol s a kódábécé elemszáma n pedig a forrásábécéé. Forráskódolás elmélete Források jellemzése Forráskódok Egyértelműen dekódolható kódok Kódszavak átlagos hossza McMillan- egyen- lőtlenség Kraft-egyen- lőtlenség Forráskódolási tétel Információelmélet – A forráskódolás elmélete

Széchenyi István Egyetem 24 A Kraft-egyenlőtlenség Legyen ℓ 1, ℓ 2, …, ℓ n  N, s >1 egész, és legyen rájuk érvényes, hogy Ekkor létezik olyan prefix kód, amelynek kódábécéje s elemű, és az n elemű forrásábécé A 1, A 2, …, A n elemeihez rendelt kódszavak hossza rendre ℓ 1, ℓ 2, …, ℓ n. Forráskódolás elmélete Források jellemzése Forráskódok Egyértelműen dekódolható kódok Kódszavak átlagos hossza McMillan- egyen- lőtlenség Kraft-egyen- lőtlenség Forráskódolási tétel Információelmélet – A forráskódolás elmélete

Széchenyi István Egyetem 25 A Jensen-egyenlőtlenség egy következmé- nye, hogy ha p i ≥ 0, q i > 0, és akkor A kódszavak átlagos hosszáról szóló tétel Forráskódolás elmélete Források jellemzése Forráskódok Egyértelműen dekódolható kódok Kódszavak átlagos hossza McMillan- egyen- lőtlenség Kraft-egyen- lőtlenség Forráskódolási tétel Minden egyértelműen dekódolható kódra Bizonyítás: Információelmélet – A forráskódolás elmélete

Széchenyi István Egyetem 26 Forráskódolás elmélete Források jellemzése Forráskódok Egyértelműen dekódolható kódok Kódszavak átlagos hossza McMillan- egyen- lőtlenség Kraft-egyen- lőtlenség Forráskódolási tétel Független i-től, állandó McMillan: ≤ 1 Információelmélet – A forráskódolás elmélete A kódszavak átlagos hosszáról szóló tétel

Széchenyi István Egyetem 27 Létezik olyan prefix kód, melyre Forráskódolás elmélete Források jellemzése Forráskódok Egyértelműen dekódolható kódok Kódszavak átlagos hossza McMillan- egyen- lőtlenség Kraft-egyen- lőtlenség Forráskódolási tétel Információelmélet – A forráskódolás elmélete A kódszavak átlagos hosszáról szóló második tétel Bizonyítás: Legyenek ℓ 1, ℓ 2, …, ℓ n pozitív egész számok, melyekre

Széchenyi István Egyetem 28 Forráskódolás elmélete Források jellemzése Forráskódok Egyértelműen dekódolható kódok Kódszavak átlagos hossza McMillan- egyen- lőtlenség Kraft-egyen- lőtlenség Forráskódolási tétel Létezik olyan prefix kód, melyre Bizonyítás: Legyenek ℓ 1, ℓ 2, …, ℓ n pozitív egész számok, melyekre Információelmélet – A forráskódolás elmélete A kódszavak átlagos hosszáról szóló második tétel

Széchenyi István Egyetem 29 Forráskódolás elmélete Források jellemzése Forráskódok Egyértelműen dekódolható kódok Kódszavak átlagos hossza McMillan- egyen- lőtlenség Kraft-egyen- lőtlenség Forráskódolási tétel Minden A = { A 1, A 2, …, A n } véges forrásábécéjű forráshoz található olyan s elemű kódábécével rendelkező kód, amely az egyes forrásszimbólumokhoz rendre ℓ 1, ℓ 2, …, ℓ n szóhosszúságú kódszavakat rendel, és Az olyan kódok, amelyekre ez teljesül az optimális kódok. Információelmélet – A forráskódolás elmélete Shannon forráskódolási tétele