2005. Információelmélet Nagy Szilvia 1. Az információelmélet alapfogalmai 2. A forráskódolás elmélete 3. Forráskódolási módszerek.

Az előadások a következő témára: "2005. Információelmélet Nagy Szilvia 1. Az információelmélet alapfogalmai 2. A forráskódolás elmélete 3. Forráskódolási módszerek."— Előadás másolata:

1 2005. Információelmélet Nagy Szilvia 1. Az információelmélet alapfogalmai 2. A forráskódolás elmélete 3. Forráskódolási módszerek

2 Széchenyi István Egyetem 2 Az információelmélet kezdetei Állatvilágról Emberi információcsere fontosabb lépései –közvetlen információcsere –távoli személyek közti információcsere –gépekkel való hírközlés –gépek által generált adatforgalom Az információelmélet kezdetei, Hartley, Shannon Alapfogalmak Történelmi áttekintés Shannon hírközlési modellje Valószínűség- számítás Információ Entrópia Kölcsönös entrópia Feltételes entrópia Információelmélet - Az információelmélet alapfogalmai

3 Széchenyi István Egyetem 3 Az információelmélet kezdetei Alapfogalmak Történelmi áttekintés Shannon hírközlési modellje Valószínűség- számítás Információ Entrópia Kölcsönös entrópia Feltételes entrópia Információelmélet - Az információelmélet alapfogalmai

4 Széchenyi István Egyetem 4 Az információelmélet kezdetei Állatvilágról Emberi információcsere fontosabb lépései –közvetlen információcsere –távoli személyek közti információcsere –gépekkel való hírközlés –gépek által generált adatforgalom Az információelmélet kezdetei, Hartley, Shannon Az információelmélet a gyakorlatban Alapfogalmak Történelmi áttekintés Shannon hírközlési modellje Valószínűség- számítás Információ Entrópia Kölcsönös entrópia Feltételes entrópia Információelmélet - Az információelmélet alapfogalmai

5 Széchenyi István Egyetem 5 A hírközlés során egy üzenetet juttatunk el egy tér- és időbeli pontból egy másikba. Alapfogalmak Történelmi áttekintés Shannon hírközlési modellje Valószínűség- számítás Információ Entrópia Kölcsönös entrópia Feltételes entrópia Információelmélet vevő/nyelődekódolókódolóforrás/adó csatorna tényleges forrás mintavételezés kvantálás forráskódolás Lehet folytonos jel A forrás jelét diszkrét jellé alakítja át és tömöríti Információelmélet - Az információelmélet alapfogalmai Shannon hírközlési modellje

6 Széchenyi István Egyetem 6 A hírközlés során egy üzenetet juttatunk el egy tér- és időbeli pontból egy másikba. Alapfogalmak Történelmi áttekintés Shannon hírközlési modellje Valószínűség- számítás Információ Entrópia Kölcsönös entrópia Feltételes entrópia Információelmélet vevő/nyelődekódolókódolóforrás/adó csatorna Csatornakódolás avagy hibajavító kódolás: lehetővé teszi a zajos csatornán való biztonságos(abb) üzenetátvitelt, a keletkező hibák jelzését kijavítását. Információelmélet - Az információelmélet alapfogalmai Shannon hírközlési modellje

7 Széchenyi István Egyetem 7 A hírközlés során egy üzenetet juttatunk el egy tér- és időbeli pontból egy másikba. Alapfogalmak Történelmi áttekintés Shannon hírközlési modellje Valószínűség- számítás Információ Entrópia Kölcsönös entrópia Feltételes entrópia Információelmélet vevő/nyelődekódolókódolóforrás/adó csatorna modulátorcsatorna demodulátor, döntő Átalakítja a kódolt üzenetet a csatornán átvihető jellé. torzul a jel Eldönti, hogy a lehetséges leadott jelalakok közül melyiket adhatták. Információelmélet - Az információelmélet alapfogalmai Shannon hírközlési modellje

8 Széchenyi István Egyetem 8 A hírközlés során egy üzenetet juttatunk el egy tér- és időbeli pontból egy másikba. Alapfogalmak Történelmi áttekintés Shannon hírközlési modellje Valószínűség- számítás Információ Entrópia Kölcsönös entrópia Feltételes entrópia Információelmélet vevő/nyelődekódolókódolóforrás/adó csatorna Kijavítja és/vagy jelzi a vett jelek hibáit. Elvégzi a csatornakódolás inverz műveletét. Információelmélet - Az információelmélet alapfogalmai Shannon hírközlési modellje

9 Széchenyi István Egyetem 9 A hírközlés során egy üzenetet juttatunk el egy tér- és időbeli pontból egy másikba. Alapfogalmak Történelmi áttekintés Shannon hírközlési modellje Valószínűség- számítás Információ Entrópia Kölcsönös entrópia Feltételes entrópia Információelmélet vevő/nyelődekódolókódolóforrás/adó csatorna vevő a forráskódolás inverze a helyreállított üzenetet „kitömöríti” értelmezi az üzenetet Információelmélet - Az információelmélet alapfogalmai Shannon hírközlési modellje

10 Széchenyi István Egyetem 10 Esemény : sokszor végrehajtható kísérlet eredménye. Kísérlet, ill. kimenetel lehet például: Egy dobozból golyókat veszünk ki, és vizsgáljuk a színüket. Esemény, hogy piros, zöld, lila, … golyót találtunk. Fej vagy írást játszunk egy érmével. Esemény: a fej vagy az írás oldal van felül. Minden kedden reggel 7 és 8 óra között vizsgáljuk egy buszmegállóban a megálló buszok számát. Esemény: 0 busz állt meg, 1, 2, … busz állt meg. Egy hírközlési csatornára bocsátunk egy bizonyos jelet és vizsgáljuk a kimeneti jelet. Esemény: a vett jel azonos a leadottal, a vett jel amplitúdója azonos a leadottéval, de a frekvenciája kétszeres, … Alapfogalmak Történelmi áttekintés Shannon hírközlési modellje Valószínűség- számítás Információ Entrópia Kölcsönös entrópia Feltételes entrópia InformációelméletInformációelmélet - Az információelmélet alapfogalmai Matematikai kitérő – A valószínűségszámítás alapfogalmairól

11 Széchenyi István Egyetem 11 Az A esemény ellentett eseménye a kísérlet minden A-n kívüli kimenetele. Jelölés: A. Egy A esemény valószínűsége: nagyon sokszor elvégezve a kísérletet A valószínűség jellemzői: 1 ≥ p(A) ≥ 0, az 1 valószínűségű esemény biztosan bekövetkezik, a 0 valószínűségű sohasem következik be. p(A)+p(A) = 1. Alapfogalmak Történelmi áttekintés Shannon hírközlési modellje Valószínűség- számítás Információ Entrópia Kölcsönös entrópia Feltételes entrópia InformációelméletInformációelmélet - Az információelmélet alapfogalmai Matematikai kitérő – A valószínűségszámítás alapfogalmairól

12 Széchenyi István Egyetem 12 A Kolmogorov-féle valószínűségi axiómákról: Eseménytér : Az elemi események összessége:  ; a teljes esemény Események halmaza: S Lehetetlen esemény: O. Az S halmaz akkor és csak akkor  -algebra, ha  S és O  S, ha A i  S  i-re, akkor ha A 1  S és A 2  S, akkor Alapfogalmak Történelmi áttekintés Shannon hírközlési modellje Valószínűség- számítás Információ Entrópia Kölcsönös entrópia Feltételes entrópia InformációelméletInformációelmélet - Az információelmélet alapfogalmai Matematikai kitérő – A valószínűségszámítás alapfogalmairól

13 Széchenyi István Egyetem 13 A Kolmogorov-féle valószínűségi axiómákról: Minden A  S eseményhez rendelhető egy p(A) szám, az A valószínűsége, melyre a következők igazak: 0 ≤ p(A) ≤ 1 p(  )=1 ha A i ∙ A j = 0  i ≠ j-re, akkor Alapfogalmak Történelmi áttekintés Shannon hírközlési modellje Valószínűség- számítás Információ Entrópia Kölcsönös entrópia Feltételes entrópia InformációelméletInformációelmélet - Az információelmélet alapfogalmai Matematikai kitérő – A valószínűségszámítás alapfogalmairól

14 Széchenyi István Egyetem 14 Egy A és egy B esemény szorzatán azt értjük, ha A és B is bekövetkezik. A és B együttes bekövetkezési valószínűsége: p(A∙B ). Egy A és egy B esemény összege az, ha vagy A, vagy B (vagy mindkettő) bekövetkezik. Valószínűsége: p(A+B ). Az A és B események függetlenek, ha semmiféle befolyással nincs A-nak a bekövetkezése a B bekövetkezésére. Ekkor p(A∙B )= p(A ) ∙ p(B ). Alapfogalmak Történelmi áttekintés Shannon hírközlési modellje Valószínűség- számítás Információ Entrópia Kölcsönös entrópia Feltételes entrópia InformációelméletInformációelmélet - Az információelmélet alapfogalmai Matematikai kitérő – A valószínűségszámítás alapfogalmairól

15 Széchenyi István Egyetem 15 Egy A és egy B esemény szorzatán azt értjük, ha A és B is bekövetkezik. A és B együttes bekövetkezési valószínűsége: p(A∙B ). Egy A és egy B esemény összege az, ha vagy A, vagy B (vagy mindkettő) bekövetkezik. Valószínűsége: p(A+B ). Egyéb esetekben p(A∙B )≠ p(A) ∙ p(B ), csak azt lehet tudni, hogy p(A+B ) = p(A) + p(B) – p(A∙B ), és p(A∙B ) ≤ p(A ) ∙ p(B ). Alapfogalmak Történelmi áttekintés Shannon hírközlési modellje Valószínűség- számítás Információ Entrópia Kölcsönös entrópia Feltételes entrópia InformációelméletInformációelmélet - Az információelmélet alapfogalmai Matematikai kitérő – A valószínűségszámítás alapfogalmairól

16 Széchenyi István Egyetem 16 Egy hírközlési csatorna bemenetén és kimenetén megjelenő jelek nem függetlenek egymástól. Ha B jelet vettünk akkor annak a valószínűsége, hogy A jel volt a csatorna bemenetén: A-nak B feltétel melletti feltételes valószínűsége Alapfogalmak Történelmi áttekintés Shannon hírközlési modellje Valószínűség- számítás Információ Entrópia Kölcsönös entrópia Feltételes entrópia InformációelméletInformációelmélet - Az információelmélet alapfogalmai Matematikai kitérő – A valószínűségszámítás alapfogalmairól

17 Széchenyi István Egyetem 17 Az is érdekes, hogy ha A jelet adok, milyen B kerül a csatorna kimenetére, ez B-nek A feltétel melletti feltételes valószínűségével, p( B|A )-val írható le: A kölcsönös és feltételes valószínűségek között fennáll: p(A∙B )=p(B ) ∙ p( A|B )= p(A ) ∙ p( B|A ) Alapfogalmak Történelmi áttekintés Shannon hírközlési modellje Valószínűség- számítás Információ Entrópia Kölcsönös entrópia Feltételes entrópia InformációelméletInformációelmélet - Az információelmélet alapfogalmai Matematikai kitérő – A valószínűségszámítás alapfogalmairól

18 Széchenyi István Egyetem 18 Matematikai kitérő – A valószínűségszámítás alapfogalmairól Ha az eseményekhez számértékek rendelhetők, (pl. árammérés), akkor kíváncsiak lehetünk a kísérlet eredményének várható érték ére. Legyen A={A 1, A 2, … A n } számhalmaz a kísérlet kimenetének értékkészlete, az A 1 kimenet valószínűsége p(A 1 ), … az A n -é p(A n ). Ekkor A várható értéke Alapfogalmak Történelmi áttekintés Shannon hírközlési modellje Valószínűség- számítás Információ Entrópia Kölcsönös entrópia Feltételes entrópia InformációelméletInformációelmélet - Az információelmélet alapfogalmai

19 Széchenyi István Egyetem 19 Matematikai kitérő – A valószínűségszámítás alapfogalmairól Az is érdekelhet minket, hogy átlagosan mennyire fog eltérni az eredmény a várhatóértéktől, ezt a szórás sal jellemezhetjük: Ha több kísérletet vizsgálunk, A és B korreláció ja írja le az, hogy mennyire függ a kettő egymástól Alapfogalmak Történelmi áttekintés Shannon hírközlési modellje Valószínűség- számítás Információ Entrópia Kölcsönös entrópia Feltételes entrópia InformációelméletInformációelmélet - Az információelmélet alapfogalmai

20 Széchenyi István Egyetem 20 Az információ Az információ valamely véges számú, előre ismert esemény közül annak megneve- zése, hogy melyik következett be. Alternatív megfogalmazás: az információ mértéke azonos azzal a bizonytalansággal, amelyet megszüntet. Hartley: m számú, azonos valószínűségű esemény közül egy megnevezésével nyert információ: (log 2 m kérdéssel azonosítható egy elem) Alapfogalmak Történelmi áttekintés Shannon hírközlési modellje Valószínűség- számítás Információ Entrópia Kölcsönös entrópia Feltételes entrópia InformációelméletInformációelmélet - Az információelmélet alapfogalmai

21 Széchenyi István Egyetem 21 Az információ Az információ valamely véges számú, előre ismert esemény közül annak megneve- zése, hogy melyik következett be. Alternatív megfogalmazás: az információ mértéke azonos azzal a bizonytalansággal, amelyet megszűntet. Shannon: minél váratlanabb egy esemény, bekövetkezése annál több információt jelent. Legyen A={A 1, A 2, … A m } esemény- halmaz, az A 1 esemény valószínűsége p 1, … az A m -é p m. Ekkor az A i megnevezésekor nyert információ: Alapfogalmak Történelmi áttekintés Shannon hírközlési modellje Valószínűség- számítás Információ Entrópia Kölcsönös entrópia Feltételes entrópia InformációelméletInformációelmélet - Az információelmélet alapfogalmai Megjegyzés: ha p i =1/m, minden i-re, visszakapjuk Hartley definícióját.

22 Széchenyi István Egyetem 22 Az információ tulajdonságai 1.Csak az esemény valószínűségének függvénye. 2.Nem negatív: I ≥ 0 3.Additív: ha m = m 1 ∙m 2, I(m 1 ∙m 2 ) = I(m 1 ) + I(m 2 ) 4.Monoton: ha p i ≥ p j, akkor I(A i ) ≤ I(A j ) 5.Normálás: legyen I(A)=1, ha p(A)=0,5. Ekkor kettes alapú logaritmus használandó és az információegysége a bit. Megjegyzés: ha tízes alapú logaritmust (lg-t) használunk, a hartley, az egység. Ekkor a normálás: I(p=0,1)=1. Ha természetes alapú logaritmussal definiáljuk az információt (I=−ln p), akkor a natban mérjük az információt, a normálás pedig I(p=1/e)=1. Alapfogalmak Történelmi áttekintés Shannon hírközlési modellje Valószínűség- számítás Információ Entrópia Kölcsönös entrópia Feltételes entrópia InformációelméletInformációelmélet - Az információelmélet alapfogalmai

23 Széchenyi István Egyetem 23 Az információ A forrásunk a következő üzenetet adta le: „ ccndnddnnncdnndncdncdncdncdnnnnc dcdncdcnnncdcccdcddcdccccnnn ” (21 db „ c ”, 22 db „ n ”, 17 db „ d ”) Mekkora az információtartalma a „ c ” szimbólum kibocsátásának? p( c ) = 21/(21+22+17) = 21/60 = 0,35 I( c ) = − log 2 0,35 = −ln 0,35/ln 2 = 1,51 Alapfogalmak Történelmi áttekintés Shannon hírközlési modellje Valószínűség- számítás Információ Entrópia Kölcsönös entrópia Feltételes entrópia InformációelméletInformációelmélet - Az információelmélet alapfogalmai

24 Széchenyi István Egyetem 24 Az információ A forrásunk a , , , ,  szimbólumokat bocsátja ki p  =0,12, p  =0,37, p  =0,06, p  =0,21, p  =0,24 valószínűséggel. Mi az információtartalma annak a közlésnek, hogy a  jelet adta? I(  ) = − log 2 0,37 = − ln 0,37/ln 2 = 1,43 Alapfogalmak Történelmi áttekintés Shannon hírközlési modellje Valószínűség- számítás Információ Entrópia Kölcsönös entrópia Feltételes entrópia InformációelméletInformációelmélet - Az információelmélet alapfogalmai

25 Széchenyi István Egyetem 25 Az entrópia Az entrópia az információ várható értéke: Az entrópia tulajdonképpen annak a kijelentésnek az információtartalma, hogy az m db egymást kizáró esemény közül az egyik bekövetkezett. A p log 2 p kifejezés p  0 esetén: Alapfogalmak Történelmi áttekintés Shannon hírközlési modellje Valószínűség- számítás Információ Entrópia Kölcsönös entrópia Feltételes entrópia Információelmélet L’Hospital- szabály szerint Információelmélet - Az információelmélet alapfogalmai

26 Széchenyi István Egyetem 26 Az entrópia A forrásunk a következő üzenetet adta le: „ ccndnddnnncdnndncdncdncdncdnnnnc dcdncdcnnncdcccdcddcdccccnnn ” (21 db „ c ”, 22 db „ n ”, 17 db „ d ”) Mekkora az üzenet entrópiája? p( c )=21/60=0,35 p( n )=22/60=0,37 p( d )=17/60=0,28 H( c ) = −0,35 log 2 0,35 = −0,35 ∙(ln 0,35/ln 2)= = −0,35∙(−1,51) = 0,53 H( n ) = −0,37 log 2 0,37 = −0,37 ∙(ln 0,37/ln 2)= = −0,37∙(−1,43) = 0,53 H( d ) = −0,28 log 2 0,28 = −0,28 ∙(ln 0,28/ln 2)= = −0,28∙(−1,84) = 0,51 Alapfogalmak Történelmi áttekintés Shannon hírközlési modellje Valószínűség- számítás Információ Entrópia Kölcsönös entrópia Feltételes entrópia InformációelméletInformációelmélet - Az információelmélet alapfogalmai

27 Széchenyi István Egyetem 27 Az entrópia A forrásunk a , , , ,  szimbólumokat bocsátja ki egyforma, p  = p  = p  = p  = p  = 0,2 valószínűséggel. Mennyi a forrás, mint halmaz entrópiája? H( , , , ,  ) = (− 0,2 log 2 0,2)  5 = 2,32 Alapfogalmak Történelmi áttekintés Shannon hírközlési modellje Valószínűség- számítás Információ Entrópia Kölcsönös entrópia Feltételes entrópia InformációelméletInformációelmélet - Az információelmélet alapfogalmai

28 Széchenyi István Egyetem 28 Az entrópia A forrásunk a , , , ,  szimbólumokat bocsátja ki p  =0,12, p  =0,37, p  =0,06, p  =0,21, p  =0,24 valószínűséggel. Mennyi a forrás, mint halmaz entrópiája? H( , , , ,  ) = −0,12 log 2 0,12 − − 0,37 log 2 0,37 − 0,06 log 2 0,06 − − 0,21 log 2 0,21 − 0,24 log 2 0,24 = = 0,37+0,53+0,24+0,47+0,49 = =2,1 Alapfogalmak Történelmi áttekintés Shannon hírközlési modellje Valószínűség- számítás Információ Entrópia Kölcsönös entrópia Feltételes entrópia InformációelméletInformációelmélet - Az információelmélet alapfogalmai

29 Széchenyi István Egyetem 29 Az entrópia tulajdonságai 1. Nem negatív: H( p 1, p 2, …, p m ) ≥ 0 2.Az események valószínűségeinek folytonos függvénye. 3. H( p 1, p 2, …, p m, 0 ) = H( p 1, p 2, …, p m ) 4.Ha p i = 1, a többi p k = 0, ( k=1, …, i−1, i+1,…, m ), akkor H( p 1, p 2, …, p m ) =0. 5. H( p 1, p 2, …, p m ) ≤ H( 1/m, 1/m, … 1/m ) 6.H(p 1, …, p k−1,p ℓ,p k+1,…,p ℓ−1,p k,p ℓ+1,…,p m ) = H( p 1, p 2, …, p m ),  k, ℓ ; azaz az entrópia szimmetrikus változóinak cseréjére. Alapfogalmak Történelmi áttekintés Shannon hírközlési modellje Valószínűség- számítás Információ Entrópia Kölcsönös entrópia Feltételes entrópia InformációelméletInformációelmélet - Az információelmélet alapfogalmai

30 Széchenyi István Egyetem 30 A kölcsönös entrópia Legyen A={A 1, …, A m 1 } a lehetséges leadott jelek halmaza, B={B 1, …, B m 2 } pedig a vehető jelek halmaza. Vizsgáljuk azt az összetett eseményt, hogy egy A-beli és egy B-beli esemény is bekövetkezik. A i és B j együttes bekövetkezési valószínűsége p i,j = p(A i ∙ B j ), a két esemény együttes bekövetkezésekor nyert információ I(A i ∙ B j )=−log 2 p(A i ∙ B j )=−log 2 p i,j. Mindig igaz a kölcsönös információra, hogy I(A i ∙ B j )≥ I(A i ), és I(A i ∙ B j )≥ I(B j ). Alapfogalmak Történelmi áttekintés Shannon hírközlési modellje Valószínűség- számítás Információ Entrópia Kölcsönös entrópia Feltételes entrópia InformációelméletInformációelmélet - Az információelmélet alapfogalmai

31 Széchenyi István Egyetem 31 A kölcsönös entrópia Legyen A={A 1, …, A m 1 } a lehetséges leadott jelek halmaza, B={B 1, …, B m 2 } pedig a vehető jelek halmaza. Vizsgáljuk azt az összetett eseményt, hogy egy A-beli és egy B-beli esemény is bekövetkezik. A i és B j együttes bekövetkezési valószínűsége p i,j = p(A i ∙ B j ), a két esemény együttes bekövetkezésekor nyert információ I(A i ∙ B j )=−log 2 p(A i ∙ B j )=−log 2 p i,j. A és B halmazok kölcsönös entrópiája : Alapfogalmak Történelmi áttekintés Shannon hírközlési modellje Valószínűség- számítás Információ Entrópia Kölcsönös entrópia Feltételes entrópia InformációelméletInformációelmélet - Az információelmélet alapfogalmai

32 Széchenyi István Egyetem 32 A feltételes entrópia Legyen A={A 1, …, A m 1 } a lehetséges leadott jelek halmaza, B={B 1, …, B m 2 } pedig a vehető jelek halmaza. Minden A-beli esemény bekövetkezése maga után von egy B-beli eseményt. A i -nek B j -re vonatkoztatott feltételes valószínűsége p(A i | B j ). Az A halmaz B halmazra vonatkoztatott feltételes entrópiája : Alapfogalmak Történelmi áttekintés Shannon hírközlési modellje Valószínűség- számítás Információ Entrópia Kölcsönös entrópia Feltételes entrópia InformációelméletInformációelmélet - Az információelmélet alapfogalmai

33 Széchenyi István Egyetem 33 A feltételes entrópia Legyen A={A 1, …, A m 1 } a lehetséges leadott jelek halmaza, B={B 1, …, B m 2 } pedig a vehető jelek halmaza. Minden A-beli esemény bekövetkezése maga után von egy B-beli eseményt. A i -nek B j -re vonatkoztatott feltételes valószínűsége p(A i | B j ). Mivel p(A i ∙B j )=p(B j ) ∙ p( A i |B j ) minden i-re és j-re, H(A ∙ B )= H(B) ∙ H(A|B )= H(A) ∙ H(B|A ). Így H(A) ≥ H(A∙B) ≥ 0 Alapfogalmak Történelmi áttekintés Shannon hírközlési modellje Valószínűség- számítás Információ Entrópia Kölcsönös entrópia Feltételes entrópia InformációelméletInformációelmélet - Az információelmélet alapfogalmai

34 Széchenyi István Egyetem 34 A források jellemzése Olyan forrásokkal fogunk foglalkozni, amelyek kimenetén véges sok elemből álló A ={A 1, …, A n } halmaz elemei jelenhetnek meg. Az A halmazt ekkor forrásábécé nek nevezzük. Az A elemeiből képezett véges A (1) A (2) A (3) … A (m) sorozatok az üzenet ek. (m tetszőleges természetes szám) A lehetséges üzenetek halmaza A. Forráskódolás elmélete Források jellemzése Forráskódok Egyértelműen dekódolható kódok Kódszavak átlagos hossza McMillan- egyen- lőtlenség Kraft-egyen- lőtlenség Forráskódolási tétel Információelmélet – A forráskódolás elmélete

35 Széchenyi István Egyetem 35 Ha egy A forrás által kibocsátott üzenet diszkrét jelek sorozata, akkor A diszkrét információforrás. A forrás emlékezet nélküli, ha A (i) független A (i−k) -től,  i, k. A forrás stacionárius, ha A (i)  A  i, és p( A (i) = A j ) = p j,  i, j. Előfordulhat, hogy a forrás által kibocsátott szimbólum függ az azt megelőző kibocsátásoktól Forráskódolás elmélete Források jellemzése Forráskódok Egyértelműen dekódolható kódok Kódszavak átlagos hossza McMillan- egyen- lőtlenség Kraft-egyen- lőtlenség Forráskódolási tétel Információelmélet – A forráskódolás elmélete A források jellemzése

36 Széchenyi István Egyetem 36 A rendszer lehetséges állapotainak a halmaza: S={S 1, S 2, …, S n }. Tegyük fel, hogy a forrás egy S előző állapotban van, és az aktuális szimbólumkibocsátás után egy S új állapotba kerül. Ha p(S új |S előző, S előző−1,…, S előző−m )= p(S új |S előző ), akkor a rendszer egy Markov-folyamat tal leírható. A források általában jól modellezhetők Markov-folyamatokkal. Forráskódolás elmélete Források jellemzése Forráskódok Egyértelműen dekódolható kódok Kódszavak átlagos hossza McMillan- egyen- lőtlenség Kraft-egyen- lőtlenség Forráskódolási tétel Információelmélet – A forráskódolás elmélete A források jellemzése

37 Széchenyi István Egyetem 37 A források leírhatók Markov-folyamatokkal. Egy összetettebb Markov-folyamat során a karakterek előfordulási valószínűsége más és más, a szimbólum-kibocsátások független események. Legyen p A =0,4; p B =0,1; p C =0,2; p D =0,2 és p E =0,1. A források jellemzése Forráskódolás elmélete Források jellemzése Forráskódok Egyértelműen dekódolható kódok Kódszavak átlagos hossza McMillan- egyen- lőtlenség Kraft-egyen- lőtlenség Forráskódolási tétel Információelmélet – A forráskódolás elmélete Egyetlen állapot A folyamat gráfja:

38 Széchenyi István Egyetem 38 Még összetettebb Markov-folyamatok során nem csak a karakterek előfordulási valószínűsége más és más, hanem a szimbólum-kibocsátások sem független események. A legegyszerűbb ilyen eset, ha az aktuális szimbólum csak az őt eggyel megelőzőtől függ. Legyen p A =1/3; p B =16/27; p C =2/27, és a feltételes valószínűségek: A források jellemzése Forráskódolás elmélete Források jellemzése Forráskódok Egyértelműen dekódolható kódok Kódszavak átlagos hossza McMillan- egyen- lőtlenség Kraft-egyen- lőtlenség Forráskódolási tétel Információelmélet – A forráskódolás elmélete P(a i |a j ) i ABC j A04/51/5 B1/2 0 C 2/51/10

39 Széchenyi István Egyetem 39 Legyen p A =1/3; p B =16/27; p C =2/27, és a feltételes valószínűségek: Egy tipikus példa így előállt szövegre (Shannon művéből): A források jellemzése Forráskódolás elmélete Források jellemzése Forráskódok Egyértelműen dekódolható kódok Kódszavak átlagos hossza McMillan- egyen- lőtlenség Kraft-egyen- lőtlenség Forráskódolási tétel Információelmélet – A forráskódolás elmélete P(a i |a j ) i ABC j A04/51/5 B1/2 0 C 2/51/10

40 Széchenyi István Egyetem 40 Ellenőrizhetjük a feltételes és együttes előfor- dulási valószínűségek közötti összefüggé- seket. Az együttes valószínűségekre igaz: ahol p A =1/3=9/27; p B =16/27; p C =2/27, és A források jellemzése Forráskódolás elmélete Források jellemzése Forráskódok Egyértelműen dekódolható kódok Kódszavak átlagos hossza McMillan- egyen- lőtlenség Kraft-egyen- lőtlenség Forráskódolási tétel Információelmélet – A forráskódolás elmélete P(a i |a j ) i ABC j A04/51/5 B1/2 0 C 2/51/10 P(a j ∙a i ) i ABC j A04/151/15 B8/27 0 C1/274/1351/135

41 Széchenyi István Egyetem 41 p A =1/3=9/27; p B =16/27; p C =2/27, és A források jellemzése Forráskódolás elmélete Források jellemzése Forráskódok Egyértelműen dekódolható kódok Kódszavak átlagos hossza McMillan- egyen- lőtlenség Kraft-egyen- lőtlenség Forráskódolási tétel Információelmélet – A forráskódolás elmélete P(a i |a j ) i ∑ ABC j A04/51/51 B1/2 01 C 2/51/101 P(a j ∙a i ) i ∑ ABC j A04/151/151/3 B8/27 016/27 C1/274/1351/1352/27 ∑9/2716/272/271

42 Széchenyi István Egyetem 42 Legyen p A =1/3; p B =16/27; p C =2/27, és a feltételes valószínűségek: A gráf: A források jellemzése Forráskódolás elmélete Források jellemzése Forráskódok Egyértelműen dekódolható kódok Kódszavak átlagos hossza McMillan- egyen- lőtlenség Kraft-egyen- lőtlenség Forráskódolási tétel Információelmélet – A forráskódolás elmélete P(a i |a j ) i ABC j A04/51/5 B1/2 0 C 2/51/10 3 állapot A C B

43 Széchenyi István Egyetem 43 A források leírhatók Markov-folyamatokkal. Még magasabb összetettségi szintű Markov- folyamatok során a karakterek helyett a belőlük épített szavaknak van valamilyen előfordulási statisztikája. A szavakat is választhatjuk egymástól függetlenül. Egy ilyen példa (Shannon művéből): A következő 16 szó fordulhat elő az előttük álló valószínűségekkel: A források jellemzése Forráskódolás elmélete Források jellemzése Forráskódok Egyértelműen dekódolható kódok Kódszavak átlagos hossza McMillan- egyen- lőtlenség Kraft-egyen- lőtlenség Forráskódolási tétel Információelmélet – A forráskódolás elmélete

44 Széchenyi István Egyetem 44 A források jellemzése Forráskódolás elmélete Források jellemzése Forráskódok Egyértelműen dekódolható kódok Kódszavak átlagos hossza McMillan- egyen- lőtlenség Kraft-egyen- lőtlenség Forráskódolási tétel Információelmélet – A forráskódolás elmélete A szavakat alapul vevő, független szóvá- lasztású Markov-folyamatunk egy gráfja: számos állapot A B C D E CA AD ADE szó vége BE BEB BA szó vége−D szó eleje

45 Széchenyi István Egyetem 45 A források jellemzése – forrásentrópia Ha a forrás az S i állapotban van, akkor minden j-re p(S j |S i ) ismert, ebből Ha ismerjük az S i állapot P i előfordulási valószínűségét, akkor a forrásentrópia : Ha a forrás stacionárius, azaz p(S j |S i )=p(A j |A i ) és p(A j |A i )= p(A j ), akkor a forrásentrópia megegyezik az egyetlen szimbólum kibocsátásának entrópiájával: Forráskódolás elmélete Források jellemzése Forráskódok Egyértelműen dekódolható kódok Kódszavak átlagos hossza McMillan- egyen- lőtlenség Kraft-egyen- lőtlenség Forráskódolási tétel Információelmélet – A forráskódolás elmélete

46 Széchenyi István Egyetem 46 A források jellemzése – forrásentrópia Vizsgáljuk a forrás egymást követő N szimbólum-kibocsátását: az A (1), A (2), …, A (N) sorozatot. Az A forrás forrásentrópiája : Nem keverendő -vel, a forrás- ábécé entrópiájával. Ha a forrás stacionárius, akkor H =H(A) Forráskódolás elmélete Források jellemzése Forráskódok Egyértelműen dekódolható kódok Kódszavak átlagos hossza McMillan- egyen- lőtlenség Kraft-egyen- lőtlenség Forráskódolási tétel Információelmélet – A forráskódolás elmélete

47 Széchenyi István Egyetem 47 A forráskódok jellemzése A kódolt üzenetek egy B ={B 1, …, B s } szintén véges halmaz elemeiből épülnek fel, B a kódábécé. A B elemeiből álló véges hosszúságú B (1) B (2) B (3) … B (m) sorozatok a kódszavak. A lehetséges kódszavak halmaza B. Az illetve függvényeket (forrás) kód oknak nevezzük. Az f leképezés a forrás egy- egy szimbólumához rendel egy-egy kódszót, az F ennél általánosabb. Forráskódolás elmélete Források jellemzése Forráskódok Egyértelműen dekódolható kódok Kódszavak átlagos hossza McMillan- egyen- lőtlenség Kraft-egyen- lőtlenség Forráskódolási tétel Információelmélet – A forráskódolás elmélete

48 Széchenyi István Egyetem 48 Egyértelműen dekódolható kódok Egy f forráskód egyértelműen dekódolható, ha minden egyes B-beli sorozatot csak egyféle A-beli sorozatból állít elő. (A neki megfeleltethető F invertálható. Az nem elég, hogy f invertálható.) Az állandó kód- szóhosszú kódok egyértelműen dekódol- hatók, megfejthetők, de nem elég gazdaságosak. Egy f betűnkénti kód prefix, ha a lehet- séges kódszavak közül egyik sem áll elő egy másik folytatásaként. Forráskódolás elmélete Források jellemzése Forráskódok Egyértelműen dekódolható kódok Kódszavak átlagos hossza McMillan- egyen- lőtlenség Kraft-egyen- lőtlenség Forráskódolási tétel prefixposztfix a 000 b 1001 c 110011 d 111001111110 Információelmélet – A forráskódolás elmélete

49 Széchenyi István Egyetem 49 Az olyan kódokat, amelyek különböző A-beli szimbólumokhoz más és más hosszúságú kódszavakat rendelnek, változó szóhosszúságú kódoknak nevezzük. Az B -beli sorozat, avagy kódszó hossza ℓ i. Egy f kód átlagos szóhossza ℓ i várható értéke: A kódszavak átlagos hossza Forráskódolás elmélete Források jellemzése Forráskódok Egyértelműen dekódolható kódok Kódszavak átlagos hossza McMillan- egyen- lőtlenség Kraft-egyen- lőtlenség Forráskódolási tétel AiAi kódszóℓiℓi pipi L(A)L(A) α010,42 1,91 β0120,34 γ01130,15 δ011140,09 Információelmélet – A forráskódolás elmélete

50 Széchenyi István Egyetem 50 AiAi kódszóℓiℓi pipi L(A)L(A) α01130,42 2,95 β011140,34 γ010,15 δ0120,09 Az olyan kódokat, amelyek különböző A-beli szimbólumokhoz más és más hosszúságú kódszavakat rendelnek, változó szóhosszúságú kódoknak nevezzük. Az B -beli sorozat, avagy kódszó hossza ℓ i. Egy f kód átlagos szóhossza ℓ i várható értéke: A kódszavak átlagos hossza Forráskódolás elmélete Források jellemzése Forráskódok Egyértelműen dekódolható kódok Kódszavak átlagos hossza McMillan- egyen- lőtlenség Kraft-egyen- lőtlenség Forráskódolási tétel Információelmélet – A forráskódolás elmélete

51 Széchenyi István Egyetem 51 AiAi kódszóℓiℓi pipi L(A)L(A) α011130,42 3,09 β01140,34 γ0110,15 δ020,09 Az olyan kódokat, amelyek különböző A-beli szimbólumokhoz más és más hosszúságú kódszavakat rendelnek, változó szóhosszúságú kódoknak nevezzük. Az B -beli sorozat, avagy kódszó hossza ℓ i. Egy f kód átlagos szóhossza ℓ i várható értéke: A kódszavak átlagos hossza Forráskódolás elmélete Források jellemzése Forráskódok Egyértelműen dekódolható kódok Kódszavak átlagos hossza McMillan- egyen- lőtlenség Kraft-egyen- lőtlenség Forráskódolási tétel Információelmélet – A forráskódolás elmélete

52 Széchenyi István Egyetem 52 A McMillan-egyenlőtlenség Minden egyértelműen dekódolható kódra igaz, hogy ahol s a kódábécé elemszáma n pedig a forrásábécéé. Forráskódolás elmélete Források jellemzése Forráskódok Egyértelműen dekódolható kódok Kódszavak átlagos hossza McMillan- egyen- lőtlenség Kraft-egyen- lőtlenség Forráskódolási tétel Információelmélet – A forráskódolás elmélete

53 Széchenyi István Egyetem 53 A Kraft-egyenlőtlenség Legyen ℓ 1, ℓ 2, …, ℓ n  N, s >1 egész, és legyen rájuk érvényes, hogy Ekkor létezik olyan prefix kód, amelynek kódábécéje s elemű, és az n elemű forrásábécé A 1, A 2, …, A n elemeihez rendelt kódszavak hossza rendre ℓ 1, ℓ 2, …, ℓ n. Forráskódolás elmélete Források jellemzése Forráskódok Egyértelműen dekódolható kódok Kódszavak átlagos hossza McMillan- egyen- lőtlenség Kraft-egyen- lőtlenség Forráskódolási tétel Információelmélet – A forráskódolás elmélete

54 Széchenyi István Egyetem 54 A Jensen-egyenlőtlenség egy következmé- nye, hogy ha p i ≥ 0, q i > 0, és akkor A kódszavak átlagos hosszáról szóló tétel Forráskódolás elmélete Források jellemzése Forráskódok Egyértelműen dekódolható kódok Kódszavak átlagos hossza McMillan- egyen- lőtlenség Kraft-egyen- lőtlenség Forráskódolási tétel Minden egyértelműen dekódolható kódra Bizonyítás: Információelmélet – A forráskódolás elmélete

55 Széchenyi István Egyetem 55 Forráskódolás elmélete Források jellemzése Forráskódok Egyértelműen dekódolható kódok Kódszavak átlagos hossza McMillan- egyen- lőtlenség Kraft-egyen- lőtlenség Forráskódolási tétel Független i-től, állandó McMillan: ≤ 1 Információelmélet – A forráskódolás elmélete A kódszavak átlagos hosszáról szóló tétel

56 Széchenyi István Egyetem 56 Létezik olyan prefix kód, melyre Forráskódolás elmélete Források jellemzése Forráskódok Egyértelműen dekódolható kódok Kódszavak átlagos hossza McMillan- egyen- lőtlenség Kraft-egyen- lőtlenség Forráskódolási tétel Információelmélet – A forráskódolás elmélete A kódszavak átlagos hosszáról szóló második tétel Bizonyítás: Legyenek ℓ 1, ℓ 2, …, ℓ n pozitív egész számok, melyekre

57 Széchenyi István Egyetem 57 Forráskódolás elmélete Források jellemzése Forráskódok Egyértelműen dekódolható kódok Kódszavak átlagos hossza McMillan- egyen- lőtlenség Kraft-egyen- lőtlenség Forráskódolási tétel Létezik olyan prefix kód, melyre Bizonyítás: Legyenek ℓ 1, ℓ 2, …, ℓ n pozitív egész számok, melyekre Információelmélet – A forráskódolás elmélete A kódszavak átlagos hosszáról szóló második tétel

58 Széchenyi István Egyetem 58 Forráskódolás elmélete Források jellemzése Forráskódok Egyértelműen dekódolható kódok Kódszavak átlagos hossza McMillan- egyen- lőtlenség Kraft-egyen- lőtlenség Forráskódolási tétel Minden A = { A 1, A 2, …, A n } véges forrásábécéjű forráshoz található olyan s elemű kódábécével rendelkező kód, amely az egyes forrásszimbólumokhoz rendre ℓ 1, ℓ 2, …, ℓ n szóhosszúságú kódszavakat rendel, és Az olyan kódok, amelyekre ez teljesül az optimális kódok. Információelmélet – A forráskódolás elmélete Shannon forráskódolási tétele

59 Széchenyi István Egyetem 59 Emlékeztető – forráskódolás Az olyan kódokat, amelyek különböző A-beli szimbólumokhoz más és más hosszúságú kódszavakat rendelnek, változó szóhosszúságú kódoknak nevezzük. Az B -beli sorozat, avagy kódszó hossza ℓ i. A jó tömörítő eljárásokra tehát igaz, hogy ha p i ≥ p j, akkor ℓ i ≤ ℓ j. Forráskódolási módszerek Huffman-kód Aritmetikai kód Lempel—Ziv- kódok: LZ78 Lempel—Ziv- kódok: LZW Információelmélet – Forráskódolási módszerek

60 Széchenyi István Egyetem 60 Információelmélet – Forráskódolási módszerek Emlékeztető – forráskódolás Ha az f bináris kód prefix, akkor a leggyakoribb forrásábécébeli elemhez fog a legrövidebb kódszó tartozni, a második leggyakoribbhoz eggyel hosszabb kódszó, … a két legritkábban előforduló betűhöz pedig azonosan hosszú kódszó fog tartozni, és csak az utolsó karakterben fog e két szó különbözni. Forráskódolási módszerek Huffman-kód Aritmetikai kód Lempel—Ziv- kódok: LZ78 Lempel—Ziv- kódok: LZW

61 Széchenyi István Egyetem 61 Információelmélet – Forráskódolási módszerek Huffman-kód A legrövidebb átlagos szóhosszú bináris prefix kód. 1.Valószínűségek szerint sorba rendez 2.A két legkisebb valószínűségű szimbólumot összevonja. Az összevont szimbólum valószí- nűsége a két eredeti szimbólum valószínű- ségének összege. 3.Az 1-2. lépést addig ismétli, amíg egyetlen, 1 valószínűségű összevont szimbólumot nem kap. Forráskódolási módszerek Huffman-kód Aritmetikai kód Lempel—Ziv- kódok: LZ78 Lempel—Ziv- kódok: LZW

62 Széchenyi István Egyetem 62 Információelmélet – Forráskódolási módszerek Huffman-kód A legrövidebb átlagos szóhosszú bináris prefix kód. 3.Az 1-2. lépést addig ismétli, amíg egyetlen, 1 valószínűségű összevont szimbólumot nem kap. 4.A kapott gráf minden csomópontja előtti két élt megcímkézi 0-val és 1-gyel. 5.A kódfa gyökerétől elindulva megkeresi az adott szimbólumhoz tartozó útvonalat, kiolvassa az éleknek megfelelő biteket. A kapott bitsorozatot rendeli a szimbólumhoz kódszóként. Forráskódolási módszerek Huffman-kód Aritmetikai kód Lempel—Ziv- kódok: LZ78 Lempel—Ziv- kódok: LZW

63 Széchenyi István Egyetem 63 Információelmélet – Forráskódolási módszerek Huffman-kód Legyen a forrásábécé A={A 1, A 2, A 3, A 4, A 5, A 6, A 7 }, elemeinek előfordulási valószínű- sége rendre p 1 =0,17, p 2 =0,26, p 3 =0,07, p 4 =0,21, p 5 =0,10, p 6 =0,08 és p 7 =0,11. Forráskódolási módszerek Huffman-kód Aritmetikai kód Lempel—Ziv- kódok: LZ78 Lempel—Ziv- kódok: LZW A2A2 0,26 0,320,420,581 A4A4 0,21 0,260,320,42 A1A1 0,17 0,21 0,26 A7A7 0,110,150,170,21 A5A5 0,100,110,15 A6A6 0,080,10 A3A3 0,07

64 Széchenyi István Egyetem 64 Huffman-kód Forráskódolási módszerek Huffman-kód Aritmetikai kód Lempel—Ziv- kódok: LZ78 Lempel—Ziv- kódok: LZW A2A2 0,26 0,58 A4A4 0,21 0,421 A1A1 0,17 0,32 A7A7 0,11 0,21 A5A5 0,10 A6A6 0,08 0,15 A3A3 0,07 A 0 és 1 címkézése választ- ható, elágazásonként felcserélhető. Legyen a forrásábécé A={A 1, A 2, A 3, A 4, A 5, A 6, A 7 }, elemeinek előfordulási valószínű- sége rendre p 1 =0,17, p 2 =0,26, p 3 =0,07, p 4 =0,21, p 5 =0,10, p 6 =0,08 és p 7 =0,11. Információelmélet – Forráskódolási módszerek

65 Széchenyi István Egyetem 65 Huffman-kód Forráskódolási módszerek Huffman-kód Aritmetikai kód Lempel—Ziv- kódok: LZ78 Lempel—Ziv- kódok: LZW A2A2 0,26 A4A4 0,21 A1A1 0,17 A7A7 0,11 A5A5 0,10 A6A6 0,08 A3A3 0,07 Az átlagos kódszóhossz: Az entrópia: Legyen a forrásábécé A={A 1, A 2, A 3, A 4, A 5, A 6, A 7 }, elemeinek előfordulási valószínű- sége rendre p 1 =0,17, p 2 =0,26, p 3 =0,07, p 4 =0,21, p 5 =0,10, p 6 =0,08 és p 7 =0,11. Információelmélet – Forráskódolási módszerek

66 Széchenyi István Egyetem 66 Huffman-kód Forráskódolási módszerek Huffman-kód Aritmetikai kód Lempel—Ziv- kódok: LZ78 Lempel—Ziv- kódok: LZW A kiolvasás iránya Legyen a forrásábécé A={A 1, A 2, A 3, A 4, A 5, A 6, A 7 }, elemeinek előfordulási valószínű- sége rendre p 1 =0,17, p 2 =0,26, p 3 =0,07, p 4 =0,21, p 5 =0,10, p 6 =0,08 és p 7 =0,11. Információelmélet – Forráskódolási módszerek

67 Széchenyi István Egyetem 67 Huffman-kód Forráskódolási módszerek Huffman-kód Aritmetikai kód Lempel—Ziv- kódok: LZ78 Lempel—Ziv- kódok: LZW A2A2 0,26 0,320,420,581 A4A4 0,21 0,260,320,42 A1A1 0,17 0,21 0,26 A7A7 0,110,150,170,21 A5A5 0,100,110,15 A6A6 0,080,10 A3A3 0,07 Legyen a forrásábécé A={A 1, A 2, A 3, A 4, A 5, A 6, A 7 }, elemeinek előfordulási valószínű- sége rendre p 1 =0,17, p 2 =0,26, p 3 =0,07, p 4 =0,21, p 5 =0,10, p 6 =0,08 és p 7 =0,11. A kiolvasás iránya Információelmélet – Forráskódolási módszerek

68 Széchenyi István Egyetem 68 Huffman-kód Forráskódolási módszerek Huffman-kód Aritmetikai kód Lempel—Ziv- kódok: LZ78 Lempel—Ziv- kódok: LZW Legyen a forrásábécé A={ , , , , ,  }, elemeinek előfordulási valószínűsége rendre p (  ) =0,10, p (  ) =0,05, p (  ) =0,12, p (  ) =0,25, p (  ) =0,40 és p (  ) =0,08.  0,40 0,601  0,25 0,350,40  0,120,130,220,25  0,100,120,13  0,080,10  0,05 A kiolvasás iránya       Információelmélet – Forráskódolási módszerek

69 Széchenyi István Egyetem 69 Legyen a forrásábécé A={ , , , , ,  }, elemeinek előfordulási valószínűsége rendre p (  ) =0,10, p (  ) =0,05, p (  ) =0,12, p (  ) =0,25, p (  ) =0,40 és p (  ) =0,08. Huffman-kód Forráskódolási módszerek Huffman-kód Aritmetikai kód Lempel—Ziv- kódok: LZ78 Lempel—Ziv- kódok: LZW Az átlagos kódszóhossz: Az entrópia: Információelmélet – Forráskódolási módszerek A kiolvasás iránya      

70 Széchenyi István Egyetem 70 Legyen a forrásábécé A={ , , , , ,  }, elemeinek előfordulási valószínűsége rendre p (  ) =0,10, p (  ) =0,05, p (  ) =0,12, p (  ) =0,25, p (  ) =0,40 és p (  ) =0,08. Huffman-kód Forráskódolási módszerek Huffman-kód Aritmetikai kód Lempel—Ziv- kódok: LZ78 Lempel—Ziv- kódok: LZW A kiolvasás iránya Információelmélet – Forráskódolási módszerek

71 Széchenyi István Egyetem 71 Aritmetikai kód Aritmetikai kód Forráskódolási módszerek Huffman-kód Aritmetikai kód Lempel—Ziv- kódok: LZ78 Lempel—Ziv- kódok: LZW Legyen a forrásábécé elemszáma n, és m elemű blokkokat kódoljunk. 1.Felosztja a [0,1) intervallumot n diszjunkt részre, minden résznek megfeleltet egy- egy forrásábécébeli elemet. Célszerű a kis valószínűségű betűkhöz rövid, a gyakoriakhoz hosszú részintervallumot rendelni. 2.Kiválasztja a blokk soron következő karakterének megfelelő intervallumot. 3.Az új intervallumot felosztja ugyanolyan arányban, mint a [0,1)-et osztotta, és ugyanolyan sorrendben rendeli a részintervallumokhoz a lehetséges szimbólumokat. Információelmélet – Forráskódolási módszerek

72 Széchenyi István Egyetem 72 Aritmetikai kód Aritmetikai kód Forráskódolási módszerek Huffman-kód Aritmetikai kód Lempel—Ziv- kódok: LZ78 Lempel—Ziv- kódok: LZW Legyen a forrásábécé elemszáma n, és m elemű blokkokat kódoljunk. 3.Az új intervallumot felosztja ugyanolyan arányban, mint a [0,1)-et osztotta, és ugyanolyan sorrendben rendeli a részintervallumokhoz a lehetséges szimbólumokat. 4.A 2-3. lépéseket ismétli, amíg el nem fogy a blokk. 5.A végül maradt kis intervallumból kiválaszt egy (binárisan) jól leírható számot, az lesz a kódszó. Információelmélet – Forráskódolási módszerek

73 Széchenyi István Egyetem 73 Aritmetikai kód Aritmetikai kód Forráskódolási módszerek Huffman-kód Aritmetikai kód Lempel—Ziv- kódok: LZ78 Lempel—Ziv- kódok: LZW Legyen a forrásábécé A={A 1, A 2, A 3, A 4, A 5 }, elemeinek előfordulási valószínűsége rendre p 1 =0,18, p 2 =0,36, p 3 =0,11, p 4 =0,26 és p 5 =0,09. A kódolni kívánt blokk: A 2 A 2 A 1 A 4 A 1 Információelmélet – Forráskódolási módszerek

74 Széchenyi István Egyetem 74 Legyen a forrásábécé A={A 1, A 2, A 3, A 4, A 5 }, elemeinek előfordulási valószínűsége rendre p 1 =0,18, p 2 =0,36, p 3 =0,11, p 4 =0,26 és p 5 =0,09. A kódolni kívánt blokk: A 2 A 2 A 1 A 4 A 1 Aritmetikai kód Aritmetikai kód Forráskódolási módszerek Huffman-kód Aritmetikai kód Lempel—Ziv- kódok: LZ78 Lempel—Ziv- kódok: LZW Információelmélet – Forráskódolási módszerek

75 Széchenyi István Egyetem 75 Aritmetikai kód Aritmetikai kód Forráskódolási módszerek Huffman-kód Aritmetikai kód Lempel—Ziv- kódok: LZ78 Lempel—Ziv- kódok: LZW Információelmélet – Forráskódolási módszerek Legyen a forrásábécé A={A 1, A 2, A 3, A 4, A 5 }, elemeinek előfordulási valószínűsége rendre p 1 =0,18, p 2 =0,36, p 3 =0,11, p 4 =0,26 és p 5 =0,09. A kódolni kívánt blokk: A 2 A 2 A 1 A 4 A 1 bináris tört alakban: 0011011011

76 Széchenyi István Egyetem 76 Lempel—Ziv-algoritmusok Nem szükséges előre ismerni a kódolandó karakterek előfordulási valószínűségét. Az üzenet bolvasása során egy láncolt listát, ú.n. szótár at épít. Egy szótársornak 3 mezője van: m sorszám, n mutató és a karakter. A kódolt információ a sorszámokból álló sorozat lesz. A kódolás során a vevő is megkapja a szükséges információt, párhuzamosan építi a szótárat, vagy pedig a tömörített fájlban szerepel maga a szótár is. Forráskódolási módszerek Huffman-kód Aritmetikai kód Lempel—Ziv- kódok: LZ78 Lempel—Ziv- kódok: LZW Információelmélet – Forráskódolási módszerek

77 Széchenyi István Egyetem 77 A szótár nulladik sora adott: m=0, n=0 a karakter pedig üres. A kódolás elején a megjegyzett sorszám n m = 0, az utolsó használt sorszám is m u =0. A kódoló a következő lépéseket ismétli, amíg el nem fogy az üzenet: Beolvassa a következő karaktert, amit nevezzünk „c”-nek –Ha egyáltalán nem szerepel a karak- ter a szótárban nyit neki egy új sort, a sor paraméterei: m=m u +1, n=0, a karakter „c”. A megjegyzett elem n m = 0 az utolsó sorszám m u =m u +1. LZ78 Forráskódolási módszerek Huffman-kód Aritmetikai kód Lempel—Ziv- kódok: LZ78 Lempel—Ziv- kódok: LZW Információelmélet – Forráskódolási módszerek

78 Széchenyi István Egyetem 78 –Ha már szerepel a karakter a szótár- ban, akkor vizsgálja azokat a sorokat, amelyeknek a megjegyzett n m szerepel a mutató mezejükben. Ha talál olyant, amelynek a karaktermezejében „c” szerepel, annak a sornak az indexe lesz az új n m, m u nem változik. Ha nem talál olyan sort, amelyikben „c” a karakter, akkor nyit egy újat. A sorszám m=m u +1, a mutató n m, a karakter „c”. Az új megjegyzett sorszám 0. A használt utolsó sorszám m u =m u +1. LZ78 Forráskódolási módszerek Huffman-kód Aritmetikai kód Lempel—Ziv- kódok: LZ78 Lempel—Ziv- kódok: LZW Információelmélet – Forráskódolási módszerek

79 Széchenyi István Egyetem 79 Legyen az LZ78 algoritmussal kódolandó üzenet:  mn„c”sorozat 00- 10  20  30  Információelmélet – Forráskódolási módszerek LZ78

80 Széchenyi István Egyetem 80 Legyen az LZ78 algoritmussal kódolandó üzenet:  mn„c”sorozat 00- 10  20  30  43  Információelmélet – Forráskódolási módszerek LZ78

81 Széchenyi István Egyetem 81 Legyen az LZ78 algoritmussal kódolandó üzenet:  mn„c”sorozat 00- 10  20  30  43  50  Információelmélet – Forráskódolási módszerek LZ78

82 Széchenyi István Egyetem 82 Legyen az LZ78 algoritmussal kódolandó üzenet:  mn„c”sorozat 00- 10  20  30  43  50  61  Információelmélet – Forráskódolási módszerek LZ78

83 Széchenyi István Egyetem 83 Legyen az LZ78 algoritmussal kódolandó üzenet:  mn„c”sorozat 00- 10  20  30  43  50  61  73  Információelmélet – Forráskódolási módszerek LZ78

84 Széchenyi István Egyetem 84 Legyen az LZ78 algoritmussal kódolandó üzenet:  mn„c”sorozat 00- 10  20  30  43  50  61  73  82  Információelmélet – Forráskódolási módszerek LZ78

85 Széchenyi István Egyetem 85 Legyen az LZ78 algoritmussal kódolandó üzenet:  mn„c”sorozat 00- 10  20  30  43  50  61  73  82  mn„c”sorozat 96  104  119  128  130  1413  151  1614  1713  Információelmélet – Forráskódolási módszerek LZ78

86 Széchenyi István Egyetem 86 Legyen az LZ78 algoritmussal kódolandó üzenet:   mn„c”sorozat 00- 10  20  30  43  50  61  73  82  mn„c”sorozat 96  104  119  128  130  1413  151  1614  1713  Információelmélet – Forráskódolási módszerek LZ78 A szótár reprodukálásához szükséges adatok: az n sor és a „ c ” karaktereknek megfelelő kód

87 Széchenyi István Egyetem 87 A szótár első k sora tartalmazza a használni kínánt k darab karaktert. A kódolás elején a megjegyzett sorszám n m = 0, az utolsó használt sorszám m u =k. A kódoló a következő lépéseket ismétli, amíg el nem fogy az üzenet: Beolvassa a következő karaktert, amit nevezzünk „c”-nek. Vizsgálja azokat a sorokat, amelyeknek a megjegyzett n m szerepel a mutató mezejükben. Ha talál olyant, amelynek a karaktermezejében „c” szerepel, annak a sornak az indexe lesz az új n m. LZW Forráskódolási módszerek Huffman-kód Aritmetikai kód Lempel—Ziv- kódok: LZ78 Lempel—Ziv- kódok: LZW Információelmélet – Forráskódolási módszerek

88 Széchenyi István Egyetem 88 Ha talál olyant, amelynek a karaktermezejében „c” szerepel, annak a sornak az indexe lesz az új n m. Ha nem talál olyan sort, amelyikben „c” a karakter, akkor nyit egy újat. A sorszám m=m u +1, a mutató n m, a karakter „c”. Az új megjegyzett sorszám annak a sornak az m-je, ahol a „c” karakter először szerepelt. A használt utolsó sorszám m u =m u +1. Az üzenet ezen láncához rendelt kódszó n m. LZW Forráskódolási módszerek Huffman-kód Aritmetikai kód Lempel—Ziv- kódok: LZ78 Lempel—Ziv- kódok: LZW Információelmélet – Forráskódolási módszerek

89 Széchenyi István Egyetem 89 Legyen az LZW algoritmussal kódolandó üzenet:  mn„c”sorozat 00- 10  20  30  40  50  Információelmélet – Forráskódolási módszerek LZW A definiáló rész

90 Széchenyi István Egyetem 90 Legyen az LZW algoritmussal kódolandó üzenet:  mn„c”sorozat 00- 10  20  30  40  50  61  Információelmélet – Forráskódolási módszerek LZW

91 Széchenyi István Egyetem 91 Legyen az LZW algoritmussal kódolandó üzenet:  mn„c”sorozat 00- 10  20  30  40  50  61  72  Információelmélet – Forráskódolási módszerek LZW

92 Széchenyi István Egyetem 92 Legyen az LZW algoritmussal kódolandó üzenet:  mn„c”sorozat 00- 10  20  30  40  50  61  72  83  Információelmélet – Forráskódolási módszerek LZW

93 Széchenyi István Egyetem 93 Legyen az LZW algoritmussal kódolandó üzenet:  mn„c”sorozat 00- 10  20  30  40  50  61  72  83  mn„c”sorozat 93  102  114  126  Információelmélet – Forráskódolási módszerek LZW

94 Széchenyi István Egyetem 94 Legyen az LZW algoritmussal kódolandó üzenet:  mn„c”sorozat 00- 10  20  30  40  50  61  72  83  mn„c”sorozat 93  102  114  126  138  Információelmélet – Forráskódolási módszerek LZW

95 Széchenyi István Egyetem 95 Legyen az LZW algoritmussal kódolandó üzenet:  mn„c”sorozat 00- 10  20  30  40  50  61  72  83  mn„c”sorozat 93  102  114  126  138  1410  1512  169  1711  Információelmélet – Forráskódolási módszerek LZW

96 Széchenyi István Egyetem 96 Legyen az LZW algoritmussal kódolandó üzenet:  mn„c”sorozat 00- 10  20  30  40  50  61  72  83  mn„c”sorozat 93  102  114  126  138  1410  1512  169  1711  mn„c”sorozat 187  1916  201  215  225  2311  2421  2523  Információelmélet – Forráskódolási módszerek LZW

97 Széchenyi István Egyetem 97 Legyen az LZW algoritmussal kódolandó üzenet:  1 2 3 3 2 4 6 8 10 12 9 11 7 16 4 5 5 11 21 23 5 mn„c”sorozat 00- 10  20  30  40  50  61  72  83  mn„c”sorozat 93  102  114  126  138  1410  1512  169  1711  mn„c”sorozat 187  1916  201  215  225  2311  2421  2523  -5  Információelmélet – Forráskódolási módszerek LZW