Az előadás letöltése folymat van. Kérjük, várjon

Az előadás letöltése folymat van. Kérjük, várjon

Kódelmélet. Az információ fogalma és tulajdonságai •Az információ az adatoknak az a része, amelynek számunkra újdonság tartalma van. •Az információ tulajdonságai:

Hasonló előadás


Az előadások a következő témára: "Kódelmélet. Az információ fogalma és tulajdonságai •Az információ az adatoknak az a része, amelynek számunkra újdonság tartalma van. •Az információ tulajdonságai:"— Előadás másolata:

1 Kódelmélet

2 Az információ fogalma és tulajdonságai •Az információ az adatoknak az a része, amelynek számunkra újdonság tartalma van. •Az információ tulajdonságai: –Nem szükségszerűen változik az információt hordozó jelek számával. –Kétszer adott közleménynek nincs kétszeres értéke. –Egyidejűleg több egyed részére adott információból mindenki ugyanannyi információt nyerhet – az információ nem osztódik. –Adott közlemény különböző jelekkel is rögzíthető. –Azonos jelek különböző összefüggésben mást jelenthetnek.

3 Információs csatorna •Az adó tevékenysége: –A hírek, közlemények kialakítása (Többnyire valamilyen A = {a 1, a 2, …, a n } kimeneti ábécé jeleit küldi ki) – A közlemények átalakítása a rendelkezésre álló csatorna igényei szerint - kódolás (Rendszerint kétféle jel továbbítására alkalmas: 0,1 - bináris csatorna) •A vevő tevékenysége: –A közlemények átalakítása a felhasználó igényei szerint - dekódolás –A hírek, közlemények felhasználása

4 Kódolás - dekódolás Definíció: Legyen A = {a 1, a 2, …, a n } tetszőleges kimeneti ábécé és legyen K = {α 1, α 2, …, α n } véges hosszúságú bináris sorozatok. Rendeljük hozzá a i  A betűk mindegyikéhez a K halmaz egy-egy α i elemét úgy, hogy különböző betűkhöz különböző bináris sorozatok tartozzanak. A kódolásnak ezt a formáját betű szerinti kódolásnak nevezzük. Definíció: A K halmazt kódnak, az α 1, α 2, …, α n elemeket kódszavaknak, ezek tetszőleges sorozatát kódolt közlésnek nevezzük. 1. Példa: A:= {a, b, c,d}, K = {00, 01, 100, 101} Ekkor „dac” szó kódja:

5 Definíció: A K = {α 1, α 2, …, α n } kódot felbonthatónak nevezzük, ha tetszőleges bináris sorozat legfeljebb egyféleképpen bontható kódszavak sorozatára. 2. Példa: A:= {a, b, c,d}, K = {00, 01, 11, 0001} Ez a kód nem felbontható, mert pl. az „ab” és a „d” szavaknak ugyanaz a kód felel meg. Definíció: A K = {α 1, α 2, …, α n } kódot prefix kódnak nevezzük, ha egyetlen kódszó sem valódi kezdőszelete (prefixuma) egy másik kódszónak. Az 1. Példában leírt kód prefix kód. A 2. Példában leírt kód nem prefix kód, mert „00” prefixuma „0001”-nek. Tétel: Minden prefix kód felbontható.

6 Optimális kódok Cél: A legrövidebb kódolt szöveg elérése. Módszer: A leggyakrabban előforduló betűkhöz rendeljük a legrövidebb kódszavakat, a ritkábban előfordulókhoz a hosszabb kódszavakat. Legyen F egy jelforrás, amelyik az A = {a 1, a 2, …, a n } ábécé betűit véletlenszerűen bocsátja ki és legyen p i annak a valószínűsége, hogy az F által kibocsátott jel a i. (Ekkor p i > 0 és p 1 +p 2 +…+p n = 1) Legyen a i kódja α i és legyen α i hossza l i. Mivel a i egy M hosszú jelsorozatban átlagosan p i M –szer fordul elő, ezért a hozzá tartozó átlagos összkódhossz: l i p i M. Az M hosszú jelsorozatot kódoló kódolt közlés átlagos összhossza tehát: l 1 p 1 M + l 2 p 2 M +…+ l n p n M. Cél ennek a hossznak, azaz l 1 p 1 + l 2 p 2 +…+ l n p n összegnek csökkentése. Definíció: Az L(K) := l 1 p 1 + l 2 p 2 +…+ l n p n összeget a K kód F forrás melletti költségének nevezzük.

7 Definíció: A K O felbontható kódot az F jelforrásra nézve optimálisnak mondjuk, ha tetszőleges K felbontható kódnak az F mellett számított L(K) költsége nem kisebb L(K O )-nál. Az optimális kódok tehát a kódolt közlések átlagos hosszát minimalizálják. Tétel: Tetszőleges F jelforráshoz létezik optimális prefix kód. Definíció: A H(F) := - p 1 log 2 p 1 - p 2 log 2 p 2 -… - p n log 2 p n számot az F forrás entrópiájának nevezzük. Tétel (Shannon tétele zajmentes csatornákra): Egy F jelforráshoz tartozó tetszőleges K felbontható kódra L(K) ≥ H(F), azaz teszőleges kód költsége nagyobb vagy egyenlő, mint a forrás entrópiája. Tétel: Egy F jelforráshoz tartozó K O optimális kód költségére teljesül, hogy L(K O ) ≤ H(F)+1, azaz az optimális kód költsége kisebb vagy egyenlő, mint a forrás entrópiája +1. Megjegyzés: Az optimális kódra: H(F) ≤ L(K O ) ≤ H(F)+1

8 Optimális kód Huffmann-féle konstrukciója

9 Hibajavító kódolás A továbbiakban bináris, állandó hosszúságú kódokkal foglalkozunk. (Ezek a kódok prefixek.) Definíció: A kódszavakat blokkoknak, a kódszavak hosszát blokkméretnek nevezzük. Definíció: Legyen a K = {α 1, α 2, …, α n } kódhoz tartozó blokkméret n, és legyen t ≤n tetszőleges. Az információs csatorna legfeljebb t egyedi hibát okoz, ha a csatorna alapzajának hatására tetszőleges blokkban legfeljebb t jel értéke változik meg. Példa: n=3, t=1: 001  011, 001  101

10 Példa: 1 hibát felismerő kód:a kódszavak első és második fele megegyezik. Üzenet: Vevőhöz érkezett: Helyes üzenet. Üzenet: Vevőhöz érkezett: Hibás üzenet. Példa: 1 hibát javító kód:a kódszavak első, második és harmadik harmada megegyezik. Üzenet: Vevőhöz érkezett: Hibás üzenet. Üzenet: Vevőhöz érkezett: Hibás üzenet. A két azonos sorozatot tekintjük helyesnek. Definíció: Legyen K = {α 1, α 2, …, α m } kód, melyben a kódszavak száma m, a blokkméret n. Ekkor a kód sűrűsége = log 2 m / n, azaz az m jelhez szükséges legrövidebb blokkméret és a tényleges blokkméret aránya. Példa: 1 hibát felismerő kód sűrűsége: log 2 (2 n/2 ) / n = 1/2, 1 hibát javító kód sűrűsége: log 2 (2 n/3 ) / n = 1/3.

11 Definíció: Az α és β kódszavak Hamming-távolsága ( ρ(α,β) ) azon pozíciók száma, ahol a kódszavak eltérnek egymástól. Példa: α:= 001, β:=111. Ekkor ρ(α,β) = 2. α:= 1001, β:=0000. Ekkor ρ(α,β) = 2. Definíció: Tetszőleges K kódra kódtávolságnak nevezzük ( d(K) ) a különböző K-beli szavak egymás közti távolságának minimumát. Példa: 1 hibát felismerő kód kódtávolsága: 2, 1 hibát javító kód kódtávolsága : 3. Tétel: Tetszőleges K kód pontosan akkor alkalmas t darab hiba felismerésére, ha d(K) ≥ t+1. Tétel: Tetszőleges K kód pontosan akkor alkalmas t darab hiba javítására, ha d(K) ≥ 2t+1.

12 Hibavédelmi kódok Paritásellenőrző kód: Blokkonként az 1-esek száma páros (vagy páratlan) kell, hogy legyen. (Ezt a blokk utolsó bitje, a paritás bit biztosítja.) Kódtávolsága 2, így 1 hiba felismerésére alkalmas. Sűrűsége: log 2 (2 n-1 ) / n = (n-1)/n = 1-1/n, igen magas. (A gyakorlatban n = 5 ~ 8) Hibajavításra nem alkalmas. Példa: Páratlan paritás: Elsődleges kód:Paritásbit:Végleges kód:

13 Hamming-kód: Több paritásbitet helyezünk el a kódszóban, a 2 egész hatványainak helyén, azaz az 1., 2., 4., 8., stb. helyeken. Kódtávolsága 3, így 1 hiba javítására alkalmas. Pozíciók Paritásbitek PP*P*** ParitásszintekP1P P2P P4P A * -gal jelölt helyre kerül az elsődleges kód. A + -szal jelölt helyek az ellenőrzésbe bevonandó pozíciók.

14 Példa: 1010 kódszó Hamming-kódja páratlan paritással: Pozíciók Paritásbitek PP1P010 ParitásszintekP1P P2P P4P Kód Tehát a kapott kód:

15 Hibajavítás hibás kód érkezése esetén: Pozíciók Paritásbitek ParitásszintekP1P Hibás paritás P2P Helyes paritás P4P4 0110Hibás paritás Hibás kódpozíció: = 5.


Letölteni ppt "Kódelmélet. Az információ fogalma és tulajdonságai •Az információ az adatoknak az a része, amelynek számunkra újdonság tartalma van. •Az információ tulajdonságai:"

Hasonló előadás


Google Hirdetések