Információ- és hírközléselmélet '991 Információ- és Hírközléselmélet Vassányi István, Információelmélet –forráskódolás –csatornakódolás.

Az előadások a következő témára: "Információ- és hírközléselmélet '991 Információ- és Hírközléselmélet Vassányi István, Információelmélet –forráskódolás –csatornakódolás."— Előadás másolata:

1 Információ- és hírközléselmélet '991 Információ- és Hírközléselmélet Vassányi István, vassanyi@irt.vein.hu Információelmélet –forráskódolás –csatornakódolás Kriptográfia ZH (megajánlott jegyek) Hírközléselmélet Vizsga (írásbeli) Tárgykövetelmények

2 Információ- és hírközléselmélet '992 I. FORRÁSKÓDOLÁS 1. Entrópia és kölcsönös információ 1.1. Alapok és bevezetés 1.2. Diszkrét források jellemzése 1.3. A kölcsönös információ 2. Forráskódolási eljárások 2.1. Alapfogalmak, célok 2.2. A Huffman-kód 2.3. A Lempel-Ziv-kód 2.4. Az aritmetikai kód ============================= 1.1. Entrópia: alapok és bevezetés új tudomány, Shannon 1948 adat  információ a címzett térben/időben el van tolódva

3 Információ- és hírközléselmélet '993 ForrásKódoló Dekó- doló Nyelő CSA- TOR- NA Az információs folyamat általános modellje: 1.2. Források jellemzése, az entrópia Források tulajdonságai: diszkrét: véges forrásABC stacionárius szinkron emlékezet nélküli Definíciók Információ, Forrásentrópia,

4 Információ- és hírközléselmélet '994 Tétel Az egyenletes val. eloszlás maximalizálja az entrópiát, a maximum értéke Példák… Definíciók Kölcsönös és feltételes entrópia: magyarázat… kódoló AB Kölcsönös információ Példák…

5 Információ- és hírközléselmélet '995 2. Forráskódolási eljárások cél: veszteség nélküli, tömör kód előállítása, a csatorna jó kihasználása Definíciók Változó hosszúságú kód: Megfejthető kód Prefix kód Egy klasszikus példa: A KIRÁLYNŐT MEGÖLNI NEM KELL FÉLNETEK JÓ LESZ HA MINDNYÁJAN BELEEGYEZTEK ÉN NEM ELLENZEM Shannon 1. tétele Készíthető olyan kód, hogy de nem készíthető olyan kód, hogy

6 Információ- és hírközléselmélet '996 2.1. A Huffman-kód Eljárás {.1,.1,.15,.18,. 2,. 27}, {.5,.25,.125, …} Jellemzők: prefix, statikus, optimális (l. később) HW megvalósítás (kódolás, dekódolás) 2.2. Forráskiterjesztés Tétel Memória nélküli diszkrét forrást K elemű blokkokban kódolva az elvi korlát tetszőlegesen megközelíthető: Demonstráció: Huffman-kóddal A Huffman-kód problémái: a priori val. eloszlás ismerete szükséges kvantáló hatás Egy másik megoldás a szótár-kód: 2.3. A Lempel-Ziv kód szintén optimális (hosszú szövegre )

7 Információ- és hírközléselmélet '997 LZ algoritmus: 1: szótár, n, m inicializálása 2: következő szimb (x) BE, amíg van új 3: ha (n,x) van a szótárban akkor n = cím(n,x) ha nincs, akkorKÜLD(n) (n,x) tárolása m-re m = m+1 n = cím(0,x) 4: GOTO 2 Példa: a a c b b a c b a c c b b a b Elküldve: 1 1 3 2 2 5 8 3 6 10 (az utolsó 10-es a bac sorozatot kódolja) Megjegyzés: egy k hosszú részletnek k- szor kell előfordulnia  hosszú szöveg kell. 2.3. Az aritmetikai kód alapötlet: tetsz. szimb. sorozat  valós szám [0,1)

8 Információ- és hírközléselmélet '998 Aritm. algoritmus Megvalósítás: STOP szimbólummal A helyiérték-bitek megosztásával megoldja a kvantálási problémát Probléma: aritmetikai túlcsordulás Adaptívvá tehető ÖSSZEHASONLÍTÁS LZ - Huffman - Aritm. kódok EGY ALKALMAZÁS: telefax