Az előadás letöltése folymat van. Kérjük, várjon

Az előadás letöltése folymat van. Kérjük, várjon

2005. Információelmélet Nagy Szilvia 6. Csatornakódolás.

Hasonló előadás


Az előadások a következő témára: "2005. Információelmélet Nagy Szilvia 6. Csatornakódolás."— Előadás másolata:

1 2005. Információelmélet Nagy Szilvia 6. Csatornakódolás

2 Széchenyi István Egyetem 2 A csatornán való áthaladás során a jelek többnyire módosulnak: zaj adódik hozzájuk. A csatorna zajosságának jellemzésére alkalmas a jel-zaj arány (signal to noise ratio): SNR=20 log 10 ( S/N ), ha S a jel, N pedig a zaj átlagos teljesítménye. Egysége decibel. A következőkben olyan csatornákkal foglalkozunk, amelyek diszkrét jeleket visznek át. A csatornák jellemzése Információelmélet – Csatornakódolás Csatorna- kódolás Csatornák jellemzése Csatorna- kapacitás Vektorterek Hamming- távolság Hibák típusai Kódtávolság Singleton-korlát Hamming- korlát Csatornakódo- lási tétel

3 Széchenyi István Egyetem 3 Ha a csatorna bemenetére adott egyetlen szimbólum hatására a kimeneten is csak egy szimbólum jelenik meg, azaz a csatorna nem nyel el és nem teremt új szimbólumokat, akkor a szinkron csatorná ról beszélünk. Ha a csatorna kimenetén megjelenő jel csak az éppen aktuális bemeneti szimbólumtól függ, azaz a szimbólumok csatornán való áthaladása egymástól független esemény, akkor a csatorna memóriamentes. A csatornák jellemzése Információelmélet – Csatornakódolás Csatorna- kódolás Csatornák jellemzése Csatorna- kapacitás Vektorterek Hamming- távolság Hibák típusai Kódtávolság Singleton-korlát Hamming- korlát Csatornakódo- lási tétel

4 Széchenyi István Egyetem 4 Egy diszkrét, szinkron csatornát úgy adha- tunk meg, hogy megadjuk a bemeneti szimbólumkész- letét: C={c 1, c 2, …, c r }-t megadjuk a kimeneti szimbólumkészle- tét: X={x 1, x 2, …, x s }-et és megadjuk a p( x j |c i ) feltételes valószínűségeket. Információelmélet – Csatornakódolás Csatorna- kódolás Csatornák jellemzése Csatorna- kapacitás Vektorterek Hamming- távolság Hibák típusai Kódtávolság Singleton-korlát Hamming- korlát Csatornakódo- lási tétel A csatornák jellemzése

5 Széchenyi István Egyetem 5 Legyen n db egymást követő bemeneti szimbólum c (1), c (2), …, c (n) ; az általuk generált kimeneti karaktersorozat x (1), x (2), …, x (n). Ezen az esemény valószínűsége p(x (1),x (2),…,x (n) |c (1),c (2),…,c (n) ) Memóriamentes csatornákra Információelmélet – Csatornakódolás Csatorna- kódolás Csatornák jellemzése Csatorna- kapacitás Vektorterek Hamming- távolság Hibák típusai Kódtávolság Singleton-korlát Hamming- korlát Csatornakódo- lási tétel A csatornák jellemzése

6 Széchenyi István Egyetem 6 Csatornamátrix, csatornagráf A p( x j |c i ) feltételes valószínűségeket mátrixba szokták rendezni: A csatornát gráfjával is meg lehet adni: Információelmélet – Csatornakódolás Csatorna- kódolás Csatornák jellemzése Csatorna- kapacitás Vektorterek Hamming- távolság Hibák típusai Kódtávolság Singleton-korlát Hamming- korlát Csatornakódo- lási tétel

7 Széchenyi István Egyetem 7 Csatornatípusok, mátrixaik és gráfjaik Determinisztikus csatorna : egy bemenet mindig ugyanazt a kimeneti szimbólumot hozza létre. A csatornamátrix minden sorában egyetlen nem nulla elem van. Információelmélet – Csatornakódolás Csatorna- kódolás Csatornák jellemzése Csatorna- kapacitás Vektorterek Hamming- távolság Hibák típusai Kódtávolság Singleton-korlát Hamming- korlát Csatornakódo- lási tétel

8 Széchenyi István Egyetem 8 Csatornatípusok, mátrixaik és gráfjaik Zajmentes csatorna : egy kimeneti szimbólum csak egyféle bemeneti jelből áll elő. A csatornamátrix minden oszlopában egyetlen 1-es van, a többi elem 0. Információelmélet – Csatornakódolás Csatorna- kódolás Csatornák jellemzése Csatorna- kapacitás Vektorterek Hamming- távolság Hibák típusai Kódtávolság Singleton-korlát Hamming- korlát Csatornakódo- lási tétel

9 Széchenyi István Egyetem 9 Bináris szimmetrikus csatorna (BSC): Bináris Z-csatorna : Bináris törléses csatorna Információelmélet – Csatornakódolás Csatorna- kódolás Csatornák jellemzése Csatorna- kapacitás Vektorterek Hamming- távolság Hibák típusai Kódtávolság Singleton-korlát Hamming- korlát Csatornakódo- lási tétel Csatornatípusok, mátrixaik és gráfjaik

10 Széchenyi István Egyetem 10 Entrópia, veszteség A csatorna használatát (a forrást) jellemző mennyiségek: A csatornát jellemző mennyiségek: Miután a kimeneten észleltük az X j szimbólumot, maradt bizonytalanság arra nézve, hogy melyik C i válthatta ki: ennek a bizonytalanságnak a várható értéke a csatorna vesztesége : Információelmélet – Csatornakódolás Csatorna- kódolás Csatornák jellemzése Csatorna- kapacitás Vektorterek Hamming- távolság Hibák típusai Kódtávolság Singleton-korlát Hamming- korlát Csatornakódo- lási tétel

11 Széchenyi István Egyetem 11 A zajmentes csatorna vesztesége 0. kifejezés minden tagjában vagy p(C i  X j )=0, vagy p(C i |X j )=1. A teljesen zajos csatorna vesztesége H(C ). Az adott és a vett jelek függetlenek, így p(C i  X j )= p(C i )  p(X j ) Információelmélet – Csatornakódolás Csatorna- kódolás Csatornák jellemzése Csatorna- kapacitás Vektorterek Hamming- távolság Hibák típusai Kódtávolság Singleton-korlát Hamming- korlát Csatornakódo- lási tétel Entrópia, veszteség

12 Széchenyi István Egyetem 12 Átvitt információ A csatornán átvitt információ a rá adott információ és a csatorna veszteségének a különbsége: egy X j vételekor az őt előidéző C i -ről nyert átlagos információ. Információelmélet – Csatornakódolás Csatorna- kódolás Csatornák jellemzése Csatorna- kapacitás Vektorterek Hamming- távolság Hibák típusai Kódtávolság Singleton-korlát Hamming- korlát Csatornakódo- lási tétel

13 Széchenyi István Egyetem 13 Információelmélet – Csatornakódolás Csatorna- kódolás Csatornák jellemzése Csatorna- kapacitás Vektorterek Hamming- távolság Hibák típusai Kódtávolság Singleton-korlát Hamming- korlát Csatornakódo- lási tétel Átvitt információ

14 Széchenyi István Egyetem 14 Csatornakapacitás A csatornakapacitás a rajta maximálisan átvihető információ: Információelmélet – Csatornakódolás Csatorna- kódolás Csatornák jellemzése Csatorna- kapacitás Vektorterek Hamming- távolság Hibák típusai Kódtávolság Singleton-korlát Hamming- korlát Csatornakódo- lási tétel

15 Széchenyi István Egyetem 15 A csatornákon áthaladó vektorok A csatorna a rá bocsátott c =c (1), c (2), …, c (n) szimbólumsorozatból – döntés után – egy v =v (1), v (2), …, v (n) szimbólumsorozatot csinál. A c  C n, illetve v  C n n elemű sorozatokat tartalmazó C n halmaz vektortér, c és v vektorok. Információelmélet – Csatornakódolás Csatorna- kódolás Csatornák jellemzése Csatorna- kapacitás Vektorterek Hamming- távolság Hibák típusai Kódtávolság Singleton-korlát Hamming- korlát Csatornakódo- lási tétel

16 Széchenyi István Egyetem 16 Egy V halmaz vektortér, vagy lineáris tér, ha értelmezve van a v  V elemein egy számmal való szorzás ( λ∙ v  V ), a v, w  V elemei között egy összeadás ( v + w  V ) amelyekre: 1∙ v = v λ∙(κ∙ v )= (λκ)∙ v (asszociatív) (λ+κ)∙ v = λ∙ v +κ∙ v (disztributív) v + w = w + v (kommutatív) v +( w + u) =( w + v )+ u (asszociatív)  0, melyre v + 0 = 0 + v = v  v -hez   v, melyre v + (  v ) = (  v ) + v = 0 Matematikai kitérő – Vektorterekről Információelmélet – Csatornakódolás Csatorna- kódolás Csatornák jellemzése Csatorna- kapacitás Vektorterek Hamming- távolság Hibák típusai Kódtávolság Singleton-korlát Hamming- korlát Csatornakódo- lási tétel

17 Széchenyi István Egyetem 17 Vektortér például az euklideszi tér (akármennyi dimenziós), vagy a legfeljebb n -edfokú polinomok tere. Matematikai kitérő – Vektorterekről Információelmélet – Csatornakódolás Csatorna- kódolás Csatornák jellemzése Csatorna- kapacitás Vektorterek Hamming- távolság Hibák típusai Kódtávolság Singleton-korlát Hamming- korlát Csatornakódo- lási tétel

18 Széchenyi István Egyetem 18 Példa: Legyen a V halmaz a legfeljebb harmadfokú polinomok halmaza. Egy eleme a következőképpen néz ki: p(x) = p 0 + p 1 x + p 2 x 2 + p 3 x 3. Két polinom egyenlő, ha az együtthatóik megegyeznek. Egy p(x) és egy q(x) polinom összegén azt az r (x) polinomot értjük, amelynek az együtthatói az r i = p i + q i képlet szerint állnak elő i =0, 1, 2, 3-ra, a p(x) polinom λ számmal való szorzatán pedig azt az s (x) polinomot értjük, amelynek az együtthatói az s i =λ∙p i formulával kaphatók meg i =0, 1, 2, 3-ra. Matematikai kitérő – Vektorterekről Információelmélet – Csatornakódolás Csatorna- kódolás Csatornák jellemzése Csatorna- kapacitás Vektorterek Hamming- távolság Hibák típusai Kódtávolság Singleton-korlát Hamming- korlát Csatornakódo- lási tétel

19 Széchenyi István Egyetem 19 Ha p(x) és q(x) legfeljebb harmadfokú, akkor r(x) és s(x) is legfeljebb harmadfokú lesz, azaz sem az összeadás, sem pedig a számmal való szorzás nem visz ki V-ből. (Ha p(x) és q(x) pontosan harmadfokú, akkor a fenti műveletekkel csak csökkenhet az eredmény fokszáma, hogyha a p 3 =  q 3, akkor például r 3 =0 lesz, azaz r(x) másodfokú.) A többi axióma is teljesül: Információelmélet – Csatornakódolás Csatorna- kódolás Csatornák jellemzése Csatorna- kapacitás Vektorterek Hamming- távolság Hibák típusai Kódtávolság Singleton-korlát Hamming- korlát Csatornakódo- lási tétel Matematikai kitérő – Vektorterekről

20 Széchenyi István Egyetem 20 1∙ p(x) = p(x), hiszen 1∙ p i =p i minden i-re. λ∙(κ∙ p(x))= (λκ)∙ p(x), mivel λ∙(κ∙ p i )= (λκ)∙ p i teljesül minden i-re. λ ∙ p(x) +κ ∙ p(x) = (λ+κ) ∙ p(x) teljesül: (λ∙ p(x) +κ∙ p(x)) i-edfokú együtthatója λ∙ p i +κ∙ p i = (λ+κ)∙ p i, ami pont ((λ+κ) ∙ p(x)) i-edik együthatója. p(x)+q(x)= q(x)+p(x), mivel p i +q i = q i +p i (p(x)+q(x))+r (x) = p(x)+(q(x)+r (x)), teljesül: (p i +q i) +r i = (p i + q i )+r i Információelmélet – Csatornakódolás Csatorna- kódolás Csatornák jellemzése Csatorna- kapacitás Vektorterek Hamming- távolság Hibák típusai Kódtávolság Singleton-korlát Hamming- korlát Csatornakódo- lási tétel Matematikai kitérő – Vektorterekről

21 Széchenyi István Egyetem 21  0, melyre p(x)+ 0 = 0 +p(x)=p(x), a nullelem a csupa nulla együtthatójú polinom.  p(x)-hez   p(x), melyre p(x) + (  p(x)) = (  p(x))+p(x)= 0, a p(x) polinom ellentettje az a polinom, melynek minden együttható- ja a p(x) megfelelő együtthatójának ellentettje. Információelmélet – Csatornakódolás Csatorna- kódolás Csatornák jellemzése Csatorna- kapacitás Vektorterek Hamming- távolság Hibák típusai Kódtávolság Singleton-korlát Hamming- korlát Csatornakódo- lási tétel Matematikai kitérő – Vektorterekről

22 Széchenyi István Egyetem 22 Példa: Legyenek a V halmaz v φ elemei az origó körüli φ szöggel való forgatások. A két elem, v φ és v χ közötti összeadást értel- mezzük φ+χ szöggel való elforgatásként, a v φ elem λ számmal való szorzását pedig λ∙φ szöggel való elforgatásként. Vektortér-e a halmaz a két művelettel? A két művelet nem vezet ki V-ből. 1∙ v φ = v φ, hiszen az 1∙φ = φ szöggel való elforgatást jelent λ∙(κ∙ v φ )= (λκ)∙ v φ teljesül: λ∙(κ∙φ) szöggel való forgatás = (λκ)φ szöggel való forgatás. (λ+κ)∙ v φ = λ∙ v φ +κ∙ v φ : (λ+κ)∙ φ szöggel való elforgatás = λ∙ φ szöggel való forgatás +κ∙ φ szöggel való forgatás Információelmélet – Csatornakódolás Csatorna- kódolás Csatornák jellemzése Csatorna- kapacitás Vektorterek Hamming- távolság Hibák típusai Kódtávolság Singleton-korlát Hamming- korlát Csatornakódo- lási tétel Matematikai kitérő – Vektorterekről

23 Széchenyi István Egyetem 23 v φ + v χ = v χ + v φ : mindegy, hogy előbb forgatok-e φ-vel, aztán χ-vel, vagy előbb χ- vel, aztán φ-vel. v φ +( v χ + v ψ ) = ( v φ + v χ )+ v ψ : nem számít, hogy egy φ szögű forgatáshoz adok egy χ+ψ szögűt, vagy egy φ+χ szögűhöz egy ψ szögűt, így is úgy is φ+χ+ψ szögűt kapok  0, melyre v φ + 0 = 0 + v φ = v φ : a nullelem a 0°- kal való elforgatás  v φ -hez   v φ, melyre v φ + (  v φ ) = (  v φ ) + v φ = 0 : a v φ ellentett eleme a v  φ, a  φ szöggel való elforgatás. Információelmélet – Csatornakódolás Csatorna- kódolás Csatornák jellemzése Csatorna- kapacitás Vektorterek Hamming- távolság Hibák típusai Kódtávolság Singleton-korlát Hamming- korlát Csatornakódo- lási tétel Matematikai kitérő – Vektorterekről

24 Széchenyi István Egyetem 24 A v 1, v 2, …, v n  V vektorok lineáris kombinációja, egy újabb vektor. A v 1, v 2, …, v n  V vektorok lineárisan összefüggők, ha vannak olyan λ 1, λ 2, …, λ n számok, melyek közül néhány (legalább 2) nem nulla és Információelmélet – Csatornakódolás Csatorna- kódolás Csatornák jellemzése Csatorna- kapacitás Vektorterek Hamming- távolság Hibák típusai Kódtávolság Singleton-korlát Hamming- korlát Csatornakódo- lási tétel Matematikai kitérő – Vektorterekről

25 Széchenyi István Egyetem 25 A v 1, v 2, …, v n  V vektorok lineárisan függetlenek, ha csak akkor teljesül, ha minden λ i =0. Egy vektortér n- dimenziós, ha van n darab független vektora, de nincsen n+1 darab független vektora. Információelmélet – Csatornakódolás Csatorna- kódolás Csatornák jellemzése Csatorna- kapacitás Vektorterek Hamming- távolság Hibák típusai Kódtávolság Singleton-korlát Hamming- korlát Csatornakódo- lási tétel Matematikai kitérő – Vektorterekről

26 Széchenyi István Egyetem 26 Egy n-dimenziós vektortérnek n darab független e 1, e 2, …, e n  V vektora alkotja a tér bázisrendszer ét, a e i vektorok a bázisvektor ok. Minden v  V vektor kifejthető e 1, e 2, …, e n  V vektorok lineáris kombinációjaként: A v  V vektorok lehetséges reprezentációi: sorvektoros: oszlopvektoros: Információelmélet – Csatornakódolás Csatorna- kódolás Csatornák jellemzése Csatorna- kapacitás Vektorterek Hamming- távolság Hibák típusai Kódtávolság Singleton-korlát Hamming- korlát Csatornakódo- lási tétel Matematikai kitérő – Vektorterekről

27 Széchenyi István Egyetem 27 Példa: Legyen e x az xyz Descartes-koordiná- tarendszer x tengelye irányába mutató egységvektor, e y, az y irányba mutató egységvektor, e z pedig a z irányú egység- vektor. E három vektor bázisrendszert alkot a háromdimenziós (euklideszi) térben. A hagyományos koordinátageometriai jelölés, a v = (v x, v y, v z ), a sorvektoros jelölés egy speciális esete. Legyen e 1 =(1, 1, 0), e 2 =(1, 0, 1) és e 3 =(0, 1, 1). Ez is bázisrendszert alkot: Információelmélet – Csatornakódolás Csatorna- kódolás Csatornák jellemzése Csatorna- kapacitás Vektorterek Hamming- távolság Hibák típusai Kódtávolság Singleton-korlát Hamming- korlát Csatornakódo- lási tétel Matematikai kitérő – Vektorterekről

28 Széchenyi István Egyetem 28 Példa: Legyen e x az xyz Descartes-koordiná- tarendszer x tengelye irányába mutató egységvektor, e y, az y irányba mutató egységvektor, e z pedig a z irányú egység- vektor. E három vektor bázisrendszert alkot a háromdimenziós (euklideszi) térben. A hagyományos koordinátageometriai jelölés, a v = (v x, v y, v z ), a sorvektoros jelölés egy speciális esete. Legyen e 1 =(1, 1, 1), e 2 =(1, 0, 1) és e 3 =(0, 1, 0). Ez nem alkot bázisrendszert: Információelmélet – Csatornakódolás Csatorna- kódolás Csatornák jellemzése Csatorna- kapacitás Vektorterek Hamming- távolság Hibák típusai Kódtávolság Singleton-korlát Hamming- korlát Csatornakódo- lási tétel Matematikai kitérő – Vektorterekről

29 Széchenyi István Egyetem 29 Példa: Legyen a V hamazunk a legfeljebb hatodfokú polinomok halmaza. Bázisrendszer lehet az {x 0, x 1, x 2, x 3, x 4, x 5, x 6 } függvényekből álló rendszer, hiszen minden legfeljebb hatodfokú polinom kifejthető ezek lineáris kombinációjaként: A polinomokra is alkalmazható a bázisrendszer rögzítése után a sor- és oszlopvektoros jelölés: Információelmélet – Csatornakódolás Csatorna- kódolás Csatornák jellemzése Csatorna- kapacitás Vektorterek Hamming- távolság Hibák típusai Kódtávolság Singleton-korlát Hamming- korlát Csatornakódo- lási tétel Matematikai kitérő – Vektorterekről

30 Széchenyi István Egyetem 30 Egy V vektortér U részhalmazát a tér alteré nek nevezik, ha az összeadás és a számmal való szorzás nem vezet ki belőle (azaz, ha U maga is tér, csak szűkebb, mint V ). A háromdimenziós euklideszi tér altere például a kétdimenziós euklideszi tér. A legfeljebb hatodfokú polinomok terében altér a legfeljebb ötödfokú polinomok tere, a legfeljebb harmadfokú polinomok tere,… Információelmélet – Csatornakódolás Csatorna- kódolás Csatornák jellemzése Csatorna- kapacitás Vektorterek Hamming- távolság Hibák típusai Kódtávolság Singleton-korlát Hamming- korlát Csatornakódo- lási tétel Matematikai kitérő – Vektorterekről

31 Széchenyi István Egyetem 31 Speciális vektorterekben (metrikus terek) lehet két elem közötti távolságot definiálni. A v, u  V vektrok d( v, u ) távolságára igaz: d( v, u ) ≥0, d( v, v )=0 d( v, u )= d( u, v ) d( v, u )≤ d( v, w ) + d( w, u ) háromszög- egyenlőtlenség Információelmélet – Csatornakódolás Csatorna- kódolás Csatornák jellemzése Csatorna- kapacitás Vektorterek Hamming- távolság Hibák típusai Kódtávolság Singleton-korlát Hamming- korlát Csatornakódo- lási tétel Matematikai kitérő – Vektorterekről

32 Széchenyi István Egyetem 32 Hamming-távolság A csatorna a rá bocsátott c =c (1), c (2), …, c (n) szimbólumsorozatból – döntés után – egy v =v (1), v (2), …, v (n) szimbólumsorozatot csinál. A c, v  C n. Vezessük be c és v eltérésének mérésére egy távolságot: c és v Hamming-távolsága azon i pozíciók száma, ahol c (i) ≠ v (i). Jele: d( c, v ). A Hamming-távolság teljesíti a távolságfogalom követelményeit: d( c, v )≥0, d( c, c )=0 d( c, v )=d( v, c ) d( c, v )≤ d( c, w ) + d( w, v ) Információelmélet – Csatornakódolás Csatorna- kódolás Csatornák jellemzése Csatorna- kapacitás Vektorterek Hamming- távolság Hibák típusai Kódtávolság Singleton-korlát Hamming- korlát Csatornakódo- lási tétel

33 Széchenyi István Egyetem 33 Egyszerű és törléses hibázás A csatorna a rá bocsátott c =c (1), c (2), …, c (n) szimbólumsorozatból – döntés után – egy v =v (1), v (2), …, v (n) szimbólumsorozatot csinál. Egyszerű hibázás nak nevezzük azt, ha nem tudjuk, hogy melyik pozíciókban rontott a csatorna, csak azt, hogy hány darab hiba van. Törléses hiba esetén ismerjük a hibázások helyét is, csak azt nem, hogy mennyire romlott el azokon a helyeken a jel. Információelmélet – Csatornakódolás Csatorna- kódolás Csatornák jellemzése Csatorna- kapacitás Vektorterek Hamming- távolság Hibák típusai Kódtávolság Singleton-korlát Hamming- korlát Csatornakódo- lási tétel

34 Széchenyi István Egyetem 34 Kódok halmaza, csatornakódolás A C n tér azon K részhalmazát, amelyet a kódszavak alkotnak, kód nak nevezik. Csatornakódolás: Dekódolás: –döntés: –a kódolás inverze: Információelmélet – Csatornakódolás Csatorna- kódolás Csatornák jellemzése Csatorna- kapacitás Vektorterek Hamming- távolság Hibák típusai Kódtávolság Singleton-korlát Hamming- korlát Csatornakódo- lási tétel

35 Széchenyi István Egyetem 35 Kódtávolság, javítható hibák száma Egy K kód kódtávolság a: a kódszavak közötti Hamming-távolság minimuma. Hibajelzés lehetséges, ha a c kódszavunkból keletkezett v nem egy másik érvényes kódszó: v  K. Ha a hibák száma, akkor < d min hibát lehet biztosan jelezni. Hibajelzés után általában megismétlik az üzenetet. Információelmélet – Csatornakódolás Csatorna- kódolás Csatornák jellemzése Csatorna- kapacitás Vektorterek Hamming- távolság Hibák típusai Kódtávolság Singleton-korlát Hamming- korlát Csatornakódo- lási tétel

36 Széchenyi István Egyetem Kódtávolság, javítható hibák száma Törléses hiba javítása: ezesetben tudjuk a hibák helyét. A v hibás vett vektort abba a kódszóba javítjuk, amelyik a hibás pozícióktól eltekintve azonos v -vel. Ha több ilyen van, nem tudunk javítani. Ha a két legközelebbi kódszóból d min komponenst a megfelelő helyről törlünk, akkor azonos maradékot kapunk, ennél kevesebb elem törlésével sehogy sem kaphatunk azonos maradékot. Így ≤ d min −1 törléses hiba javítható. Információelmélet – Csatornakódolás Csatorna- kódolás Csatornák jellemzése Csatorna- kapacitás Vektorterek Hamming- távolság Hibák típusai Kódtávolság Singleton-korlát Hamming- korlát Csatornakódo- lási tétel =1 hiba javítható: a két vektor különbözik =4 nem javítható

37 Széchenyi István Egyetem 37 A javítható egyszerű hibák száma Egyszerű hiba javítása: nem tudjuk a hibák helyét. A v hibás vett vektort abba a c kódszóba javítjuk, amelyikre d( v, c ) a legkisebb. Ha több ilyen van, nem tudunk javítani. A javíthatóság feltétele: A háromszög-egyenlőtlenség szerint: Információelmélet – Csatornakódolás Csatorna- kódolás Csatornák jellemzése Csatorna- kapacitás Vektorterek Hamming- távolság Hibák típusai Kódtávolság Singleton-korlát Hamming- korlát Csatornakódo- lási tétel Kódtávolság, javítható hibák száma

38 Széchenyi István Egyetem 38 Singleton-korlát Legyen a kódábécé elemszáma r, a kódsza- vak hossza n, száma M, a kódtávolság pedig d min. A Singleton-korlát szerint Bizonyítás: Az r elemből felépülő k hosszúságú sorozatok száma r k. Legyen r k−1 < M ≤ r k. Több kódszó van (M db) mint ahány k−1 hosszú sorozat, így  c i, c j  K, melyeknek az első k−1 eleme azonos. Ezekre d( c i, c j )< n−(k−1), így d min < n−(k−1). Információelmélet – Csatornakódolás Csatorna- kódolás Csatornák jellemzése Csatorna- kapacitás Vektorterek Hamming- távolság Hibák típusai Kódtávolság Singleton- korlát Hamming- korlát Csatornakódo- lási tétel

39 Széchenyi István Egyetem 39 Singleton-korlát Legyen a kódábécé elemszáma r, a kódsza- vak hossza n, száma M, a kódtávolság pedig d min. A Singleton-korlát szerint Bizonyítás: Az r elemből felépülő k hosszúságú sorozatok száma r k. Legyen r k−1 < M ≤ r k. Információelmélet – Csatornakódolás Csatorna- kódolás Csatornák jellemzése Csatorna- kapacitás Vektorterek Hamming- távolság Hibák típusai Kódtávolság Singleton- korlát Hamming- korlát Csatornakódo- lási tétel

40 Széchenyi István Egyetem 40 Singleton-korlát M egyértelműen megadja k-t, az r k−1 < M ≤ r k -nak egyetlen egész megoldása van: log r M egészrésze. A Singleton-korlát szerint Behelyettesítve k-t: majd r -alapú logaritmust véve: és átrendezve a kódtávolságnak a kódszavak számától függő maximumát kapjuk: Információelmélet – Csatornakódolás Csatorna- kódolás Csatornák jellemzése Csatorna- kapacitás Vektorterek Hamming- távolság Hibák típusai Kódtávolság Singleton- korlát Hamming- korlát Csatornakódo- lási tétel

41 Széchenyi István Egyetem 41 Singleton-korlát Az olyan kódok, amelyeknél mindkét helyen egyenlőség áll, maximális távolságú kód ok (MDS – Maximum Distance Seprable) A k szám és n, a kódszavak hossza szokott a kód két paramétere lenni. Információelmélet – Csatornakódolás Csatorna- kódolás Csatornák jellemzése Csatorna- kapacitás Vektorterek Hamming- távolság Hibák típusai Kódtávolság Singleton- korlát Hamming- korlát Csatornakódo- lási tétel

42 Széchenyi István Egyetem 42 Hamming-korlát Legyen a kódábécé elemszáma r, a kód paraméterei (n, k ), a javítandó hibák száma. A Hamming-korlát (gömbpakolási korlát) szerint Bizonyítás: A C n térben a c i  K kódszavak pontok; egymástól minél távolabb vannak, d min annál nagyobb, így annál több hibát tudunk javítani. Információelmélet – Csatornakódolás Csatorna- kódolás Csatornák jellemzése Csatorna- kapacitás Vektorterek Hamming- távolság Hibák típusai Kódtávolság Singleton-korlát Hamming- korlát Csatornakódo- lási tétel

43 Széchenyi István Egyetem 43 Hamming-korlát Akkor javítunk egy v  C n hibás vektort a c i kódszóba, ha az a c i körüli sugarú gömbön belül van. Ezek a gömbök nem fedhetnek át, azaz az összes gömbben levő elemek száma nem lehet nagyobb, mint r n, C n elemszáma. A c kódszótól pontosan i helyen, a j 1,…, j i - edik helyeken eltérő vektorok száma: Információelmélet – Csatornakódolás Csatorna- kódolás Csatornák jellemzése Csatorna- kapacitás Vektorterek Hamming- távolság Hibák típusai Kódtávolság Singleton-korlát Hamming- korlát Csatornakódo- lási tétel

44 Széchenyi István Egyetem 44 A j 1,…, j i pozíciók megválasztása - féleképpen lehet. A c kódszótól legfeljebb helyen eltérő vektorok száma: Összesen r k darab kódszó van, mindegyik körül egy-egy sugarú gömb. Egyetlen olyan vektor sincs, amely több gömbben is benne lenne, így a gömbök elemszámainak összege nem lehet több, mint a teljes C n halmaz elemszáma, r n : Információelmélet – Csatornakódolás Csatorna- kódolás Csatornák jellemzése Csatorna- kapacitás Vektorterek Hamming- távolság Hibák típusai Kódtávolság Singleton-korlát Hamming- korlát Csatornakódo- lási tétel Hamming-korlát

45 Széchenyi István Egyetem 45 Perfekt kódok Azokat a K kódokat, amelyekre a Hamming- korlátban egyenlőség teljesül, azaz perfekt kód oknak nevezzük. Az ilyen kódoknál a teljes C n teret kitöltik a gömbök, szorosan illeszkednek egymás- hoz, a kódszavak egyenletesen helyez- kednek el a téren belül (Hamming-távol- ságot véve), adott n szóhosszra maximális számú kódszót tartalmaznak. Információelmélet – Csatornakódolás Csatorna- kódolás Csatornák jellemzése Csatorna- kapacitás Vektorterek Hamming- távolság Hibák típusai Kódtávolság Singleton-korlát Hamming- korlát Csatornakódo- lási tétel

46 Széchenyi István Egyetem 46 Kódsebesség (jelsebesség) Az információátvitel gyorsasága jellemez- hető a kódsebesség gel, avagy jelsebesség gel. (egy szimbólumra jutó átlagos információ) Információelmélet – Csatornakódolás Csatorna- kódolás Csatornák jellemzése Csatorna- kapacitás Vektorterek Hamming- távolság Hibák típusai Kódtávolság Singleton-korlát Hamming- korlát Csatornakódo- lási tétel

47 Széchenyi István Egyetem 47 Kódsebesség (jelsebesség) Legyen a kódszavak előfordulási valószínűsége azonos, 1/M. Az entrópia ekkor a kódsebesség pedig Ha a kódnak csak a legáltalánosabb paraméterei (szóhossz, betűszám) ismertek, ez jó felső becslés a jelsebességre. Információelmélet – Csatornakódolás Csatorna- kódolás Csatornák jellemzése Csatorna- kapacitás Vektorterek Hamming- távolság Hibák típusai Kódtávolság Singleton-korlát Hamming- korlát Csatornakódo- lási tétel

48 Széchenyi István Egyetem 48 Shannon csatornakódolási tétele Ha egy C kapacitású diszkrét, memória- mentes csatornán R 0 számnál kisebb legyen. Az n növelésével csökken  minimuma, azaz csökken a hibás dekódolás valószínűsége. R > C, akkor nem lehet olyan n kódszóhosszt találni, hogy a hibás dekódolás valószínűsége tetszőlegesen kicsi legyen. Információelmélet – Csatornakódolás Csatorna- kódolás Csatornák jellemzése Csatorna- kapacitás Vektorterek Hamming- távolság Hibák típusai Kódtávolság Singleton-korlát Hamming- korlát Csatornakódo- lási tétel

49 Széchenyi István Egyetem 49 Shannon csatornakódolási tétele R>C esetén n növelésével a hibás dekódolás valószínűsége, is nő. A tétel nem ad meg módszert jó csatornakódok létrehozására, csak azt mondja ki, hogy jelsebességük kisebb, mint a csatornakapacitás. Információelmélet – Csatornakódolás Csatorna- kódolás Csatornák jellemzése Csatorna- kapacitás Vektorterek Hamming- távolság Hibák típusai Kódtávolság Singleton-korlát Hamming- korlát Csatornakódo- lási tétel


Letölteni ppt "2005. Információelmélet Nagy Szilvia 6. Csatornakódolás."

Hasonló előadás


Google Hirdetések