Nagy Szilvia 6. Csatornakódolás

Az előadások a következő témára: "Nagy Szilvia 6. Csatornakódolás"— Előadás másolata:

1 Nagy Szilvia 6. Csatornakódolás
Információelmélet Nagy Szilvia 6. Csatornakódolás 2005.

2 A csatornák jellemzése
Információelmélet – Csatornakódolás A csatornák jellemzése A csatornán való áthaladás során a jelek többnyire módosulnak: zaj adódik hozzájuk. A csatorna zajosságának jellemzésére alkalmas a jel-zaj arány (signal to noise ratio): SNR=20 log10( S/N ), ha S a jel, N pedig a zaj átlagos teljesítménye. Egysége decibel. A következőkben olyan csatornákkal foglalkozunk, amelyek diszkrét jeleket visznek át. Csatorna-kódolás Csatornák jellemzése Csatorna-kapacitás Vektorterek Hamming-távolság Hibák típusai Kódtávolság Singleton-korlát Hamming-korlát Csatornakódo-lási tétel

3 A csatornák jellemzése
Információelmélet – Csatornakódolás A csatornák jellemzése Ha a csatorna bemenetére adott egyetlen szimbólum hatására a kimeneten is csak egy szimbólum jelenik meg, azaz a csatorna nem nyel el és nem teremt új szimbólumokat, akkor a szinkron csatornáról beszélünk. Ha a csatorna kimenetén megjelenő jel csak az éppen aktuális bemeneti szimbólumtól függ, azaz a szimbólumok csatornán való áthaladása egymástól független esemény, akkor a csatorna memóriamentes. Csatorna-kódolás Csatornák jellemzése Csatorna-kapacitás Vektorterek Hamming-távolság Hibák típusai Kódtávolság Singleton-korlát Hamming-korlát Csatornakódo-lási tétel

4 A csatornák jellemzése
Információelmélet – Csatornakódolás A csatornák jellemzése Egy diszkrét, szinkron csatornát úgy adha-tunk meg, hogy megadjuk a bemeneti szimbólumkész-letét: C={c1, c2, …, c r }-t megadjuk a kimeneti szimbólumkészle-tét: X={x1, x2, …, x s }-et és megadjuk a p( x j|c i ) feltételes valószínűségeket. Csatorna-kódolás Csatornák jellemzése Csatorna-kapacitás Vektorterek Hamming-távolság Hibák típusai Kódtávolság Singleton-korlát Hamming-korlát Csatornakódo-lási tétel

5 A csatornák jellemzése
Információelmélet – Csatornakódolás A csatornák jellemzése Legyen n db egymást követő bemeneti szimbólum c (1), c (2), …, c (n) ; az általuk generált kimeneti karaktersorozat x (1), x (2), …, x (n) . Ezen az esemény valószínűsége p(x (1),x (2),…,x (n)|c (1),c (2),…,c (n) ) Memóriamentes csatornákra Csatorna-kódolás Csatornák jellemzése Csatorna-kapacitás Vektorterek Hamming-távolság Hibák típusai Kódtávolság Singleton-korlát Hamming-korlát Csatornakódo-lási tétel

6 Csatornamátrix, csatornagráf
Információelmélet – Csatornakódolás Csatornamátrix, csatornagráf A p( x j|c i ) feltételes valószínűségeket mátrixba szokták rendezni: A csatornát gráfjával is meg lehet adni: Csatorna-kódolás Csatornák jellemzése Csatorna-kapacitás Vektorterek Hamming-távolság Hibák típusai Kódtávolság Singleton-korlát Hamming-korlát Csatornakódo-lási tétel

7 Csatornatípusok, mátrixaik és gráfjaik
Információelmélet – Csatornakódolás Csatornatípusok, mátrixaik és gráfjaik Csatorna-kódolás Csatornák jellemzése Csatorna-kapacitás Vektorterek Hamming-távolság Hibák típusai Kódtávolság Singleton-korlát Hamming-korlát Csatornakódo-lási tétel Determinisztikus csatorna: egy bemenet mindig ugyanazt a kimeneti szimbólumot hozza létre. A csatornamátrix minden sorában egyetlen nem nulla elem van.

8 Csatornatípusok, mátrixaik és gráfjaik
Információelmélet – Csatornakódolás Csatornatípusok, mátrixaik és gráfjaik Zajmentes csatorna: egy kimeneti szimbólum csak egyféle bemeneti jelből áll elő. A csatornamátrix minden oszlopában egyetlen 1-es van, a többi elem 0. Csatorna-kódolás Csatornák jellemzése Csatorna-kapacitás Vektorterek Hamming-távolság Hibák típusai Kódtávolság Singleton-korlát Hamming-korlát Csatornakódo-lási tétel

9 Csatornatípusok, mátrixaik és gráfjaik
Információelmélet – Csatornakódolás Csatornatípusok, mátrixaik és gráfjaik Bináris szimmetrikus csatorna (BSC): Bináris Z-csatorna: Bináris törléses csatorna Csatorna-kódolás Csatornák jellemzése Csatorna-kapacitás Vektorterek Hamming-távolság Hibák típusai Kódtávolság Singleton-korlát Hamming-korlát Csatornakódo-lási tétel

10 Információelmélet – Csatornakódolás
Entrópia, veszteség A csatorna használatát (a forrást) jellemző mennyiségek: A csatornát jellemző mennyiségek: Miután a kimeneten észleltük az X j szimbólumot, maradt bizonytalanság arra nézve, hogy melyik C i válthatta ki: ennek a bizonytalanságnak a várható értéke a csatorna vesztesége: Csatorna-kódolás Csatornák jellemzése Csatorna-kapacitás Vektorterek Hamming-távolság Hibák típusai Kódtávolság Singleton-korlát Hamming-korlát Csatornakódo-lási tétel

11 Információelmélet – Csatornakódolás
Entrópia, veszteség A zajmentes csatorna vesztesége kifejezés minden tagjában vagy p(Ci Xj )=0, vagy p(Ci |Xj )=1. A teljesen zajos csatorna vesztesége H(C ). Az adott és a vett jelek függetlenek, így p(Ci Xj )= p(Ci )  p(Xj ) Csatorna-kódolás Csatornák jellemzése Csatorna-kapacitás Vektorterek Hamming-távolság Hibák típusai Kódtávolság Singleton-korlát Hamming-korlát Csatornakódo-lási tétel

12 Információelmélet – Csatornakódolás
Átvitt információ A csatornán átvitt információ a rá adott információ és a csatorna veszteségének a különbsége: egy X j vételekor az őt előidéző C i -ről nyert átlagos információ. Csatorna-kódolás Csatornák jellemzése Csatorna-kapacitás Vektorterek Hamming-távolság Hibák típusai Kódtávolság Singleton-korlát Hamming-korlát Csatornakódo-lási tétel

13 Átvitt információ Információelmélet – Csatornakódolás Csatorna-kódolás
Csatornák jellemzése Csatorna-kapacitás Vektorterek Hamming-távolság Hibák típusai Kódtávolság Singleton-korlát Hamming-korlát Csatornakódo-lási tétel

14 Információelmélet – Csatornakódolás
Csatornakapacitás A csatornakapacitás a rajta maximálisan átvihető információ: Csatorna-kódolás Csatornák jellemzése Csatorna-kapacitás Vektorterek Hamming-távolság Hibák típusai Kódtávolság Singleton-korlát Hamming-korlát Csatornakódo-lási tétel

15 A csatornákon áthaladó vektorok
Információelmélet – Csatornakódolás A csatornákon áthaladó vektorok Csatorna-kódolás Csatornák jellemzése Csatorna-kapacitás Vektorterek Hamming-távolság Hibák típusai Kódtávolság Singleton-korlát Hamming-korlát Csatornakódo-lási tétel A csatorna a rá bocsátott c=c (1), c (2), …, c (n) szimbólumsorozatból – döntés után – egy v=v (1), v (2), …, v (n) szimbólumsorozatot csinál. A cCn , illetve vCn n elemű sorozatokat tartalmazó Cn halmaz vektortér, c és v vektorok.

16 Matematikai kitérő – Vektorterekről
Információelmélet – Csatornakódolás Matematikai kitérő – Vektorterekről Egy V halmaz vektortér, vagy lineáris tér, ha értelmezve van a vV elemein egy számmal való szorzás ( λ∙v V ), a v, wV elemei között egy összeadás ( v+w V ) amelyekre: 1∙v=v λ∙(κ∙v)= (λκ)∙v (asszociatív) (λ+κ)∙v= λ∙v +κ∙v (disztributív) v+w=w+v (kommutatív) v+(w+u)=(w+v)+u (asszociatív)  0, melyre v+0=0+v=v v-hez  v, melyre v + (v) = (v) +v=0 Csatorna-kódolás Csatornák jellemzése Csatorna-kapacitás Vektorterek Hamming-távolság Hibák típusai Kódtávolság Singleton-korlát Hamming-korlát Csatornakódo-lási tétel

17 Matematikai kitérő – Vektorterekről
Információelmélet – Csatornakódolás Matematikai kitérő – Vektorterekről Csatorna-kódolás Csatornák jellemzése Csatorna-kapacitás Vektorterek Hamming-távolság Hibák típusai Kódtávolság Singleton-korlát Hamming-korlát Csatornakódo-lási tétel Vektortér például az euklideszi tér (akármennyi dimenziós), vagy a legfeljebb n-edfokú polinomok tere.

18 Matematikai kitérő – Vektorterekről
Információelmélet – Csatornakódolás Matematikai kitérő – Vektorterekről Példa: Legyen a V halmaz a legfeljebb harmadfokú polinomok halmaza. Egy eleme a következőképpen néz ki: p(x) = p0 + p1x + p2x2 + p3x3. Két polinom egyenlő, ha az együtthatóik megegyeznek. Egy p(x) és egy q(x) polinom összegén azt az r (x) polinomot értjük, amelynek az együtthatói az ri = pi + qi képlet szerint állnak elő i =0, 1, 2, 3-ra, a p(x) polinom λ számmal való szorzatán pedig azt az s (x) polinomot értjük, amelynek az együtthatói az si =λ∙pi formulával kaphatók meg i =0, 1, 2, 3-ra. Csatorna-kódolás Csatornák jellemzése Csatorna-kapacitás Vektorterek Hamming-távolság Hibák típusai Kódtávolság Singleton-korlát Hamming-korlát Csatornakódo-lási tétel

19 Matematikai kitérő – Vektorterekről
Információelmélet – Csatornakódolás Matematikai kitérő – Vektorterekről Ha p(x) és q(x) legfeljebb harmadfokú, akkor r(x) és s(x) is legfeljebb harmadfokú lesz, azaz sem az összeadás, sem pedig a számmal való szorzás nem visz ki V-ből. (Ha p(x) és q(x) pontosan harmadfokú, akkor a fenti műveletekkel csak csökkenhet az eredmény fokszáma, hogyha a p3=q3, akkor például r3=0 lesz, azaz r(x) másodfokú.) A többi axióma is teljesül: Csatorna-kódolás Csatornák jellemzése Csatorna-kapacitás Vektorterek Hamming-távolság Hibák típusai Kódtávolság Singleton-korlát Hamming-korlát Csatornakódo-lási tétel

20 Matematikai kitérő – Vektorterekről
Információelmélet – Csatornakódolás Matematikai kitérő – Vektorterekről 1∙ p(x) = p(x) , hiszen 1∙ pi=pi minden i-re. λ∙(κ∙ p(x))= (λκ)∙ p(x), mivel λ∙(κ∙ pi)= (λκ)∙ pi teljesül minden i-re. λ ∙ p(x) +κ ∙ p(x) = (λ+κ) ∙ p(x) teljesül: (λ∙ p(x) +κ∙ p(x)) i-edfokú együtthatója λ∙ pi +κ∙ pi = (λ+κ)∙ pi , ami pont ((λ+κ) ∙ p(x)) i-edik együthatója. p(x)+q(x)= q(x)+p(x), mivel pi +qi = qi +pi (p(x)+q(x))+r (x) = p(x)+(q(x)+r (x)), teljesül: (pi +qi) +ri = (pi + qi )+ri Csatorna-kódolás Csatornák jellemzése Csatorna-kapacitás Vektorterek Hamming-távolság Hibák típusai Kódtávolság Singleton-korlát Hamming-korlát Csatornakódo-lási tétel

21 Matematikai kitérő – Vektorterekről
Információelmélet – Csatornakódolás Matematikai kitérő – Vektorterekről Csatorna-kódolás Csatornák jellemzése Csatorna-kapacitás Vektorterek Hamming-távolság Hibák típusai Kódtávolság Singleton-korlát Hamming-korlát Csatornakódo-lási tétel  0, melyre p(x)+0=0+p(x)=p(x), a nullelem a csupa nulla együtthatójú polinom.  p(x)-hez  p(x), melyre p(x) + (p(x)) = (p(x))+p(x)=0, a p(x) polinom ellentettje az a polinom, melynek minden együttható-ja a p(x) megfelelő együtthatójának ellentettje.

22 Matematikai kitérő – Vektorterekről
Információelmélet – Csatornakódolás Matematikai kitérő – Vektorterekről Példa: Legyenek a V halmaz vφ elemei az origó körüli φ szöggel való forgatások. A két elem, vφ és vχ közötti összeadást értel-mezzük φ+χ szöggel való elforgatásként, a vφ elem λ számmal való szorzását pedig λ∙φ szöggel való elforgatásként. Vektortér-e a halmaz a két művelettel? A két művelet nem vezet ki V-ből. 1∙ vφ = vφ , hiszen az 1∙φ = φ szöggel való elforgatást jelent λ∙(κ∙vφ)= (λκ)∙vφ teljesül: λ∙(κ∙φ) szöggel való forgatás = (λκ)φ szöggel való forgatás. (λ+κ)∙vφ = λ∙vφ+κ∙vφ : (λ+κ)∙ φ szöggel való elforgatás = λ∙ φ szöggel való forgatás +κ∙ φ szöggel való forgatás Csatorna-kódolás Csatornák jellemzése Csatorna-kapacitás Vektorterek Hamming-távolság Hibák típusai Kódtávolság Singleton-korlát Hamming-korlát Csatornakódo-lási tétel

23 Matematikai kitérő – Vektorterekről
Információelmélet – Csatornakódolás Matematikai kitérő – Vektorterekről vφ+vχ =vχ+ vφ: mindegy, hogy előbb forgatok-e φ-vel, aztán χ-vel, vagy előbb χ-vel, aztán φ-vel. vφ+(vχ+ vψ) = (vφ +vχ)+ vψ: nem számít, hogy egy φ szögű forgatáshoz adok egy χ+ψ szögűt, vagy egy φ+χ szögűhöz egy ψ szögűt, így is úgy is φ+χ+ψ szögűt kapok  0, melyre vφ+0=0+ vφ= vφ: a nullelem a 0°-kal való elforgatás  vφ -hez   vφ, melyre vφ+ ( vφ) = ( vφ) + vφ=0: a vφ ellentett eleme a vφ , a φ szöggel való elforgatás. Csatorna-kódolás Csatornák jellemzése Csatorna-kapacitás Vektorterek Hamming-távolság Hibák típusai Kódtávolság Singleton-korlát Hamming-korlát Csatornakódo-lási tétel

24 Matematikai kitérő – Vektorterekről
Információelmélet – Csatornakódolás Matematikai kitérő – Vektorterekről A v1, v2, …, vn  V vektorok lineáris kombinációja, egy újabb vektor. A v1, v2, …, vn  V vektorok lineárisan összefüggők, ha vannak olyan λ1, λ2, …, λn számok, melyek közül néhány (legalább 2) nem nulla és Csatorna-kódolás Csatornák jellemzése Csatorna-kapacitás Vektorterek Hamming-távolság Hibák típusai Kódtávolság Singleton-korlát Hamming-korlát Csatornakódo-lási tétel

25 Matematikai kitérő – Vektorterekről
Információelmélet – Csatornakódolás Matematikai kitérő – Vektorterekről A v1, v2, …, vn  V vektorok lineárisan függetlenek, ha csak akkor teljesül, ha minden λi=0. Egy vektortér n-dimenziós, ha van n darab független vektora, de nincsen n+1 darab független vektora. Csatorna-kódolás Csatornák jellemzése Csatorna-kapacitás Vektorterek Hamming-távolság Hibák típusai Kódtávolság Singleton-korlát Hamming-korlát Csatornakódo-lási tétel

26 Matematikai kitérő – Vektorterekről
Információelmélet – Csatornakódolás Matematikai kitérő – Vektorterekről Egy n-dimenziós vektortérnek n darab független e1, e2, …, en  V vektora alkotja a tér bázisrendszerét, a ei vektorok a bázisvektorok. Minden v  V vektor kifejthető e1, e2, …, en  V vektorok lineáris kombinációjaként: A v  V vektorok lehetséges reprezentációi: sorvektoros: oszlopvektoros: Csatorna-kódolás Csatornák jellemzése Csatorna-kapacitás Vektorterek Hamming-távolság Hibák típusai Kódtávolság Singleton-korlát Hamming-korlát Csatornakódo-lási tétel

27 Matematikai kitérő – Vektorterekről
Információelmélet – Csatornakódolás Matematikai kitérő – Vektorterekről Példa: Legyen ex az xyz Descartes-koordiná-tarendszer x tengelye irányába mutató egységvektor, ey, az y irányba mutató egységvektor, ez pedig a z irányú egység-vektor. E három vektor bázisrendszert alkot a háromdimenziós (euklideszi) térben. A hagyományos koordinátageometriai jelölés, a v = (vx , vy , vz ), a sorvektoros jelölés egy speciális esete. Legyen e1=(1, 1, 0), e2=(1, 0, 1) és e3=(0, 1, 1). Ez is bázisrendszert alkot: Csatorna-kódolás Csatornák jellemzése Csatorna-kapacitás Vektorterek Hamming-távolság Hibák típusai Kódtávolság Singleton-korlát Hamming-korlát Csatornakódo-lási tétel

28 Matematikai kitérő – Vektorterekről
Információelmélet – Csatornakódolás Matematikai kitérő – Vektorterekről Példa: Legyen ex az xyz Descartes-koordiná-tarendszer x tengelye irányába mutató egységvektor, ey, az y irányba mutató egységvektor, ez pedig a z irányú egység-vektor. E három vektor bázisrendszert alkot a háromdimenziós (euklideszi) térben. A hagyományos koordinátageometriai jelölés, a v = (vx , vy , vz ), a sorvektoros jelölés egy speciális esete. Legyen e1=(1, 1, 1), e2=(1, 0, 1) és e3=(0, 1, 0). Ez nem alkot bázisrendszert: Csatorna-kódolás Csatornák jellemzése Csatorna-kapacitás Vektorterek Hamming-távolság Hibák típusai Kódtávolság Singleton-korlát Hamming-korlát Csatornakódo-lási tétel

29 Matematikai kitérő – Vektorterekről
Információelmélet – Csatornakódolás Matematikai kitérő – Vektorterekről Példa: Legyen a V hamazunk a legfeljebb hatodfokú polinomok halmaza. Bázisrendszer lehet az {x0, x1, x2, x3, x4, x5, x6} függvényekből álló rendszer, hiszen minden legfeljebb hatodfokú polinom kifejthető ezek lineáris kombinációjaként: A polinomokra is alkalmazható a bázisrendszer rögzítése után a sor- és oszlopvektoros jelölés: Csatorna-kódolás Csatornák jellemzése Csatorna-kapacitás Vektorterek Hamming-távolság Hibák típusai Kódtávolság Singleton-korlát Hamming-korlát Csatornakódo-lási tétel

30 Matematikai kitérő – Vektorterekről
Információelmélet – Csatornakódolás Matematikai kitérő – Vektorterekről Egy V vektortér U részhalmazát a tér alterének nevezik, ha az összeadás és a számmal való szorzás nem vezet ki belőle (azaz, ha U maga is tér, csak szűkebb, mint V ). A háromdimenziós euklideszi tér altere például a kétdimenziós euklideszi tér. A legfeljebb hatodfokú polinomok terében altér a legfeljebb ötödfokú polinomok tere, a legfeljebb harmadfokú polinomok tere,… Csatorna-kódolás Csatornák jellemzése Csatorna-kapacitás Vektorterek Hamming-távolság Hibák típusai Kódtávolság Singleton-korlát Hamming-korlát Csatornakódo-lási tétel

31 Matematikai kitérő – Vektorterekről
Információelmélet – Csatornakódolás Matematikai kitérő – Vektorterekről Speciális vektorterekben (metrikus terek) lehet két elem közötti távolságot definiálni. A v, u V vektrok d(v,u) távolságára igaz: d(v,u) ≥0, d(v,v)=0 d(v,u)= d(u,v) d(v,u)≤ d(v,w) + d(w,u) háromszög-egyenlőtlenség Csatorna-kódolás Csatornák jellemzése Csatorna-kapacitás Vektorterek Hamming-távolság Hibák típusai Kódtávolság Singleton-korlát Hamming-korlát Csatornakódo-lási tétel

32 Információelmélet – Csatornakódolás
Hamming-távolság A csatorna a rá bocsátott c=c(1), c(2), …, c(n) szimbólumsorozatból – döntés után – egy v=v(1), v(2), …, v(n) szimbólumsorozatot csinál. A c, vCn. Vezessük be c és v eltérésének mérésére egy távolságot: c és v Hamming-távolsága azon i pozíciók száma, ahol c (i) ≠ v (i). Jele: d(c,v). A Hamming-távolság teljesíti a távolságfogalom követelményeit: d(c,v)≥0, d(c,c)=0 d(c,v)=d(v,c) d(c,v)≤ d(c,w) + d(w,v) Csatorna-kódolás Csatornák jellemzése Csatorna-kapacitás Vektorterek Hamming-távolság Hibák típusai Kódtávolság Singleton-korlát Hamming-korlát Csatornakódo-lási tétel

33 Egyszerű és törléses hibázás
Információelmélet – Csatornakódolás Egyszerű és törléses hibázás A csatorna a rá bocsátott c=c(1), c(2), …, c(n) szimbólumsorozatból – döntés után – egy v=v(1), v(2), …, v(n) szimbólumsorozatot csinál. Egyszerű hibázásnak nevezzük azt, ha nem tudjuk, hogy melyik pozíciókban rontott a csatorna, csak azt, hogy hány darab hiba van. Törléses hiba esetén ismerjük a hibázások helyét is, csak azt nem, hogy mennyire romlott el azokon a helyeken a jel. Csatorna-kódolás Csatornák jellemzése Csatorna-kapacitás Vektorterek Hamming-távolság Hibák típusai Kódtávolság Singleton-korlát Hamming-korlát Csatornakódo-lási tétel

34 Kódok halmaza, csatornakódolás
Információelmélet – Csatornakódolás Kódok halmaza, csatornakódolás Csatorna-kódolás Csatornák jellemzése Csatorna-kapacitás Vektorterek Hamming-távolság Hibák típusai Kódtávolság Singleton-korlát Hamming-korlát Csatornakódo-lási tétel A Cn tér azon K részhalmazát, amelyet a kódszavak alkotnak, kódnak nevezik. Csatornakódolás: Dekódolás: döntés: a kódolás inverze:

35 Kódtávolság, javítható hibák száma
Információelmélet – Csatornakódolás Kódtávolság, javítható hibák száma Egy K kód kódtávolsága: a kódszavak közötti Hamming-távolság minimuma. Hibajelzés lehetséges, ha a c kódszavunkból keletkezett v nem egy másik érvényes kódszó: vK. Ha n a hibák száma, akkor n < dmin hibát lehet biztosan jelezni. Hibajelzés után általában megismétlik az üzenetet. Csatorna-kódolás Csatornák jellemzése Csatorna-kapacitás Vektorterek Hamming-távolság Hibák típusai Kódtávolság Singleton-korlát Hamming-korlát Csatornakódo-lási tétel

36 Kódtávolság, javítható hibák száma
Információelmélet – Csatornakódolás Kódtávolság, javítható hibák száma Csatorna-kódolás Csatornák jellemzése Csatorna-kapacitás Vektorterek Hamming-távolság Hibák típusai Kódtávolság Singleton-korlát Hamming-korlát Csatornakódo-lási tétel Törléses hiba javítása: ezesetben tudjuk a hibák helyét. A v hibás vett vektort abba a kódszóba javítjuk, amelyik a hibás pozícióktól eltekintve azonos v-vel. Ha több ilyen van, nem tudunk javítani. Ha a két legközelebbi kódszóból dmin komponenst a megfelelő helyről törlünk, akkor azonos maradékot kapunk, ennél kevesebb elem törlésével sehogy sem kaphatunk azonos maradékot. Így n ≤ dmin−1 törléses hiba javítható. n=1 hiba javítható: a két vektor különbözik n=4 nem javítható

37 Kódtávolság, javítható hibák száma
Információelmélet – Csatornakódolás Kódtávolság, javítható hibák száma Egyszerű hiba javítása: nem tudjuk a hibák helyét. A v hibás vett vektort abba a c kódszóba javítjuk, amelyikre d(v,c) a legkisebb. Ha több ilyen van, nem tudunk javítani. A javíthatóság feltétele: A háromszög-egyenlőtlenség szerint: Csatorna-kódolás Csatornák jellemzése Csatorna-kapacitás Vektorterek Hamming-távolság Hibák típusai Kódtávolság Singleton-korlát Hamming-korlát Csatornakódo-lási tétel A javítható egyszerű hibák száma

38 Információelmélet – Csatornakódolás
Singleton-korlát Legyen a kódábécé elemszáma r , a kódsza-vak hossza n , száma M , a kódtávolság pedig dmin. A Singleton-korlát szerint Bizonyítás: Az r elemből felépülő k hosszúságú sorozatok száma r k . Legyen r k−1 < M ≤ r k. Több kódszó van (M db) mint ahány k−1 hosszú sorozat, így  ci , cj  K, melyeknek az első k−1 eleme azonos. Ezekre d(ci , cj )< n−(k−1), így dmin< n−(k−1). Csatorna-kódolás Csatornák jellemzése Csatorna-kapacitás Vektorterek Hamming-távolság Hibák típusai Kódtávolság Singleton-korlát Hamming-korlát Csatornakódo-lási tétel

39 Információelmélet – Csatornakódolás
Singleton-korlát Legyen a kódábécé elemszáma r , a kódsza-vak hossza n , száma M , a kódtávolság pedig dmin. A Singleton-korlát szerint Bizonyítás: Az r elemből felépülő k hosszúságú sorozatok száma r k . Legyen r k−1 < M ≤ r k. Csatorna-kódolás Csatornák jellemzése Csatorna-kapacitás Vektorterek Hamming-távolság Hibák típusai Kódtávolság Singleton-korlát Hamming-korlát Csatornakódo-lási tétel

40 Információelmélet – Csatornakódolás
Singleton-korlát M egyértelműen megadja k-t, az r k−1 < M ≤ r k -nak egyetlen egész megoldása van: log r M egészrésze. A Singleton-korlát szerint Behelyettesítve k-t: majd r -alapú logaritmust véve: és átrendezve a kódtávolságnak a kódszavak számától függő maximumát kapjuk: Csatorna-kódolás Csatornák jellemzése Csatorna-kapacitás Vektorterek Hamming-távolság Hibák típusai Kódtávolság Singleton-korlát Hamming-korlát Csatornakódo-lási tétel

41 Információelmélet – Csatornakódolás
Singleton-korlát Csatorna-kódolás Csatornák jellemzése Csatorna-kapacitás Vektorterek Hamming-távolság Hibák típusai Kódtávolság Singleton-korlát Hamming-korlát Csatornakódo-lási tétel Az olyan kódok, amelyeknél mindkét helyen egyenlőség áll, maximális távolságú kódok (MDS – Maximum Distance Seprable) A k szám és n, a kódszavak hossza szokott a kód két paramétere lenni.

42 Információelmélet – Csatornakódolás
Hamming-korlát Legyen a kódábécé elemszáma r , a kód paraméterei (n, k ) , a javítandó hibák száma n. A Hamming-korlát (gömbpakolási korlát) szerint Bizonyítás: A Cn térben a ciK kódszavak pontok; egymástól minél távolabb vannak, dmin annál nagyobb, így annál több hibát tudunk javítani. Csatorna-kódolás Csatornák jellemzése Csatorna-kapacitás Vektorterek Hamming-távolság Hibák típusai Kódtávolság Singleton-korlát Hamming-korlát Csatornakódo-lási tétel

43 Információelmélet – Csatornakódolás
Hamming-korlát Akkor javítunk egy v  Cn hibás vektort a ci kódszóba, ha az a ci körüli n sugarú gömbön belül van. Ezek a gömbök nem fedhetnek át, azaz az összes gömbben levő elemek száma nem lehet nagyobb, mint r n, Cn elemszáma. A c kódszótól pontosan i helyen, a j 1 ,…, j i-edik helyeken eltérő vektorok száma: Csatorna-kódolás Csatornák jellemzése Csatorna-kapacitás Vektorterek Hamming-távolság Hibák típusai Kódtávolság Singleton-korlát Hamming-korlát Csatornakódo-lási tétel

44 Hamming-korlát A j 1 ,…, j i pozíciók megválasztása -féleképpen lehet.
Információelmélet – Csatornakódolás Hamming-korlát A j 1 ,…, j i pozíciók megválasztása féleképpen lehet. A c kódszótól legfeljebb n helyen eltérő vektorok száma: Összesen r k darab kódszó van, mindegyik körül egy-egy sugarú gömb. Egyetlen olyan vektor sincs, amely több gömbben is benne lenne, így a gömbök elemszámainak összege nem lehet több, mint a teljes Cn halmaz elemszáma, r n: Csatorna-kódolás Csatornák jellemzése Csatorna-kapacitás Vektorterek Hamming-távolság Hibák típusai Kódtávolság Singleton-korlát Hamming-korlát Csatornakódo-lási tétel

45 Információelmélet – Csatornakódolás
Perfekt kódok Azokat a K kódokat, amelyekre a Hamming-korlátban egyenlőség teljesül, azaz perfekt kódoknak nevezzük. Az ilyen kódoknál a teljes Cn teret kitöltik a gömbök, szorosan illeszkednek egymás-hoz, a kódszavak egyenletesen helyez-kednek el a téren belül (Hamming-távol- ságot véve), adott n szóhosszra maximális számú kódszót tartalmaznak. Csatorna-kódolás Csatornák jellemzése Csatorna-kapacitás Vektorterek Hamming-távolság Hibák típusai Kódtávolság Singleton-korlát Hamming-korlát Csatornakódo-lási tétel

46 Kódsebesség (jelsebesség)
Információelmélet – Csatornakódolás Kódsebesség (jelsebesség) Csatorna-kódolás Csatornák jellemzése Csatorna-kapacitás Vektorterek Hamming-távolság Hibák típusai Kódtávolság Singleton-korlát Hamming-korlát Csatornakódo-lási tétel Az információátvitel gyorsasága jellemez-hető a kódsebességgel, avagy jelsebességgel. (egy szimbólumra jutó átlagos információ)

47 Kódsebesség (jelsebesség)
Információelmélet – Csatornakódolás Kódsebesség (jelsebesség) Legyen a kódszavak előfordulási valószínűsége azonos, 1/M. Az entrópia ekkor a kódsebesség pedig Ha a kódnak csak a legáltalánosabb paraméterei (szóhossz, betűszám) ismertek, ez jó felső becslés a jelsebességre. Csatorna-kódolás Csatornák jellemzése Csatorna-kapacitás Vektorterek Hamming-távolság Hibák típusai Kódtávolság Singleton-korlát Hamming-korlát Csatornakódo-lási tétel

48 Shannon csatornakódolási tétele
Információelmélet – Csatornakódolás Shannon csatornakódolási tétele Ha egy C kapacitású diszkrét, memória-mentes csatornán R < C , akkor lehet olyan n kódszóhosszt találni, hogy a hibás dekódolás valószínűsége tetszőleges e > 0 számnál kisebb legyen. Az n növelésével csökken e minimuma, azaz csökken a hibás dekódolás valószínűsége. R > C , akkor nem lehet olyan n kódszóhosszt találni, hogy a hibás dekódolás valószínűsége tetszőlegesen kicsi legyen. Csatorna-kódolás Csatornák jellemzése Csatorna-kapacitás Vektorterek Hamming-távolság Hibák típusai Kódtávolság Singleton-korlát Hamming-korlát Csatornakódo-lási tétel

49 Shannon csatornakódolási tétele
Információelmélet – Csatornakódolás Shannon csatornakódolási tétele R>C esetén n növelésével a hibás dekódolás valószínűsége, is nő. A tétel nem ad meg módszert jó csatornakódok létrehozására, csak azt mondja ki, hogy jelsebességük kisebb, mint a csatornakapacitás. Csatorna-kódolás Csatornák jellemzése Csatorna-kapacitás Vektorterek Hamming-távolság Hibák típusai Kódtávolság Singleton-korlát Hamming-korlát Csatornakódo-lási tétel