INFORMATIKA Számítógéppel segített minőségbiztosítás (CAQ)

Információelméleti bevezetés Adatforrás, diszkrét szimbólumok, információtartalom, csatornakapacitás.

Információelméleti bevezetés Az üzenet információ tartalma Minél kisebb egy szimbólum előfordulá- sának valószínűsége, annál nagyobb az információtartalma: I(m k ) > I(m j ), ha p k < p j.

Információelméleti bevezetés Két független üzenet együttes információtartalma az egyes üzenetek információtartalmának összege: I(m k ÉS m j ) = I(m k m j ) = I(m k ) + I(m j ), I(m k ) = log (1/ p k ), és I(m j ) = log (1/ p j ),

Információelméleti bevezetés Az entrópia független üzenetek esetén: H = ∑p i ∙ ld (1/ p i ) [bit/szimbólum] és i=1,..,m, nem független üzenetek esetén: H = ∑P i ∙ H i = ∑P i ∙ [ ∑p i,j ∙ ld(1/ p i,j )] [bit/szimbólum] és i=1,…,m, j=1,…,n.

Információelméleti bevezetés Veszteségmentes forrás kódolása A forrás átlagos adási üteme: R = r s ∙ H [bit/sec], ahol r s a forrás szimbólum adási üteme. A forrás szimbólum bináris jelsorozat. Határozza meg a P(a)=0,5; P(b)=0,2; P(c)=0,3 előfordulási valószínűségű a, b és c szimbólumok Shannon-Fanno féle és Huffman-féle bináris kódját.

Információelméleti bevezetés Shannon-Fanno féle digitális forrás kódolással: P(a)=0,5; P(b)=0,2; P(c)=0,3 0,5 0,3 0,2 0 0,5 0,8 0,5∙2 1,0 10,0 0,3∙2 0,6 1,2 2 bit 0,2∙2 0,4 0,8 1,6 3 bit 0,8∙2 1,6 11,2 110,

Huffman-féle bináris kódolással: (a nagyobb előfordulási valószínűségű szimbólumhoz 0-t, a kisebbhez 1-et szoktak hozzárendelni) a 0 b01 c11 Információelméleti bevezetés 1 0, ,5 a 0,3 b 0,2 c

Határozza meg az átlagos szóhosszúságot, az átlagos szórást és az entrópiát Shannon-Fanno féle kódolásnál. L = ∑p i ∙l i = p a ∙l a + p b ∙l b + p c ∙l c L = 0,5 ∙1 + 0,3 ∙2 + 0,2 ∙3 = 1,7 [bit] σ = √∑p i ∙(l i – L) 2 σ = √p a ∙(l a – L) 2 + p b ∙(l b – L) 2 + p c ∙(l c – L) 2 σ = √0,5 ∙(1 – 1,7) 2 + 0,3 ∙(2 – 1,7) 2 + 0,2 ∙(3 – 1,7) 2 σ  0,77 H = ∑p i ∙ ld (1/ p i ) = - p a ∙ld(1/p a ) - pb∙ld(1/p) - p a ∙ld(1/p a ) H = 0,5∙ld(1/0,5) + 0,3∙ld(1/0,3) + 0,2∙ld(1/0,2) H  1,485 [bit/szimbólum] Információelméleti bevezetés

Gyakorló feladat Határozza meg a P(a)=0,4; P(b)=0,2; P(c)=0,2; P(d)=0,1 és P(e)=0,1 előfordulási valószínűségű a, b, c, d és e szimbólumok Shannon-Fanno féle és Huffman-féle bináris kódját.