Információelmélet: az információ mérése

Az előadások a következő témára: "Információelmélet: az információ mérése"— Előadás másolata:

1 Információelmélet: az információ mérése
Címlap Információelmélet: az információ mérése Keszei Ernő ELTE Fizikai Kémiai Tanszék

2 Miről lesz szó? ismétlés (elmélyítés): információelméleti bevezetés
mi az információ? milyen tulajdonságai fontosak a kommunikáció szempontjából? források információtartalma konkrét példák az információ mérésére a feltételes információ összefoglalás

3 Az információelmélet jelentése
Warren Weaver, 1949 (see course webpage) “The word communication will be used in a very broad sense to include all of the procedures by which one mind may affect another. This, of course, involves not only written and oral speech, but also music, the pictorial arts, the theatre, the ballet, and in fact all human behavior. In some connections it may be desirable to use a still broader definition of communication, namely, one which would include the procedures by means of which one mechanism (say automatic equipment to compute probable future positions) affects another mechanism (say a car’s breaking system).” “Information is, we must steadily remember, a measure of one's freedom of choice in selecting a message. The greater this freedom of choice, and hence the greater the information, the greater is the uncertainty that the message actually selected is some particular one. Thus, greater freedom of choice, greater uncertainty, greater information go hand in hand.”

4 Az információ jelentése
Latin szótár: informatio (f ) képzet, fogalom informo 1. alakít, formál képez; transl. kiképez, tanít 2. transl. képet alkot magának, elképzel Magyar szótár: információ ‘felvilágosítás’; ‘közlés, értesülés’; ‘elektronikus jel, adat’ A kommunikáció elmélete: A szint (technika): Hogyan lehet jeleket (hiba nélkül) továbbítani; B szint (szemantika): Mennyire pontosan vihető át a bemenőjelek jelentése kimenőjelekbe; C szint (hatékonyság): Mennyire pontosan idézi elő az üzenet a kívánt viselkedést.

5 Az információelmélet jelentése
A tudományág alapítói ugyan „communication theory” néven említették, de ma „information theory” az elfogadott neve. Ennek ellenére „csak” az A szinttel foglalkozik. Ez az a szint, ahol megbízható kijelentéseket tehetünk !! Azoknak azonban jelentős következményei vannak a B és C szintre. Az A szintű kommunikációs csatorna felépítése (szignál*) jel üzenet zajos jel üzenet forrás kódoló dekódoló cél zaj zajforrás * Itt a „jel” szignál, és nem szimbólum értelmű

6 Az információtovábbítás
zajos jel üzenet jel üzenet forrás kódoló dekódoló cél zaj zajforrás A forrásban létrejön az üzenet Az üzenetet kódolni kell jel formájában A jelet továbbítani kell, eközben zajos jel lesz belőle A zajos jelet dekódolni kell (visszafejteni az üzenetet) A dekódolt üzenetet célba kell juttatni

7 Az információ mérése Technikai feladat: a forrás információtartalma torzítatlanul jusson el a célba Ehhez mérni kell az információt, és nyomon követni a változását! Fontos mennyiségek: a forrás információtartalma a kódolás / dekódolás sebessége a kódolás / dekódolás zajtűrő képessége (redundanciája) Ezek meghatározásához / tervezéséhez ismerni kell az információ mennyiségét.

8 A forrás információtartalma
Fontos mennyiségek: abc (jelkészlet – szimbólum értelemben) jelsorozat (üzenet) jelek gyakorisága a jelsorozatokban jelek egymásutániságának gyakorisága szavak hossza szavak gyakorisága a jelsorozatokban szavak egymásutániságának gyakorisága Az információ mértékének mindezt tudni kell figyelembe venni.

9 A forrás információtartalma
Fontos mennyiségek: abc (jelkészlet – szimbólum értelemben) jelsorozat (üzenet) jelek gyakorisága a jelsorozatokban jelek egymásutániságának gyakorisága szavak hossza szavak gyakorisága a jelsorozatokban szavak egymásutániságának gyakorisága Az információ mértékének mindezt tudni kell figyelembe venni.

10 Kísérletezzünk ismét! Véges szókincs: út ház szekér autó százlábú
kutya légy galamb polip muréna

11 Mekkora az információtartalom?
Függ a csatorna (átvitel) tulajdonságaitól!

12 Mekkora az információtartalom?
Barkochba (20 questions) ? ? ? ? ? ? ? ? Kimerítő és egymást kizáró kérdések ?

13 Mekkora az információtartalma?
Lapos? Jármű? Önjáró? Féreg? Élő? Repül? Vízben él? Rovar? Kimerítő és egymást kizáró kérdések Van lába?

14 Mekkora a válasz információtartalma?
Lehetőségek száma, ami a válasz után marad: 1/2 1/2 2/4 2/4 1/2 1/2 4/10 1/2 1/2 2/4 6/10 4/6 2/4 1/2 1/2 2/6 1/2 1/2

15 Mekkora a válasz információtartalma?
A válasz után fennmaradó lehetőségek valószínűsége? 1/2 1/2 1/2 1/2 1/2 1/2 2/5 1/2 1/2 1/2 3/5 2/3 1/2 1/2 1/2 1/3 1/2 1/2

16 Mekkora a válasz információtartalma?
1/2 1/2 1/2 1/2 1/2 1/2 2/5 1/2 1/2 1/2 3/5 2/3 1/2 1/2 1/2 1/3 1/2 1/2 Kisebb valószínűség = több információ

17 Mekkora a válasz információtartalma?
Kérdezhetünk máshogy is: Lapos? Jármű? Önjáró? Féreg? Élő? Rovar? Milyen közegben él? Van lába?

18 Mekkora a válasz információtartalma?
A válaszok után fennmaradó lehetőségek valószínűsége: 1/2 1/2 1/2 1/2 1/2 1/2 2/5 1/2 1/2 1/3 3/5 1/2 1/3 1/2 1/3 1/2 1/2 Kisebb valószínűség = több információ

19 Mekkora a válasz információtartalma?
Kérdezhetünk harmadik módon is: Lapos? Jármű? Önjáró? 100 Élő? 4 6 Hány lába van? 2 8

20 Mekkora a válasz információtartalma?
A válaszok után fennmaradó lehetőségek valószínűsége: 1/2 1/2 1/2 1/2 1/2 1/2 2/5 1/6 1/6 3/5 1/6 1/6 1/6 1/6 Kisebb valószínűség = több információ

21 Mi méri jól az információt?
Valószínűségek? Független eseményekre összeszorzódnak: 3/5 2/3 1/2 3 · 2 · 1 · 1 6 1 3/5 · 2/3 · 1/2 · 1/2 = = = 5 · 3 · 2 · 2 60 10 3/5 1/3 1/2 3 · 1 · 1 3 1 3/5 · 1/3 · 1/2 = = = 5 · 3 · 2 30 10 3/5 1/6 3/5 · 1/6 = 3 · 1 5 · 6 = 3 30 1 10

22 Mi méri jól az információt?
Ámde: kisebb valószínűség = több információ ! Nézzük a valószínűségek reciprok értékét: 5/3 · 3/2 · 2/1 · 2/1 = 5/3 · 3/1 · 2/1 = 60 6 = 10 30 3 5/3 · 6/1 = Így valóban teljesül: több információ = nagyobb érték Még egy tulajdonságot nem vizsgáltunk: az információ összegzését.

23 Mi méri jól az információt?
Valószínűségek a válaszokban kapott információ után: 3/5 2/3 1/2 3/5 1/3 1/2 3/5 1/6

24 Mi méri jól az információt?
Rendeljük hozzá a valószínűségek reciprok értékét a válaszokban kapott információhoz: 5/3 3/2 2 Összeg: 5/3 + 5,5 5/3 3 2 Összeg: 5/3 + 5 5/3 6 Összeg: 5/3 + 6 Így sajnos, nem jó az „információ” összeadása.

25 Eddigi tapasztalatok Mi a logaritmus? …..
A valószínűségek reciprok értékei összeszorozva jól működnek, ellenben nem adódnak össze, ahogy kell. Melyik az a monoton függvény, amelyik a szorzásból összeadást csinál? Ez a monoton függvény a logaritmus. Próbálkozzunk ezzel ! Mi a logaritmus? …..

26 A logaritmusfüggvény definíciója
Matematikai megfogalmazás: Ha 𝑧= 𝑎 𝑥 , akkor log 𝑎 𝑧= 𝑥 Szöveges megfogalmazás: Egy z szám a alapú logaritmusa az az x szám, amelyik hatványra az a alapot kell emelni, hogy megkapjuk a z számot: 𝑧= 𝑎 log 𝑎 𝑧 Az előnyös tulajdonság, ami miatt használjuk: 𝑎 𝑥 𝑎 𝑦 =𝑎 𝑥+𝑦 → log 𝑎 (𝑎 𝑥 𝑎 𝑦 )= log 𝑎 𝑎 𝑥 + log 𝑎 𝑎 𝑦 → log 𝑎 (𝑧𝑤)= log 𝑎 𝑧+ log 𝑎 𝑤

27 A logaritmusfüggvény tulajdonságai
Ha 𝑧= 𝑎 𝑥 , akkor log 𝑎 𝑧= 𝑥 𝑎 𝑥 𝑎 𝑦 =𝑎 𝑥+𝑦 → log 𝑎 (𝑎 𝑥 𝑎 𝑦 )= log 𝑎 𝑎 𝑥 + log 𝑎 𝑎 𝑦 → log 𝑎 (𝑧𝑤)= log 𝑎 𝑧+ log 𝑎 𝑤 Hasonlóképpen: 𝑎 𝑥 /𝑎 𝑦 =𝑎 𝑥−𝑦 → log 𝑎 (𝑎 𝑥 / 𝑎 𝑦 )= log 𝑎 𝑎 𝑥 − log 𝑎 𝑎 𝑦 → log 𝑎 𝑧 𝑤 = log 𝑎 𝑧− log 𝑎 𝑤

28 Mi méri jól az információt?
Valószínűségek reciprok értékei: 5/3 3/2 2 5/3 3 2 5/3 6

29 Mi méri jól az információt?
Valószínűségek reciprok értékeinek logaritmusa: 5/3 3/2 2 log5-log3 log3-log2 log2 log2 Összeg: log5+log2 5/3 3 2 log5-log3 log3 log2 Összeg: log5+log2 5/3 6 log5-log3 log6 Összeg: log5-log3+log6 = log5-log3+log3+log2 = log5+log2

30 A válasz információtartalma
Jó mérték a válaszok információtartalmára: a valószínűségek reciprok értékének logaritmusa Legyen a válasz után maradó lehetőségek valószínűsége pi log 1 𝑝 𝑖 =− log 𝑝 𝑖 A logaritmus tulajdonságai alapján: Definíció: Az i-edik válasz információtartalma: Ii = ̶ log pi Látható, hogy alaposan kell ismerni a logaritmusfüggvényt !

31 (Kitérő:) a logaritmusfüggvény definíciója
Matematikai megfogalmazás: Ha 𝑧= 𝑎 𝑥 , akkor log 𝑎 𝑧= 𝑥 Szöveges megfogalmazás: Egy z szám a alapú logaritmusa az az x szám, amelyik hatványra az a alapot kell emelni, hogy megkapjuk a z számot. Praktikus okokból a > 0, ezért 𝑎 𝑥 csak pozitív lehet →𝐜𝐬𝐚𝐤 𝐩𝐨𝐳𝐢𝐭í𝐯 𝐬𝐳á𝐦𝐧𝐚𝐤 𝐯𝐚𝐧 𝐥𝐨𝐠𝐚𝐫𝐢𝐭𝐦𝐮𝐬𝐚

32 (Kitérő:) a logaritmusfüggvény tulajdonságai
(Bizonyításuk: a definíció alapján) log 𝑎 (𝑥𝑧)= log 𝑎 𝑥+ log 𝑎 𝑧 Mert 𝑥𝑧= 𝑎 log 𝑎 𝑥 ∙ 𝑎 log 𝑎 𝑧 = 𝑎 log 𝑎 𝑥+ 𝑙𝑜𝑔 𝑎 𝑧 log 𝑎 𝑥 𝑧 = log 𝑎 𝑥− log 𝑎 𝑧 Mert 𝑥 𝑧 = 𝑎 log 𝑎 𝑥 𝑎 log 𝑎 𝑧 = 𝑎 log 𝑎 𝑥− 𝑙𝑜𝑔 𝑎 𝑧 log 𝑎 𝑥 𝑘 = 𝑘∙log 𝑎 𝑥 Mert 𝑥 𝑘 egy k tagú szorzat, amelyben k-szor szerepel az 𝑥 tényező.

33 (Kitérő:) a logaritmusfüggvény tulajdonságai
(Bizonyításuk: a definíció alapján) log 𝑎 𝑎=1 Mert 𝑎 1 =𝑎 log 𝑎 1=0 Mert 𝑎 0 =1 log 𝑎 𝑥 =− log 𝑎 𝑥 Mert log 𝑎 1− log 𝑎 𝑥=0− log 𝑎 𝑥 =− log 𝑎 𝑥

34 A logaritmus azonosságai
log 𝑎 (𝑥𝑧)= log 𝑎 𝑥+ log 𝑎 𝑧 Szorzat logaritmusa log 𝑎 𝑥 𝑧 = log 𝑎 𝑥− log 𝑎 𝑧 Hányados logaritmusa log 𝑎 𝑥 =− log 𝑎 𝑥 Reciprok érték logaritmusa log 𝑎 𝑥 𝑘 = 𝑘∙log 𝑎 𝑥 Hatványkifejezés logaritmusa log 𝑎 𝑎=1 log 𝑎 1=0 egységelem zéruselem

35 Mekkora a kérdés információtartalma?
Mielőtt még megtudnánk a választ! 1/2 1/2 2/4 2/4 1/2 1/2 4/10 1/2 1/2 2/4 6/10 4/6 2/4 1/2 1/2 2/6 1/2 1/2

36 Mekkora a kérdés információtartalma?
p1 = 0,4 valószínűséggel élettelen információtartalom: I1 = ̶ log 0,4 p2 = 0,6 valószínűséggel élő információtartalom: I2 = ̶ log 0,6 4/10 1/2 1. kérdés 1/2 2/4 6/10 4/6 2/4 1/2 1/2 2/6 Átlagos információtartalom: I = 0,4 ( ̶ log 0,4) + 0,6 ( ̶ log 0,6) 1/2 1/2

37 Mekkora a kérdés információtartalma?
p1 = 2/3 valószínűséggel szárazföldi információtartalom: I1 = ̶ log (2/3) p2 = 1/3 valószínűséggel vízi információtartalom: I2 = ̶ log (1/3) 1/2 1/2 2/4 4/6 2/4 1/2 2. kérdés 1/2 2/6 1/2 Átlagos információtartalom: I = 2/3 ( ̶ log 2/3) + 1/3 ( ̶ log 1/3) 1/2

38 Mekkora a kérdés információtartalma?
Ha a válaszok között van hármas elágazás is 1/2 1/2 1/2 1/2 1/2 1/2 2/5 1/2 1/2 1/3 3/5 1/2 1/3 1/2 1/3 1/2 1/2

39 Mekkora a kérdés információtartalma?
p1 = 1/3 valószínűséggel szárazföldi információtartalom: I1 = ̶ log (1/3) p1 = 1/3 valószínűséggel légi információtartalom: I1 = ̶ log (1/3) p2 = 1/3 valószínűséggel vízi információtartalom: I2 = ̶ log (1/3) 1/2 1/2 2. kérdés 1/3 1/2 1/3 1/2 1/3 1/2 Átlagos információtartalom: I = 1/3 ( ̶ log 1/3) + 1/3 ( ̶ log 1/3) + 1/3 ( ̶ log 1/3) 1/2

40 Mekkora a kérdés információtartalma?
Ha a válaszok között van hatos elágazás is 1/2 1/2 1/2 1/2 1/2 1/2 2/5 1/6 1/6 3/5 1/6 1/6 1/6 1/6

41 Mekkora a kérdés információtartalma?
Most már tudjuk: pi = 1/6 és Ii = ̶ log (1/6) mindegyik (6) válasz esetén Átlagos információtartalom: I = 6 · [ 1/6 ( ̶ log 1/6) ] 𝑰= 𝑖= − log 1/6 1/6 1/6 1/6 1/6 2. kérdés 1/6

42 Mekkora a kérdés információtartalma?
Most már általánosíthatunk: Legyen a válasz után maradó lehetőségek száma N Jelölje a válaszok után maradó lehetőségek valószínűségét pi Tudjuk: egy adott válasz információtartalma Ii=− log 𝒑 𝒊 Definíció: az i-edik kérdés (átlagos) információtartalma: = 𝑖=1 𝑁 pi Ii =− 𝑖=1 𝑁 pi log pi M(I ) H

43 Mekkora egy forrás információtartalma?
(Tovább általánosítunk) A forrásból N különböző információ(s egység) jöhet ki Az i-edik információ(s egység) pi valószínűséggel jöhet ki A forrás információtartalma: =− 𝑖=1 𝑁 pi log pi H Vegyük észre: H a forrás entrópiája ! Vulgarizálva: információtartalom = entrópia

44 Mekkora az információtartalom?
Értelmezzük most az eddig megtanultakat ! Idézzük fel ismét Weaver definícióját: “Information is, we must steadily remember, a measure of one's freedom of choice in selecting a message. The greater this freedom of choice, and hence the greater the information, the greater is the uncertainty that the message actually selected is some particular one. Thus, greater freedom of choice, greater uncertainty, greater information go hand in hand.” Nézzünk néhány példát források információtartalmára !

45 Források információtartalma
Legyen egy forrásban összesen egyetlen lekérdezhető szimbólum. → A forrás információtartalma zérus. Tudjuk: H = – 1 • log 1 = 0 Legyen egy forrásban összesen zérus lekérdezhető szimbólum. Tudjuk: H = – 0 • log 0 , ámde az 0 • , ami nincs értelmezve. Viszont lim 𝑝 𝑖 →0 𝑝 𝑖 log 𝑝 𝑖 =0 → Ilyenkor az információtartalom zérus. Legyen egy forrásban összesen kettő lekérdezhető szimbólum. Legyen ezek valószínűsége azonos: 0,5. Tudjuk: H = – (0,5 • log 0,5 + 0,5 • log 0,5) → Az információtartalom kiszámításához szükség van a logaritmus alapjára.

46 (Kitérő:) különböző alapú logaritmusok
A logaritmusfüggvény definíciója: Ha 𝑧= 𝑎 𝑥 , akkor log 𝑎 𝑧= 𝑥 Elevenítsük fel a hatványkifejezés logaritmusát is: log 𝑎 𝑥 𝑘 = 𝑘∙log 𝑎 𝑥 ( Mert 𝑥 𝑘 egy k tagú szorzat, amelyben k-szor szerepel az 𝑥 tényező.) 𝑧= 𝑎 log 𝑎 𝑧 Vegyük mindkét oldal b alapú logaritmusát: log 𝑏 𝑧= log 𝑎 𝑧∙ log 𝑏 𝑎 log 𝑏 𝑧= log 𝑏 𝑎∙log 𝑎 𝑧 Az új (b) alapú logaritmus az eredeti (a) alapúnak logb a -szorosa.

47 (Kitérő:) összegzés Tudunk tehát logaritmust számítani: Egy z szám a alapú logaritmusa az az x szám, amelyik hatványra az a alapot kell emelni, hogy megkapjuk a z számot, log10 10 = 1 ; log = 2 ; log = 4 ; log10 8 = 0,90309 log16 16 = 1 ; log = 2 ; log = 3 ; log16 8 = 3/4 log2 2 = 1 ; log2 4 = 2 ; log2 256 = 8 ; log2 8 = 3 loge e = 1 ; loge e 2 = 2 ; loge e 3 = 8 ; loge 8 = 2,079442 𝑒= lim 𝑛→∞ 𝑛 𝑛 e  = 2,718 281 828 459 045 235 360 …

48 log 𝑏 𝑧= log 𝑎 𝑧∙ log 𝑏 𝑎 Tudunk logaritmust más alapra átszámítani:
(Kitérő:) összegzés Tudunk logaritmust más alapra átszámítani: log 𝑏 𝑧= log 𝑎 𝑧∙ log 𝑏 𝑎 log2 8 = 3 log16 8 = log2 8 • log16 2 = 3 • ¼ = ¾ log2 8 = 3 log10 8 = log2 8 • log10 2 = 3 • 0,30103 = 0,90309 log2 8 = 3 loge 8 = log2 8 • loge 2 = 3 • 0,69315 = 2,079442

49 log 𝑏 𝑥= log 𝑏 𝑎∙ log 𝑎 𝑥 Fontos összefüggések az átszámításhoz:
(Kitérő:) összegzés Fontos összefüggések az átszámításhoz: log 𝑏 𝑥= log 𝑏 𝑎∙ log 𝑎 𝑥

50 log 𝑏 𝑥= log 𝑏 𝑎∙ log 𝑎 𝑥 Fontos összefüggések az átszámításhoz:
(Kitérő:) összegzés Fontos összefüggések az átszámításhoz: log 𝑏 𝑥= log 𝑏 𝑎∙ log 𝑎 𝑥 log10 2 = 0,30103 log10 x = 0,30103 • log2 x log2 10 = 3,32193 log2 x = 3,32193 • log10 x loge x = 2,30259 • log10 x loge 10 = 2,30259 log10 x = 0,43429 • loge x log10 e = 0,43429 log2 e = 1,44270 log2 x = 1,44270 • loge x loge 2 = 0,69315 loge x = 0,69315 • log2 x

51 Szokásos logaritmus-alapok
10-es alapú logaritmus; jelölés: log10 x = lg x Ebben értjük a számok nagyságrendjét ( lg = 3) Természetes logaritmus; jelölés: loge x = ln x Ez nagyon szépen viselkedik matematikai szempontból 2-es alapú logaritmus; jelölés: loge x = log x Ezt kezelik („értik könnyen”) a számítógépek Egyszerű eldöntendő kérdések (igen – nem) esetén jó !

52 Az információ egysége Ii = ̶ log pi
Tudjuk: a forrás i-edik elemének információtartalma: Ii = ̶ log pi 2-es alapú logaritmus esetén Ii = ̶ log pi Az egység neve: bit ( = binary unit) ; aka Shannon Természetes logaritmus esetén Ii = ̶ ln pi Az egység neve: nat ( = natural unit) 10-es alapú logaritmus esetén Ii = ̶ lg pi Az egység neve: Hartley (nem decit = decimal unit !!)

53 Az információ egysége ezentúl
bináris egység, azaz bit Kiszámítható a következőképpen: Ii = ̶ log pi = log 10 • ( ̶ lg pi ) = 3, • ( ̶ lg pi ) Ii = ̶ log pi = log e • ( ̶ ln pi ) = 1, • ( ̶ ln pi ) Memo: log 10 = 3,32 ; log e = 1,44 Mind az ln (természetes alapú, e alapú) logaritmus, mind az lg (10-es alapú) logaritmus könnyen számítható számológépek, számítógépek segítségével.

54 Forrás információtartalmának számítása
Térjünk vissza az egyszerű forrásra, ahonnan kitértünk: Legyen egy forrásban összesen kettő lekérdezhető szimbólum. Legyen ezek valószínűsége azonos: ½. Tudjuk: H = – (½ • log ½ + ½ • log ½) = – 2•½•(log ½) = 1 bit → Két azonos valószínűségű válasz esetén az információtartalom 1 bit. Azonos pi valószínűségű N információs egység esetén általánosíthatunk: Tudjuk: pi = 1 / N és N pi = 1 , ezért írhatjuk: 𝐻=− 𝑖=1 𝑁 𝑝 𝑖 log 𝑝 𝑖 =−𝑁 𝑝 𝑖 log 𝑝 𝑖 = log 1 𝑝 𝑖 = log 𝑁

55 Forrás információtartalmának számítása
Azonos pi valószínűségű N információs egység esetén a forrás információtartalma: 𝐻= log 𝑁 Miért hívják a Barkochba játékot „20 questions”-nek? A szavak (közel) azonos valószínűséggel gondolhatók. Minden (okos) kérdés (közelítőleg) megfelezi a válaszokat. 20 felezés után egyetlen szó 20-szori kétszerezésének megfelelő lehetőségtől jutunk vissza újra az egyetlen (gondolt) szóhoz. Ez éppen 220 lehetséges szó, azaz 220 = 100,30103•20 = 106,02 ≈ 106 = lehetséges szó Egy 220 ≈ 106 elemű szótár átlagos információtartalma 20 bit.

56 Forrás információtartalmának számítása
Egy 220 ≈ 106 elemű szótár átlagos információtartalma 20 bit? Milyen feltételek mellett? Ha az „üzenetekben” minden szó azonos valószínűséggel fordul elő ! 𝐻=− 𝑖=1 𝑁 𝑝 𝑖 log 𝑝 𝑖 Az általános képlet mindig használható: Tekintsük a Zipf eloszlást: a szavak gyakorisága a szövegekben exponenciálisan csökken a leggyakoribbtól a legritkább felé. Számítsuk ki így a korábbi 10 szavunk információtartalmát!

57 Forrás információtartalmának számítása
Számítsuk ki így a korábbi 10 szavunk információtartalmát, feltéve, hogy gyakoriságuk Zipf eloszlást követ. A szavak gyakorisága feleződjön: H = ∑ pi log pi H = 1,989 bit Azonos gyakoriság (egyenletes eloszlás): H = log 10 = 3,322 bit

58 Forrás információtartalmának számítása
Számítsuk ki így a korábbi 10 szavunk információtartalmát, feltéve, hogy gyakoriságuk Zipf eloszlást követ. H = 2,626 bit A szavak gyakorisága 1,5-el osztódik: feleződik: H = 1,989 bit azonos: H = 3,322 bit Az információtartalom (ahogy vártuk) függ a gyakoriságoktól.

59 Mit tanultunk ma ? ismételtük: az információelmélet alapjait
Összefoglalás Mit tanultunk ma ? ismételtük: az információelmélet alapjait megtanultuk: mérni az információt gyakoroltuk: az információ és az átlagos információ számítását könnyedén tudjuk kezelni a logaritmus(ok) számítását tudjuk számítani források átlagos információtartalmát, és játékot tervezni információelméleti alapon

60 Összefoglalás Köszönöm a figyelmet!