Információelmélet: az információ mérése Címlap Információelmélet: az információ mérése Keszei Ernő ELTE Fizikai Kémiai Tanszék http://keszei.chem.elte.hu/entropia

Miről lesz szó? ismétlés (elmélyítés): információelméleti bevezetés mi az információ? milyen tulajdonságai fontosak a kommunikáció szempontjából? források információtartalma konkrét példák az információ mérésére a feltételes információ összefoglalás

Az információelmélet jelentése Warren Weaver, 1949 (see course webpage) “The word communication will be used in a very broad sense to include all of the procedures by which one mind may affect another. This, of course, involves not only written and oral speech, but also music, the pictorial arts, the theatre, the ballet, and in fact all human behavior. In some connections it may be desirable to use a still broader definition of communication, namely, one which would include the procedures by means of which one mechanism (say automatic equipment to compute probable future positions) affects another mechanism (say a car’s breaking system).” “Information is, we must steadily remember, a measure of one's freedom of choice in selecting a message. The greater this freedom of choice, and hence the greater the information, the greater is the uncertainty that the message actually selected is some particular one. Thus, greater freedom of choice, greater uncertainty, greater information go hand in hand.”

Az információ jelentése Latin szótár: informatio (f ) képzet, fogalom informo 1. alakít, formál képez; transl. kiképez, tanít 2. transl. képet alkot magának, elképzel Magyar szótár: információ ‘felvilágosítás’; ‘közlés, értesülés’; ‘elektronikus jel, adat’ A kommunikáció elmélete: A szint (technika): Hogyan lehet jeleket (hiba nélkül) továbbítani; B szint (szemantika): Mennyire pontosan vihető át a bemenőjelek jelentése kimenőjelekbe; C szint (hatékonyság): Mennyire pontosan idézi elő az üzenet a kívánt viselkedést.

Az információelmélet jelentése A tudományág alapítói ugyan „communication theory” néven említették, de ma „information theory” az elfogadott neve. Ennek ellenére „csak” az A szinttel foglalkozik. Ez az a szint, ahol megbízható kijelentéseket tehetünk !! Azoknak azonban jelentős következményei vannak a B és C szintre. Az A szintű kommunikációs csatorna felépítése (szignál*) jel üzenet zajos jel üzenet forrás kódoló dekódoló cél zaj zajforrás * Itt a „jel” szignál, és nem szimbólum értelmű

Az információtovábbítás zajos jel üzenet jel üzenet forrás kódoló dekódoló cél zaj zajforrás A forrásban létrejön az üzenet Az üzenetet kódolni kell jel formájában A jelet továbbítani kell, eközben zajos jel lesz belőle A zajos jelet dekódolni kell (visszafejteni az üzenetet) A dekódolt üzenetet célba kell juttatni

Az információ mérése Technikai feladat: a forrás információtartalma torzítatlanul jusson el a célba Ehhez mérni kell az információt, és nyomon követni a változását! Fontos mennyiségek: a forrás információtartalma a kódolás / dekódolás sebessége a kódolás / dekódolás zajtűrő képessége (redundanciája) Ezek meghatározásához / tervezéséhez ismerni kell az információ mennyiségét.

A forrás információtartalma Fontos mennyiségek: abc (jelkészlet – szimbólum értelemben) jelsorozat (üzenet) jelek gyakorisága a jelsorozatokban jelek egymásutániságának gyakorisága szavak hossza szavak gyakorisága a jelsorozatokban szavak egymásutániságának gyakorisága Az információ mértékének mindezt tudni kell figyelembe venni.

A forrás információtartalma Fontos mennyiségek: abc (jelkészlet – szimbólum értelemben) jelsorozat (üzenet) jelek gyakorisága a jelsorozatokban jelek egymásutániságának gyakorisága szavak hossza szavak gyakorisága a jelsorozatokban szavak egymásutániságának gyakorisága Az információ mértékének mindezt tudni kell figyelembe venni.

Kísérletezzünk ismét! Véges szókincs: út ház szekér autó százlábú kutya légy galamb polip muréna

Mekkora az információtartalom? Függ a csatorna (átvitel) tulajdonságaitól!

Mekkora az információtartalom? Barkochba (20 questions) ? ? ? ? ? ? ? ? Kimerítő és egymást kizáró kérdések ?

Mekkora az információtartalma? Lapos? Jármű? Önjáró? Féreg? Élő? Repül? Vízben él? Rovar? Kimerítő és egymást kizáró kérdések Van lába?

Mekkora a válasz információtartalma? Lehetőségek száma, ami a válasz után marad: 1/2 1/2 2/4 2/4 1/2 1/2 4/10 1/2 1/2 2/4 6/10 4/6 2/4 1/2 1/2 2/6 1/2 1/2

Mekkora a válasz információtartalma? A válasz után fennmaradó lehetőségek valószínűsége? 1/2 1/2 1/2 1/2 1/2 1/2 2/5 1/2 1/2 1/2 3/5 2/3 1/2 1/2 1/2 1/3 1/2 1/2

Mekkora a válasz információtartalma? 1/2 1/2 1/2 1/2 1/2 1/2 2/5 1/2 1/2 1/2 3/5 2/3 1/2 1/2 1/2 1/3 1/2 1/2 Kisebb valószínűség = több információ

Mekkora a válasz információtartalma? Kérdezhetünk máshogy is: Lapos? Jármű? Önjáró? Féreg? Élő? Rovar? Milyen közegben él? Van lába?

Mekkora a válasz információtartalma? A válaszok után fennmaradó lehetőségek valószínűsége: 1/2 1/2 1/2 1/2 1/2 1/2 2/5 1/2 1/2 1/3 3/5 1/2 1/3 1/2 1/3 1/2 1/2 Kisebb valószínűség = több információ

Mekkora a válasz információtartalma? Kérdezhetünk harmadik módon is: Lapos? Jármű? Önjáró? 100 Élő? 4 6 Hány lába van? 2 8

Mekkora a válasz információtartalma? A válaszok után fennmaradó lehetőségek valószínűsége: 1/2 1/2 1/2 1/2 1/2 1/2 2/5 1/6 1/6 3/5 1/6 1/6 1/6 1/6 Kisebb valószínűség = több információ

Mi méri jól az információt? Valószínűségek? Független eseményekre összeszorzódnak: 3/5 2/3 1/2 3 · 2 · 1 · 1 6 1 3/5 · 2/3 · 1/2 · 1/2 = = = 5 · 3 · 2 · 2 60 10 3/5 1/3 1/2 3 · 1 · 1 3 1 3/5 · 1/3 · 1/2 = = = 5 · 3 · 2 30 10 3/5 1/6 3/5 · 1/6 = 3 · 1 5 · 6 = 3 30 1 10

Mi méri jól az információt? Ámde: kisebb valószínűség = több információ ! Nézzük a valószínűségek reciprok értékét: 5/3 · 3/2 · 2/1 · 2/1 = 5/3 · 3/1 · 2/1 = 60 6 = 10 30 3 5/3 · 6/1 = Így valóban teljesül: több információ = nagyobb érték Még egy tulajdonságot nem vizsgáltunk: az információ összegzését.

Mi méri jól az információt? Valószínűségek a válaszokban kapott információ után: 3/5 2/3 1/2 3/5 1/3 1/2 3/5 1/6

Mi méri jól az információt? Rendeljük hozzá a valószínűségek reciprok értékét a válaszokban kapott információhoz: 5/3 3/2 2 Összeg: 5/3 + 5,5 5/3 3 2 Összeg: 5/3 + 5 5/3 6 Összeg: 5/3 + 6 Így sajnos, nem jó az „információ” összeadása.

Eddigi tapasztalatok Mi a logaritmus? ….. A valószínűségek reciprok értékei összeszorozva jól működnek, ellenben nem adódnak össze, ahogy kell. Melyik az a monoton függvény, amelyik a szorzásból összeadást csinál? Ez a monoton függvény a logaritmus. Próbálkozzunk ezzel ! Mi a logaritmus? …..

A logaritmusfüggvény definíciója Matematikai megfogalmazás: Ha 𝑧= 𝑎 𝑥 , akkor log 𝑎 𝑧= 𝑥 Szöveges megfogalmazás: Egy z szám a alapú logaritmusa az az x szám, amelyik hatványra az a alapot kell emelni, hogy megkapjuk a z számot: 𝑧= 𝑎 log 𝑎 𝑧 Az előnyös tulajdonság, ami miatt használjuk: 𝑎 𝑥 𝑎 𝑦 =𝑎 𝑥+𝑦 → log 𝑎 (𝑎 𝑥 𝑎 𝑦 )= log 𝑎 𝑎 𝑥 + log 𝑎 𝑎 𝑦 → log 𝑎 (𝑧𝑤)= log 𝑎 𝑧+ log 𝑎 𝑤

A logaritmusfüggvény tulajdonságai Ha 𝑧= 𝑎 𝑥 , akkor log 𝑎 𝑧= 𝑥 𝑎 𝑥 𝑎 𝑦 =𝑎 𝑥+𝑦 → log 𝑎 (𝑎 𝑥 𝑎 𝑦 )= log 𝑎 𝑎 𝑥 + log 𝑎 𝑎 𝑦 → log 𝑎 (𝑧𝑤)= log 𝑎 𝑧+ log 𝑎 𝑤 Hasonlóképpen: 𝑎 𝑥 /𝑎 𝑦 =𝑎 𝑥−𝑦 → log 𝑎 (𝑎 𝑥 / 𝑎 𝑦 )= log 𝑎 𝑎 𝑥 − log 𝑎 𝑎 𝑦 → log 𝑎 𝑧 𝑤 = log 𝑎 𝑧− log 𝑎 𝑤

Mi méri jól az információt? Valószínűségek reciprok értékei: 5/3 3/2 2 5/3 3 2 5/3 6

Mi méri jól az információt? Valószínűségek reciprok értékeinek logaritmusa: 5/3 3/2 2 log5-log3 log3-log2 log2 log2 Összeg: log5+log2 5/3 3 2 log5-log3 log3 log2 Összeg: log5+log2 5/3 6 log5-log3 log6 Összeg: log5-log3+log6 = log5-log3+log3+log2 = log5+log2

A válasz információtartalma Jó mérték a válaszok információtartalmára: a valószínűségek reciprok értékének logaritmusa Legyen a válasz után maradó lehetőségek valószínűsége pi log 1 𝑝 𝑖 =− log 𝑝 𝑖 A logaritmus tulajdonságai alapján: Definíció: Az i-edik válasz információtartalma: Ii = ̶ log pi Látható, hogy alaposan kell ismerni a logaritmusfüggvényt !

(Kitérő:) a logaritmusfüggvény definíciója Matematikai megfogalmazás: Ha 𝑧= 𝑎 𝑥 , akkor log 𝑎 𝑧= 𝑥 Szöveges megfogalmazás: Egy z szám a alapú logaritmusa az az x szám, amelyik hatványra az a alapot kell emelni, hogy megkapjuk a z számot. Praktikus okokból a > 0, ezért 𝑎 𝑥 csak pozitív lehet →𝐜𝐬𝐚𝐤 𝐩𝐨𝐳𝐢𝐭í𝐯 𝐬𝐳á𝐦𝐧𝐚𝐤 𝐯𝐚𝐧 𝐥𝐨𝐠𝐚𝐫𝐢𝐭𝐦𝐮𝐬𝐚

(Kitérő:) a logaritmusfüggvény tulajdonságai (Bizonyításuk: a definíció alapján) log 𝑎 (𝑥𝑧)= log 𝑎 𝑥+ log 𝑎 𝑧 Mert 𝑥𝑧= 𝑎 log 𝑎 𝑥 ∙ 𝑎 log 𝑎 𝑧 = 𝑎 log 𝑎 𝑥+ 𝑙𝑜𝑔 𝑎 𝑧 log 𝑎 𝑥 𝑧 = log 𝑎 𝑥− log 𝑎 𝑧 Mert 𝑥 𝑧 = 𝑎 log 𝑎 𝑥 𝑎 log 𝑎 𝑧 = 𝑎 log 𝑎 𝑥− 𝑙𝑜𝑔 𝑎 𝑧 log 𝑎 𝑥 𝑘 = 𝑘∙log 𝑎 𝑥 Mert 𝑥 𝑘 egy k tagú szorzat, amelyben k-szor szerepel az 𝑥 tényező.

(Kitérő:) a logaritmusfüggvény tulajdonságai (Bizonyításuk: a definíció alapján) log 𝑎 𝑎=1 Mert 𝑎 1 =𝑎 log 𝑎 1=0 Mert 𝑎 0 =1 log 𝑎 1 𝑥 =− log 𝑎 𝑥 Mert log 𝑎 1− log 𝑎 𝑥=0− log 𝑎 𝑥 =− log 𝑎 𝑥

A logaritmus azonosságai log 𝑎 (𝑥𝑧)= log 𝑎 𝑥+ log 𝑎 𝑧 Szorzat logaritmusa log 𝑎 𝑥 𝑧 = log 𝑎 𝑥− log 𝑎 𝑧 Hányados logaritmusa log 𝑎 1 𝑥 =− log 𝑎 𝑥 Reciprok érték logaritmusa log 𝑎 𝑥 𝑘 = 𝑘∙log 𝑎 𝑥 Hatványkifejezés logaritmusa log 𝑎 𝑎=1 log 𝑎 1=0 egységelem zéruselem

Mekkora a kérdés információtartalma? Mielőtt még megtudnánk a választ! 1/2 1/2 2/4 2/4 1/2 1/2 4/10 1/2 1/2 2/4 6/10 4/6 2/4 1/2 1/2 2/6 1/2 1/2

Mekkora a kérdés információtartalma? p1 = 0,4 valószínűséggel élettelen információtartalom: I1 = ̶ log 0,4 p2 = 0,6 valószínűséggel élő információtartalom: I2 = ̶ log 0,6 4/10 1/2 1. kérdés 1/2 2/4 6/10 4/6 2/4 1/2 1/2 2/6 Átlagos információtartalom: I = 0,4 ( ̶ log 0,4) + 0,6 ( ̶ log 0,6) 1/2 1/2

Mekkora a kérdés információtartalma? p1 = 2/3 valószínűséggel szárazföldi információtartalom: I1 = ̶ log (2/3) p2 = 1/3 valószínűséggel vízi információtartalom: I2 = ̶ log (1/3) 1/2 1/2 2/4 4/6 2/4 1/2 2. kérdés 1/2 2/6 1/2 Átlagos információtartalom: I = 2/3 ( ̶ log 2/3) + 1/3 ( ̶ log 1/3) 1/2

Mekkora a kérdés információtartalma? Ha a válaszok között van hármas elágazás is 1/2 1/2 1/2 1/2 1/2 1/2 2/5 1/2 1/2 1/3 3/5 1/2 1/3 1/2 1/3 1/2 1/2

Mekkora a kérdés információtartalma? p1 = 1/3 valószínűséggel szárazföldi információtartalom: I1 = ̶ log (1/3) p1 = 1/3 valószínűséggel légi információtartalom: I1 = ̶ log (1/3) p2 = 1/3 valószínűséggel vízi információtartalom: I2 = ̶ log (1/3) 1/2 1/2 2. kérdés 1/3 1/2 1/3 1/2 1/3 1/2 Átlagos információtartalom: I = 1/3 ( ̶ log 1/3) + 1/3 ( ̶ log 1/3) + 1/3 ( ̶ log 1/3) 1/2

Mekkora a kérdés információtartalma? Ha a válaszok között van hatos elágazás is 1/2 1/2 1/2 1/2 1/2 1/2 2/5 1/6 1/6 3/5 1/6 1/6 1/6 1/6

Mekkora a kérdés információtartalma? Most már tudjuk: pi = 1/6 és Ii = ̶ log (1/6) mindegyik (6) válasz esetén Átlagos információtartalom: I = 6 · [ 1/6 ( ̶ log 1/6) ] 𝑰= 𝑖=1 6 1 6 − log 1 6 1/6 1/6 1/6 1/6 1/6 2. kérdés 1/6

Mekkora a kérdés információtartalma? Most már általánosíthatunk: Legyen a válasz után maradó lehetőségek száma N Jelölje a válaszok után maradó lehetőségek valószínűségét pi Tudjuk: egy adott válasz információtartalma Ii=− log 𝒑 𝒊 Definíció: az i-edik kérdés (átlagos) információtartalma: = 𝑖=1 𝑁 pi Ii =− 𝑖=1 𝑁 pi log pi M(I ) H

Mekkora egy forrás információtartalma? (Tovább általánosítunk) A forrásból N különböző információ(s egység) jöhet ki Az i-edik információ(s egység) pi valószínűséggel jöhet ki A forrás információtartalma: =− 𝑖=1 𝑁 pi log pi H Vegyük észre: H a forrás entrópiája ! Vulgarizálva: információtartalom = entrópia

Mekkora az információtartalom? Értelmezzük most az eddig megtanultakat ! Idézzük fel ismét Weaver definícióját: “Information is, we must steadily remember, a measure of one's freedom of choice in selecting a message. The greater this freedom of choice, and hence the greater the information, the greater is the uncertainty that the message actually selected is some particular one. Thus, greater freedom of choice, greater uncertainty, greater information go hand in hand.” Nézzünk néhány példát források információtartalmára !

Források információtartalma Legyen egy forrásban összesen egyetlen lekérdezhető szimbólum. → A forrás információtartalma zérus. Tudjuk: H = – 1 • log 1 = 0 Legyen egy forrásban összesen zérus lekérdezhető szimbólum. Tudjuk: H = – 0 • log 0 , ámde az 0 • , ami nincs értelmezve. Viszont lim 𝑝 𝑖 →0 𝑝 𝑖 log 𝑝 𝑖 =0 → Ilyenkor az információtartalom zérus. Legyen egy forrásban összesen kettő lekérdezhető szimbólum. Legyen ezek valószínűsége azonos: 0,5. Tudjuk: H = – (0,5 • log 0,5 + 0,5 • log 0,5) → Az információtartalom kiszámításához szükség van a logaritmus alapjára.

(Kitérő:) különböző alapú logaritmusok A logaritmusfüggvény definíciója: Ha 𝑧= 𝑎 𝑥 , akkor log 𝑎 𝑧= 𝑥 Elevenítsük fel a hatványkifejezés logaritmusát is: log 𝑎 𝑥 𝑘 = 𝑘∙log 𝑎 𝑥 ( Mert 𝑥 𝑘 egy k tagú szorzat, amelyben k-szor szerepel az 𝑥 tényező.) 𝑧= 𝑎 log 𝑎 𝑧 Vegyük mindkét oldal b alapú logaritmusát: log 𝑏 𝑧= log 𝑎 𝑧∙ log 𝑏 𝑎 log 𝑏 𝑧= log 𝑏 𝑎∙log 𝑎 𝑧 Az új (b) alapú logaritmus az eredeti (a) alapúnak logb a -szorosa.

(Kitérő:) összegzés Tudunk tehát logaritmust számítani: Egy z szám a alapú logaritmusa az az x szám, amelyik hatványra az a alapot kell emelni, hogy megkapjuk a z számot, log10 10 = 1 ; log10 100 = 2 ; log10 10000 = 4 ; log10 8 = 0,90309 log16 16 = 1 ; log16 256 = 2 ; log16 4096 = 3 ; log16 8 = 3/4 log2 2 = 1 ; log2 4 = 2 ; log2 256 = 8 ; log2 8 = 3 loge e = 1 ; loge e 2 = 2 ; loge e 3 = 8 ; loge 8 = 2,079442 𝑒= lim 𝑛→∞ 1+ 1 𝑛 𝑛 e  = 2,718 281 828 459 045 235 360 …

log 𝑏 𝑧= log 𝑎 𝑧∙ log 𝑏 𝑎 Tudunk logaritmust más alapra átszámítani: (Kitérő:) összegzés Tudunk logaritmust más alapra átszámítani: log 𝑏 𝑧= log 𝑎 𝑧∙ log 𝑏 𝑎 log2 8 = 3 log16 8 = log2 8 • log16 2 = 3 • ¼ = ¾ log2 8 = 3 log10 8 = log2 8 • log10 2 = 3 • 0,30103 = 0,90309 log2 8 = 3 loge 8 = log2 8 • loge 2 = 3 • 0,69315 = 2,079442

log 𝑏 𝑥= log 𝑏 𝑎∙ log 𝑎 𝑥 Fontos összefüggések az átszámításhoz: (Kitérő:) összegzés Fontos összefüggések az átszámításhoz: log 𝑏 𝑥= log 𝑏 𝑎∙ log 𝑎 𝑥

log 𝑏 𝑥= log 𝑏 𝑎∙ log 𝑎 𝑥 Fontos összefüggések az átszámításhoz: (Kitérő:) összegzés Fontos összefüggések az átszámításhoz: log 𝑏 𝑥= log 𝑏 𝑎∙ log 𝑎 𝑥 log10 2 = 0,30103 log10 x = 0,30103 • log2 x log2 10 = 3,32193 log2 x = 3,32193 • log10 x loge x = 2,30259 • log10 x loge 10 = 2,30259 log10 x = 0,43429 • loge x log10 e = 0,43429 log2 e = 1,44270 log2 x = 1,44270 • loge x loge 2 = 0,69315 loge x = 0,69315 • log2 x

Szokásos logaritmus-alapok 10-es alapú logaritmus; jelölés: log10 x = lg x Ebben értjük a számok nagyságrendjét ( lg 1000 = 3) Természetes logaritmus; jelölés: loge x = ln x Ez nagyon szépen viselkedik matematikai szempontból 2-es alapú logaritmus; jelölés: loge x = log x Ezt kezelik („értik könnyen”) a számítógépek Egyszerű eldöntendő kérdések (igen – nem) esetén jó !

Az információ egysége Ii = ̶ log pi Tudjuk: a forrás i-edik elemének információtartalma: Ii = ̶ log pi 2-es alapú logaritmus esetén Ii = ̶ log pi Az egység neve: bit ( = binary unit) ; aka Shannon Természetes logaritmus esetén Ii = ̶ ln pi Az egység neve: nat ( = natural unit) 10-es alapú logaritmus esetén Ii = ̶ lg pi Az egység neve: Hartley (nem decit = decimal unit !!)

Az információ egysége ezentúl bináris egység, azaz bit Kiszámítható a következőképpen: Ii = ̶ log pi = log 10 • ( ̶ lg pi ) = 3,321928 • ( ̶ lg pi ) Ii = ̶ log pi = log e • ( ̶ ln pi ) = 1,442695 • ( ̶ ln pi ) Memo: log 10 = 3,32 ; log e = 1,44 Mind az ln (természetes alapú, e alapú) logaritmus, mind az lg (10-es alapú) logaritmus könnyen számítható számológépek, számítógépek segítségével.

Forrás információtartalmának számítása Térjünk vissza az egyszerű forrásra, ahonnan kitértünk: Legyen egy forrásban összesen kettő lekérdezhető szimbólum. Legyen ezek valószínűsége azonos: ½. Tudjuk: H = – (½ • log ½ + ½ • log ½) = – 2•½•(log ½) = 1 bit → Két azonos valószínűségű válasz esetén az információtartalom 1 bit. Azonos pi valószínűségű N információs egység esetén általánosíthatunk: Tudjuk: pi = 1 / N és N pi = 1 , ezért írhatjuk: 𝐻=− 𝑖=1 𝑁 𝑝 𝑖 log 𝑝 𝑖 =−𝑁 𝑝 𝑖 log 𝑝 𝑖 = log 1 𝑝 𝑖 = log 𝑁

Forrás információtartalmának számítása Azonos pi valószínűségű N információs egység esetén a forrás információtartalma: 𝐻= log 𝑁 Miért hívják a Barkochba játékot „20 questions”-nek? A szavak (közel) azonos valószínűséggel gondolhatók. Minden (okos) kérdés (közelítőleg) megfelezi a válaszokat. 20 felezés után egyetlen szó 20-szori kétszerezésének megfelelő lehetőségtől jutunk vissza újra az egyetlen (gondolt) szóhoz. Ez éppen 220 lehetséges szó, azaz 220 = 100,30103•20 = 106,02 ≈ 106 = 1 000 000 lehetséges szó Egy 220 ≈ 106 elemű szótár átlagos információtartalma 20 bit.

Forrás információtartalmának számítása Egy 220 ≈ 106 elemű szótár átlagos információtartalma 20 bit? Milyen feltételek mellett? Ha az „üzenetekben” minden szó azonos valószínűséggel fordul elő ! 𝐻=− 𝑖=1 𝑁 𝑝 𝑖 log 𝑝 𝑖 Az általános képlet mindig használható: Tekintsük a Zipf eloszlást: a szavak gyakorisága a szövegekben exponenciálisan csökken a leggyakoribbtól a legritkább felé. Számítsuk ki így a korábbi 10 szavunk információtartalmát!

Forrás információtartalmának számítása Számítsuk ki így a korábbi 10 szavunk információtartalmát, feltéve, hogy gyakoriságuk Zipf eloszlást követ. A szavak gyakorisága feleződjön: H = ∑ pi log pi H = 1,989 bit Azonos gyakoriság (egyenletes eloszlás): H = log 10 = 3,322 bit

Forrás információtartalmának számítása Számítsuk ki így a korábbi 10 szavunk információtartalmát, feltéve, hogy gyakoriságuk Zipf eloszlást követ. H = 2,626 bit A szavak gyakorisága 1,5-el osztódik: feleződik: H = 1,989 bit azonos: H = 3,322 bit Az információtartalom (ahogy vártuk) függ a gyakoriságoktól.

Mit tanultunk ma ? ismételtük: az információelmélet alapjait Összefoglalás Mit tanultunk ma ? ismételtük: az információelmélet alapjait megtanultuk: mérni az információt gyakoroltuk: az információ és az átlagos információ számítását könnyedén tudjuk kezelni a logaritmus(ok) számítását tudjuk számítani források átlagos információtartalmát, és játékot tervezni információelméleti alapon

Összefoglalás Köszönöm a figyelmet!