Az előadás letöltése folymat van. Kérjük, várjon

Az előadás letöltése folymat van. Kérjük, várjon

Címlap Információelmélet: az információ mérése Keszei Ernő ELTE Fizikai Kémiai Tanszék

Hasonló előadás


Az előadások a következő témára: "Címlap Információelmélet: az információ mérése Keszei Ernő ELTE Fizikai Kémiai Tanszék"— Előadás másolata:

1 Címlap Információelmélet: az információ mérése Keszei Ernő ELTE Fizikai Kémiai Tanszék

2 ismétlés (elmélyítés): információelméleti bevezetés mi az információ? milyen tulajdonságai fontosak a kommunikáció szempontjából? források információtartalma konkrét példák az információ mérésére a feltételes információ összefoglalás Miről lesz szó?

3 Az információelmélet jelentése “Information is, we must steadily remember, a measure of one's freedom of choice in selecting a message. The greater this freedom of choice, and hence the greater the information, the greater is the uncertainty that the message actually selected is some particular one. Thus, greater freedom of choice, greater uncertainty, greater information go hand in hand.” “The word communication will be used in a very broad sense to include all of the procedures by which one mind may affect another. This, of course, involves not only written and oral speech, but also music, the pictorial arts, the theatre, the ballet, and in fact all human behavior. In some connections it may be desirable to use a still broader definition of communication, namely, one which would include the procedures by means of which one mechanism (say automatic equipment to compute probable future positions) affects another mechanism (say a car’s breaking system).” Warren Weaver, 1949 (see course webpage)

4 Az információ jelentése Latin szótár:informatio (f ) képzet, fogalom informo 1. alakít, formál képez; transl. kiképez, tanít 2. transl. képet alkot magának, elképzel Magyar szótár: információ ‘felvilágosítás’; ‘közlés, értesülés’; ‘elektronikus jel, adat’ A kommunikáció elmélete: A szint (technika): Hogyan lehet jeleket (hiba nélkül) továbbítani; B szint (szemantika): Mennyire pontosan vihető át a bemenőjelek jelentése kimenőjelekbe; C szint (hatékonyság): Mennyire pontosan idézi elő az üzenet a kívánt viselkedést.

5 Az információelmélet jelentése A tudományág alapítói ugyan „communication theory” néven említették, de ma „information theory” az elfogadott neve. Ennek ellenére „csak” az A szinttel foglalkozik. Ez az a szint, ahol megbízható kijelentéseket tehetünk !! Azoknak azonban jelentős következményei vannak a B és C szintre. Az A szintű kommunikációs csatorna felépítése forráskódoló üzenet (szignál*) jel zajos jel dekódoló üzenet cél zajforrás zaj * Itt a „jel” szignál, és nem szimbólum értelmű

6 Az információtovábbítás forráskódoló üzenet jel zajos jel dekódoló üzenet cél zajforrás zaj A forrásban létrejön az üzenet Az üzenetet kódolni kell jel formájában A jelet továbbítani kell, eközben zajos jel lesz belőle A zajos jelet dekódolni kell (visszafejteni az üzenetet) A dekódolt üzenetet célba kell juttatni

7 Az információ mérése Technikai feladat: Ehhez mérni kell az információt, és nyomon követni a változását! Fontos mennyiségek: a forrás információtartalma torzítatlanul jusson el a célba a forrás információtartalma a kódolás / dekódolás sebessége a kódolás / dekódolás zajtűrő képessége (redundanciája) Ezek meghatározásához / tervezéséhez ismerni kell az információ mennyiségét.

8 A forrás információtartalma Fontos mennyiségek: abc (jelkészlet – szimbólum értelemben) jelsorozat (üzenet) jelek gyakorisága a jelsorozatokban Az információ mértékének mindezt tudni kell figyelembe venni. szavak hossza szavak gyakorisága a jelsorozatokban szavak egymásutániságának gyakorisága jelek egymásutániságának gyakorisága

9 A forrás információtartalma Fontos mennyiségek: abc (jelkészlet – szimbólum értelemben) jelsorozat (üzenet) jelek gyakorisága a jelsorozatokban Az információ mértékének mindezt tudni kell figyelembe venni. szavak hossza szavak gyakorisága a jelsorozatokban szavak egymásutániságának gyakorisága jelek egymásutániságának gyakorisága

10 Kísérletezzünk ismét! Véges szókincs: út ház szekér autó százlábú kutya légygalamb polip muréna

11 Mekkora az információtartalom? Függ a csatorna (átvitel) tulajdonságaitól!

12 Mekkora az információtartalom? Barkochba (20 questions) ? ? ? ? ? ? ? ? ? Kimerítő és egymást kizáró kérdések

13 Mekkora az információtartalma? Élő? Jármű? Vízben él? Repül? Van lába? Rovar? Féreg? Önjáró? Lapos? Kimerítő és egymást kizáró kérdések

14 Mekkora a válasz információtartalma? Lehetőségek száma, ami a válasz után marad: 4/10 6/10 2/6 4/6 2/4 1/2

15 Mekkora a válasz információtartalma? A válasz után fennmaradó lehetőségek valószínűsége? 2/5 3/5 1/3 2/3 1/2

16 Mekkora a válasz információtartalma? Kisebb valószínűség = több információ 2/5 3/5 1/3 2/3 1/2

17 Mekkora a válasz információtartalma? Kérdezhetünk máshogy is: Élő? Jármű? Milyen közegben él? Van lába? Rovar? Féreg? Önjáró? Lapos?

18 Mekkora a válasz információtartalma? A válaszok után fennmaradó lehetőségek valószínűsége: 2/5 3/5 1/3 1/2 1/3 1/2 Kisebb valószínűség = több információ

19 Mekkora a válasz információtartalma? Kérdezhetünk harmadik módon is: Élő? Jármű? Hány lába van? Önjáró? Lapos?

20 Mekkora a válasz információtartalma? 2/5 3/5 1/6 1/2 1/6 1/2 1/6 A válaszok után fennmaradó lehetőségek valószínűsége: Kisebb valószínűség = több információ

21 Mi méri jól az információt? 3/5 1/6 3/5 1/3 1/2 3/5 2/3 1/2 Valószínűségek? Független eseményekre összeszorzódnak: 3/5 · 2/3 · 1/2 · 1/2 = 3 · 2 · 1 · 1 5 · 3 · 2 · 2 = 6 60 = /5 · 1/3 · 1/2 = 3 · 1 · 1 5 · 3 · 2 = 3 30 = /5 · 1/6 = 3 · 1 5 · 6 = 3 30 = 1 10

22 Mi méri jól az információt? Ámde: kisebb valószínűség = több információ ! Nézzük a valószínűségek reciprok értékét: 5/3 · 3/2 · 2/1 · 2/1 = 5/3 · 3/1 · 2/1 = 60 6 = = 10 5/3 · 6/1 = 30 3 = 10 Így valóban teljesül: több információ = nagyobb érték Még egy tulajdonságot nem vizsgáltunk: az információ összegzését.

23 Mi méri jól az információt? 3/5 1/6 3/5 1/3 1/2 3/5 2/3 1/2 Valószínűségek a válaszokban kapott információ után:

24 Mi méri jól az információt? Így sajnos, nem jó az „információ” összeadása. Rendeljük hozzá a valószínűségek reciprok értékét a válaszokban kapott információhoz: 5/ /2 2 2 Összeg: 5/3 + 5,5 Összeg: 5/3 + 5 Összeg: 5/3 + 6

25 Eddigi tapasztalatok A valószínűségek reciprok értékei összeszorozva jól működnek, ellenben nem adódnak össze, ahogy kell. Melyik az a monoton függvény, amelyik a szorzásból összeadást csinál? Ez a monoton függvény a logaritmus. Próbálkozzunk ezzel ! Mi a logaritmus? …..

26 A logaritmusfüggvény definíciója A logaritmusfüggvény definíciója Matematikai megfogalmazás: Szöveges megfogalmazás: Egy z szám a alapú logaritmusa az az x szám, amelyik hatványra az a alapot kell emelni, hogy megkapjuk a z számot: Az előnyös tulajdonság, ami miatt használjuk:

27 A logaritmusfüggvény tulajdonságai A logaritmusfüggvény tulajdonságai Hasonlóképpen:

28 Mi méri jól az információt? 5/ /2 2 2 Valószínűségek reciprok értékei:

29 Mi méri jól az információt? Valószínűségek reciprok értékeinek logaritmusa: Összeg: log5+log2 Összeg: log5-log3+log6 = log5-log3+log3+log2 = log5+log2 5/ /2 2 2 log5-log3 log3-log2 log2 log5-log3 log3 log2 log5-log3 log6

30 A válasz információtartalma Jó mérték a válaszok információtartalmára: a valószínűségek reciprok értékének logaritmusa Legyen a válasz után maradó lehetőségek valószínűsége p i A logaritmus tulajdonságai alapján: Az i -edik válasz információtartalma: Definíció: Látható, hogy alaposan kell ismerni a logaritmusfüggvényt ! I i = ̶ log p i

31 a logaritmusfüggvény definíciója (Kitérő:) a logaritmusfüggvény definíciója Matematikai megfogalmazás: Szöveges megfogalmazás: Egy z szám a alapú logaritmusa az az x szám, amelyik hatványra az a alapot kell emelni, hogy megkapjuk a z számot. Praktikus okokból a > 0, ezért

32 a logaritmusfüggvény tulajdonságai (Kitérő:) a logaritmusfüggvény tulajdonságai (Bizonyításuk: a definíció alapján)

33 a logaritmusfüggvény tulajdonságai (Kitérő:) a logaritmusfüggvény tulajdonságai (Bizonyításuk: a definíció alapján)

34 A logaritmus azonosságai A logaritmus azonosságai Szorzat logaritmusa Hányados logaritmusa Hatványkifejezés logaritmusa Reciprok érték logaritmusa egységelem zéruselem

35 Mekkora a kérdés információtartalma? Mielőtt még megtudnánk a választ! 4/10 6/10 2/6 4/6 2/4 1/2

36 Mekkora a kérdés információtartalma? 4/10 6/10 2/6 4/6 2/4 1/2 1. kérdés p 1 = 0,4 valószínűséggel élettelen információtartalom : I 1 = ̶ log 0,4 p 2 = 0,6 valószínűséggel élő információtartalom: I 2 = ̶ log 0,6 Átlagos információtartalom: I = 0,4 ( ̶ log 0,4) + 0,6 ( ̶ log 0,6)

37 Mekkora a kérdés információtartalma? 2/6 4/6 2/4 1/2 2. kérdés p 1 = 2/3 valószínűséggel szárazföldi információtartalom : I 1 = ̶ log (2/3) p 2 = 1/3 valószínűséggel vízi információtartalom: I 2 = ̶ log (1/3) Átlagos információtartalom: I = 2/3 ( ̶ log 2/3) + 1/3 ( ̶ log 1/3)

38 Mekkora a kérdés információtartalma? Ha a válaszok között van hármas elágazás is 2/5 3/5 1/3 1/2 1/3 1/2

39 Mekkora a kérdés információtartalma? 2. kérdés p 1 = 1/3 valószínűséggel szárazföldi információtartalom : I 1 = ̶ log (1/3) p 2 = 1/3 valószínűséggel vízi információtartalom: I 2 = ̶ log (1/3) Átlagos információtartalom: I = 1/3 ( ̶ log 1/3) + 1/3 ( ̶ log 1/3) + 1/3 ( ̶ log 1/3) 1/3 1/2 p 1 = 1/3 valószínűséggel légi információtartalom : I 1 = ̶ log (1/3)

40 Mekkora a kérdés információtartalma? Ha a válaszok között van hatos elágazás is 2/5 3/5 1/6 1/2 1/6 1/2 1/6

41 Mekkora a kérdés információtartalma? 2. kérdés Most már tudjuk: p i = 1/6 és I i = ̶ log (1/6) mindegyik (6) válasz esetén Átlagos információtartalom: I = 6 · [ 1/6 ( ̶ log 1/6) ] 1/6

42 Mekkora a kérdés információtartalma? Most már általánosíthatunk: Jelölje a válaszok után maradó lehetőségek valószínűségét p i Tudjuk: egy adott válasz információtartalma az i -edik kérdés (átlagos) információtartalma: Definíció: M(I )M(I ) H Legyen a válasz után maradó lehetőségek száma N

43 Mekkora egy forrás információtartalma? (Tovább általánosítunk) Az i -edik információ(s egység) p i valószínűséggel jöhet ki H A forrásból N különböző információ(s egység) jöhet ki A forrás információtartalma: Vegyük észre: H a forrás entrópiája ! Vulgarizálva: információtartalom = entrópia

44 Mekkora az információtartalom? “Information is, we must steadily remember, a measure of one's freedom of choice in selecting a message. The greater this freedom of choice, and hence the greater the information, the greater is the uncertainty that the message actually selected is some particular one. Thus, greater freedom of choice, greater uncertainty, greater information go hand in hand.” Értelmezzük most az eddig megtanultakat ! Idézzük fel ismét Weaver definícióját: Nézzünk néhány példát források információtartalmára !

45 Források információtartalma Legyen egy forrásban összesen egyetlen lekérdezhető szimbólum. Tudjuk: H = – 1 log 1 = 0 → A forrás információtartalma zérus. Legyen egy forrásban összesen zérus lekérdezhető szimbólum. Tudjuk: H = – 0 log 0, ámde az 0 , ami nincs értelmezve. → Ilyenkor az információtartalom zérus. Legyen egy forrásban összesen kettő lekérdezhető szimbólum. Tudjuk: H = – (0,5 log 0,5 + 0,5 log 0,5) → Az információtartalom kiszámításához szükség van a logaritmus alapjára. Legyen ezek valószínűsége azonos: 0,5.

46 különböző alapú logaritmusok (Kitérő:) különböző alapú logaritmusok Elevenítsük fel a hatványkifejezés logaritmusát is: A logaritmusfüggvény definíciója: Vegyük mindkét oldal b alapú logaritmusát: Az új (b) alapú logaritmus az eredeti (a) alapúnak log b a -szorosa.

47 összegzés (Kitérő:) összegzés Tudunk tehát logaritmust számítani: Egy z szám a alapú logaritmusa az az x szám, amelyik hatványra az a alapot kell emelni, hogy megkapjuk a z számot, log = 1 ; log = 2 ; log = 4 ; log 10 8 = 0,90309 log = 1 ; log = 2 ; log = 3 ; log 16 8 = 3/4 log 2 2 = 1 ; log 2 4 = 2 ; log = 8 ; log 2 8 = 3 log e e = 1 ; log e e 2 = 2 ; log e e 3 = 8 ; log e 8 = 2, e = 2, …

48 összegzés (Kitérő:) összegzés Tudunk logaritmust más alapra átszámítani: log 2 8 = 3 log 16 8 = log 2 8 log 16 2 = 3 ¼ = ¾ log 2 8 = 3 log 10 8 = log 2 8 log 10 2 = 3 0,30103 = 0,90309 log 2 8 = 3 log e 8 = log 2 8 log e 2 = 3 0,69315 = 2,079442

49 összegzés (Kitérő:) összegzés Fontos összefüggések az átszámításhoz:

50 összegzés (Kitérő:) összegzés Fontos összefüggések az átszámításhoz: log 10 2 = 0,30103 log 10 x = 0,30103 log 2 x log 2 x = 3,32193 log 10 x log 10 e = 0,43429 log e x = 2,30259 log 10 x log e 10 = 2,30259 log 10 x = 0,43429 log e x log e 2 = 0,69315 log 2 x = 1,44270 log e x log 2 e = 1,44270 log e x = 0,69315 log 2 x log 2 10 = 3,32193

51 Szokásos logaritmus-alapok 10-es alapú logaritmus; jelölés: log 10 x = lg x Ebben értjük a számok nagyságrendjét ( lg 1000 = 3) Természetes logaritmus; jelölés: log e x = ln x Ez nagyon szépen viselkedik matematikai szempontból 2-es alapú logaritmus; jelölés: log e x = log x Ezt kezelik („értik könnyen”) a számítógépek Egyszerű eldöntendő kérdések (igen – nem) esetén jó !

52 Az információ egysége Tudjuk: a forrás i -edik elemének információtartalma: I i = ̶ log p i 2-es alapú logaritmus esetén I i = ̶ log p i Az egység neve: bit ( = binary unit) ; aka Shannon Természetes logaritmus esetén I i = ̶ ln p i Az egység neve: nat ( = natural unit) 10-es alapú logaritmus esetén I i = ̶ lg p i Az egység neve: Hartley (nem decit = decimal unit !!)

53 bináris egység, azaz bit Az információ egysége ezentúl Kiszámítható a következőképpen: I i = ̶ log p i = log 10 ( ̶ lg p i ) = 3, ( ̶ lg p i ) I i = ̶ log p i = log e ( ̶ ln p i ) = 1, ( ̶ ln p i ) Memo: log 10 = 3,32 ; log e = 1,44 Mind az ln (természetes alapú, e alapú) logaritmus, mind az lg (10-es alapú) logaritmus könnyen számítható számológépek, számítógépek segítségével.

54 Térjünk vissza az egyszerű forrásra, ahonnan kitértünk: Forrás információtartalmának számítása Legyen egy forrásban összesen kettő lekérdezhető szimbólum. Tudjuk: H = – ( ½ log ½ + ½ log ½ ) = – 2 ½ ( log ½) = 1 bit Legyen ezek valószínűsége azonos: ½. → Két azonos valószínűségű válasz esetén az információtartalom 1 bit. Azonos p i valószínűségű N információs egység esetén általánosíthatunk: Tudjuk: p i = 1 / N és N p i = 1, ezért írhatjuk:

55 Forrás információtartalmának számítása Azonos p i valószínűségű N információs egység esetén a forrás információtartalma: Miért hívják a Barkochba játékot „20 questions”-nek? A szavak (közel) azonos valószínűséggel gondolhatók. Minden (okos) kérdés (közelítőleg) megfelezi a válaszokat. 20 felezés után egyetlen szó 20-szori kétszerezésének megfelelő lehetőségtől jutunk vissza újra az egyetlen (gondolt) szóhoz. Ez éppen 2 20 lehetséges szó, azaz 2 20 = 10 0, = 10 6,02 ≈ 10 6 = lehetséges szó Egy 2 20 ≈ 10 6 elemű szótár átlagos információtartalma 20 bit.

56 Forrás információtartalmának számítása Egy 2 20 ≈ 10 6 elemű szótár átlagos információtartalma 20 bit? Milyen feltételek mellett? Ha az „üzenetekben” minden szó azonos valószínűséggel fordul elő ! Az általános képlet mindig használható: Tekintsük a Zipf eloszlást: a szavak gyakorisága a szövegekben exponenciálisan csökken a leggyakoribbtól a legritkább felé. Számítsuk ki így a korábbi 10 szavunk információtartalmát!

57 Forrás információtartalmának számítása Számítsuk ki így a korábbi 10 szavunk információtartalmát, feltéve, hogy gyakoriságuk Zipf eloszlást követ. A szavak gyakorisága feleződjön:H = ∑ p i log p i H = 1,989 bit Azonos gyakoriság (egyenletes eloszlás): H = log 10 = 3,322 bit

58 Forrás információtartalmának számítása Számítsuk ki így a korábbi 10 szavunk információtartalmát, feltéve, hogy gyakoriságuk Zipf eloszlást követ. A szavak gyakorisága 1,5-el osztódik: H = 2,626 bit feleződik: H = 1,989 bit azonos: H = 3,322 bit Az információtartalom (ahogy vártuk) függ a gyakoriságoktól.

59 Összefoglalás Mit tanultunk ma ? ismételtük: az információelmélet alapjait megtanultuk: mérni az információt gyakoroltuk: az információ és az átlagos információ számítását könnyedén tudjuk kezelni a logaritmus(ok) számítását tudjuk számítani források átlagos információtartalmát, és játékot tervezni információelméleti alapon

60 Összefoglalás Köszönöm a figyelmet!


Letölteni ppt "Címlap Információelmélet: az információ mérése Keszei Ernő ELTE Fizikai Kémiai Tanszék"

Hasonló előadás


Google Hirdetések