Címlap Bevezetés az információelméletbe Keszei Ernő ELTE Fizikai Kémiai Tanszék

ismétlés (elmélyítés): valószínűségszámítás miért fontos részletesen ismerni a valószínűségszámítás egyes elemeit? mi az információ? milyen tulajdonságai fontosak a kommunikáció szempontjából? források, jelsorozatok információtartalma a feltételes információ összefoglalás Miről lesz szó?

A valószínűségi algebra szerkezete Véletlen kísérlet eseménytér A az esemény valószínűsége P (A) valószínűségi változó X a realizáció valószínűsége p (x )

A valószínűségi algebra szerkezete Nézzük meg egy kicsit részletesebben !

Megint kísérletezünk Kísérlet: érme feldobása. n ismétlés, i a kísérlet sorszáma ( i = 1 … n ) Esemény: (A) fej írás Az esemény valószínűsége: P (A) 1/2 Valószínűségi változó ( k ): + 1 – 1 A valószínűségi sűrűségfüggvény ( p k ): 1/2 Kísérletezzünk! xn = ∑ kixn = ∑ ki Legyen: n i = 1 ∑ ki∑ ki n yn =yn = n (összeg) (átlag) Világos: M ( k i ) = 0,  i ; M ( x n ) = 0 és M ( y n ) = 0

A nagy számok törvénye (Sztochasztikus konvergencia) ∑ ki∑ ki n i = 1 n Tetszőlegesen kicsi ε küszöbszámhoz találhatunk olyan (nagy) n -et, amelyre az egyenlőség teljesül. M ( k i ) ̶ < ε< ε ( ) = 1 lim n →  P

Az információ jelentése Latin szótár:informatio (f ) képzet, fogalom informo 1. alakít, formál képez; transl. kiképez, tanít 2. transl. képet alkot magának, elképzel Magyar szótár: információ ‘felvilágosítás’; ‘közlés, értesülés’; ‘elektronikus jel, adat’ A kommunikáció elmélete: A szint (technika): Hogyan lehet jeleket (hiba nélkül) továbbítani; B szint (szemantika): Mennyire pontosan vihető át a bemenőjelek jelentése kimenőjelekbe; C szint (hatékonyság): Mennyire pontosan idézi elő az üzenet a kívánt viselkedést.

Az információelmélet jelentése A tudományág alapítói ugyan „communication theory” néven említették, de ma „information theory” az elfogadott neve. Ennek ellenére „csak” az A szinttel foglalkozik. Annak azonban jelentős következményei vannak a B és C szintre. forrás (adó) kódoló üzenet jel zajos jel dekódoló üzenet cél (vevő) zajforrás zaj Az „A” szintű kommunikációs csatorna felépítése

Az információtovábbítás forráskódoló üzenet jel zajos jel dekódoló üzenet cél zajforrás zaj A forrásban létrejön az üzenet Az üzenetet kódolni kell jel formájában A jelet továbbítani kell, eközben zajos jel lesz belőle A zajos jelet dekódolni kell (visszafejteni az üzenetet) A dekódolt üzenetet célba kell juttatni

Az információ mérése Technikai feladat: Ehhez mérni kell az információt, és nyomon követni a változását! Fontos mennyiségek: a forrás információtartalma torzítatlanul jusson el a célba a forrás információtartalma a kódolás / dekódolás sebessége a kódolás / dekódolás zajtűrő képessége (redundanciája) Ezek meghatározásához / tervezéséhez ismerni kell az információ mennyiségét.

A forrás információtartalma Fontos mennyiségek: abc jelsorozat jelek gyakorisága a jelsorozatokban Az információ mértékének mindezt tudni kell figyelembe venni. szavak hossza szavak gyakorisága a jelsorozatokban szavak egymásutániságának gyakorisága jelek egymásutániságának gyakorisága

A forrás információtartalma Fontos mennyiségek: abc jelsorozat jelek gyakorisága a jelsorozatokban Az információ mértékének mindezt tudni kell figyelembe venni. szavak hossza szavak gyakorisága a jelsorozatokban szavak egymásutániságának gyakorisága jelek egymásutániságának gyakorisága

Az információelmélet jellege Gyakoriság: statisztika Valószínűség: valószínűségszámítás Egymásutániság: feltételes valószínűség Az információ mértékét ezekhez kell igazítani. Mérések (minta): statisztika ( → becslések) Tervezés („populáció”): valószínűségszámítás Átvitel: valószínűségi áramok

Összefoglalás ismétlés: a valószínűségszámítás „elmélyítése” a valószínűségszámítás egyes fontos elemei az információ mibenléte az információ fontos tulajdonságai a kommunikáció szempontjából források, jelsorozatok információtartalma a feltételes információ

Összefoglalás Köszönöm a figyelmüket!