Címlap Bevezetés az információelméletbe Keszei Ernő ELTE Fizikai Kémiai Tanszék

Az előadások a következő témára: "Címlap Bevezetés az információelméletbe Keszei Ernő ELTE Fizikai Kémiai Tanszék"— Előadás másolata:

1 Címlap Bevezetés az információelméletbe Keszei Ernő ELTE Fizikai Kémiai Tanszék http://keszei.chem.elte.hu/entropia

2 ismétlés (elmélyítés): valószínűségszámítás miért fontos részletesen ismerni a valószínűségszámítás egyes elemeit? mi az információ? milyen tulajdonságai fontosak a kommunikáció szempontjából? források, jelsorozatok információtartalma a feltételes információ összefoglalás Miről lesz szó?

3 A valószínűségi algebra szerkezete Véletlen kísérlet eseménytér A az esemény valószínűsége P (A) valószínűségi változó X a realizáció valószínűsége p (x )

4 A valószínűségi algebra szerkezete Nézzük meg egy kicsit részletesebben !

5 Megint kísérletezünk Kísérlet: érme feldobása. n ismétlés, i a kísérlet sorszáma ( i = 1 … n ) Esemény: (A) fej írás Az esemény valószínűsége: P (A) 1/2 Valószínűségi változó ( k ): + 1 – 1 A valószínűségi sűrűségfüggvény ( p k ): 1/2 Kísérletezzünk! xn = ∑ kixn = ∑ ki Legyen: n i = 1 ∑ ki∑ ki n yn =yn = n (összeg) (átlag) Világos: M ( k i ) = 0,  i ; M ( x n ) = 0 és M ( y n ) = 0

6 A nagy számok törvénye (Sztochasztikus konvergencia) ∑ ki∑ ki n i = 1 n Tetszőlegesen kicsi ε küszöbszámhoz találhatunk olyan (nagy) n -et, amelyre az egyenlőség teljesül. M ( k i ) ̶ < ε< ε ( ) = 1 lim n →  P

7 Az információ jelentése Latin szótár:informatio (f ) képzet, fogalom informo 1. alakít, formál képez; transl. kiképez, tanít 2. transl. képet alkot magának, elképzel Magyar szótár: információ ‘felvilágosítás’; ‘közlés, értesülés’; ‘elektronikus jel, adat’ A kommunikáció elmélete: A szint (technika): Hogyan lehet jeleket (hiba nélkül) továbbítani; B szint (szemantika): Mennyire pontosan vihető át a bemenőjelek jelentése kimenőjelekbe; C szint (hatékonyság): Mennyire pontosan idézi elő az üzenet a kívánt viselkedést.

8 Az információelmélet jelentése A tudományág alapítói ugyan „communication theory” néven említették, de ma „information theory” az elfogadott neve. Ennek ellenére „csak” az A szinttel foglalkozik. Annak azonban jelentős következményei vannak a B és C szintre. forrás (adó) kódoló üzenet jel zajos jel dekódoló üzenet cél (vevő) zajforrás zaj Az „A” szintű kommunikációs csatorna felépítése

9 Az információtovábbítás forráskódoló üzenet jel zajos jel dekódoló üzenet cél zajforrás zaj A forrásban létrejön az üzenet Az üzenetet kódolni kell jel formájában A jelet továbbítani kell, eközben zajos jel lesz belőle A zajos jelet dekódolni kell (visszafejteni az üzenetet) A dekódolt üzenetet célba kell juttatni

10 Az információ mérése Technikai feladat: Ehhez mérni kell az információt, és nyomon követni a változását! Fontos mennyiségek: a forrás információtartalma torzítatlanul jusson el a célba a forrás információtartalma a kódolás / dekódolás sebessége a kódolás / dekódolás zajtűrő képessége (redundanciája) Ezek meghatározásához / tervezéséhez ismerni kell az információ mennyiségét.

11 A forrás információtartalma Fontos mennyiségek: abc jelsorozat jelek gyakorisága a jelsorozatokban Az információ mértékének mindezt tudni kell figyelembe venni. szavak hossza szavak gyakorisága a jelsorozatokban szavak egymásutániságának gyakorisága jelek egymásutániságának gyakorisága

12 A forrás információtartalma Fontos mennyiségek: abc jelsorozat jelek gyakorisága a jelsorozatokban Az információ mértékének mindezt tudni kell figyelembe venni. szavak hossza szavak gyakorisága a jelsorozatokban szavak egymásutániságának gyakorisága jelek egymásutániságának gyakorisága

13 Az információelmélet jellege Gyakoriság: statisztika Valószínűség: valószínűségszámítás Egymásutániság: feltételes valószínűség Az információ mértékét ezekhez kell igazítani. Mérések (minta): statisztika ( → becslések) Tervezés („populáció”): valószínűségszámítás Átvitel: valószínűségi áramok

14 Összefoglalás ismétlés: a valószínűségszámítás „elmélyítése” a valószínűségszámítás egyes fontos elemei az információ mibenléte az információ fontos tulajdonságai a kommunikáció szempontjából források, jelsorozatok információtartalma a feltételes információ

15 Összefoglalás Köszönöm a figyelmüket!