Az előadás letöltése folymat van. Kérjük, várjon

Az előadás letöltése folymat van. Kérjük, várjon

Avagy, az a logaritmusos izéé??!! Készítette: Lakos Gergely.

Hasonló előadás


Az előadások a következő témára: "Avagy, az a logaritmusos izéé??!! Készítette: Lakos Gergely."— Előadás másolata:

1 Avagy, az a logaritmusos izéé??!! Készítette: Lakos Gergely

2 Miről is lesz szó  Rövid emlékeztető a logaritmus használatáról, illetve a kombinatorikáról  Shannon - képlet bemutatása  Entrópia  Feladatok

3 A logaritmusról röviden, ami kell  Feltétel rendszere: log a b => a,b>0 és a≠1  log a a b =ba log a b =b  log a a=1  log a 1=0  log a (x n )=n*log a x  log b x=(log a x)/(log a b) log 2 x=(lg x)/(lg b)

4 Kombinatorikából röviden, ami kell  Ismétléses kombináció: (3. feladat végéhez kell majd!) - Nem csak sorba rendezem az elemeket, hanem ki is választok (Kombináció - Variáció) - Nem számít a sorrend az egyes csoportokban (Kombináció) - Egy elemet többször is választhatok (Ismétléses kombináció) C k n (ism.) = (n+k-1)!/k!*(n-1)! Összes elem?Sorrend?Ismétlődés? PermutációEl kell dönteni VariációEl kell dönteni KombinációEl kell dönteni

5 Shannon - képlet H = -log 2 P bit ahol, H - információ mennyisége P – Egy adat-kimenetel bekövetkezésének valószínűsége

6 (adat kimenetelének valószínűsége) P 0,5 1 1

7 Az üzenet egyes jelei által hordozott információmennyiség összege:

8 Bizonytalanság mértéke, amelyet azzal az információval mérünk, amely szükséges a megszüntetéséhez Entrópia Várható érték szerűen összegezzük.

9 Homogén eseménytérben  K darab egymást kizáró, azonos valószínűséggel bekövetkező üzenetek közül 1-nek az információmennyisége:  H = log 2 k bit  Levezetése: H = -log 2 P bit = -log 2 (1 /k ) bit = (-1)*log 2 (k -1 )bit = log 2 k -(-1) bit = log 2 k bit

10 „A négybetűs magyar szavak információmennyisége legfeljebb 20,52 bit” Magyar ABC 44 betűből áll, mínusz a 9 db dupla illetve tripla betűk = 35 Véletlenszerűen válogatva a 35 betűből annak a valószínűsége, hogy pont az „INFO” szót kapjuk: P = (1/35) 4 Az információ tartalma tehát maximálisan: H = -log 2 (1/35) 4 = 20,52

11 Az adattípus bitben kifejezett információmennyiségének felső korlátja egyben becslése a tárolásához szükséges jelsorozat (bitsorozat) hosszának is.

12 Feladatok

13 Tippelje meg, hány bit az alábbi közlések információmennyisége! 1,3 bit 3,3 bit 4,6 bit 5 bit 1.Négy számjegyből álló, teljesen ismeretlen PIN kódnak valaki elárulja az első jegyét. X 2.Négy számjegyből álló, teljesen ismeretlen PIN kódnak valaki elárulja az egyik jegyét, de nem mondja meg melyiket. X 3.Négy számjegyből álló, teljesen ismeretlen PIN kódnak valaki elárulja az első jegyét és még egy jegyét, de az utóbbinál nem mondja meg, melyiket. 1,

14 Négy számjegyből álló, teljesen ismeretlen PIN kódnak valaki elárulja az első jegyét. A lehetséges esetek száma az eredeti 1/10 részére csökken. Tehát a megszüntetett bizonytalanság, azaz az információmennyiség bitben: –log 2 (1/10) = log 2 10  3,3. 1, Eredeti esetek száma: 10 féle számjegy mehet mind a 4 helyre. => V(ism.)=10 4 Az infó utáni esetek száma: Már csak 3 „szabad” helyre válogathatunk a 10 számból az első számjegy most már „kötött” => V(ism)=10 3 féle lehet 10 3 /10 4 =1/10

15 Négy számjegyből álló, teljesen ismeretlen PIN kódnak valaki elárulja az egyik jegyét, de nem mondja meg melyiket. A lehetséges esetek száma az eredeti 4/10 részére csökken. Tehát az információmennyiség bitben: –log 2 (4/10) = log 2,5  1,3. 1, Eredeti esetek száma: 10 féle számjegy mehet mind a 4 helyre. => V(ism.)=10 4 =10000 Az infó utáni esetek száma: 1 mindig rögzített, a maradék 3 helyre,meg 10 3 db variáció kerülhet, de az a rögzített számjegy 4alatt az 1 tehát 4 helyre kerülhet: ( 4 1 )* 10 3 =4* 10 3 = /10000=4/10

16 Négy számjegyből álló, teljesen ismeretlen PIN kódnak valaki elárulja az első jegyét és még egy jegyét, de az utóbbinál nem mondja meg, melyiket. A lehetséges esetek száma az eredeti 1/10*3/10 = 3/100 részére csökken. Tehát az információmennyiség bitben: –log 2 (3/100) = log 2 33,3  log 2 32 = 5. 1, Eredeti esetek száma: 10 féle számjegy mehet mind a 4 helyre. => V(ism.)=10 4 =10000 Az infó utáni esetek száma: Az első számjegy rögzített, a maradék 3 számjegyből mindig 1 rögzített, ez 3 féle képpen történhet, a többi 2 helyre 10 2 számú variáció kerülhet: ( 3 1 )*10 2 =3*10 2 =300 féle lehet 300/10000=3/100

17 Tippelje meg, hány bit az alábbi közlések információmennyisége! 1,3 bit 3,3 bit 4,6 bit 5 bit 1.Négy számjegyből álló, teljesen ismeretlen PIN kódnak valaki elárulja az első jegyét. X 2.Négy számjegyből álló, teljesen ismeretlen PIN kódnak valaki elárulja az egyik jegyét, de nem mondja meg melyiket. X 3.Négy számjegyből álló, teljesen ismeretlen PIN kódnak valaki elárulja az első jegyét és még egy jegyét, de az utóbbinál nem mondja meg, melyiket. X 1, megoldás

18 Tippelje meg, hány bit az alábbi értesülések információmennyisége! 2,4 bit 3 bit 6,6 bit 8 bit 1."A dámánál kisebb értékű pikket húztam az 52 lapos - jokerek nélküli - francia kártya csomagból.” (Ilyen csomagban összesen 10 olyan pikk lap van, aminek az értéke kisebb a dámánál.) X 2.Négy számjegyből álló, teljesen ismeretlen PIN kódnak valaki elárulja az első 2 jegyét.X 3.Szakértők véleménye alapján egy esemény valószínűségét 1/20-nak becsültük, de egy értesülés úgy változtatja véleményünket, hogy az esemény bekövetkeztének valószínűsége 2/5. X 2,

19 "A dámánál kisebb értékű pikket húztam az 52 lapos - jokerek nélküli - francia kártya csomagból.” (Ilyen csomagban összesen 10 olyan pikk lap van, aminek az értéke kisebb a dámánál.) A lehetséges esetek száma az eredeti 10/52 részére csökken. Tehát a megszüntetett bizonytalanság, azaz az információmennyiség bitben: –log 2 (10/52) = log 2 5,2  2,4. 2, Eredeti esetek száma: 52 lap közül véletlenszerűen húzok 1-et: 52 féle módon tudom ezt megtenni Az infó utáni esetek száma: Tudom, hogy a maradék 10 pikkből húztam, amit 10 féle lehet 10/52

20 Négy számjegyből álló, teljesen ismeretlen PIN kódnak valaki elárulja az első 2 jegyét. A lehetséges esetek száma az eredeti 1/100 részére csökken. Tehát az információmennyiség bitben: –log 2 (1/100) = log  6,6. 2, Eredeti esetek száma: 10 féle számjegy mehet mind a 4 helyre. => V(ism.)=10 4 =10000 Az infó utáni esetek száma: Az első 2 számjegy már ismert, tehát a maradék 2 helyre keresünk számokat a 10 féle számjegyből 10 2 =100 féle lehet 100/10000=1/100

21 Szakértők véleménye alapján egy esemény valószínűségét 1/20- nak becsültük, de egy értesülés úgy változtatja véleményünket, hogy az esemény bekövetkeztének valószínűsége 2/5. Eredetileg a kedvező esetek mértékének és az összes eset mértékének aránya 1/20, az értesülés után pedig ez 2/5 = 8/20 arányra változik. Mivel az változatlan, hogy mit tekintünk kedvezőnek, ez azt jelenti, hogy a még lehetséges összes eset mértéke az eredeti 1/8 részére csökkent. Tehát az információmennyiség bitben: –log 2 (1/8) = log 2 8 = 3. 2,

22 Tippelje meg, hány bit az alábbi értesülések információmennyisége! 2,4 bit 3 bit 6,6 bit 8 bit 1."A dámánál kisebb értékű pikket húztam az 52 lapos - jokerek nélküli - francia kártya csomagból.” (Ilyen csomagban összesen 10 olyan pikk lap van, aminek az értéke kisebb a dámánál.) X 2.Négy számjegyből álló, teljesen ismeretlen PIN kódnak valaki elárulja az első 2 jegyét.X 3.Szakértők véleménye alapján egy esemény valószínűségét 1/20-nak becsültük, de egy értesülés úgy változtatja véleményünket, hogy az esemény bekövetkeztének valószínűsége 2/5. X 2, megoldás

23 Két barát találkozik… - Ezer éve nem láttalak! Hogy vagy? - Köszönöm kérdésed. Megnősültem, született három gyermekem. - Igazán, és most hány évesek a gyermekeid? - Kitalálhatod… Az éveik számának (egész számok) szorzata 36. Az éveik számának összege annyi, ahány ablak van a szemben lévő házon. Kevés szünet után hozzáteszi. – Ja, még azt is meg kell mondanom, hogy a legkisebb (legkevesebb éves) gyerek szeplős és nagy elálló fülei vannak.  a)Hány évesek a gyerekek?  b)Becsülje meg, legfeljebb mekkora az második és a harmadik közlés információ-mennyisége külön-külön! 3,

24 „Az éveik számának (egész számok) szorzata 36…”  Erre 8 lehetőség van: X*Y*Z=36,ahol X,Y,Z Є Z (egész számok) , a)

25 „ Az éveik számának összege annyi, ahány ablak van a szemben lévő házon…”  Mennyi ablak lehet a házon?... Esetek: = = = = = = = =10 „Kevés szünet után hozzáteszi. – Ja, még azt is meg kell mondanom, hogy…” 3, a)

26 „…a legkisebb (legkevesebb éves) gyerek szeplős és nagy elálló fülei vannak.”  Az előzőek alapján: vagy DE, VAN LEGKISSEBB! Tehát van két 6 éves és egy 1 éves gyermeke a barátnak. Megoldás: 1, 6, 6 3, a)

27 Becsülje meg, legfeljebb mekkora az második és a harmadik közlés információ-mennyisége külön-külön!  Az első közlés után a lehetséges esetek száma 8, azaz a bizonytalanság mértéke log 2 (8) bit =3 bit. Ezt szünteti meg a következő két közlés…  A második közlés az érdeklődő barát számára a lehetséges esetek számát 8-ról 2-re csökkentette, ezért az ő számára a közlés információmennyisége (legfeljebb): log 2 (8) bit - log 2 (2) bit = 2 bit.  A harmadik közlés mindenki számára megszünteti az első közlés után maradt összes (legfeljebb 3 bit) bizonytalanságot, tehát benne az információmennyiség az érdeklődő barát számára 1 bit, számunkra legfeljebb 3 bit. 3, b)

28 „Az éveik számának (egész számok) szorzata 36” - közlés maximális információmennyiségének becslése  Hány évvel ezelőtt találkoztak utoljára?  Utolsó találkozás alkalmával az elbeszélő hány éves volt? Feltételezésünk: kb. 40 éve találkoztak! Ismétléses kombinációra vonatkozó összefüggés alapján az első közlést megelőzően a lehetséges esetek száma (n=40 év; k=3 gyerek): (40+3-1)!/3!*(40-1)! = 40*41*42 / 1*2*3 = Ekkora sokaságból egy adott lehetőséget meghatározó közlés információ-mennyisége (vele a közlés előtti bizonytalanság):  H = log 2 (11480) bit  14 bit. 3, b) Csak nekünk fontos, mi nem tudjuk!

29  Az első közlés ezt a sokaságot csökkentette 8-ra, vagyis az első közlés információmennyisége, azaz az általa megszüntetett bizonytalanság mértéke: log 2 (11 480) bit – log 2 (8) bit = 14 bit - 3 bit = 11 bit 3, b) „Az éveik számának (egész számok) szorzata 36” - közlés maximális információmennyiségének becslése

30 Köszönjük a figyelmet!


Letölteni ppt "Avagy, az a logaritmusos izéé??!! Készítette: Lakos Gergely."

Hasonló előadás


Google Hirdetések