A matematikai statisztika alapfogalmai

Az előadások a következő témára: "A matematikai statisztika alapfogalmai"— Előadás másolata:

1 A matematikai statisztika alapfogalmai
Gazdaságinformatikai MSc

2 Dr Ketskeméty László előadása
Alapfogalmak Sokaság, populáció, véletlen kísérlet Statisztikai minta, minta realizáció Statisztikai mintavétel Statisztika Paraméter Statisztikai becslés Dr Ketskeméty László előadása

3 Statisztikai sokaság, populáció
A vizsgálat tárgyát képező nagyszámú de véges elemszámú egyedek halmaza. A halmaz egészének kevés adattal történő tömör jellemzése, és a populáció egyedeinek leírására bevezetett változók közötti kapcsolatok leírása a célunk. Arra nincs lehetőség (erőforrás), hogy a populáció minden egyes eleméről adatokat szerezzünk be. Magyarország állampolgárai - Egy egyetemi kar hallgatói - Az érvényes forgalmival rendelkező autók halmaza - Egy adott termék vásárlóinak halmaza - Egy TV csatorna nézőinek halmaza Dr Ketskeméty László előadása

4 Egy véletlen kísérlet megfigyelése
A statisztikai elemzés tárgya lehet egy véletlen kísérlet is, ami időben változatlan körülmények között elvileg akárhányszor lejátszódhat. A valószínűségszámítás tárgyalásában ezt K–val jelöltük. A lottóhúzás Egy szerver működése Budapest januári átlaghőmérséklete Egy gyümölcsös terméshozama Egy új gyógyszer hatása Egy reklámkampány hatásossága Egy populáció egyedének véletlen kiválasztása Dr Ketskeméty László előadása

5 Statisztikai minta realizáltja
A populáció egy kis elemszámú részhalmazára vonatkozó megfigyelések adatai. A minta úgy kell, hogy tükrözze a populáció tulajdonságait, ahogy a cseppben látjuk a tengert. Azaz a minta reprezentatív kell, hogy legyen. Egy felmérésbe bevont magyar állampolgárok halmaza - Egy adott előadásra belátogatott hallgatók halmaza - Adott biztosítóval szerződött autók halmaza - Egy adott napon megkérdezett vásárlók halmaza - Egy nézettségi felmérésbe bevont TV nézők halmaza - Budapest januári középhőmérséleteinek adatai Dr Ketskeméty László előadása

6 Mintavételezési eljárások
A populáció minden egyes elemének ugyanakkora esélyt kell biztosítani a mintába kerüléshez. A minta elemszámának elég nagynak kell lennie ahhoz, hogy a következtetéseink átvihetők lehessenek a populációra is. Rétegzett mintavételezés: A populációt adott szempontok szerint csoportokba osztjuk, és a csoportok arányait a mintában is megtartjuk Véletlen mintavételezés: A mintába kerülő egyedeket sorsolással választjuk ki. Dr Ketskeméty László előadása

7 Dr Ketskeméty László előadása
Eset A minta egy eleme, az adatmátrix egy sora. Mintaelemszám Az adott minta elemeinek száma. Egy adatmátrix sorainak száma. Adatmátrix n db eset és p db változó adatainak mátrixba rendezett alakzata Változó A populáció egy mérhető jellemzője. Az adatmátrix egy oszlopa. Dr Ketskeméty László előadása

8 Dr Ketskeméty László előadása
Példák változókra - Magyarország állampolgárai: fizetés; kor; nem; párt stb. - Egy egyetemi kar hallgatói: gönygyölt tanulmányi átlag; neptun-kód; nem; szak; teljesített kreditek száma stb. - Az autók halmaza: gyorsulás; fogyasztás; lóerő; típus;... - Egy adott termék vásárlóinak halmaza: vélemény az árról; minőségről;... - Egy TV csatorna nézőinek halmaza: kor; nem; tetszési index; iskolázottság; stb. Dr Ketskeméty László előadása

9 Dr Ketskeméty László előadása
Statisztika A minta realizáció adataiból adott képlettel számolt adat a statisztika számított értéke. átlag, standard szórás, medián, kvartilis, ferdeség, lapultság, módusz, gyakoriság, próbastatisztikák, stb. Dr Ketskeméty László előadása

10 A matematikai statisztika alapmodellje
a véletlen kísérlet  a lehetséges kimenetelek halmaza A a megfigyelhető események halmaza a lehetséges valószínűségi mértékek halmaza P Az elemzésünk célja, hogy ebből a halmazból kiválasszuk a tényleges valószínűséget! Legalább is egy jó helyettesítő egyedet. Dr Ketskeméty László előadása

11 A változó matematikai fogalma
X:   R a vizsgált valószínűségi változó X-nek minden PP esetén megadható az eloszlásfüggvénye! FX ( t ) = P( X< t ) minden PP –re! F = {FX ( t ) : FX ( t ) = P( X< t ) minden PP –re} Feladatunk tehát, ebből a halmazból kiválasztani a valóságot legjobban leíró eloszlásfüggvényt! Dr Ketskeméty László előadása

12 A statisztikai minta fogalma
Az X valószínűségi változóval azonos eloszlású, egymással teljesen független X1, X2,…, X n valószínűségi változók együttesét statisztikai mintának nevezzük. A matematikai modellben a minta tehát teljesen független, azonos eloszlású valószínűségi változók sorozata… A gyakorlati alkalmazásokban pedig n db szám! X eloszlásfüggvénye a minta eloszlásfüggvénye is. n a mintaelemszám. Xi a minta i-edik eleme. Egy mintavételezéskor tulajdonképpen megfigyeljük a K véletlen kísérletet, azaz megállapítjuk melyik   kimenetele realizálódott. Az X1() = x1, X2() = x2,…, X n() = xn szám n-est nevezzük a minta realizációjának. Dr Ketskeméty László előadása

13 Dr Ketskeméty László előadása
Egy példa I. Populáció Tekintsük az USA-ban, Európában és Japánban a 70-es, 80-as években gyártott gépjárművek halmazát! Változók mpg hány mérföldet tesz meg egy gallon üzemanyaggal engine hengerűrtartalom inch3-ben horse motorteljesítmény lóerőben weight az autó súlya fontban accel hány sec alatt éri el a 60 mph/hour sebességet year a gyártás éve (utolsó két számjegy: 19..) origin a gyártóhely: 1-USA, 2-Európa, 3-Japán cylinder a hengerek száma (3, 4, 5, 6, 8) Dr Ketskeméty László előadása

14 Dr Ketskeméty László előadása
Egy példa II. A populációhoz képzünk egy n=406 elemű mintát! Azaz az 1970 és 1982 között a térségekben le- gyártott gépjárművek közül kiválasztunk 406-ot és megmérjük a változókhoz tartozó értékeket. Az adatokat egy mátrixba foglaljuk. Az adatmátrixban olvasható adathalmaz lesz a minta- realizáció. Tudjuk, hogy a mintavételezéskor a vélet- lentől függött, hogy melyik autót vizsgáltuk meg, azaz kaphattunk volna másik adatmátrixot is! A statisztikai minta egy absztrakcióval nyert fogalom: a mintarealizáció csupán egy lehetséges értékfelvétele. Dr Ketskeméty László előadása

15 Dr Ketskeméty László előadása
Egy példa III. Az adatmátrix első 17 esete: Dr Ketskeméty László előadása

16 Dr Ketskeméty László előadása
Egy példa IV. értékcimkék Dr Ketskeméty László előadása

17 Dr Ketskeméty László előadása
Egy példa V. Gyakoriságok Dr Ketskeméty László előadása

18 Dr Ketskeméty László előadása
Egy példa VI. Gyakoriságok Dr Ketskeméty László előadása

19 Dr Ketskeméty László előadása
Egy példa VII. Gyakoriságok Dr Ketskeméty László előadása

20 Dr Ketskeméty László előadása
Egy példa VIII. A leíró statisztikák számított értékei: Dr Ketskeméty László előadása

21 A statisztika matematikai fogalma
Legyen tn egy n-változós valós függvény. Akkor a statisztikai minta Tn=tn(X1,X2,…,Xn) függvényét nevezzük statisztikának. A statisztika egy valószínűségi változó, aminek eloszlásfüggvényét a minta eloszlásfüggvényéből lehet kiszámolni. A Tn=tn(X1,X2,…,Xn) szám (amikor az argumentumba a mintarealizáció értékeit helyettesítjük, a statisztika számolt értéke. Dr Ketskeméty László előadása

22 Az adatcentrumot jellemző
statisztikák ÁTLAG (mean) MEDIÁN (median) A leggyakrabban előforduló érték a mintában MÓDUSZ (mode) Dr Ketskeméty László előadása

23 Dr Ketskeméty László előadása
A szóródást jellemző statisztikák STANDARD SZÓRÁS (deviation) VARIÁCIÓ (variance) TERJEDELEM (range) Dr Ketskeméty László előadása

24 Dr Ketskeméty László előadása
Az eloszlást jellemző statisztikák FERDESÉG (skewness) Dr Ketskeméty László előadása

25 Dr Ketskeméty László előadása
Az eloszlást jellemző statisztikák LAPULTSÁG (curtosis) Dr Ketskeméty László előadása

26 A rendezett minta statisztikák I.
Dr Ketskeméty László előadása

27 A rendezett minta statisztikák II.
Dr Ketskeméty László előadása

28 A rendezett minta statisztikák III.
Az empirikus eloszlásfüggvény , ahol Az empirikus eloszlásfüggvény minden x helyen egy lépcsős eloszlásfüggvény lesz. Ugyanakkor az eloszlásfüggvény a statisztikai minta függvénye is, azaz minden x helyen valószínűségi változó lesz Dr Ketskeméty László előadása

29 A matematikai statisztika alaptétele Glivenko-Cantelli-tétel
Az empirikus eloszlásfüggvény 1 valószínűséggel, egyenletesen konvergál az eloszlásfüggvényhez. Dr Ketskeméty László előadása

30 Dr Ketskeméty László előadása
A paraméter Tegyük fel, hogy a minta eloszlásfüggvénye képletét egy  paraméter konkretizálja. Ha ismerjük az értékét, meg tudjuk pontosan adni az eloszlásfüggvényt: F = {FX ( t, ) :   } Egy adott statisztikai minta segítségével a  paraméter megbecslése a célunk! Dr Ketskeméty László előadása

31 Példa paraméteres problémákra
Egy joghurt zsírtartalmát ellenőrzik. A laborban  pontossággal meg tudják mérni a zsírtartalmat. A mérés a pontos érték körül a normális eloszlás szerint ingadozik. Ha vesznek egy mintát, akkor a minta eloszlása N(, )! 2. Egy brókerirodában m ügyfél kötvényeit kezelik. Egy ügyfél  valószínűséggel kér eladást/vételt az irodától. A napi tranzakciók száma Bin(m, ) eloszlást követ. Dr Ketskeméty László előadása

32 A paraméter becslése A  paraméter becsléséhez valamilyen alkalmas
Tn statisztikát használunk: Tn  . Egy ismeretlen számot (a -át) egy valószínűségi változóval becsüljük! Mikor jó egy ilyen becslés??? Dr Ketskeméty László előadása

33 Dr Ketskeméty László előadása
A paraméter becslése I. Torzítatlanság Valószínűségszámításból tanultuk, hogy egy valószínűségi változó az összes szám közül éppen a várható értéke körül ingadozik a legkisebb mértékben. A Tn statisztika a  paraméter torzítatlan becslése, ha ETn = . A torzítatlanság azt jelenti, hogy a becslő statisztika éppen a becsülendő paraméterérték körül fogja felvenni az értékeit. Lövészhasonlattal: „a találathoz a célkereszt jól van beállítva, nem hord félre a fegyver.” Dr Ketskeméty László előadása

34 A paraméter becslése II.
A becsülendő paraméter, . Egy nem torzítatlan becslő statisztika realizáltjai. Ilyen statisztika torzított. Egy torzítatlan becslő statisztika realizáltjai a minta elemszám függvényében. Dr Ketskeméty László előadása

35 A paraméter becslése III.
Aszimptotikus torzítatlanság Ha a torzítatlansági feltétel csak n esetben igaz: Dr Ketskeméty László előadása

36 A paraméter becslése IV.
Konzisztencia Ha garancia van arra, hogy a minta elemszám növekedtével növekszik a becslés pontosságának valószínűsége, konzisztens becslésről beszélünk: A statisztika, mint valószínűségi változó sorozat, sztochasztikusan konvergál a  konstanshoz! Dr Ketskeméty László előadása

37 Dr Ketskeméty László előadása
A paraméter becslése V. Csak a konstansnak lehet 0 a varianciája. Tehát, ha n elég nagy, a becslés gyakorlatilag a paramétert adja! Erős konzisztencia Azok a torzítatlan becslések, melyeknél a variancia a minta elemszám növekedtével 0-hoz tart: A Csebisev-egyenlőtlenségből következik, hogy az erősen konzisztens statisztikai becslések egyben konzisztensek is lesznek. A megfordítás általában nem igaz! Dr Ketskeméty László előadása

38 A paraméter becslése VI.
Konzisztencia, erős konzisztencia A becslés és a paraméter eltérése az n növekedtével csökkenni fog! Dr Ketskeméty László előadása

39 A paraméter becslése VII.
Hatásosság Két torzítatlan becslés közül nyilván a kisebb varianciájú a jobb, hiszen kisebb mértékben ingadozik a paraméter körül! Azaz, a Vn statisztika hatásosabb Wn-nél, ha Egy torzítatlan becslés akkor lesz hatásos, ha varianciája minden más torzítatlan becslés varianciájánál kisebb! Csak egyetlen hatásos becslés van! (Ezt kell megkeresni egy adott paraméter-becslési problémához!) Dr Ketskeméty László előadása

40 A paraméter becslése VIII.
Hatásosság A torzítatlan becslések közül azt kell alkalmaznunk, amelyiknek a legkisebb a varianciája. Ez fog a legkisebb mértékben ingadozni a paraméter körül, ilyenkor kevesebb megfigyeléssel is jó becslés kapható. Dr Ketskeméty László előadása

41 Dr Ketskeméty László előadása
Példák becslésekre I. Legyen a becsülendő paraméter most az X várható értéke: Megmutatható, hogy az átlagstatisztika torzítatlan: Dr Ketskeméty László előadása

42 Dr Ketskeméty László előadása
Példák becslésekre II. Ha még azt is tudjuk, hogy D2X <  , akkor az átlag erősen konzisztens is: A lineáris becslések között az átlag a hatásos: Dr Ketskeméty László előadása

43 Példák becslésekre III.
Legyen a becsülendő paraméter most az X varianciája: Az empirikus szórásnégyzet aszimptotikusan torzítatlan, a korrigált empirikus szórásnégyzet pedig torzítatlan becslés! Dr Ketskeméty László előadása