Matematikai Statisztika VIK Doktori Iskola

Az előadások a következő témára: "Matematikai Statisztika VIK Doktori Iskola"— Előadás másolata:

1 Matematikai Statisztika VIK Doktori Iskola
A FEHÉRZAJ Matematikai Statisztika VIK Doktori Iskola

2 Az idősormodellek maradéktagja
A fehérzaj (white noise) vagy más néven véletlen zaj: olyan tetszőleges eloszlású - additív modellek esetén zérus, multiplikatív modellek esetén pedig egységnyi várható értékű - nem periodikus zaj (folyamat), melynek spektruma egy adott frekvenciasávban közel azonos teljesítmény-sűrűségű (azaz spektrális energia-eloszlása független a frekvenciától). Az elnevezés a fényre utal, mert a fehér fény teljesítmény-eloszlása is egyenletes a frekvencia mentén. A zaj több eltérő frekvenciájú és intenzitású jel zavaró összessége, amely a hasznos jelre szuperponálódik és elfedi annak információ-tartalmát.

3 Az idősormodellek maradéktagja
„Valódi" – a teljes végtelen frekvenciatartományban értelmezett – fehérzaj nem létezik, csak valamilyen véges frekvenciatartományban teljesülhetnek az előbbi feltételek. A fehérzaj gyakran – de nem feltétlenül – normális eloszlású. Ha a normalitás feltételezhető, a folyamat leírása egyszerűbb.

4 Példa: egy normális eloszlású fehérzajra
.

5 Példa: egy 768 lépéses fehérzaj időfüggvénye
Amplitudó  . Idő (sorszám) 

6 Frekvencia (nullától a mintavételi frekvencia feléig) 
Példa: az előbbi 768 lépéses fehérzaj periodogramja Power  . Frekvencia (nullától a mintavételi frekvencia feléig) 

7 Frekvencia (nullától a mintavételi frekvencia feléig) 
Példa: egy 768 lépéses fehérzaj periodogramjának „simított” változata Power  . Frekvencia (nullától a mintavételi frekvencia feléig) 

8 Az idősor hibatagja, a fehérzaj

9 Példa generált fehér zajra

10 Példa generált fehér zajra
A P-P diagrammok, grafikus tesztek a normalitás ellenőrzésére N=11041 N=100 N=1000

11 Próbák a fehérzaj felismerésére
Az idősorok matematikai tárgyalását a nem változó idősorok kimutatására kidolgozott statisztikai próbák ismertetésével kezdjük. Ezek azért fontosak, hogy eldönthessük, hogy érdemes-e egyáltalán foglalkozni az elemzendő idősorral. Ha ugyanis az idősorunk korrelálatlan azonos eloszlású változók sorozata, nincs benne sem trend, sem ciklikusság, akkor nincs mit tennünk. A semmiből nem lehet kimutatni a valamit. Másrészt, ha már túl vagyunk egy bonyolult elemzésen és előállítottuk a becslést, a maradék idősorra elvégezve a fent említett próbákat bebizonyíthatjuk, hogy modellünk tartalmaz minden lényeges információt amit tudni lehet. A modell érvényességének elemzésekor ezt fontos elvégezni.

12 Váltakozáselemzés

13 Váltakozáselemzés

14 Váltakozáselemzés

15 Váltakozáselemzés

16 Váltakozáselemzés Próbastatisztika
Az előző példában a próbastatisztika számított értékei a szignifikanciával

17 Csúcsmódszer

18 Csúcsmódszer i=1, ha vagy i=0, ha vagy

19 Csúcsmódszer

20 Csúcsmódszer A leírásban szereplő  idősor számolását végző szintaxis-program:

21 Csúcsmódszer

22 Csúcsmódszer

23 Csúcsmódszer A nullhipotézist, hogy a generált adatsor fehérzaj, minden mintaszámnál el lehet fogadni:

24 Előjelmódszer

25 Előjelmódszer

26 A portmentau-próba Ha fehérzajról van szó, akkor

27 A hibatag értékei korrelálatlanok
Egyszerű véletlen mintavétel esetében ez a feltétel automatikusan teljesül. Ha a modell idősoros adatokra épül, gyakran előfordul a hibatagok autokorreláltsága. Autokorreláció oka: Nem megfelelő függvénytípus. Nem véletlen jellegű mérési hiba. A modellben nem szerepel valamennyi lényeges magyarázó változó (nem tudjuk, hogy kell / túl rövid idősor / nincs adat).

28 Autokorreláció grafikus tesztelése
A reziduumok nem véletlenszerűek, hanem az egymást követő értékek között jelentős korreláció van. t t e Az autokorreláció a függvénytípus helytelen megválasztásának a következménye. t

29 Autokorreláció tesztelése Durbin-Watson próbával
H0: ρ = 0 korrelálatlan H1: ρ ≠ 0 autokorreláció Határai: Pozitív autokorreláció: Negatív autokorreláció: Bizonytalansági tartomány: nem tudunk dönteni Növelni kell a megfigyelések számát Új változót kell bevonni a modellbe - zavaró autokorreláció + zavaró autokorreláció 0 dl du 2 4-du 4-dl 4 Elfogadási tartomány

30 A Durbin-Watson próba döntési táblázata
H1 Elfogadjuk H0:p=0 Elvetjük Nincs döntés p>0 Pozitív autokorreláció d > du d < dl dl< d <du p<0 Negatív autokorreláció d < 4-du d > 4-dl 4-dl < d <4-du du illetve dl értékét a Durbin-Watson táblázatból határozzuk meg Forrás: Kerékgyártó-Mundruczó [1999]

31 Durbin-Watson statisztika (5%-os szignifikanciaszint mellett)
dL dU 15 1,08 1,36 16 1,10 1,37 17 1,13 1,38 18 1,16 1,39 19 1,18 1,40 20 1,20 1,41 21 1,22 1,42 22 1,24 1,43 23 1,26 1,44 24 1,27 1,45 25 1,29 26 1,30 1,46 27 1,32 1,47 28 1,33 1,48 29 1,34 30 1,35 1,49 31 1,50 32 33 1,51 34 35 1,52 36 37 1,53 38 1,54 39 40 50 1,59 60 1,55 1,62 70 1,58 1,64 80 1,61 1,66 90 1,63 1,68 100 1,65 1,69 Forrás: Statisztikai képletgyűjtemény

32 Autokorreláció tesztelése Durbin-Watson próbával
0 dl du 2 4-du 4-dl 4 0,95 1,54 2,46 3,05 1,381 dl<d<du → nincs döntés → Növelni kell a megfigyelések számát!

33 Durbin-Watson próba - SPSS
Analyze / Regression / Linear… - Statistics

34 Grafikus normalitásvizsgálat
A lehetséges eloszlások: béta, Chi-négyzet , exponenciális, gamma, fél-normális, Laplace, Logisztikus, Lognormál, normális, pareto, Student-féle t,, Weibull, és egyenletes. A P-P ábrán az elméleti eloszlásfüggvény és az empirikus eloszlásfüggvény van összehasonlítva. A Q-Q ábrán látható pontok vízszintes tengelyhez tartozó koordinátái a változó tapasztalati kvantilisei, a függőleges tengelyen pedig a tesztelt eloszlás kvantilisei állnak. A jó illeszkedés esetén a pontok közel szóródnak az ábrán meghúzott egyenes körül!

35 Grafikus normalitásvizsgálat
Hisztogramm a normális sűrűségfüggvénnyel

36 Grafikus illeszkedésvizsgálat

37 Grafikus illeszkedésvizsgálat

38 Grafikus illeszkedésvizsgálat

39 Grafikus illeszkedésvizsgálat

40 Grafikus illeszkedésvizsgálat

41 Grafikus illeszkedésvizsgálat

42 Illeszkedésvizsgálat próbával

43 Az illeszkedés nem fogadható el!
Illeszkedésvizsgálat próbával Az illeszkedés nem fogadható el!

44 Egymintás Kolmogorov-Szmirnov próba
Most ún. illeszkedésvizsgálatról van szó! ahol Ha a nullhipotézis igaz, a próbastatisztika aszimptotikusan Kolmogorov-eloszlást követ. A kritikus értéket ez alapján az eloszlás alapján határozzuk meg a szignifikancia szinthez. DÖNTÉS

45 Az empirikus eloszlásfüggvény és az elméleti eloszlásfüggvény átfedése 100 elemű minta esetén:

46 A Kolmogorov eloszlás

47 Példa egymintás Kolmogorov-Szmirnov próbára
Normális eloszlást követ-e a fogyás?

48 Példa egymintás Kolmogorov-Szmirnov próbára

49 Példa egymintás Kolmogorov-Szmirnov próbára
Jelentős nagyságú a szignifikancia szint, el kell hogy fogadjuk a nullhipotézist! A fogyás jól illeszkedik a normális eloszláshoz!