Mintavételi hiba, hibaszámítás

Az előadások a következő témára: "Mintavételi hiba, hibaszámítás"— Előadás másolata:

1 Mintavételi hiba, hibaszámítás

2 MONITORING - VKI A monitoring célja az, hogy megalapozza a vízstátus egységes és átfogó felülvizsgálatát minden egyes vízgyűjtőkerületben és elősegítse a felszíni víztestek besorolását a megfelelő osztályba. Mérlegelni kell a monitoring költségét és a státus hibás besorolásának következményéből származó költségeket (többlet intézkedések). A vízgyűjtő gazdálkodási tervekben a konfidencia szinteket közölni kell.

3 A víztest állapota hibás osztályozásának kockázata
(osztályozás megbízhatósága)

4 Kockázat A kedvezőtlen esemény bekövetkezésének esélye, VKI értelmezésében a hibás osztály besorolás valószínűsége. Az elfogadható kockázati szint befolyásolja a víztest állapotának meghatározásához szükséges monitoring időbeli és térbeli sűrűségét. Megbízhatóság (konfidencia) Annak a valószínűsége ( %-ban kifejezve), hogy a statisztikai paraméter valós értéke a számított és a jegyzett értékek közé esik (statisztikai bizonytalanság). Precizitás (pontosság) A valós állapot és a monitoring által talált állapot közti eltérés, adott konfidencia-tartomány szélességének felével megegyező statisztikai bizonytalanság mértéke.

5 osztályba sorolás hibáját befolyásoló tényezők
Mérési adatsor: osztályba sorolás hibáját befolyásoló tényezők Mérési gyakoriság Vizsgálandó jellemzők időbeli változékonysága Eltérés mértéke a küszöbértékhez (osztályhatárhoz) képest Besoroláshoz figyelembe veendő jellemző (évi vagy évszakos átlag, trendek, 90 %-os tartósságú érték, stb.) t C t C t C Ch Ch Ch

6 Hibatípusok Véletlen hiba: A mérési eredmények a valóságos értéktől mindkét irányban azonos valószínűséggel, véletlenszerűen térnek el. Nagy számú mérés átlagát véve a véletlen hiba tetszőlegesen csökkenthető. Rendszeres (szisztematikus) hiba: A mérési eredmények a valóságos értéktől eltérő érték körül ingadoznak. Sokféle oka lehet, pl: Nem megfelelő mintavétel, Hibás vagy rosszul beállított műszer, Analitikai (módszertani) probléma, Figyelmen kívül hagyott, a mérést befolyásoló külső tényező (pl. hőmérséklet hatása).

7 Hibaszámítás elmélete (valószínűségelmélet)
Mintavétel, mérés valószínűségi változó valószínűségi sűrűségfüggvény Sokaság (véges, végtelen) Valószínűségi sűrűségfüggvény: f(x) Annak valószínűsége, hogy egy érték x1 és x2 közé essen: A valószínűségi sűrűségfüggvény integrálja a valószínűségi változó teljes értelmezési tartományára: Valószínűségi eloszlásfüggvény: a valószínűségi sűrűségfüggvény integrálfüggvénye: F(x) Annak a valószínűsége, hogy a valószínűségi változó értéke nem nagyobb, mint egy adott xi érték: P (x  xi ) = F(xi) Az eloszlásfüggvénnyel megadhatjuk annak a valószínűségét, hogy a valószínűségi változó értéke x1 és x2 közé esik:

8 Az eloszlás paraméterei, a minta jellemzői
Az eloszlás várható értéke diszkrét és folytonos eloszlás esetén: A eloszlás mediánja a valószínűségi változónak az az értéke, melynél kisebb és nagyobb érték is ugyanolyan valószínűségű, azaz ahol az eloszlásfüggvény értéke F(xme) = 0,5. Az eloszlás módusza a sűrűségfüggvény maximum helye. Szimmetrikus eloszlás várható értéke, mediánja és módusza azonos. A variancia a sokaság elemeinek a várható értéktől való eltérését jellemzi: Var [x] = s2 (szórás) A valószínűségi változó konstansszorosának várható értéke a várható érték konstansszorosa: Változó konstansszorosának varianciája a variancia szorozva a konstans négyzetével: Var [cx] = E [cx-cmx]2 = c2 E [x-mx] = c2 Var [x] Var [cx] = E [cx-cmx]2 = c2 E [x-mx] = c2 Var [x]

9 Torzítatlan és torzított becslés
A mintavétel és mérés célja, hogy információt kapjunk a sokaságon az adott tulajdonság eloszlásáról, azaz meg tudjuk becsülni az eloszlás paramétereket a sokaság elemszámánál sokkal kisebb minta alapján. Egy becslés torzítatlan, ha a becsült és valóságos várható értékek megegyeznek, azaz: A hiba várható értéke 0 (a becsült paramétereket hullámvonal jelöli). A várható érték becslése A várható értéket úgy vezettük be véges elemű, diszkrét sokaságra, mint a sokaságra vett átlagát az adott tulajdonságnak. Ha most nem az egész sokaságot vesszük, csak egy mintát belőle, becsülhetjük úgy az egész sokaságra vonatkozó átlagot, hogy csak a mintára átlagolunk, azaz a várható értéket a következőképp becsüljük: , a becslés torzítatlan

10 A középérték eloszlásának tulajdonságai
Egy n mérésből álló minta (egyes mérések eredményei) x1,...,xn valószínűségi változók. Az x1,...,xn valószínűségi változó számtani közepe: szintén valószínűségi változó, tehát tartozik hozzá egy f(x1,...,xn) valószínűségi sűrűségfüggvény. Az egyes mérési eredmények függetlenek egymástól, f(x1,...,xn) = f(x1)...f(xn). Mivel ugyanazt a mérést ismételjük, az egyes mérési eredmények várható értéke E[xi] = m és varianciája Var[xi] = s2 azonos minden egyes mérésre. Az összeg és konstansszoros várható értékére és varianciájára vonatkozó formulákat alkalmazva kapjuk, hogy: Azaz a középérték várható értéke megegyezik az egyes mérések várható értékével, varianciája viszont n-ed része az egyes mérésének.

11 Variancia és szórás meghatározása
Torzítatlan becslés varianciáját becsülhetjük az egyes mérések hibanégyzetének átlagával : Torzított becslésnél a variancia n-szeresének becsült értéke a valóságos variancia (n-1)-szerese: Azaz a variancia becslése a mérési eredményekből: A mérési eredmények korrigált tapasztalati szórása és a középérték tapasztalati szórása („standard deviation”): Mivel a középérték varianciája az egyes mérések varianciájának n-ed része

12 az átlag várható értéke az torzítatlan becslését adja.
Ha a sokaság véges elemű, azaz N független elemet tartalmazó halmazból 1 ≤ n ≤ N független mintát emelünk ki visszahelyezés nélkül véletlenszerűen kiválasztva és az eljárást sokszor ismételve, az átlag várható értéke az torzítatlan becslését adja. A becslés varianciája: n] az ahol N → ∞ esetén Az átlag szórása végtelen és ismert elemszámú sokaság esetén: (Cochran, 1962)

13 A centrális határeloszlás tétele
A centrális határeloszlás tétele szerint bármilyen eloszlású sokaság esetén az n elemű minta számtani középértékének eloszlása a minta elemszámának növekedésével egy olyan normális eloszláshoz tart, melynek várható értéke megegyezik az eredeti eloszlás várható értékével. Ez azt jelenti, hogy ha már egyetlen mérési eredmény is átlagnak, pl. időátlagnak tekinthető, akkor várható, hogy az Gauss-eloszlású lesz. A mérési eredmények viszont nagyon gyakran ilyen átlagértékek. A gyakorlatban legtöbbször normális eloszlású mérési eredményekkel találkozunk.

14 Normális eloszlás: azok a valószínűségi változók, melyek értékét sok kismértékű véletlenszerű hatás befolyásolja. „m” az eloszlás várható értéke, „s” a szórás Gauss-függvény: u = (x-m) / s normalizált Gauss-függvény: A normalizált Gauss-eloszláshoz tartozó valószínűségi eloszlásfüggvény: (hibaintegrál), F()=1. A normalizált Gauss-függvény (hibafüggvény):

15 Alkalmazás: Milyen valószínűséggel esik a valószínűségi változó értéke a várható érték körüli, adott sugarú intervallumba? x1 = m-Δx és x2 = m+ Δx Transzformálás után (normalizált Gauss eloszláshoz) az intervallum: u = (x-m) / s u1 = - Δx/s = -v és u2 = Δx/s = v P(u1  u  u2) = F(u2) - F(u1) = F (v) - F (-v) Szimmetria miatt: F (-v) = 1 - F(v) P(-vuv) = 2 F (v) - 1 Annak a valószínűsége, hogy a változó értéke kiessen az adott szimmetrikus intervallumból, tehát egy adott tűrésnél jobban eltérjen a várható értéktől: P(u  -v u  v) = 1- (2f(v)-1) = 2(1-f(v)).

16 Konfidencia intervallum, megbízhatósági szint megadása
Gauss-eloszlás esetén: a mérési eredmények a várható érték körüli egyszeres szórás (s) sugarú intervallumba 68,3%, a 2 s sugarú intervallumba 95,4 % valószínűséggel esnek. Adott P valószínűség (P konfidencia szint) : [m - k s , m + k s ] Konfidencia intervallum, melybe a mérési eredmények az adott P valószínűséggel beleesnek. P = 68,3% k = 1 P = 95,4% k = 2 P = 90% k = 1.65 P = 95% k = 1.96 u = S = 1 F(u) = P (-1 ≤ x ≤ 1) = F (1) – (1 – F(1))= 2 F(1) -1 = 0.683

17

18 Konfidencia kis mintaszámnál:
A t paraméter meghatározása (Student-féle t-eloszlás) Mérési eredményeknél: a szórást sem ismerjük, csak becsüljük a középérték korrigált tapasztalati szórásával. Szórás is pontatlan → ugyanahhoz a valószínűséghez nagyobb számmal kell megszorozni a becsült szórást a konfidencia intervallum meghatározásánál, mint ezt egy ismert szórású Gauss-eloszlásnál tennénk. A Student-féle t paraméter értékei P konfidenciaszintnél és N mérésszámnál 0,8 0,9 0,95 0,975 0,99 0,995 2 3,078 6,314 12,706 25,452 63,657 127,32 3 1,886 2,920 4,303 6,205 9,925 14,089 4 1,638 2,353 3,182 4,176 5,841 7,453 5 1,553 2,132 2,776 3,495 4,604 5,598 6 1,476 2,015 2,571 3,163 4,032 4,773 7 1,440 1,943 2,447 2,969 3,707 4,317 8 1,415 1,895 2,365 2,841 3,499 4,029 9 1,397 1,860 2,306 2,752 3,355 3,832 10 1,383 1,833 2,262 2,685 3,250 3,690 20 1,328 1,729 2,093 2,433 2,861 3,174  1,282 1,645 1,960 2,241 2,576 2,807 X (mért mennyiség) = =  t

19 A középérték várható értékének és hibájának számítása
Szórásnégyzet becslése

20 A mintanagyság meghatározása átlagbecsléshez egyszerű véletlen mintánál
Ha tudjuk, hogy az átlag becslésében nem akarunk egy megengedhető hibánál nagyobbat adott valószínűséggel megengedni, a szükséges mintaszám meghatározható a középérték hibájából. A megengedhető hiba lényegében a P valószínűséghez tartozó konfidencia intervallum: A hiba %-ban kifejezve: ahol A mintaszám független mintavétel esetén, végtelen sokaságra: Mintavétel véges sokaságra:

21 MINTASZÁM CSÖKKENTÉSÉNEK HATÁSA
minta / év Mintaszámtól (n) függő tényező: Heti / napi: 2.7 Kétheti / napi: 3.8 Havi / napi: 5.5 Szezonális / napi: 9.6 Havi / kétheti: 1.5 Szezonális / kétheti: 2.5

22 Vízminőség paraméterek változékonysága (szórás)
Függ: vízhozam, szezonális hatások (biológia), szennyezések

23 Vízminőségi jellemzők relatív szórása
Víztípusok

24 Mintavétel hibája a szórás függvényében
Víztípusok

25 Kívánt pontosság eléréséhez szükséges éves mintaszám
Heti Kétheti Szezonális Kívánt pontosság eléréséhez szükséges éves mintaszám

26 Kívánt pontosság eléréséhez szükséges éves mintaszám

27 Tesztelés: Monte Carlo szimulációval
A vízhozamok általában erősen, a vízminőségi változók komponenstől függően különböző mértékben mutatnak pozitív ferdülést, leggyakrabban lognormál eloszlásúak. Tesztelés: Monte Carlo szimulációval Példa: adatsorok ritkítása → becslés hibájának eloszlása: A Zala és a Tetves-patak éves átlagos összes P terhelésének becslésében elkövetett relatív hiba Monte Carlo szimulációból nyert empirikus eloszlása (N=365, n=12)

28 Éves átlagok becslésében elkövetett relatív hiba (α, %) p = 95%
K O M P O N E N S Duna (Medve) Zala (Zalaapáti) Relatív szórás Havi mintavételezés hibája Relatív szórás Heti mintavételezés hibája K O M P N E S Ter-helés Konc. Analiti- kus Monte Carlo Terhe-lés Analíti- Kus Q 0.39 17 % 0.92 23 % 26 % 51 % 54 % ÖN 0.45 0.23 22 % 1.18 30 % 36 % 66 % 70 % oldP 0.47 0.29 24 % 0.96 0.38 25 % 53 % ÖP 0.64 0.35 32 % 34 % 1.07 0.52 27 % 35 % 59 % 65 %

29 Adott tartósságú érték meghatározásának hibája
MINTAVÉTELI HIBA Adott tartósságú érték meghatározásának hibája Relatív hiba: 1-p 0.1 0.5 1 5 10 20 31.6 14.1 9.9 4.4 3.0 2.0 30 40 50 60 70 80 90 1.5 1.2 1.0 0.8 0.7 0.3 90%-os tartósságú koncentráció becslési hibája a középérték hibájának háromszorosa!

30 Forrásmunkák: METROLÓGIA ÉS HIBASZÁMíTÁS ( Homolya András: Óravázlat a Geodézia II. tantárgy gyakorlataihoz ( Cochran (1962): Sampling technics

31 Mintavételi gyakoriság megválasztása
Ha a cél: Átlag (középérték) meghatározása Trend detektálása Folytonos idősor visszaállítása

32 A középérték eloszlásának tulajdonságai
Egy n mérésből álló minta (egyes mérések eredményei) x1,...,xn valószínűségi változók. Az x1,...,xn valószínűségi változó számtani közepe: szintén valószínűségi változó, tehát tartozik hozzá egy f(x1,...,xn) valószínűségi sűrűségfüggvény. Az egyes mérési eredmények függetlenek egymástól, f(x1,...,xn) = f(x1)...f(xn). Mivel ugyanazt a mérést ismételjük, az egyes mérési eredmények várható értéke E[xi] = m és varianciája Var[xi] = s2 azonos minden egyes mérésre. Az összeg és konstansszoros várható értékére és varianciájára vonatkozó formulákat alkalmazva kapjuk, hogy: Azaz a középérték várható értéke megegyezik az egyes mérések várható értékével, varianciája viszont n-ed része az egyes mérésének.

33 az átlag várható értéke az torzítatlan becslését adja.
Ha a sokaság véges elemű, azaz N független elemet tartalmazó halmazból 1 ≤ n ≤ N független mintát emelünk ki visszahelyezés nélkül véletlenszerűen kiválasztva és az eljárást sokszor ismételve, az átlag várható értéke az torzítatlan becslését adja. A becslés varianciája: n] az ahol N → ∞ esetén Az átlag szórása végtelen és ismert elemszámú sokaság esetén: (Cochran, 1962)

34 A középérték várható értékének és hibájának számítása
Szórás becslése

35 A mintanagyság meghatározása átlagbecsléshez egyszerű véletlen mintánál
Ha tudjuk, hogy az átlag becslésében nem akarunk egy megengedhető hibánál nagyobbat adott valószínűséggel megengedni, a szükséges mintaszám meghatározható a középérték hibájából. A megengedhető hiba lényegében a P valószínűséghez tartozó konfidencia intervallum: A hiba %-ban kifejezve: ahol A mintaszám független mintavétel esetén, végtelen sokaságra: Mintavétel véges sokaságra: Autokorrelált (nem független) mintáknál: N → N* és σ → σ*v

36 Autokorreláció Egy idősor jelenlegi és későbbi értékei közötti kapcsolat mértékét fejezi ki, Idősoron belüli kapcsolat szorosságát jellemzi, Autokorrelációs tényező ( x(t) idősor, várható érték): Általános (k lépés): Autokorrelációs függvény: Egy idősor autokorreláció függvénye a  = 0 .. n értékekhez tartozó r autokorreláció tényezőkből áll.

37 Tipikus autokorreláció függvények
-2 -1.5 -1 -0.5 0.5 1 1.5 2 3 5 7 9 11 13 15 17 19 21 23 25 27 29 31 -1 -0.8 -0.6 -0.4 -0.2 0.2 0.4 0.6 0.8 1 2 4 6 8 10 12 14 16 18 20 22 24 26 28 30 Véletlenszerű (normális eloszlású független sorozat) -0.3 -0.2 -0.1 0.1 0.2 0.3 0.4 0.5 0.6 0.7 1 3 5 7 9 11 13 15 17 19 21 23 25 27 29 31 -1 -0.8 -0.6 -0.4 -0.2 0.2 0.4 0.6 0.8 1 2 4 6 8 10 12 14 16 18 20 22 24 26 28 30 Autokorrelált (véletlen sorozat mozgóátlaga) -1.5 -1 -0.5 0.5 1 1.5 3 5 7 9 11 13 15 17 19 21 23 25 27 29 31 -1 -0.8 -0.6 -0.4 -0.2 0.2 0.4 0.6 0.8 1 2 4 6 8 10 12 14 16 18 20 22 24 26 28 30 Periodikus (szinusz függvény, zajmentes)

38 Fehér zaj autokorreláció függvénye:
Az xt stacionárius sztochasztikus folyamat gaussi fehérzaj, ha minden t-re standard normális eloszlású. Az xt sztochasztikus folyamat akkor stacionárius, ha az xt ( t  [ t1; t2 ]  T ) eloszlása független a [ t1; t2 ] kiválasztásától. Fehér zaj autokorreláció függvénye: -1 -0.8 -0.6 -0.4 -0.2 0.2 0.4 0.6 0.8 1 2 4 6 8 10 12 14 16 18 20 22 24 26 28 30 Egy xt gaussi fehérzaj folyamat autokorreláció függvénye a Dirac-féle egységugrás függvény. if(t==0) r[t]=1; else r[t]=0; -1 -0.8 -0.6 -0.4 -0.2 0.2 0.4 0.6 0.8 1 2 4 6 8 10 12 14 16 18 20 22 24 26 28 30 Egy valós fehérzaj folyamat autokorreláció függvénye csak a 0 helyen lép ki az Anderson-féle konfidencia intervallumból.

39 Autokorrelációs függvény

40 Autokorrelációs függvény

41 Autokorreláció figyelembe vétele a mintavételezésnél
Az idősor elemei nem függetlenek Az észlelési adatok száma (elemszám, N) helyettesítendő N*-gal: ahol r(t) a t eltolású autokorrelációs tényező A szórás számítása: Vagyis, az effektív mintaszám egymástól nem független megfigyelési adatok esetén (Bayley & Hammersley, 1946): N* = N σ / σ*

42 Lettenmaier (1976) egylépéses autoregresszív modellel meghatározta az n és n* közötti összefüggést:
n* < n Ahol: n a mintaszám, k a mintavételek közti intervallum, ρ az autokorrelációs tényező Effektív mintaszám (n*) az autokorrelációtól függően: n k ρ= 0,9 ρ= 0,7 ρ= 0,5 ρ= 0,3 ρ= 0,1 365 1 20 65 122 197 299 183 2 63 110 153 179 3 60 95 116 91 4 19 56 80 90 73 5 52 69 61 6 48 59 7 44 51 26 14 17 12 30 11

43 független és autokorrelált adatsor esetén
Éves átlag becslésére vonatkozó standard hiba változása az effektív mintaszámtól függően, független és autokorrelált adatsor esetén ρ =0 ρ =0.3 ρ =0.5 ρ =0.7 n Sn/S1 n* 365 1,0 197 122 65 183 1,4 153 1,1 110 63 1,7 116 1,3 95 60 91 2,0 90 1,5 80 1,2 56 73 2,2 1,6 69 52 61 2,4 1,8 59 48 2,6 1,9 51 44 26 3,7 2,8 12 5,5 4,1 3,2 2,3 n - mintaszám, n* - effektív mintaszám, ρ - autokorrelációs tényező, S1 – éves átlag standard hibája n=365 mérési adatból, Sn – éves átlag standard hibája n (n*) mérési adatból

44 Trend detektálásához szükséges adatszám
A trend detektálásának erőssége: lépésköz, illetve lineáris trendnél a növekmény: tr = N*t0 szórás Lettenmaier (1976), Somlyódy et al. (1986)

45 Trend detektálásához szükséges adatszám (független minták száma az N0 időtartam alatt)
autokorrelációs tényező lépésköz (intervallum) szórás Lettenmaier (1976), Somlyódy et al. (1986)

46 Folytonos idősor előállítása diszkrét észlelésekből
Nyquist tétele: Egy adott, frekvenciakorlátos spektrumú, folytonos idősor, amely az fk határfrekvencián túl nem tartalmaz spekrtális összetevőket, egyértelműen visszaállítható a t=fk/2 intervallumnál kisebb mintavételezési idejű diszkrét idősorból (Szőlősi-Nagy, 1976). A határfrekvencia (spektrumfüggvény) az idősor autokorreláció függvényének Fourier transzformáltjából állítható elő. Nyquist intervallum: Maximális időintervallum, mely esetén egyenlő időközönkénti mintavétellel a jel meghatározható. A mintában szereplő jel legmagasabb frekvenciájú összetevője kétszeresének a reciproka. folytonos jel, a jel Fourier transzformáltja: A jel sávszélessége (B), ahol Mintavételi frekvencia (határfrekvencia): Mintavételi időköz: