Az előadás letöltése folymat van. Kérjük, várjon

Az előadás letöltése folymat van. Kérjük, várjon

Mintavételi hiba, hibaszámítás.  A monitoring célja az, hogy megalapozza a vízstátus egységes és átfogó felülvizsgálatát minden egyes vízgyűjtőkerületben.

Hasonló előadás


Az előadások a következő témára: "Mintavételi hiba, hibaszámítás.  A monitoring célja az, hogy megalapozza a vízstátus egységes és átfogó felülvizsgálatát minden egyes vízgyűjtőkerületben."— Előadás másolata:

1 Mintavételi hiba, hibaszámítás

2  A monitoring célja az, hogy megalapozza a vízstátus egységes és átfogó felülvizsgálatát minden egyes vízgyűjtőkerületben és elősegítse a felszíni víztestek besorolását a megfelelő osztályba.  Mérlegelni kell a monitoring költségét és a státus hibás besorolásának következményéből származó költségeket (többlet intézkedések).  A vízgyűjtő gazdálkodási tervekben a konfidencia szinteket közölni kell. MONITORING - VKI

3 A víztest állapota hibás osztályozásának kockázata (osztályozás megbízhatósága)

4 Kockázat A kedvezőtlen esemény bekövetkezésének esélye, VKI értelmezésében a hibás osztály besorolás valószínűsége. Az elfogadható kockázati szint befolyásolja a víztest állapotának meghatározásához szükséges monitoring időbeli és térbeli sűrűségét. Megbízhatóság (konfidencia) Annak a valószínűsége ( %-ban kifejezve), hogy a statisztikai paraméter valós értéke a számított és a jegyzett értékek közé esik (statisztikai bizonytalanság). Precizitás (pontosság) A valós állapot és a monitoring által talált állapot közti eltérés, adott konfidencia-tartomány szélességének felével megegyező statisztikai bizonytalanság mértéke.

5 Mérési adatsor: osztályba sorolás hibáját befolyásoló tényezők Mérési gyakoriság Vizsgálandó jellemzők időbeli változékonysága Eltérés mértéke a küszöbértékhez (osztályhatárhoz) képest Besoroláshoz figyelembe veendő jellemző (évi vagy évszakos átlag, trendek, 90 %-os tartósságú érték, stb.) t C ChChChCh t C ChChChCh t C ChChChCh

6 Valószínűségi sűrűségfüggvény: f(x) Annak valószínűsége, hogy egy érték x 1 és x 2 közé essen: A valószínűségi sűrűségfüggvény integrálja a valószínűségi változó teljes értelmezési tartományára: Valószínűségi eloszlásfüggvény: a valószínűségi sűrűségfüggvény integrálfüggvénye: F(x) Annak a valószínűsége, hogy a valószínűségi változó értéke nem nagyobb, mint egy adott x i érték: Hibaszámítás elmélete (valószínűségelmélet) Mintavétel, mérésvalószínűségi változóvalószínűségi sűrűségfüggvény P (x  x i ) = F(x i ) Az eloszlásfüggvénnyel megadhatjuk annak a valószínűségét, hogy a valószínűségi változó értéke x 1 és x 2 közé esik: Sokaság (véges, végtelen)

7 A centrális határeloszlás tétele szerint bármilyen eloszlású sokaság esetén az n elemű minta számtani középértékének eloszlása a minta elemszámának növekedésével egy olyan normális eloszláshoz tart, melynek várható értéke megegyezik az eredeti eloszlás várható értékével. Ez azt jelenti, hogy ha már egyetlen mérési eredmény is átlagnak, pl. időátlagnak tekinthető, akkor várható, hogy az Gauss-eloszlású lesz. A mérési eredmények viszont nagyon gyakran ilyen átlagértékek. A gyakorlatban legtöbbször normális eloszlású mérési eredményekkel találkozunk. A centrális határeloszlás tétele

8 Normális eloszlás: azok a valószínűségi változók, melyek értékét sok kismértékű véletlenszerű hatás befolyásolja. Gauss-függvény: „m” az eloszlás várható értéke, „s” a szórás normalizált Gauss-függvény: u = (x-m) / s A normalizált Gauss-eloszláshoz tartozó valószínűségi eloszlásfüggvény: (hibaintegrál), F(  )=1. A normalizált Gauss-függvény (hibafüggvény):

9 x 1 = m-Δx és x 2 = m+ Δx Alkalmazás: Milyen valószínűséggel esik a valószínűségi változó értéke a várható érték körüli, adott sugarú intervallumba? u 1 = - Δx/s = -v és u 2 = Δx/s = v Transzformálás után (normalizált Gauss eloszláshoz) az intervallum: P(u 1  u  u 2 ) = F(u 2 ) - F(u 1 ) =  (v) -  (-v) Szimmetria miatt:  (-v) = 1 -  (v) P(-v  u  v) = 2  (v) - 1 Annak a valószínűsége, hogy a változó értéke kiessen az adott szimmetrikus intervallumból, tehát egy adott tűrésnél jobban eltérjen a várható értéktől: P(u  -v u  v) = 1- (2  (v)-1) = 2(1-  (v)). u = (x-m) / s

10 Gauss-eloszlás esetén: a mérési eredmények a várható érték körüli egyszeres szórás (s) sugarú intervallumba 68,3%, a 2 s sugarú intervallumba 95,4 % valószínűséggel esnek. Adott P valószínűség (P konfidencia szint) : [m - k s, m + k s ] Konfidencia intervallum, melybe a mérési eredmények az adott P valószínűséggel beleesnek. P = 68,3%k = 1 P = 95,4%k = 2 P = 90%k = 1.65 P = 95%k = 1.96 Konfidencia intervallum, megbízhatósági szint megadása u = S = 1  (u) = P (-1 ≤ x ≤ 1) =  (1) – (1 –  (1))= 2  (1) -1 = 0.683

11 Mérési eredményeknél: a szórást sem ismerjük, csak becsüljük a középérték korrigált tapasztalati szórásával. Szórás is pontatlan → ugyanahhoz a valószínűséghez nagyobb számmal kell megszorozni a becsült szórást a konfidencia intervallum meghatározásánál, mint ezt egy ismert szórású Gauss-eloszlásnál tennénk. Konfidencia kis mintaszámnál: A t paraméter meghatározása (Student-féle t-eloszlás) A Student-féle t paraméter értékei P konfidenciaszintnél és N mérésszámnál 0,80,90,950,9750,990,995 23,0786,31412,70625,45263,657127,32 31,8862,9204,3036,2059,92514,089 41,6382,3533,1824,1765,8417,453 51,5532,1322,7763,4954,6045,598 61,4762,0152,5713,1634,0324,773 71,4401,9432,4472,9693,7074,317 81,4151,8952,3652,8413,4994,029 91,3971,8602,3062,7523,3553, ,3831,8332,2622,6853,2503, ,3281,7292,0932,4332,8613,174  1,2821,6451,9602,2412,5762,807 X (mért mennyiség) = =  t

12 Mintavételi gyakoriság megválasztása Ha a cél: Átlag (középérték) meghatározása Trend detektálása Folytonos idősor visszaállítása

13 A mintavétel és mérés célja, hogy információt kapjunk a sokaságon az adott tulajdonság eloszlásáról, azaz meg tudjuk becsülni az eloszlás paramétereket a sokaság elemszámánál sokkal kisebb minta alapján. Egy becslés torzítatlan, ha a becsült és valóságos várható értékek megegyeznek, azaz: Torzítatlan és torzított becslés A hiba várható értéke 0 (a becsült paramétereket hullámvonal jelöli). A várható érték becslése A várható értéket úgy vezettük be véges elemű, diszkrét sokaságra, mint a sokaságra vett átlagát az adott tulajdonságnak. Ha most nem az egész sokaságot vesszük, csak egy mintát belőle, becsülhetjük úgy az egész sokaságra vonatkozó átlagot, hogy csak a mintára átlagolunk, azaz a várható értéket a következőképp becsüljük:, a becslés torzítatlan

14 A középérték eloszlásának tulajdonságai Egy n mérésből álló minta (egyes mérések eredményei) x 1,...,x n valószínűségi változók. Az x 1,...,x n valószínűségi változó számtani közepe: szintén valószínűségi változó, tehát tartozik hozzá egy f(x 1,...,x n ) valószínűségi sűrűségfüggvény. Az egyes mérési eredmények függetlenek egymástól, f(x 1,...,x n ) = f(x 1 )...f(x n ). Mivel ugyanazt a mérést ismételjük, az egyes mérési eredmények várható értéke E[x i ] =  és varianciája Var[x i ] =  2 azonos minden egyes mérésre. Az összeg és konstansszoros várható értékére és varianciájára vonatkozó formulákat alkalmazva kapjuk, hogy: Azaz a középérték várható értéke megegyezik az egyes mérések várható értékével, varianciája viszont n-ed része az egyes mérésének.

15 A mérési eredmények korrigált tapasztalati szórása és a középérték tapasztalati szórása („standard deviation”): Torzítatlan becslés varianciáját becsülhetjük az egyes mérések hibanégyzetének átlagával : Torzított becslésnél a variancia n-szeresének becsült értéke a valóságos variancia (n-1)-szerese: Variancia és szórás meghatározása Azaz a variancia becslése a mérési eredményekből: Mivel a középérték varianciája az egyes mérések varianciájának n-ed része

16 Ha a sokaság véges elemű, azaz N független elemet tartalmazó halmazból 1 ≤ n ≤ N független mintát emelünk ki visszahelyezés nélkül véletlenszerűen kiválasztva és az eljárást sokszor ismételve, az átlag várható értéke az torzítatlan becslését adja. n ] az A becslés varianciája: Az átlag szórása végtelen és ismert elemszámú sokaság esetén: ahol N → ∞ esetén (Cochran, 1962)

17 A középérték várható értékének és hibájának számítása Szórás becslése

18 A mintanagyság meghatározása átlagbecsléshez egyszerű véletlen mintánál Ha tudjuk, hogy az átlag becslésében nem akarunk egy megengedhető hibánál nagyobbat adott valószínűséggel megengedni, a szükséges mintaszám meghatározható a középérték hibájából. A megengedhető hiba lényegében a P valószínűséghez tartozó konfidencia intervallum: A hiba %-ban kifejezve: ahol A mintaszám független mintavétel esetén, végtelen sokaságra: Mintavétel véges sokaságra: Autokorrelált (nem független) mintáknál: N → N* és σ → σ*v

19 MINTASZÁM CSÖKKENTÉSÉNEK HATÁSA minta / év Heti / napi: 2.7 Kétheti / napi: 3.8 Havi / napi:5.5 Szezonális / napi: 9.6 Mintaszámtól (n) függő tényező: Havi / kétheti: 1.5 Szezonális / kétheti:2.5

20 Vízminőség paraméterek változékonysága (szórás szerepe) Függ: vízhozam, szezonális hatások (biológia), szennyezések

21 Vízminőségi jellemzők relatív szórása Víztípusok

22 Mintavétel hibája a szórás függvényében Víztípusok

23 Heti Kétheti Szezonális Kívánt pontosság eléréséhez szükséges éves mintaszám

24

25 A Zala és a Tetves-patak éves átlagos összes P terhelésének becslésében elkövetett relatív hiba Monte Carlo szimulációból nyert empirikus eloszlása (N=365, n=12) Példa: Adatsorok ritkítása → becslés hibájának eloszlása (Monte Carlo szimulációval) Ellenőrzés: valóban normál eloszlású a hiba? A vízhozamok általában erősen, a vízminőségi változók komponenstől függően különböző mértékben mutatnak pozitív ferdülést, leggyakrabban lognormál eloszlásúak.

26 KOMPONENSKOMPONENS Duna (Medve)Zala (Zalaapáti) Relatív szórás Havi mintavételezés hibája Relatív szórás Heti mintavételezés hibája Havi mintavételezés hibája Ter- helés Konc.Analiti- kus Monte Carlo Terhe- lés Konc.Analíti- Kus Monte Carlo Analiti- kus Monte Carlo Q % %26 %51 %54 % ÖN %23 % %36 %66 %70 % oldP %24 % %30 %53 %54 % ÖP %34 % %35 %59 %65 % Éves átlagok becslésében elkövetett relatív hiba (α, %) p = 95%

27 Adott tartósságú érték meghatározásának hibája Relatív hiba: 1-p p %-os tartósságú koncentráció becslési hibája a középérték hibájának háromszorosa!

28 Autokorreláció Általános (k lépés): Autokorrelációs tényező ( x(t) idősor, várható érték): Egy idősor jelenlegi és későbbi értékei közötti kapcsolat mértékét fejezi ki, Idősoron belüli kapcsolat szorosságát jellemzi, Egy idősor autokorreláció függvénye a  = 0.. n értékekhez tartozó r  autokorreláció tényezőkből áll. Autokorrelációs függvény:

29 Tipikus autokorreláció függvények Véletlenszerű (normális eloszlású független sorozat) Autokorrelált (véletlen sorozat mozgóátlaga) Periodikus (szinusz függvény, zajmentes)

30 Fehér zaj autokorreláció függvénye: Egy x t gaussi fehérzaj folyamat autokorreláció függvénye a Dirac- féle egységugrás függvény. if(t==0) r[t]=1; else r[t]=0; Egy valós fehérzaj folyamat autokorreláció függvénye csak a 0 helyen lép ki az Anderson-féle konfidencia intervallumból. Fehérzaj: Az x t stacionárius sztochasztikus folyamat gaussi fehérzaj, ha minden t-re standard normális eloszlású. Az x t sztochasztikus folyamat akkor stacionárius, ha az x t ( t  [ t 1 ; t 2 ]  T ) eloszlása független a [ t 1 ; t 2 ] kiválasztásától.

31 Autokorrelációs függvény

32 Autokorrelációs függvény

33 Autokorreláció figyelembe vétele a mintavételezésnél Az idősor elemei nem függetlenek Az észlelési adatok száma (elemszám, N) helyettesítendő N*-gal: ahol r(t) a t eltolású autokorrelációs tényező A szórás számítása: Vagyis, az effektív mintaszám egymástól nem független megfigyelési adatok esetén (Bayley & Hammersley, 1946): N* = N σ / σ*

34 Lettenmaier (1976) egylépéses autoregresszív modellel meghatározta az n és n* közötti összefüggést: Ahol: n a mintaszám, k a mintavételek közti intervallum, ρ az autokorrelációs tényező nkρ= 0,9ρ= 0,7ρ= 0,5ρ= 0,3ρ= 0, Effektív mintaszám (n*) az autokorrelációtól függően: n* < n

35 ρ =0 ρ =0.3 ρ =0.5 ρ =0.7 nS n /S 1 n*S n /S 1 n*S n /S 1 n*S n /S ,01971,01221,0651,0 1831,41531,11101,1631,0 1221,71161,3951,1601,0 912,0901,5801,2561,1 732,2731,6691,3521,1 612,4611,8591,4481,2 522,6521,9511,5441,2 263,7262,8262,2261,6 125,5124,1123,2122,3 Éves átlag becslésére vonatkozó standard hiba változása az effektív mintaszámtól függően, független és autokorrelált adatsor esetén n - mintaszám, n* - effektív mintaszám, ρ - autokorrelációs tényező, S 1 – éves átlag standard hibája n=365 mérési adatból, S n – éves átlag standard hibája n (n*) mérési adatból

36 Trend detektálásához szükséges adatszám Lettenmaier (1976), Somlyódy et al. (1986) t r = N*t 0 lépésköz, illetve lineáris trendnél a növekmény: A trend detektálásának erőssége: szórás

37 Trend detektálásához szükséges adatszám ( független minták száma az N 0 időtartam alatt) lépésköz (intervallum) autokorrelációs tényező Lettenmaier (1976), Somlyódy et al. (1986) szórás

38 Nyquist intervallum: Maximális időintervallum, mely esetén egyenlő időközönkénti mintavétellel a jel meghatározható. A mintában szereplő jel legmagasabb frekvenciájú összetevője kétszeresének a reciproka. folytonos jel, a jel Fourier transzformáltja: A jel sávszélessége (B), ahol Mintavételi frekvencia (határfrekvencia): Mintavételi időköz: Nyquist tétele: Egy adott, frekvenciakorlátos spektrumú, folytonos idősor, amely az fk határfrekvencián túl nem tartalmaz spekrtális összetevőket, egyértelműen visszaállítható a  t=fk/2 intervallumnál kisebb mintavételezési idejű diszkrét idősorból (Szőlősi-Nagy, 1976). A határfrekvencia (spektrumfüggvény) az idősor autokorreláció függvényének Fourier transzformáltjából állítható elő. Folytonos idősor előállítása diszkrét észlelésekből

39 Források: METROLÓGIA ÉS HIBASZÁMíTÁS (www.fke.bme.hu) Homolya András: Óravázlat a Geodézia II. tantárgy gyakorlataihoz (www.agt.bme.hu) Cochran (1962): Sampling technics

40 Idősorok elemzése Determinisztikus és sztochasztikus komponensek, előrejelzés autoregresszív modellel Forrás: Hidrológia II HEFOP oktatási segédanyag (www.vit.bme.hu)

41 Y(i) = T(i) + P(i) + A(i) Idősorok felbontása: T(i) trend komponens P(i)periodikus tag A(i)maradéktag determinisztikus sztochasztikus (autoregresszív és véletlen)

42 Lineáris: T(i)=a 0 + a 1 i Nem lineáris: T(i)=a 0 + a 1 i + a 2 i 2 + … + a n i n Trendszámítás Lineáris trend:

43

44 A trendvonal egyenlete: Példa: vízminőségi trend számítás Évszámc [mg/l]t [év]c i -c átlag t i -t átlag (c i -c átlag ) 2 (t i -t átlag ) 2 (c i -c átlag )  (t i -t átlag ) … ,3 12,7 …. 1 2 …. 10 +/- értékeket kapunk +/- értékeket kapunk c átlag =t átlag =  = =  = =  = = Segédtáblázat:

45 A trend mértéke: P < 3 %/évkismértékű 3 < P < 7 %/évnagymértékű 7 < P < 15 %/évigen nagymértékű P > 15 %/évrendkívül nagymértékű -1.8 % /év+1.6 % /év

46 Reziduális szórás (abszolút hiba) kifejezi, hogy a regressziós becslések átlagosan mennyivel térnek el az y megfigyelt értékeitől. Relatív szórás (relatív hiba) kifejezi, hogy a regressziós becslések átlagosan hány %-al térnek el az y megfigyelt értékeitől. Pearson-féle lineáris korrelációs együttható: Kovariancia Determinációs együttható: Ellenőrzés (regresszió számításból):

47 A trend mértéke: P < 3 %/évkismértékű 3 < P < 7 %/évnagymértékű 7 < P < 15 %/évigen nagymértékű P > 15 %/évrendkívül nagymértékű -1.8 % /év → dC = / 10év+1.6 % /év → dC = 0.1 / 10év D = r 2 = 0.25, S e = 0.46(dC = -0.82)D = r 2 = 0.12, S e = 0.16 (dC = 0.1)

48 Power trend Általános formula: Linearizált: Szórás (hiba):

49 Periodikus komponens meghatározása

50

51 Sztochasztikus összetevők Autoregresszív komponens Véletlen tag (zaj)

52 Egylépéses autokorrelációs tényező Egylépéses AR modell: Kétlépéses AR modell:

53 ARMA ( p, q ) : AR ( p ) : MA ( q ) : AR, MA és ARMA modellek Stacionárius folyamat (kritériumok: állandó átlag és szórás) leírására szolgálnak. Az idősor z t aktuális eleme az előző elemek (AR) illetve az a normális eloszlású véletlen sorozat előző tagjainak (MA) lineáris kombinációjaként számítható ki. Az AR(0) modellt fehér zaj modellnek is nevezik :

54 Előrejelzés idősor modellekkel

55 Thomas-Fiering modell (Balaton természetes vízkészlet változásának előrejelzése)


Letölteni ppt "Mintavételi hiba, hibaszámítás.  A monitoring célja az, hogy megalapozza a vízstátus egységes és átfogó felülvizsgálatát minden egyes vízgyűjtőkerületben."

Hasonló előadás


Google Hirdetések