Statisztikai döntésfüggvények elméletének elemei

Slides:



Advertisements
Hasonló előadás
Események formális leírása, műveletek
Advertisements

Hipotézis-ellenőrzés (Statisztikai próbák)
I. előadás.
II. előadás.
Statisztika II. I. Dr. Szalka Éva, Ph.D..
3. Két független minta összehasonlítása
MI 2003/9 - 1 Alakfelismerés alapproblémája: adott objektumok egy halmaza, továbbá osztályok (kategóriák) egy halmaza. Feladatunk: az objektumokat - valamilyen.
MI 2003/ A következőkben más megközelítés: nem közvetlenül az eloszlásokból indulunk ki, hanem a diszkriminancia függvényeket keressük. Legegyszerűbb:
A többszörös összehasonlítás gondolatmenete. Több mint két statisztikai döntés egy vizsgálatban? Mi történik az elsõ fajú hibával, ha két teljesen független.
Matematikai Statisztika VIK Doktori Iskola
Két változó közötti összefüggés
Gépi tanulási módszerek febr. 20.
STATISZTIKA II. 5. Előadás Dr. Balogh Péter egyetemi adjunktus Gazdaságelemzési és Statisztikai Tanszék.
Statisztika II. IX. Dr. Szalka Éva, Ph.D..
Dr. Szalka Éva, Ph.D.1 Statisztika II. VII.. Dr. Szalka Éva, Ph.D.2 Mintavétel Mintavétel célja: következtetést levonni a –sokaságra vonatkozóan Mintavétel.
Statisztika II. VI. Dr. Szalka Éva, Ph.D..
Statisztika II. IV. Dr. Szalka Éva, Ph.D..
Statisztika II. II. Dr. Szalka Éva, Ph.D..
Statisztika II. V. Dr. Szalka Éva, Ph.D..
Előadó: Prof. Dr. Besenyei Lajos
Mintavételes eljárások
III. előadás.
Regresszióanalízis 10. gyakorlat.
Játékelméleti alapfogalmak előadás
Kvantitatív módszerek
KÉT FÜGGETLEN, ILL. KÉT ÖSSZETARTOZÓ CSOPORT ÖSZEHASONLÍTÁSA
Nem-paraméteres eljárások, több csoport összehasonlítása
Statisztika II. VIII. Dr. Szalka Éva, Ph.D..
Dr. Szalka Éva, Ph.D.1 Statisztika II. VI.. Dr. Szalka Éva, Ph.D.2 Regresszióanalízis.
Készítette: Kosztyán Zsolt Tibor
Kvantitatív módszerek
Budapesti Műszaki és Gazdaságtudományi Egyetem
Az Alakfelismerés és gépi tanulás ELEMEI
A statisztikai próba 1. A munka-hipotézisek (Ha) nem igazolhatók közvetlen úton Ellenhipotézis, null hipotézis felállítása (H0): μ1= μ2, vagy μ1- μ2=0.
Az F-próba szignifikáns
Kvantitatív Módszerek
Lineáris programozás.
Lineáris programozás Elemi példa Alapfogalmak Általános vizsg.
$ Információ Következmény Döntés Statisztikai X.  Gyakorlati problémák megoldásának alapja  Elemzéseink célja és eredménye  Központi szerep az egyén.
Kockázat elemzés Dr. Koncsos László egy. Docens
Valószínűségszámítás
Gazdaságstatisztika 11. előadás.
Gazdaságstatisztika 16. előadás Hipotézisvizsgálatok Alapfogalamak
Hipotézis vizsgálat (2)
Alapsokaság (populáció)
Várhatóértékre vonatkozó próbák
Alapfogalmak.
t A kétoldalú statisztikai próba alapfogalmai
Hipotézisvizsgálat v az adatforrás működési “mechanizmusát” egy véletlen eloszlás jellemzi v az adatok ismeretében megfogalmazódnak bizonyos hipotézisek.
Belső állapotú bolyongások által meglátogatott pontok száma Nándori Péter (V.) Témavezető: Dr. Szász Domokos (BME MI)
Paleobiológiai módszerek és modellek 4. hét
I. előadás.
Dr. Takács Attila – BME Geotechnikai Tanszék
A szóráselemzés gondolatmenete
Valószínűségszámítás III.
Bevezetés a méréskiértékelésbe (BMETE80ME19) 2014/
Valószínűségszámítás II.
Többdimenziós valószínűségi eloszlások
MI 2003/8 - 1 Alakfelismerés alapproblémája: adott objektumok egy halmaza, továbbá osztályok (kategóriák) egy halmaza. Feladatunk: az objektumokat - valamilyen.
Csoportkeresési eljárások Vassy Zsolt. Tematika Girvan Newman klaszterezés Diszkrét Markov lánc: CpG szigetek Rejtett Markov lánc ADIOS.

Bevezetés a méréskiértékelésbe (BMETE80ME19) 2014/
Kockázat és megbízhatóság
II. előadás.
Kvantitatív módszerek MBA és Számvitel mesterszak
Nemparaméteres próbák
Kockázat és megbízhatóság
Gazdaságinformatikus MSc
1.3. Hipotézisvizsgálat, statisztikai próbák
Előadás másolata:

Statisztikai döntésfüggvények elméletének elemei és azok alkalmazása

Bevezetés egy egyszerű eutrofizációs problémán keresztül

75mg/m3 CHL-a 10mg/m3 12mg/m3 18mg/m3

Water sediment (active layer) growth sorption ORP DP PP AP Water H death mineralisation settling settling sediment (active layer) h PP ORP

Vollenweider(1980) Fajlagos terhelés: L/A Éves átlag TP Töltési idő (V/Q) Hidraulikus terhelés [m/y] =Q/A

kapcsolat az anyagmérleggel: =0

A Vollenweider formulából következő ülepedési sebesség:

Sekély tavakra korrigált Vollenweider formula:

Feladat -döntéshozás támogatása -döntés függvényformában -cél: optimális döntés -Wald A.: Statistical decision functions Sequential analysis

Statisztikai eljárás is -> döntéshez vezet (legegyszerűbb eset: valószínűségi változó várható értékének vagy szórásának meghatározása) Pl. hipotézis ellenhipotézis Döntés alapja: -véletlen ingadozásnak alávetett adatok, vagy statisztikák -hibás döntés -> kár -> döntési kockázat cél: a legkisebb kockázattal járó döntés kiválasztása

Statisztikai döntési eljárás Példa: Szennyező anyag koncentrációjának szezonális maximuma: X -ez a mérések szerint exponenciális valószínűségi változó: Sűrűség fv. -Az eloszlás várható értékére döntést kell hoznunk Statisztikai döntés döntéstér

legyen Statisztikai minta A statisztikai minta elemei a múltbeli szezonális maximumok amelyek lényegesen nagyobb információtartalommal rendelkeznek, mint egy megfigyelés Mivel És E(x) legjobb becslése:

Másik lehetséges döntésfüggvény: Statisztikai döntési eljárás: Megfigyeljük az X valószínűségi változó értékeit, és ennek alapján választunk egy d döntést a lehetséges döntések D halmazából, amelyet a gyakorlati probléma határoz meg. A D halmazt döntéstérnek nevezzük. A döntés megválasztása bizonyos szabály alapján történik. Ezt a szabályt döntésfüggvénynek nevezzük.

Veszteségfüggvény és kockázatfüggvény Ha a döntésünket a választásra alapozzuk Az elkövetett hibához veszteségeket rendelhetünk, a döntés által okozott veszteség is a függvénye Legyen a veszteség pl. vagy

Tekintsük a veszteség átlagos mértékét: Amely a döntés kockázata Példa: Legyen v. szennyezőanyag éves középértéke normális eo. : A középértékek statisztikai mintája:

Legyen a döntésfüggvény: Legyen a veszteségfüggvény: A kockázatfüggvény:

Ami a döntés kockázata Válasszunk most másik döntésfüggvényt a veszteségfüggvény:

A kockázatfüggvény: esetünkben Melyik a jobb döntés?

Cauchy egyenlőtlenség alapján -> Megengedhetetlen döntésfüggvény

Értékétől függően változik a kockázat, akkor mindkét döntésfüggvény megengedhető Ha 2 1 a b Melyik döntésfüggvényt válasszuk?

Tekintsük a döntés tárgyát valószínűségi változónak sűrűségfüggvénye: a priori eloszlás (ismertnek tételezzük fel) Ekkor a kockázat várható értéke: Amelyet Bayes-féle kockázatnak nevezünk

-Azt a döntést, amelyre a Bayes-kockázat minimális, az a priori eloszláshoz tartozó Bayes-döntésnek nevezzük - A Bayes-döntés a minimális átlagos kockázatú döntés Ha a valószínűségi változó véges számú értéket vehet fel, akkor az a priori eloszlás: Ekkor a Bayes kockázat:

Ha Különböző döntésfüggvények, akkor mindegyikre kiszámítjuk a Bayes-fále kockázatot, és azt a döntésfüggvényt választjuk, amelyre a Bayes-kockázat a legkisebb Példa: t<2hét ----> d1 döntés t>2hét ----> d2 döntés Kritikus szennyezettség tartóssága

Veszteség mátrix Döntési változó: szennyezési koncentráció tetőzési szintje x=1, ha c<ch x=2, ha c>ch példa

Ha az a priori eloszlás nem ismert, akkor Minimax döntés

20.ea

Szekvenciális döntési módszer -egymást követő megfigyelések lehetőségek: a) a Ho hipotézist elfogadjuk b) a Ho hipotézist elvetjük (H1 -et elfogadjuk) c) folytatjuk a megfigyeléseket a) és b) …végső döntések

Elsőfajú hiba: az a téves döntés, amikor Ho hipotézist elvetjük, pedig igaz, Másodfajú hiba: az a téves döntés, amikor Ho-t elfogadjuk pedig nem igaz Szekvenciális hipotézisvizsgálat során először megadjuk az első és másodfajú megengedett hibát Elsőfajú hiba valószínűsége: Másodfajú hiba valószínűsége: indifferens tartomány Elfogadási tartomány B A Kritikus, elutasítási tartomány

Szekvenciális próba végrehajtása: - az X valószínűségi változóra megfigyelés: X=x1 -kiszámítjuk az értékét, mellett -képezzük a Hányszor valószínűbb az x1 eredmény a mellett mint mellett Elfogadjuk a Ho hipotézist

Folytatjuk a megfigyelést …X=x2 Elvetjük a hipotézist ha folytatjuk: x2 és: Likelihood hányados

Elfogadjuk a Ho hipotézist Elvetjük a hipotézist együttes sűrűségfv. Elfogadjuk a Ho hipotézist

Mintavételezés folytatásának feltétele: Példa..p0.

Markov -láncok optimális irányítása

Páldául: 1. szennyezett 2. nem szennyezett

Határeloszlás Az olyan Markov folyamatot, amelynél a határeloszlás független az induló állapottól, ergodikus folyamatnak nevezzük

Ha a P sztochasztikus mátrixnak van olyan k hatványa, hogy minden eleme pozitív, akkor az S határmátrix minden sora azonos lesz.

Markov-féle szekvenciális döntési folyamat Vizsgálunk egy N állapotú Markov-folyamatot, amelyeknél az egyes átmenetekhez nyereséget rendelünk. Az átmenet hozadéka az i->j átmenet esetén (negatív profit=veszteség) A Markov-folyamat profitok sorozatát generálja, miközben állapotról állapotra változik, tehát a profit maga is valószínűségi változó. Def. a várható összes nyereség, n átmenet során, ha i az induló állapot

Közvetlen nyereség

Páldául: 1. szennyezett 2. nem szennyezett Példa p1

Döntési folyamat -beavatkozásokkal (döntésekkel megváltoztatjuk az átmenet valószínűségeket, így változnak a haszonmátrix elemei is ... ... k…alternatíva

Ha a Markov-láncnak N állapota van, és minden állapothoz m számú lehetséges alternatíva választható, azaz a d1,d2,…,dm döntések valamelyikét választjuk, akkor lehetséges politika létezik A döntéssorozatot politikának nevezzük Legyen: a nyereség összegzett várható értéke Tegyük fel, hogy a n, n-1, n-2, …, 3, 2, 1 lépésekben megtaláltuk az optimális döntést. Ha az n-ik lépésnél i-ik állapotba került a rendszer, akkor a célunk maximálni a

Howard iterációs módszer nyereség: közvetlen nyereség határvalószínűség Eszköz Markov-folyamatok összehasonlítására

a) Érték meghatározó lépés b) Politika javító lépés határeset:

a) N+1 ismeretlen (g,v…), N egyenlet…alulhatározott rendszer, egyik v értéket 0-nak választjuk b) Politika javító lépés a legjobb alternatíva

P2 példa