Regresszióanalízis Lineáris regresszió REGRESSZIÓ.

Az előadások a következő témára: "Regresszióanalízis Lineáris regresszió REGRESSZIÓ."— Előadás másolata:

1 Regresszióanalízis Lineáris regresszió REGRESSZIÓ

2 Modell: Valamely (pl. fizikai) törvényszerûség értelmében az x független változó bizonyos értékénél a függõ változó értéke Y = j (x). Y helyett y értéket mérünk, E(y½x) = Y, vagy és Amennyiben nincsen ismert és igazolt fizikai összefüggés, nem lehetünk elõre meggyõzõdve az illesztett függvény alkalmasságáról. REGRESSZIÓ

3 A regresszióanalízis során feltételezzük, hogy
y az x minden értékénél normális eloszlású, vagyis az ei mérési hibák N(0,s2) normális eloszlásúak; Var(y) = konstans, illetve y-nak vagy x-nek ismert függvénye; a különbözõ i mérési pontokban elkövetett mérési hibák egymástól függetlenek; Y(x) = f(x, a,b,g, ...) az ismert vagy feltételezett függvénykapcsolat alakja, ahol a, b, g a függvény konstansai (paraméterei). REGRESSZIÓ

4 Egyváltozós lineáris regresszió ismétlés nélküli mérések esetén, konstans
A becslési kritérium: REGRESSZIÓ

5 a b0 és b becslések egymástól nem függetlenek
A normálegyenletek: Átrendezve: Ha a b0 és b becslések egymástól nem függetlenek REGRESSZIÓ

6 Az a és b becslések egymástól függetlenek, mert
A normálegyenletek az modell illesztésekor Átrendezve: Az a és b becslések egymástól függetlenek, mert REGRESSZIÓ

7 és tehát az a és b becsült paraméterek egymástól függetlenül kaphatók meg a két normálegyenletbõl: ; REGRESSZIÓ

8 A becslések tulajdonságai:
REGRESSZIÓ

9 REGRESSZIÓ

10 A konfidenciatartományok a t-eloszlás alapján számíthatók.
REGRESSZIÓ

11 1. példa Kísérletileg vizsgálták az x független változó és az y függő változó közötti összefüggést. Az x független változó értéke pontosan beállítható, az y függő változó értéke azonban a Y valódi érték körül ingadozik. A mérési adatok a következő táblázatban láthatók, az y értéke szerint növekvő sorrendbe rendezve. A tényleges mérési sorrendet a táblázat második oszlopa tartalmazza. Feltételezve, hogy y normális eloszlású, valamint azt hogy az y és x közötti függvénykapcsolat lineáris, adjunk becslést az egyenes paramétereire! REGRESSZIÓ

12 REGRESSZIÓ

13 Excel eredmények R2 sr reziduális szórás b0 b REGRESSZIÓ

14 Determinációs együttható:
“Residual” “Regression” “Total” REGRESSZIÓ

15 R2 = SSR/SST REGRESSZIÓ

16 REGRESSZIÓ

17 SSR SSE SST n - 2 REGRESSZIÓ

18 REGRESSZIÓ

19 A konfidenciatartományok a t-eloszlás alapján számíthatók.
REGRESSZIÓ

20 intervallum a paraméterekre
95%-os konfidencia intervallum a paraméterekre REGRESSZIÓ

21 Konfidencia sáv az Y(x) valódi értékre
REGRESSZIÓ

22 Jóslási intervallum intervallum:
(1- a) a valószínűsége annak, hogy x adott értékénél egy későbbi mérés eredménye a számított intervallumba esik. REGRESSZIÓ

23 REGRESSZIÓ

24 A mérések sorrendje REGRESSZIÓ

25 Egyváltozós lineáris regresszió ismételt mérések esetén, konstans

26 SST = SSrepl + SSres + SSR
SST = SSE + SSR SST = SSrepl + SSres + SSR Reziduális négyzetösszeg Ismétlésekbõl számított négyzetösszeg A szabadsági fokok száma: REGRESSZIÓ

27 Az csoportokon belüli error szórásnégyzet a variancia torzítatlan becslése, függetlenül az Y függvény alakjától. Az reziduális szórásnégyzet csak akkor becslése nak, ha a tapasztalati regressziós függvény "megfelelõ alakú", vagyis az elméleti regressziós függvény lineáris. Esetünkben tehát akkor, ha REGRESSZIÓ

28 A hipotézis vizsgálatára az F-próbát használjuk:
Ha az arány (feltéve, hogy ) nem halad meg egy Fa kritikus értéket, mondhatjuk, hogy a mérési adatok nem mondanak ellent annak a nullhipotézisnek, amely szerint az elméleti és tapasztalati regressziós görbe matematikailag azonos alakú. REGRESSZIÓ

29 Célszerû tehát a két becslést egyesíteni.
Ha elfogadjuk a nullhipotézist, egyben azt állítjuk, hogy és egyaránt torzítatlan becslései. A kettõ együtt több információt nyújt, mint bármelyik külön-külön, mivel az így egyesített szórásnégyzet nagyobb szabadsági fokú (tehát kisebb varianciájú) becslése nak, mint akár , akár Célszerû tehát a két becslést egyesíteni. REGRESSZIÓ

30 2. példa Kalibrációs eljárás során a táblázatban közölt adatokat mérték, x a koncentráció, y a mért jel. Illesszünk egyenest a mérési adatokra. REGRESSZIÓ

31 Az adatok a mérési sorrendjében kerülnek be az input file-ba, tehát a programok számára általában ugyanaz az x - y adatok szerkezete, mint ismétlés nélküli mérések esetén. REGRESSZIÓ

32 REGRESSZIÓ

33 REGRESSZIÓ

34 Annak ellenõrzésére, hogy az alkalmazott lineáris modell megfelelõ-e, F-próbát végzünk. Az Excel táblázat segítségével számítsuk ki a reziduális szórásnégyzetet, majd végezzük el a próbát! REGRESSZIÓ

35 Az F-eloszlás kritikus értéke 95 % -os egyoldali szinten ( a = 0
Az F-eloszlás kritikus értéke 95 % -os egyoldali szinten ( a = 0.05), ha a számláló szabadsági foka 3, a nevezõé 18: F0.05(3, 18) = 3.16. Azt mondhatjuk, hogy a számított egyenes (a tapasztalati regressziós görbe) a mérési pontokat megfelelõen leírja. REGRESSZIÓ

36 REGRESSZIÓ

37 REGRESSZIÓ

38 Egyváltozós lineáris regresszió ismételt mérések esetén, nem konstans
A becslési kritérium: A négyzetösszeg felbontható: REGRESSZIÓ

39 A variancia nem konstans, hanem x-nek ismert függvénye:
ahol x -tõl független konstans. A minimalizálandó függvény: ahol wi az ún. súly: REGRESSZIÓ

40 Ha az a és b becsült paraméterek egymástól függetlenül kaphatók meg a két normálegyenletbõl: REGRESSZIÓ

41 Kalibrációs egyenes: a regressziós egyenlet megoldása a független változóra
Az egyenes egyenlete: Most y a független, de sztochasztikus változó (ötször mérve 5 különbözõ abszorbanciát kapunk), x a függõ változó, amelynek becslése várható értéke (és valódi értéke) X. (Az becslés valószínûségi változó, mivel y, a és b valószínûségi változók.) REGRESSZIÓ

42 konfidencia-intervalluma:
segédváltozó Ha y n mérés átlagértéke, értelemszerûen írandó y helyébe, és REGRESSZIÓ

43 Az becslést úgy kapjuk, hogy Var(z) elõbbi kifejezésében a w súlyok helyett beírjuk a h2(x) függvény reciprokának becslését, becsléséül pedig az s2-statisztikát használhatjuk. ; REGRESSZIÓ

44 Az X-re másodfokú kifejezés átrendezése után a konfidenciaintervallum
ahol REGRESSZIÓ

45 Az X-re másodfokú kifejezés átrendezése után a konfidenciaintervallum
ahol és REGRESSZIÓ

46 , így az elõzõ kifejezés egyszerûsödik
-val és -vel kifejezve Ha , , így az elõzõ kifejezés egyszerûsödik ahol REGRESSZIÓ

47 Az összefüggések felhasználásával, ha :
ahol REGRESSZIÓ

48 3. példa A 2. példában kapott regressziós egyenest kalibrációs összefüggésként használjuk. Az ismeretlen koncentrációjú oldattal végzett 5 mérés átlagértéke Adjunk becslést és 95 %-os konfidencia-intervallumot az oldat koncentrációjára (X-re ). ; ; REGRESSZIÓ

49 A konfidencia-intervallum:
felhasználásával: A konfidencia-intervallum: REGRESSZIÓ

50 A regresszió feltételeinek ellenõrzése; a reziduumok vizsgálata
A regresszióanalízis során feltételeztük, hogy y az x minden értékénél normális eloszlású, vagyis az e mérési hibák N(0,s2) normális eloszlásúak; Var(y) = Var(y½x) = konstans, illetve y-nak vagy x-nek ismert függvénye; a különbözõ i mérési pontokban elkövetett mérési hibák egymástól függetlenek; E(y½x) = Y(x) = f(x, a,b,g, ...) az ismert vagy feltételezett függvénykapcsolat alakja, ahol a, b, g a függvény konstansai (paraméterei). REGRESSZIÓ

51 Reziduumok a mérések sorszámának függvényében: extrém értékek
1. Reziduumok a mérések sorszámának függvényében: extrém értékek REGRESSZIÓ

52 Reziduumok a mérések sorszámának függvényében: trend
2. REGRESSZIÓ

53 3. Ugrás (Szintváltozás a reziduumok vizsgálatánál)
REGRESSZIÓ

54 4. A szórás (variancia, mérési pontosság) változása
REGRESSZIÓ

55 A függvény megfelelõen írja le változását:
REGRESSZIÓ

56 5. Normalitás Az közelítõleg zérus várható értékû normális eloszlású kell legyen az 1¼4. feltételezések szerint. A normalitást statisztikai próbával vizsgálhatjuk (c2 -próba, Kolmogorov – Szmirnov próba). A normalitást úgy is vizsgálhatjuk, hogy ún. valószínû-ségi papíron (Gauss hálón) ábrázoljuk értékét REGRESSZIÓ

57 A reziduumok eloszlása nem normális, az illesztett modell nem megfelelõ:
REGRESSZIÓ

58 A reziduum értékek ábrázolása Gauss-hálón.
a reziduumok nem normális eloszlásúak A reziduum értékek ábrázolása Gauss-hálón. elméleti eloszlás REGRESSZIÓ

59 A reziduum értékek ábrázolása Gauss-hálón.
a reziduumok normális eloszlásúak A reziduum értékek ábrázolása Gauss-hálón. REGRESSZIÓ

60 Kétváltozós lineáris regresszió
Az elméleti regressziós függvény: A becslési kritérium: A becsülendõ paraméterek szerint deriválva, és a deriváltakat nullával egyenlõvé téve kapjuk a normálegyenleteket: REGRESSZIÓ

61 ortogonális kísérleti terv
A becsült paraméterek akkor függetlenek egymástól, ha ; ; és ortogonális kísérleti terv REGRESSZIÓ

62 Szempontok a független változók értékeinek megválasztásához
Egymástól független becsült paraméterek (ortogonalitás) x2 1 -1 x1 -1 1 REGRESSZIÓ

63 A paraméter minél pontosabb becslése
REGRESSZIÓ

64 Többváltozós lineáris regresszió
Legyen r a független változók száma. A kísérletsorozat eredményeit a következő táblázatos formában szokásos írni: REGRESSZIÓ

65 ahol x0i az általános írásmód érdekében bevezetett fiktív változó.
A modell ahol x0i az általános írásmód érdekében bevezetett fiktív változó. Az x0i elemek értéke 1. A tapasztalati regressziós egyenes A kétváltozós regressziónál mondottakhoz hasonlóan a bj becslések egymástól nem függetlenek. REGRESSZIÓ

66 Az egyes változók szignifikanciájának vizsgálata
Eldöntendõ, hogy q < r változó figyelembevétele r változóhoz képest nem rontja-e a közelítést. A q ill. r számú változóra a mért pontok és a becsült sík közötti eltérések négyzetösszege, ha minden i pontban csak egy y mérés van: REGRESSZIÓ

67 Ha q változó is elég (H0 nullhipotézis), az
Tegyük fel, hogy r változó biztosan elég (hibátlan a regressziós egyenlet alakja), ekkor az eltérések normális eloszlásúak, (konstansnak feltételezett) varianciával; az eltérések Sr négyzetösszegének szabadsági foka n-(r+1) Ha q változó is elég (H0 nullhipotézis), az eltérések is normális eloszlásúak, varianciával; az eltérések Sq négyzetösszegének szabadsági foka n-(q+1) REGRESSZIÓ

68 F-próba Ha a nullhipotézis igaz, az
hányados F-eloszlású n – q – 1 és n – r – 1 szabadsági fokkal. F-próba REGRESSZIÓ

69 Sq és Sr különbsége szintén normális eloszlású eltérések négyzetösszege, szabadsági foka r – q:
F-próba Bármelyik módszerrel elvégezhetõ az F-próba, a második érzékenyebb (általános regressziós próba). REGRESSZIÓ

70 Ha az arány a kritikus F értéket meghaladja, el kell vetnünk a nullhipotézist, amely szerint r – q változó hatása nem szignifikáns. Természetesen r – q = 1 is lehet, ekkor azt vizsgáljuk, hogy adott egyetlen változó hatásának (lineáris) figyelembevétele javítja-e a közelítést. Minthogy a becslések egymástól nem függetlenek, az elõbbi vizsgálat t-próbával nem végezhetõ el. Ha a normális eloszlás feltételezése nem jogos, az itt leírt vizsgálati módszer hamis eredményeket ad! REGRESSZIÓ

71 Vezessük be a következõ jelöléseket:
Regresszió más, a független változóban nemlineáris, de a paraméterekben lineáris függvényekkel Vezessük be a következõ jelöléseket: Ezekkel A becslési probléma és az eredmények statisztikai elemzése teljesen azonos a többváltozós lineáris regressziónál leírtakkal. REGRESSZIÓ

72 Polinom illesztése Legyenek olyan mérési adataink, amelyeknél az y függõ változó nem lineáris, hanem polinommal leírható függvénye a z független változónak. Mivel a z független változó értéke pontosan beállítható és nem terheli mérési hiba, tetszõleges hatványa is pontosan ismert, tehát determinisztikus független változóként kezelhetõ. Bevezetve az x1 = z, x2 = z2 , ..., xk = zk jelöléseket, a feladat a többváltozós lineáris regresszióra vezethetõ vissza. Mivel xj értékek nem függetlenek egymástól, a becsült bj együtthatók erõsen korreláltak lesznek. REGRESSZIÓ