Lineáris regresszió Adatelemzés.

Az előadások a következő témára: "Lineáris regresszió Adatelemzés."— Előadás másolata:

1 Lineáris regresszió Adatelemzés

2 A regressziószámítás alapproblémája
Regressziószámításkor egy változót egy (vagy több) másik változóval becslünk. Y függőváltozó X1, X2, ... Xp független változók Y f(X1, X2, ... Xp ) becslés fF E(Y- f*(X1, X2, ... Xp ))2 = min E(Y- f(X1, X2, ... Xp ))2 fF

3 Példák 1. A Duna vízállásának előrejelzése Budapesten
2. A paradicsom beérési idejének becslése 3. Műholdkép alapján a búza terméshozamának becslése 4. Műholdkép alapján a Mars vastartalmának becslése 5. Predikciók, trendek idősoroknál 6. Lineáris közgazdasági modellek

4 A regressziószámítás alapproblémája
Ha ismerjük az Y és az X1, X2, ... Xp együttes eloszlását, akkor a probléma elméletileg megoldott: f (X1, X2, ... Xp ) = E ( Y | X1, X2, ... Xp ). Gyakorlatban azonban „csak” egy adatmátrix adott:

5 Feltételes várható érték, folytonos eset I.

6 Feltételes várható érték, folytonos eset II.

7 Feltételes várható érték, folytonos eset III.

8 A regresszió tulajdonságai
Az összes függvény közül a regressziós görbével lehet legpontosabban közelíteni!

9 Normális komponensek esetén a regressziós összefüggés lineáris!
Regresszió normális eloszlás esetén Normális komponensek esetén a regressziós összefüggés lineáris!

10 Elméleti lineáris regresszió

11 Elméleti lineáris regresszió
Láttuk, hogyha X,Y együttes eloszlása normális, akkor a regresszió lineáris lesz!

12  A regressziószámítás alapproblémája
F = {f(x1,x2,…,xp, a,b,c,… | a, b, c, … valós paraméterek} A függvényhalmazból azt az elemet fogjuk kiválasztani, amelynél:  n  min h(a,b,c,...) = (Yi- f(X1i, X2i, ..., Xpi, a,b,c,... ))2 a,b,c,... i=1 Ez a legkisebb négyzetek módszere!

13 A regresszióanalízis fajtái
Lineáris regresszió f(X) = B0 + B1 X Többváltozós lineáris regresszió f(X1 , X2 ,...,Xp ) = B0 + B1 X1 + B2 X Bp Xp Polinomiális regresszió f(X1 , X2 ,...,Xp ) = B0 + B1 X + B2 X BpXp X1=X, X2=X2, , Xp=Xp Kétparaméteres (lineárisra visszavezethető) regresszió pl. Y=f(X) = Bo·e B1 X  lnY = B1 X + ln Bo

14 A regresszióanalízis fajtái
Nemlineáris regressziók két változó között I. f(X ) = B1 + B2 exp(B3 X ) aszimptotikus I. f(X ) = B1 - B2 · (B3 )X aszimptotikus II. sűrűség f(X ) = (B1 + B2 X )-1/B3 f(X ) = B1 · (1- B3 · exp(B2 X 2)) Gauss f(X ) = B1 · exp( - B2 exp( - B3 X 2))) Gompertz f(X ) = B1 · exp( - B2 /(X + B3 )) Johnson-Schumacher

15 A regresszióanalízis fajtái
Nemlineáris regressziók két változó között II. log-módosított f(X) = (B1 + B3 X)B2 log-logisztikus f(X) = B1 - ln(1 + B2 exp( - B3 X ) f(X) = B1 + B2 exp( - B3 X ) Metcherlich f(X) = B1 · X / (X + B2 ) Michaelis Menten f(X) = (B1 B2 +B3 XB4)/(B2 + XB4 ) Morgan-Merczer-Florin f(X) = B1 /(1+B2 exp( - B3 X +B4X2 + B5X3 )) Peal-Reed

16 A regresszióanalízis fajtái
Nemlineáris regressziók két változó között III. f(X) = (B1 + B2 X +B3X2 + B4X3)/ B5X3 köbök aránya f(X) = (B1 + B2 X +B3X2 )/ B4X2 négyzetek aránya Richards f(X) = B1/((1+B3 · exp(B2 X))(1/B4) Verhulst f(X) = B1/((1+B3 · exp(B2 X)) Von Bertalanffy f(X) = (B1 (1-B4) · B2 exp( - B3 X))1/(1-B4) f(X) = B1 - B2 exp( -B3 X B4) Weibull f(X) = 1/(B1 + B2 X +B3X2 ) Yield sűrűség

17 Szakaszonkénti lineáris regresszió
A regresszióanalízis fajtái Szakaszonkénti lineáris regresszió

18 Poligoniális regresszió
A regresszióanalízis fajtái Poligoniális regresszió

19 Többváltozós lineáris regresszió kategória-változóval
A regresszióanalízis fajtái Többváltozós lineáris regresszió kategória-változóval

20 Logisztikus regresszió
A regresszióanalízis fajtái Logisztikus regresszió { Y= 1, ha az A esemény bekövetkezik 0, ha az A esemény nem következik be Y dichotóm A választó fog szavazni A páciensnek szívinfarktusa lesz Az üzletet meg fogják kötni A esemény X1 , X2 ,...,Xp ordinális szintű független változók eddig hányszor ment el, kor, iskola, jövedelem napi cigi, napi pohár, kor, stressz ár, mennyiség, piaci forgalom, raktárkészlet

21 Logisztikus regresszió
A regresszióanalízis fajtái Logisztikus regresszió P(Y=1) = P(A)  ————— 1 1 - e-Z Z = B0 + B1 X1 + B2 X Bp Xp 1 - P(A) ODDS = ————— P(A)  e Z  log (ODDS) =

22 Logisztikus regresszió
A regresszióanalízis fajtái Logisztikus regresszió A legnagyobb valószínűség elve L(1,2,...,n) = P(Y1= 1, Y2= 2, ... , Yn= n) = = P(Y1= 1) P(Y2= 2)  P(Yn= n)  ———— 1 1 - e-Z1 1 - e-Z2 1 - e-Zn   ln L(1,2,...,n) =  ln ( ) —————————————— 1 - exp (B0 + B1 X1 + B2 X Bp Xp)

23 Lineáris regresszió A lineáris kapcsolat kitüntetett:
(1) a legegyszerűbb és leggyakoribb, könnyű a két paramétert értelmezni (2) két dimenziós normális eloszlás esetén a kapcsolat nem is lehet más (vagy lineáris vagy egyáltalán nincs)

24 Lineáris regresszió Az empirikus lineáris regresszió együtthatóit a legkisebb négyzetek módszerével kaphatjuk meg: Az empirikus lineáris regresszió együtthatói az elméleti regressziós egyenes együtthatóitól annyiban különböznek, hogy a képletekben az elméleti momentumok helyett a mintából számolt megfelelő empirikus momentumok állnak:

25 Lineáris regresszió A teljes négyzetösszeg A maradékösszeg
A regressziós összeg

26 A lineáris regresszió (xi, yi ) (xi, ) ( x, ) y = b + a xi x
Q = Qres + Qreg (xi, yi ) y res (xi, ) reg ( x, ) = b + a xi x

27 mindössze 1, mert az átlag konstans
A lineáris regresszió A teljes négyzetösszeg felbontása: Q = Qres + Qreg fres szabadsági foka mindössze 1, mert az átlag konstans freg szabadsági foka n-2, mert n tagú az összeg, de ezek között két összefüggés van. Ha nincs lineáris regresszió, a varianciák hányadosa (1, n-2) szabadsági fokú F eloszlást követ.

28 A lineáris regresszió y = b + a xi (x1, y1) (x2, y2) (x3, y3)
A legkisebb négyzetek módszere alapelve: y = b + a xi (x1, y1) (x2, y2) (x3, y3) (x4, y4) (x5, y5) e1 e2 e3 e4 e5 (x5, y5) e2 e1 e3 e4 e5 (x3, y3) (x1, y1) (x4, y4) (x2, y2) x

29 A lineáris regresszió Megjegyzések: 1. 2.

30 Lineárisra visszavezethető kétparaméteres regresszió
Amennyiben találhatók olyan alkalmas függvények, amivel a probléma linearizálható: A trükkel nem az eredeti minimalizálási feladat megoldását kapjuk meg, csak attól nem túl messze eső közelítéseket!

31 Lineárisra visszavezethető kétparaméteres regresszió
exponenciális függvénykapcsolat: „growth” függvény: „compoud” függvény:

32 Lineárisra visszavezethető kétparaméteres regresszió
hatványfüggvény: Arrhenius:

33 Lineárisra visszavezethető kétparaméteres regresszió
reciprok: racionális:

34 Lineárisra visszavezethető kétparaméteres regresszió
homogén kvadratikus: logaritmikus: hiperbolikus:

35 Linearizálás, pl.

36 Polinomiális regresszió
A polinomiális regressziós feladatot többváltozós lineáris regresszióval oldhatjuk meg, a prediktor változók ilyenkor az X változó hatványai: Xi=X i !

37 Polinomiális regresszió

38 Polinomiális regresszió

39 Példa kétváltozós lineáris regresszióra
Keressünk lineáris összefüggést az employee data állományban a kezdőfizetés és a jelenlegi fizetés között!

40 Példa kétváltozós lineáris regresszióra

41 Példa kétváltozós lineáris regresszióra

42 Példa kétváltozós lineáris regresszióra
a maradéktagok Heteroszkedaszticitás jelensége megfigyelhető: nagyobb X-hez nagyobb szórás tartozik!

43 Példa kétparaméteres nemlineáris regresszióra
Keressünk nemlineáris kapcsolatot Cars állományban a lóerő és a fogyasztás között!

44 Példa kétparaméteres nemlineáris regresszióra

45 Példa kétparaméteres nemlineáris regresszióra

46 Példa kétparaméteres nemlineáris regresszióra

47 Példa kétparaméteres nemlineáris regresszióra