Tema 2 Análisis de regresión lineal. Estimación

51
Tema 2 Análisis de regresión lineal. Estimación Econometría y predicción Matilla, M., Pérez, P. y Sanz, B. McGraw Hill

Transcript of Tema 2 Análisis de regresión lineal. Estimación

Page 1: Tema 2 Análisis de regresión lineal. Estimación

Tema 2

Análisis de regresión lineal. Estimación

Econometría y predicción Matilla, M., Pérez, P. y Sanz, B. McGraw Hill

Page 2: Tema 2 Análisis de regresión lineal. Estimación

Introducción

¿Qué es la econometría?

“Conjunto de técnicas estadísticas que, con ayuda de los datos, pueden ayudarnos a responder preguntas económicas”

Las preguntas más interesantes se refieren a,

– Efectos “causales”

–Predicción

Econometría y predicción Matilla, M., Pérez, P. y Sanz, B. McGraw Hill

Page 3: Tema 2 Análisis de regresión lineal. Estimación

Tipos de datos

Se manejan tres tipos de datos,

– Datos transversales: datos de individuos (…) recogidos en un único momento temporal

– Datos temporales: observaciones sobre una variable(s) a lo largo del tiempo

– Datos panel (mixtos): son los que combinan las dos dimensiones, transversal y temporal

Econometría y predicción Matilla, M., Pérez, P. y Sanz, B. McGraw Hill

Page 4: Tema 2 Análisis de regresión lineal. Estimación

Corte transversal

Econometría y predicción Matilla, M., Pérez, P. y Sanz, B. McGraw Hill

• Para el año (1990) disponemos de datos de producción (Q) y precio del combustible (P) para seis compañías aéreas

Compañía Q P

1 0,952757 10,6650

2 0,520635 10,3795

3 0,262424 11,8788

4 0,086393 11,4987

5 0,051028 11,8222

6 0,037682 11,7112

Tipos de datos: transversales

Page 5: Tema 2 Análisis de regresión lineal. Estimación

Serie temporal

Econometría y predicción Matilla, M., Pérez, P. y Sanz, B. McGraw Hill

• Para una única compañía tenemos de datos de producción (Q) y precio del combustible (P) entre 1990 y 2004

Año Q P

1990 0,952757 1,0665

1991 0,986757 1,10307

1992 1,091980 1,10574

1993 1,175780 1,21974

1994 1,160170 1,96606

2004 1,936460 8,23411

Tipos de datos: temporales

Page 6: Tema 2 Análisis de regresión lineal. Estimación

Datos de panel

Econometría y predicción Matilla, M., Pérez, P. y Sanz, B. McGraw Hill

• Disponemos de datos para el periodo 1990-2004 de cada una de las 6 compañías:

Compañía 1 Compañía 2 … Compañía 6

Q P Q P Q P

1990 0,952 1,066 0,521 1,038 … 0,038 1,171

1991 0,986 1,103 0,534 1,115 … 0,040 1,192

1992 1,091 1,105 0,655 1,186 … 0,044 1,161

… … … … … … … …

2004 1,936 8,234 1,389 8,213 … 0,304 8,195

Tipos de datos: mixtos o de panel

Page 7: Tema 2 Análisis de regresión lineal. Estimación

Notación

– Datos transversales:

– Datos temporales:

– Datos panel (mixtos):

Econometría y predicción Matilla, M., Pérez, P. y Sanz, B. McGraw Hill

= + + + + +0 1 1 2 2 ...i i i k ki iY X X X

= + + + + +0 1 1 2 2 ...t t t k kt tY X X X

= + + + + +0 1 1 2 2 ...it it it k kit itY X X X

Page 8: Tema 2 Análisis de regresión lineal. Estimación

Modelo de regresión• Objetivo: cuantificar la relación entre una variable explicada,

«Y», y otras, «X1, X2,..., Xk», «k» variables explicativas.

• Asumimos que Y=f(X1, X2,..., Xk); Xij e Yi son variables aleatorias

• Las «k» variables no serán una relación exhaustiva y por tanto no será una relación exacta

• Introducimos un término de error, «ε», que incluirá (entre otras cosas) la influencia del resto de factores.

• Suponiendo que la relación es lineal,

Econometría y predicción Matilla, M., Pérez, P. y Sanz, B. McGraw Hill

= + + + + +0 1 1 2 2 ... k kY X X X

Page 9: Tema 2 Análisis de regresión lineal. Estimación

Modelo de regresión• El caso más sencillo es la regresión simple,

Yi =0+1Xi + i

• La parte no explicada es el error i sobre el que haremos diversos supuestos, en particular E(i|Xi) = 0, de donde se sigue,

• La igualdad anterior es la función de regresión poblacional (FRP), y coincide con la parte explicada del modelo

Econometría y predicción Matilla, M., Pérez, P. y Sanz, B. McGraw Hill

Parte explicada Parte no explicada

( | )i i iE Y X X = +0 1

Page 10: Tema 2 Análisis de regresión lineal. Estimación

Modelo de regresión• Si conociésemos 0 y 1 podríamos conocer E(Yi|X=xi)

• Como no los conocemos, hemos de estimarlos a partir de los datos de una muestra (lo único de lo que disponemos en la práctica)

• Elegimos el método de mínimos cuadrados ordinarios (MCO), porque bajo ciertos supuestos (T4), estos estimadores tienen buenas propiedades estadísticas

• El método consiste en elegir como estimadores de 0 y 1 aquellos valores 0 y 1 que minimicen la SCR (Suma Cuadrática Residual) definida como,

• n es el tamaño muestral

Econometría y predicción Matilla, M., Pérez, P. y Sanz, B. McGraw Hill

( ) = =

= = − − 2

20 1

1 1

ˆ ˆˆn n

i i ii i

SCR Y X

Page 11: Tema 2 Análisis de regresión lineal. Estimación

Estimación: MCO (regresión simple)

• Si la muestra es representativa, esperamos que los valores estimados sean cercanos a los parámetros poblacionales.

• Para hallar dichos valores simplemente minimizamos SCR:

• Obtenemos sistema de ecuaciones normales. Desarrollando,

Econometría y predicción Matilla, M., Pérez, P. y Sanz, B. McGraw Hill

= =

= =

= − − = =

= − − = =

0 11 10

0 11 11

ˆ ˆ ˆ( ) 0 0ˆ

ˆ ˆ ˆ( ) 0 0ˆ

n n

i i ii i

n n

i i i i ii i

SCRY X o

SCRY X X o X

0 1

1 1

2

0 1

1 1 1

ˆ ˆ

ˆ ˆ

n n

i i

i i

n n n

i i i i

i i i

Y n X

Y X X X

= =

= = =

= +

= +

Page 12: Tema 2 Análisis de regresión lineal. Estimación

Estimación: MCO (regresión simple)

• Tras algo de álgebra se puede deducir,

• es la función de regresión muestral (FRM), y es la estimación de E(Yi|Xi), o función de regresión poblacional (FRP)

• Los valores de Yi admiten una doble descomposición según usemos la FRP o la FRM. Para cada i,

Econometría y predicción Matilla, M., Pérez, P. y Sanz, B. McGraw Hill

1

1 0 1

2

1

( )( )cov( , )ˆ ˆ ˆ, y

var( )( )

N

i i

i

N

i

i

X X Y YX Y

Y XX

X X

=

=

− −

= = = −

β β

0 1ˆ ˆˆ

i iY X = +

0 1

0 1

( )

ˆ ˆ ˆ( )

i i i

i i i

Y X

Y X

= + +

= + +

FRP

FRM

Page 13: Tema 2 Análisis de regresión lineal. Estimación

Descomposición de Yi

0 +1Xi

Xh X

Yh

Y

h

0 +1Xh

FRP

Page 14: Tema 2 Análisis de regresión lineal. Estimación

Descomposición de Yi

0 +1Xi

0 +1Xi

Xh X

Yh

Y

h

h

0 +1Xh

0 +1Xh

FRP

FRM

Page 15: Tema 2 Análisis de regresión lineal. Estimación

Regresión de la media

Econometría y predicción Matilla, M., Pérez, P. y Sanz, B. McGraw Hill

Media

FRP: 0 +1Xi

+i

−i

El gráfico relaciona el ahorro familiar con la renta disponible. El ahorro para cada nivel de renta, muestra una elevada variabilidad, recogida en por la función de densidad. A pesar de dicha variabilidad, en meida, las familias con más renta, ahorran más

Aho

rro

Renta disponible

Page 16: Tema 2 Análisis de regresión lineal. Estimación

Ejemplo: Gastos campaña electoral• Supongamos que solo dos partidos compiten en la campaña electoral. Un

dirigente del partido A quiere saber el efecto sobre el porcentaje de votos obtenidos, de los gastos en la campaña electoral (ambas en %). Los resultados de 173 elecciones anteriores son,

Econometría y predicción Matilla, M., Pérez, P. y Sanz, B. McGraw Hill

10

20

30

40

50

60

70

80

90

0 20 40 60 80 100

Gastos

VO

TO

Page 17: Tema 2 Análisis de regresión lineal. Estimación

Ejemplo: Gastos campaña electoral• Hay una relación positiva entre ambas variables

• A partir de la muestra (N = 173) se obtienen fácilmente los resultados intermedios necesarios para poder estimar la ecuación,

• De manera que,

Econometría y predicción Matilla, M., Pérez, P. y Sanz, B. McGraw Hill

Media voto Media gasto Cov(Voto, Gasto) Var(Gasto) Var(Voto)

50,50289 51,07654 517,0136 1114,669 280,0997

1

0 1

cov( , ) 517.0136ˆ 0.464,var( ) 1114.669

ˆ ˆ 50.50289 0.464*51.07654 26.81

ˆ 26.81 0.464i i

X Y

X

Y X

Y X

= = =

= − = − =

= +

Page 18: Tema 2 Análisis de regresión lineal. Estimación

Ejemplo: Gastos campaña electoral

• Si no gasta nada perdería las elecciones con un 26,81% de los votos• Si gasta 10 puntos,

Econometría y predicción Matilla, M., Pérez, P. y Sanz, B. McGraw Hill

10

20

30

40

50

60

70

80

90

0 20 40 60 80 100

GASTOS (%)

VO

TO

(%

)

26,81

1 = 0,464

Ŷ=26.81+0.464X

Ŷ=26.81+0.464·10=31.45

Page 19: Tema 2 Análisis de regresión lineal. Estimación

Resultados algebraicosEcuaciones normales: y .Deducimos,

1.La media de los errores estimados, es nula (1ª ecuación)

2. De e , restando, y de

y la anterior se deduce,

=

=1

ˆ 0n

ii

= + +0 1ˆ ˆ ˆ

i i iY X = +0 1ˆ ˆ

iY X= 1ˆˆ

i iy x

Econometría y predicción Matilla, M., Pérez, P. y Sanz, B. McGraw Hill

ˆˆi i iy y = +

1ˆ ˆ

i i iy x = +

=

=1

ˆ 0n

i ii

X

Page 20: Tema 2 Análisis de regresión lineal. Estimación

Resultados algebraicosEcuaciones normales: y .Deducimos,

1.La media de los errores estimados, es nula (1ª ecuación)

2. De e , restando, y de

y la anterior se deduce,

=

=1

ˆ 0n

ii

= + +0 1ˆ ˆ ˆ

i i iY X = +0 1ˆ ˆ

iY X= 1ˆˆ

i iy x

Econometría y predicción Matilla, M., Pérez, P. y Sanz, B. McGraw Hill

ˆˆi i iy y = +

1ˆ ˆ

i i iy x = +

=

=1

ˆ 0n

i ii

X

-0.4

0.0

0.4

0.8

1.2

1.6

2.0

2.4

0 1 2 3

X

Y

-0.4

0.0

0.4

0.8

1.2

1.6

2.0

2.4

0 1 2 3

X

Y

( , )X Y

( , )x y

Page 21: Tema 2 Análisis de regresión lineal. Estimación

Resultados algebraicosEcuaciones normales: y .Deducimos,

1.La media de los errores estimados, es nula (1ª ecuación)

2. De e , restando, y de

y la anterior se deduce,

3. Multiplicando por y sumando,

4. De esta ecuación se deduce,

y

5. Finalmente, de

=

=1

ˆ 0n

ii

= + +0 1ˆ ˆ ˆ

i i iY X = +0 1ˆ ˆ

iY X= 1ˆˆ

i iy x

= =

= = 1 11 1

ˆˆ ˆ ˆ 0n n

i i i ii i

y x

Econometría y predicción Matilla, M., Pérez, P. y Sanz, B. McGraw Hill

ˆˆi i iy y = +

1ˆ ˆ

i i iy x = +

i

=1ˆcov( , ) 0i iX =ˆ ˆcov( , ) 0i iY

= +ˆ ˆi i iY Y

= + − = +ˆ ˆ ˆˆ ˆ ˆvar( ) var( ) var( ) 2cov( , ) var( ) var( )i i i i i i iY Y Y Y

=

=1

ˆ 0n

i ii

X

Page 22: Tema 2 Análisis de regresión lineal. Estimación

Bondad del ajuste: R2

Econometría y predicción Matilla, M., Pérez, P. y Sanz, B. McGraw Hill

2 2 2ˆ ˆ( ) ( )i i iY Y Y Y

SCR SCE SCR

− = − +

= +

Oscila entre 0 y 1 (ó 0-100%) y mide la bondad del ajuste …

En regresión simple, también puede obtenerse de2

2 2cov( , )corr( , )

var( ) var( )

X YR Y X

X Y

= =

De la igualdad se sigue,

El coeficiente de determinación se define como,

= +ˆ ˆvar( ) var( ) var( )i i iY Y

2 2 1ˆ cov( , )

1var( )

SCE SCR X YR o R

SCT SCT Y

= = − =

Page 23: Tema 2 Análisis de regresión lineal. Estimación

Ejemplo: Gastos campaña electoral• Con los datos de este ejemplo,

• De manera que,

• Es decir, los gastos en campaña explican el 85,6 % (100*0,856) de la variación en el porcentaje de voto.

Econometría y predicción Matilla, M., Pérez, P. y Sanz, B. McGraw Hill

Media voto Media gasto Cov(Voto, Gasto) Var(Gasto) Var(Voto)

50,50289 51,07654 517,0136 1114,669 280,0997

2 1ˆ cov( , ) 0.464*517.0136

0.856var( ) 280.0997

X YR

Y

= = =

Page 24: Tema 2 Análisis de regresión lineal. Estimación

Interpretación del modeloEn el modelo simple 1 representa el cambio en Y cuando X cambia en una unidad, es decir si X = 1 entonces Y = 1

Econometría y predicción Matilla, M., Pérez, P. y Sanz, B. McGraw Hill

14

16

18

20

22

24

16 18 20 22 24 26 28

0 1

1 1

1 1

o , ,

1

i i i

i i

i i

De Y X

dY Yo sea

dX X

Y X y si X Y

= + +

= =

= = =

Algebraicamente,

Ejemplo 4. Consumo Keynesiano

X=1

Y=

1

1

.85

Ŷ= −16.6+0.85X

Page 25: Tema 2 Análisis de regresión lineal. Estimación

Interpretación del modeloEn el modelo simple 1 representa el cambio en Y cuando X cambia en una unidad, es decir si X = 1 entonces Y = 1

Econometría y predicción Matilla, M., Pérez, P. y Sanz, B. McGraw Hill

14

16

18

20

22

24

16 18 20 22 24 26 28

0 1

1 1

1 1

o , ,

1

i i i

i i

i i

De Y X

dY Yo sea

dX X

Y X y si X Y

= + +

= =

= = =

Algebraicamente,

Ejemplo 4. Consumo Keynesiano

X=1

Y=

1

1

.85

Ŷ= −16.6+0.85X

Pronósticos

( | 20) 0.166 0.85·20 16.83E Y X = = − + =

16.83

Page 26: Tema 2 Análisis de regresión lineal. Estimación

Modelos no lineales

Econometría y predicción Matilla, M., Pérez, P. y Sanz, B. McGraw Hill

-4,000

0

4,000

8,000

12,000

16,000

20,000

0 20 40 60 80 100 120 140

X

Y0

1

2

3

4

5

6

0 20 40 60 80 100 120 140

X

Y

Page 27: Tema 2 Análisis de regresión lineal. Estimación

Modelos no lineales

Econometría y predicción Matilla, M., Pérez, P. y Sanz, B. McGraw Hill

-4,000

0

4,000

8,000

12,000

16,000

20,000

0 20 40 60 80 100 120 140

X

Y0

1

2

3

4

5

6

0 20 40 60 80 100 120 140

X

Y

Page 28: Tema 2 Análisis de regresión lineal. Estimación

Modelo lineal en los parámetros

• Los modelos lineales son de la forma:

• Es decir, las X no pueden estar elevadas a una potencia diferente de la unidad para que sea lineal en las variables. Tampoco puede estar ni multiplicado ni dividido por otra variable.

• Los modelos no lineales en las variables tienen la forma:

• Los modelos no lineales en las variables se pueden linealizaraplicando el cambio de variable apropiado (Z=X1

2,Z=1/X1, etc.)

• Los modelos son no lineales en los parámetros cuando algún j

aparece elevado a cualquier potencia diferente de la unidad o multiplicado o dividido por otro parámetro.

Econometría y predicción Matilla, M., Pérez, P. y Sanz, B. McGraw Hill

= + +20 1 1Y X

= + + + + +0 1 1 2 2 ... k kY X X X

( ) = + +0 1 11 /Y X

Page 29: Tema 2 Análisis de regresión lineal. Estimación

Modelos logarítmicos

• Los modelos logarítmicos (o semilogarítmicos) son muy empleados en econometría. Supongamos que la relación entre variables fuese

• Este modelo se linealiza fácilmente tomando logaritmos,

• Su estimación, es decir la obtención de b0 y b1 es inmediata a partir de,

Pero cambia la interpretación de los coeficientes

Econometría y predicción Matilla, M., Pérez, P. y Sanz, B. McGraw Hill

= + +0 1ln ln lnY X

= 1

0 exp( )Y X

X Y lnX lnY

100 100 4,61 4,61

121 117 4,80 4,76

142 138 4,96 4,93

…. …. …. ….

Page 30: Tema 2 Análisis de regresión lineal. Estimación

Modelo log log

Tanto la variable endógena como la exógena están en logaritmos,

• Para ver cómo hemos de interpretar 1 derivamos con respecto a X,

• Es decir que 1 es la elasticidad …

Econometría y predicción Matilla, M., Pérez, P. y Sanz, B. McGraw Hill

= + +0 1ln ln lnY X

1 1 1

1 1o

dY dY dX Y X

Y dX X Y X Y X

= = =

1

/

/

=

Y Y

X X

Ejemplo. Con los datos del ejemplo 4, estimamos el consumo en función de la renta con las variables en logaritmos,

La relación tiene elasticidad unitaria: si PIB crece un 1%, el Consumo crece un 1.008%

ln( ) 0.2785 1.008ln( )t tC PIB= − +

Page 31: Tema 2 Análisis de regresión lineal. Estimación

Modelo log lin

La variable endógena está en logaritmos pero la exógena no,

• Para ver cómo hemos de interpretar 1 derivamos con respecto a X,

• Y/Y expresa cambios en tanto por uno. Para obtener cambios en %,

• 1001 indica el cambio porcentual en Y cuando X=1

Econometría y predicción Matilla, M., Pérez, P. y Sanz, B. McGraw Hill

= + +0 1ln lnY X

1 1 1

1o

dY dY YdX X

Y dX Y Y

= = = 1

/=

Y Y

X

1

100 /100

=

Y Y

X

Ejemplo. Sea la estimación , donde regresamos el salario sobre los años de educación del trabajador. Esta estimación nos dice que si el trabajador tiene un año más de educación, su salario/hora crecerá un 100*0.06 = 6%

ln( ) 5.97 0.06Salario educ= +

Page 32: Tema 2 Análisis de regresión lineal. Estimación

Modelo lin log

La variable exógena está en logaritmos pero la endógena no,

• Para ver cómo hemos de interpretar 1 derivamos con respecto a X,

• Si X/X=1, Y experimenta un cambio absoluto de 1 unidades. Pero esto quiere decir que X ha crecido un 100%. A un cambio en X de un 1% (100 veces menor), corresponderá un cambio en Y 100 veces menor, es decir, 1/100 expresa el cambio absoluto en Y cuando X varía un 1%

Econometría y predicción Matilla, M., Pérez, P. y Sanz, B. McGraw Hill

= + +0 1ln lnY X

1 1 1

1o

dY dX XdY Y

dX X X X

= = = 1

/

=

Y

X X

Ejemplo 7. Sea la estimación . Si la renta per cápita del país crece un 1%, la esperanza de vida de sus habitantes lo hará en 6,197/100 = 0,06197 años (23 días aproximadamente).

57.27 6.197 ln(Renta _pc)Esperanza = +

Page 33: Tema 2 Análisis de regresión lineal. Estimación

Modelos logarítmicos

Econometría y predicción Matilla, M., Pérez, P. y Sanz, B. McGraw Hill

Modelo Interpretación 1

0 1= + + ln ln lnY X 1 1 1

(ln ) 1 1 /

/

d Y dY dY dX dY Y

dX Y dX X Y X dX X = = = =

0 1= + + lnY X 1 1 1 1

(ln ) 1 / 100 /o 100

d Y dY dY dY Y dY YdX

dX Y dX Y dX dX = = = = =

0 1= + + lnY X 1 1 1

1

/

dY dX dYdY

dX X X dX X = = =

Page 34: Tema 2 Análisis de regresión lineal. Estimación

Modelo recíproco

El modelo recíproco es de la forma,

Este modelo tiene interés cuando Y tiene un comportamiento asintótico (0

en el caso anterior) .Aplicando el cálculo diferencial encontramos,

Un incremento unitario de X (X=1), hace caer el valor de Y en −1/X 2

unidades; esta cantidad será tanto menor (en v.a.) cuanto mayor sea X

Ejemplo: relación entre la mortalidad infantil (muertes por millar) y el PIBpc,

mortâlidadi = 81,79 + 27237·(1/PIB_pci)

Econometría y predicción Matilla, M., Pérez, P. y Sanz, B. McGraw Hill

= + +0 1

1i i

i

YX

= −

= −1 2 1 2

1 XY

dY

X X Xd

Page 35: Tema 2 Análisis de regresión lineal. Estimación

Modelo recíproco

El gráfico de un modelo recíproco es de la forma,

Econometría y predicción Matilla, M., Pérez, P. y Sanz, B. McGraw Hill

1.76

1.78

1.80

1.82

1.84

1.86

1.88

1.90

1.92

3 4 5 6 7 8 9

X

Y

0=2, 1= −0.8

Es interesante en situaciones donde la variable dependiente tiene un valor asintótico o límite

Page 36: Tema 2 Análisis de regresión lineal. Estimación

Resumen de modelos

Econometría y predicción Matilla, M., Pérez, P. y Sanz, B. McGraw Hill

Modelo Pendiente Elasticidad Interpretación

Y=0 + 1X 1 1(X/Y) Si X = 1, Y crece 1 unidades

ln Y = 0+ 1X 1Y 2X Si X = 1, Y crece un 1001%

Y = 0+ 1lnX 1/X 1/Y Si X crece un 1%, Y aumenta en 0,01·1 unidades

lnY=0+ 1lnX 1(Y/X) 1 Si X crece un 1% Y crece un 1%

Y=0+ 1(1/X) −1(1/X 2) −1(1/X Y) Si X = 1, Y crece −1(1/X 2)

unidades

Page 37: Tema 2 Análisis de regresión lineal. Estimación

Modelo transformado

Los estimadores son,

Modelo original

Los estimadores son,

Cambios de escala• Es habitual modificar las unidades de medida de la(s) variable(s) …

• ¿Qué ocurre con los parámetros y errores estimados cuando hay un cambio de escala en las unidades de medida de las variables?

Econometría y predicción Matilla, M., Pérez, P. y Sanz, B. McGraw Hill

= + +0 1i i iY X = + +0 1i i iY wX

1 2

0 1

( )( )ˆ

( )

ˆ ˆ

i i

i

Y Y X X

X X

Y X

− −=

= −

1 12 2 2

0 1 0

( )( ) ( )( ) 1 ˆ( ) ( )

1 ˆ ˆ ˆ

i i i i

i i

Y Y wX wX w Y Y X X

wX wX w X X w

Y wX Y wX Y Xw

− − − −= = =

− −

= − = − = − =

Page 38: Tema 2 Análisis de regresión lineal. Estimación

Cambios de escala• En general, si modificamos ambas variables,

• El resultado es,

Econometría y predicción Matilla, M., Pérez, P. y Sanz, B. McGraw Hill

( ) ( ) = + +1 0 1 2i i iw Y w X

=

=

=

11 1

2

0 1 0

1

ˆ

ˆ

ˆi i

w

w

w

w

Page 39: Tema 2 Análisis de regresión lineal. Estimación

Ejercicio tipo

Econometría y predicción Matilla, M., Pérez, P. y Sanz, B. McGraw Hill

• Cuando la pendiente estimada en un modelo de regresión simple, es 0,

a) R2 = Y

b) R2 > 0

c) R2 < 1

d) R2 = 0

• Considere el modelo ln (Yi) =0+ 1Xi+ i,

a) Un cambio de un 1% en X está asociado con 1% de cambio en Y

b) Un cambio de una unidad en X está asociado con un 100 1% de cambio en Y

c) Un cambio de un 1% en X está asociado con 0,011% de cambio en Y

d) Un cambio de una unidad en X está asociado con un cambio de 1 en Y

Page 40: Tema 2 Análisis de regresión lineal. Estimación

Ejemplo: salarios CEO’s y beneficios

• Salarios en miles de euros, beneficios en millones de euros.

salârioi = 296,362 + 0,267993·beneficiosi

n = 31, R2 = 0,786

• Salarios en miles de euros, beneficios en miles de millones de euros (w2=0,001)

salârioi = 296,362 + 267,99·(beneficiosi/1000)n = 31, R2 = 0,786

• Salarios en euros y beneficios en millones (w1=1000)(salârioi·1000) = 296362 + 267,99·(beneficiosi)

n = 31, R2 = 0,786

Econometría y predicción Matilla, M., Pérez, P. y Sanz, B. McGraw Hill

Page 41: Tema 2 Análisis de regresión lineal. Estimación

Regresión múltiple

El modelo general es . Para obtener los estimadores MCO procedemos de la misma forma:

1. Definimos

2. Minimizamos . Primera condición,

Obtenemos el sistema de ecuaciones normales con k+1 ecuaciones

Econometría y predicción Matilla, M., Pérez, P. y Sanz, B. McGraw Hill

= + + + + +0 1 1 2 2 ...i i i k ki iY X X X

0 1 1ˆ ˆ ˆˆ ...i i i k kiY X X = − − −

2 2

0 1 1ˆ ˆ ˆˆ ( ... )i i i k kiSCR Y X X = = − − −

( )

( )

( )

= =

= =

= =

− − − − − = =

− − − − − = =

− − − − − = =

0 1 1 2 21 1

1 0 1 1 2 2 11 1

0 1 1 2 21 1

ˆ ˆ ˆ ˆ ˆ.... 0

ˆ ˆ ˆ ˆ ˆ.... 0

.....................

ˆ ˆ ˆ ˆ ˆ.... 0

n n

i i i k ki ii i

n n

i i i i k ki i ii i

n n

ki i i i k ki kj ii i

Y X X X

X Y X X X X

X Y X X X X

Page 42: Tema 2 Análisis de regresión lineal. Estimación

Regresión múltiple

Econometría y predicción Matilla, M., Pérez, P. y Sanz, B. McGraw Hill

Igual que en la regresión simple, pueden obtenerse los siguientes resultados algebraicos

( ) ( )

( ) ( ) ( )

=

= = − = = −

= + + + + = + + + +

= =

= +

= +

0 1 1 2 2 1 1 2 2

ˆ 0

ˆ ˆ ˆ( ( ) 0 )

ˆ ˆ ˆ ˆ ˆ ˆ ˆ ˆ... e ...

ˆ ˆcov , 0; cov , 0

ˆ ˆvar var var

i i i

k k i i i k ki i

ij

Y Y Y Y E Y Y

Y X X X y x x x

Y X

Y Y

SCT SCE SCR

Page 43: Tema 2 Análisis de regresión lineal. Estimación

Regresión múltiple en términos matriciales

El modelo general en lenguaje matricial puede escribirse de la siguiente forma:

Los errores estimados y . Minimizando respecto a ,

Econometría y predicción Matilla, M., Pérez, P. y Sanz, B. McGraw Hill

= + + + + +0 1 1 2 2 ...i i i k ki iY X X X

1 11 1 0 1

2 12 2 1 2

1

1

1o

1

k

k

n n kn k n

Y X X

Y X X

Y X X

= +

Y = Xβ + ε

1

ˆ ˆ ˆ ˆ ˆ ˆ ˆ ˆ ˆˆ ˆmin min ( ) '( ) min( ) min ( 2 )

ˆ ˆ ˆ2 2ˆ

ˆ ˆ ( )

ˆ ˆ ( )

sistema ecuaciones normales

= = − − = −

= − =

− = =

= =

ε'ε Y - Xβ Y -Xβ Y'Y βX'Y Y'Xβ +βX'Xβ Y'Y βX'Y +βX'Xβ

ε'εX'Y + βX'X 0

β

X'Y +βX'X 0 X'Y βX'X

βX'X X'Y β X'X X'Y

ˆˆ = −ε Y Xβ ˆ ˆ'=SCR ε ε β

Page 44: Tema 2 Análisis de regresión lineal. Estimación

Regresión múltiple en términos matriciales

La segunda condición de mínimo exige que la segunda derivada sea positiva,

X’X es definida positiva por definición

La matriz A es definida positiva si para todo vector c 0, c’Ac >0. Una propiedad es que si A = F’F, A es al menos semidefinida positiva y será definida positiva siempre que F sea de rango completo

Econometría y predicción Matilla, M., Pérez, P. y Sanz, B. McGraw Hill

( )2

2

ˆ ˆ ˆ2 2 2ˆ ˆ

= − =

ε'εX'Y + βX'X X'X

β β

Page 45: Tema 2 Análisis de regresión lineal. Estimación

R2 y R2 corregido (R2)

El coeficiente de determinación se define como el cociente entre la suma de los cuadrados explicada y la suma de los cuadrados total. Puede calcularse a partir de,

100R2 mide el porcentaje de variación de Y explicado por la variación de X

Aumentando el número de regresores, «R2» casi siempre aumenta (nunca disminuye). Por ello se utiliza el coeficiente de determinación ajustado por los grados de libertad, cuya definición es:

Econometría y predicción Matilla, M., Pérez, P. y Sanz, B. McGraw Hill

22

2

ˆ ' nYR

nY

−=

β X'Y

Y'Y

2 2/( 1) 11 1 (1 )

/( 1) 1

SCR n k nR R

SCT n n k

− − −= − = − −

− − −

Page 46: Tema 2 Análisis de regresión lineal. Estimación

Formas cuadráticas

Introducir variables al cuadrado (…) no planteaba ninguna dificultad. Es habitual ver modelos que usan la variable X y X 2. Por ejemplo,

Estos modelos sirven para captar efectos marginales no constantes . El cambio marginal en Y cuando cambia X1, ya no es 1 sino,

o sea, depende del valor inicial de X1 y por tanto no es constante Hay muchas situaciones en las que esto es muy apropiado. Por ejemplo,

Econometría y predicción Matilla, M., Pérez, P. y Sanz, B. McGraw Hill

= + + + = + + + +2 20 1 1 2 1 0 1 1 2 1 3 2oY X X Y X X X

1 2 1

1

2Y

XX

= +

2

0 1 2 3i i i i isal educ exper exper = + + − +

Page 47: Tema 2 Análisis de regresión lineal. Estimación

Formas cuadráticas

Consideremos la siguiente ecuación de salarios (mensual)

Un año más de educación hace crecer el salario un 100·0.09=9%, pero para la experiencia,

Es decir el crecimiento salarial con la experiencia depende del valor inicial de esta variable ... Es creciente para X1<25, alcanza su máximo en X1=25 y luego es decreciente

Econometría y predicción Matilla, M., Pérez, P. y Sanz, B. McGraw Hill

= + + − 2log( ) 5.20 0.09 0.04exp 0.0008expersal educ er

1

log( )0.04 2·0.0008

exper

salX

= −

Page 48: Tema 2 Análisis de regresión lineal. Estimación

Términos de interacción

A veces es natural que el cambio en Y derivado de cambios en Xi dependa del nivel de otra variable explicativa Xj

La forma de incorporar esto en un modelo es incluir lo que se denomina términos de interacción. Por ejemplo,

Ahora el cambio en Y derivado de cambios en X1 depende también de X2,

Así, en el modelo,

Si 4 sea positivo, el aumento de precio por el nº de habitaciones es mayor en las casas más grandes

Econometría y predicción Matilla, M., Pérez, P. y Sanz, B. McGraw Hill

= + + + +0 1 1 2 2 3Y X X 1 2β X X

= +1 1 3 2/Y X X

0 1 2 3 4sup *supprecio hab bath hab = + + + + +

Page 49: Tema 2 Análisis de regresión lineal. Estimación

Coeficientes beta

-Tipificando las variables del modelo tenemos que la estimación MCO es:

donde todas las variables han sido transformadas:

- Obviamente esta transformación elimina la constante.

- De esta forma se evita que las unidades en las que las variables están expresadas, influyan en la interpretación de los coeficientes. Al estandarizar, todas las X quedan explicadas en la misma base y por tanto es posible comparar directamente su importancia relativa

-La interpretación es que si Zi aumenta 1 unidad (1 s.d.), la endógena se incrementa en βi unidades (s.d.)

-La relación entre ambos grupos de estimadores es,

Econometría y predicción Matilla, M., Pérez, P. y Sanz, B. McGraw Hill

( )= − xZ X X S

= + + +1 1 2 2 ...y k kZ Z Z Z

( ) ( ) ( ) = = =1 21 1 2 2 1

ˆ ˆ ˆ, ,...,kx Y x Y k x YS S S S S S

Page 50: Tema 2 Análisis de regresión lineal. Estimación

Modelos logarítmicos en regresión múltiple

• En un modelo de regresión múltiple puede haber variables explicativas (explicada) en logaritmos junto con otras en niveles. Sus coeficientes deben interpretarse en consecuencia (como vimos en regresión simple)

• Por ejemplo, en

– Si X1 crece un 1% Y lo hace en un 1%

– Si X2 crece en una unidad, Y se incrementa un 1002%

• En la ecuación

– Si X1 crece un 1% Y lo hace en 0,011 unidades

– Si X2 crece una unidad, Y crece 2 unidades

Econometría y predicción Matilla, M., Pérez, P. y Sanz, B. McGraw Hill

= + +0 1 1 2 2ˆ ˆ ˆˆlog( ) log( )i i iY X X

= + +0 1 1 2 2ˆ ˆ ˆˆ log( )i i iY X X

Page 51: Tema 2 Análisis de regresión lineal. Estimación

Ejemplos

• Para estudiar el salario de los CEO’s de las grandes empresas del IBEX se estima,

• Roe es una medida de la rentabilidad financiera – Si las ventas crecen un 1% el salario lo hará en un 0,276%

– Si el ROE aumenta un punto el salario crece un 2,6%

Econometría y predicción Matilla, M., Pérez, P. y Sanz, B. McGraw Hill

= + +ˆlog( ) 4.32 0.276log( ) 0.026salario ventas roe