1

Estimación mediante Minimos Cuadrados Ordinarios de una

Regresión Lineal Simpleyi = b0 + b1xi + ui

Preparado por: Ph.D. David Sabando Vera

Universidad Federico Santa Maria – Campus Guayaquil

Mayo, 2014

2

Objetivo

Estimar los parámetros poblacionales de una regresión lineal, a través del Método de Mínimo Cuadrado Ordinarios.

3

Indice.

1. Recordando algunos aspectos importantes de la regresión lineal.

2. Desarrollo del Método de Mínimo Cuadrado Ordinarios MCO

3. Ejemplo de aplicación.

4

1. Recordando algunos aspectos importantes.

5

La relación funcional de la regresión lineal simple

yi = b0 + b1xi + ui

6

El valor promedio de ui, el término de error, en la población es = 0. Es decir,E(u) = 0

Este supuesto no es muy restrictivo puesto que siempre podemos ajustar el intercepto b0 para normalizar E(u) = 0

7

Hay un supuesto crucial sobre la relación entre el error y la variable explicativa: cov(x, u)

Es decir, que la información contenida en x sea independiente de la información contenida en u (ie, que no estén relacionados), de modo que:

E(u|x) = E(u) = 0, lo cual implica:

E(y|x) = b0 + b1x, implica que la función de regresión poblacional es una función lineal.

8

..

x1 x2

E(y|x) es una funcion lineal de x: para cada x,la predicción de y es E(y|x)

E(y|x) = b0 + b1x

y

f(y)

9

.

..

.

y4

y1

y2

y3

x1 x2 x3 x4

}

}

{

{

u1

u2

u3

u4

x

y

Línea de regresión, observaciones y errores

E(y|x) = b0 + b1x

10

Fuente: Wooldridge, J. 2010

¿Cómo estimar los parámetros b0 y b1?

11

12

Mínimos Cuadrados Ordinarios (MCO) La idea básica es estimar parámetros

poblacionales a partir de una muestra. Sea {(xi,yi): i=1, …,n} una muestra aleatoria

de tamaño n de una población. Para cada observación en la muestra,

tenemos:

yi = b0 + b1xi + ui

13

Derivación de estimadores MCO /OLS El supuesto E(u|x) = E(u) = 0 implica que

Cov(x,u) = E(xu) = 0

¿Por qué? En probabilidad básica sabemos que:

Cov(x,u) = E(xu) – E(x)E(u)

y dado que E(u)=0 Cov(x,u) = E(xu) = 0

• Las variables explicativa son no estocásticas• E (u) = 0• Var (u) constante (homocedasticidad)• E(ui, uj) = 0 para todo i=j (no autocorrelación)

iii uxy 10

Estimación de los parámetros Mínimos Cuadrados Ordinarios

Aquellos que minimizan la suma de los residuos al cuadrado. El error cometido en la estimación (residuo), es el estimador

de la perturbación, y por tanto el objetivo a minimizar.

iiii

iiiii

ii

iii

yyuresiduo

uyuxy

xy

uxy

ˆˆ

ˆˆˆˆˆ

ˆˆˆ

10

10

10

Media condicional poblacional

muestral

Media condicional muestral

Deducción de los estimadores MCO

17

• Se busca la recta que minimiza la suma al cuadrado de los residuos

21 101

2 ˆˆˆ..

n

i i

n

i i xyuRS

Deducción de los estimadores MCO

n

i i

n

i i

n

i ii

xny

xyRS

1101

1 100

0ˆˆ

0)1(ˆˆ2ˆ

..

0ˆˆ

0)(ˆˆ2ˆ

..

1

2101

1 101

n

i ii

n

i ii

i

n

i ii

xxxy

xxyRS

Ecuaciones Normales

Deducción de los estimadores MCO Despejando se obtienen los estimadores MCO

221

10

ˆ

ˆˆ

xnx

yxnxy

xy

i

ii

Cálculo de la ecuación de regresión lineal simple

X Y XY X2suj1 120 10 1200 14400suj2 100 9 900 10000suj3 90 4 360 8100suj4 110 6 660 12100

4 SUMA SUMA3120 44600

PROMEDIO PROMEDIO105 7.25

N4

Luego

5.8105*15.025.7ˆ

15.0105*444600

25.7*105*43120ˆ

0

21

𝒚=−𝟖 .𝟓+𝟎 .𝟏𝟓𝒙

21

3. Ejemplo de aplicación Práctica (Modelo simple) Algunos gerentes de ventas reunieron

información sobre el número de las ventas de las llamadas realizadas y el número de fotocopiadoras vendidas en una muestra aleatoria de 10 representantes de ventas. Utilizar el método de mínimos cuadrados ordinarios para determinar una ecuación lineal para expresar la relación entre las dos variables.

¿Cuál es el número esperado de fotocopiadoras vendidas por un representante que hizo 20 llamadas?

22

Ejemplo:

XY

XY

1842.19476.18

:isequation regression The

^

10

^

6316.42

)20(1842.19476.18^

^

Y

Y

23

Gráfico del Ejemplo