7/25/2019 Teoria General del Modelo Lineal
1/33
Captulo 3
TEORA GENERAL DEL MODELO
LINEAL
57
7/25/2019 Teoria General del Modelo Lineal
2/33
58
7/25/2019 Teoria General del Modelo Lineal
3/33
3.1. Introduccin.
Un problema muy frecuente en estadstica consiste en buscar y estimar interdependencias entre variables. En
efecto, cuando un par de variables aleatorias(X,Y)no son independientes, el conocimiento del valor por X
cambia nuestro incertidumbre con respecto a la realizacin deY: disminuye en general esta incertidumbre,
ya que la distribucin de YdadoX=xtiene una varianza que en promedio es menor que la varianza marginal
de Y:
Var(Y) =EX{Var(Y|X)} +VarX{E(Y|X)}
Demostracin: Observamos en primer lugar queEX(E(Y|X)) =E(Y).
Consideramos
Var(Y) =
(y E(Y))2dIPY(y)
Comoy E(Y) =y E(Y|X) +E(Y|X) E(Y), se tiene que
(y E(X))2 = (y E(Y|X))2 + (E(Y|X) E(Y))2 + 2(y E(Y|X))(E(Y|X) E(Y))
Ademsd IP(x,y) =dIPY|X(y)dIPX(x), en dondeIPY|X es la distribucin condicional de Y dadoXyIPX es la
distribucin marginal deX. Luego
Var(Y) =
(y E(Y|x))2dIPY|X(y)
dIPX(x) +
(E(Y|x) E(Y))2dIPY|X(y)
dIPX(x)
+2 (E(Y|x) E(Y)) (y E(Y|x))dIPY|X(y)dIPX(x)Pero por definiciones y algunos desarrollos vemos que:
EX(Var(Y|X)) =
(y E(Y|x))2dIPY|X(y)
dIPX(x)
VarX(E(Y|X)) =
(E(Y|x) E(Y))2dIPY|X(y)
dIPX(x)
(y E(Y|x))dIPY|X(y) =0
LuegoVar(Y) =EX{Var(Y|X)} +VarX{E(Y|X)}.
Se deduce queEX{Var(Y|X))} Var(Y). Es un resultado promedio, eso no impide que para algunos valores
deX, Var(Y|X)sea el mayor que Var(Y).
Cuando se puede aceptar que el fenmeno aleatorio representado por una variable o un vector Xpuede servir
para predecir aquel representado por Y, hay que buscar una frmula de prediccin. Algunas relaciones son
fciles de plantear y verificar, como las relaciones planteadas a partir de leyes fsicas o mecnicas, pero
59
7/25/2019 Teoria General del Modelo Lineal
4/33
cuando la aleatoriedad juega un papel importante, el estudio se hace ms difcil.
Se busca aqu descubrir como un conjunto de variablesX1,X2, Xpinfluye sobre una o varias otras variables
Y. Para este propsito, se busca una funcin f que permita reconstruir los valores obtenidos sobre una
muestra de la variables respuesta Y:Y= f(X1,X2, . . .Xp}.
Las variables {X1,X2, Xp} se llamanvariables explicativas o variables independientes o variables exge-
nasy la variables Yse llamavariable a explicar o variable respuesta o variables dependiente o variable
endgena.
Daremos algunos ejemplos, en que se ocupan estos modelos:
Ejemplo 3.1 La distancia que una partcula recorre en el tiempotest dada por la frmula:
d=
+t
en que es la velocidad promedio y la posicin de la parttula en el tiempo inicial t=0. Si y
son desconocidos, observando la distancia den dos pocas distintas, la solucin del sistema de las dos
ecuaciones lineales obtenidas permite obtener y. Sin embargo es difcil obtener en general una distancia
sin error de medicin. Por lo cual se observa una variable aleatoria: Y=d+ en vez ded, en que (ruido
blanco") es de tipo aleatorio. En ese caso no basta tener dos ecuaciones sino valores de la distancia para
varios valores del tiempo. Los mtodos estadsticos basados en la aleatoriedad del error permiten estimar a
, y dsobre la base de una relacin funcional de tipo lineal.
Ejemplo 3.2 Si consideramos el peso P y la talla Tde las mujeres chilenas adultas, est claro que noexiste una relacin funcional entre P y T, pero existe unatendencia. Considerando queP y Tson variables
aleatorias de ditribucin conjunta normal bivariada:
P= f(T) +
con f(T) =E(P|T)
en que refleja la variabilidad del peso P entre las chilenas de la misma talla con respecto a la media. El
tipo de funcional fno es evidente.
Ejemplo 3.3 Para decidir la construccin de la nueva central elctrica, ENDESA busca prever el consumo
total de electricidad en Chile despus del ao 2002. Se construye un modelo que liga el consumo de elec-
tricidad con variables econmicas, demogrficas y metereolgicas, y este modelo estima en base a datos
obtenidos en el pasado. Se aplica entonces el modelo para predecir el consumo de electricidad segn ciertas
evoluciones econmicas, metereolgicas y demogrficas.
60
7/25/2019 Teoria General del Modelo Lineal
5/33
Ejemplo 3.4 Para establecer una determinada publicidad en la televisin, se cuantifica el efecto de vari-
ables culturales y socio-econmicas en la audiencia de los diferentes programas. Sobre la base de una
encuesta telespectadores se construye un modelo que determina los efectos de las variables culturales y
socio-econmicas en la audiencia.
Ejemplo 3.5 Ajuste polinmial. El modelo lineal puede ser generalizado tomando funciones de las vari-
ables explicativas y/o de la variable a explicar. Es el caso cuando se tiene una variables respuesta Ya partir
de una sola variableXen un modelo polinomial:Y=a0+ a1X2 + + apX
p en dondeXj es la potencia j
deX.
Ejemplo 3.6 Se quiere estimar la constantegde la gravitacin. Se toman los tiempos de cada tde un objeto
desde la alturah dada del suelo:d=1
2gt2.
Observamos en los distintos ejemplos que las variables pueden ser aleatorias o no, las relaciones lineales o
no y que cuando no son lineales pueden eventualmente existir transformaciones de las variables que llevan
a relaciones lineales.
Se presenta a modo de introduccin un enfoque terico de la regresin funcional, para presentar despus el
caso lineal sobre valores muestrales.
Se usaran dos mtodos de estimacin:
El mtodo matemtico de ajuste de los mnimos cuadrados, que permite estimar los coeficientes del
modelo lineal a partir de valores observados. En este caso no se toma en cuenta la aleatoriedad de lasvariables en la estimacin del modelo.
El mtodo de mxima verosimilitud basado en un modelo probabilstico normal, que permite justificar
el mtodo de mnimos cuadrdos y discutir las propiedades de los estimadores y la precisin del ajuste.
Finalmente se usar el modelo lineal para predecir. Se enfatizar los aspectos geomtricos del problema y
como hacer una crtica de los supuestos probabilsticos usuales.
3.2. Modelo terico condicional.Proposicin 3.1 Sean la v.a. Y IRy el vector aleatorioXIRp. El mnimo deE{(Y f(X))2} se alcanza
en f(X) =E(Y|X).Demostracin: Geomtricamente, en el espacio de HilbertL2p+1 de dimensin p + 1 tomando como pro-
ducto escalar
< U,V>=E(UVt)
61
7/25/2019 Teoria General del Modelo Lineal
6/33
E(Y|X)es la proyeccin ortogonal de Ysobre el subespacioL2X generado por las funciones deX.
El criterio para minimizar es el error cuadrtico medio
E{(Y g(X))2
}
Si f(X) =E(Y|X), entonces para toda funcin g(X), se tiene:
E{(Y g(X))2} =E{(Yf(X))2} +E{(f(X) g(X))2} E{(Yf(X))2}.
En efecto
E{(Yf(X))(f(X) g(X))} =E{(f(X) g(X))E{(Yf(X))|X}}
dado que f(X) g(X)es independiente de Y yE{(Yf(X)|X) =0 se obtiene el resultado.
Un ndice para medir la calidad del modelo est dado pro el coeficiente de correlacin entre Y y E(Y|X)cuyo cuadrado es:
2Y|X= Cor2(Y,E(Y|X)) =
Var{E(Y|X)}
Var(Y) =1
Var()
Var(Y)
donde= YE(Y|X), y entonces
Var() = (1 2Y|X)Var(Y).
En efecto:
Cov(Y,E(Y|X)) =E[(y E(Y))(E(Y|X) E(Y))]
ComoE((X,Y))) =EX{EY|X((X,Y)|X)}
Cov(Y,E(Y|X)) =EXE{(YE(Y))(E(Y|X) E(Y))|X}
Ahora bien:
E{(YE(Y))(E(Y|X) E(Y))|X} = (E(Y|X) E(Y))(E(Y|X) E(Y)) = (E(Y|X) E(Y))2
y
Cov(Y,E(Y|X)) =EX{(E(Y|X) E(Y))2} = Var(E(Y|X))
Finalmente
Cor2(Y,E(Y|X)) = Var(E(Y|X))2
Var(Y)Var(E(Y|X))=
Var(E(Y|X))
Var(Y)
En el caso lineal f(X) =E(Y|X) =TXyE() =0.
62
7/25/2019 Teoria General del Modelo Lineal
7/33
Minimizar Var() equivale a tomar Cov(,X) = 0. Luego Cov(Y,X) =Var(X) en donde= (Var(X))1Cov(Y,
Var(Y) = Var{E(Y|X)} +Var().
3.3. Estimacin de los parmetros del modelo lineal
Sean {(yi,xi,1,xi,2, . . . ,xi,p)|i= 1, 2, . . . , n} los valores obtenidos sobre una muestra aleatoria simple de
tamaon del vector(Y,X1,X2, . . . ,Xp)de IRp+1. Se plante el modelo lineal:
E(Y|X= (xi,1,xi,2, . . . ,xi,p)) =0+1xi,1+2xi,2+ +pxi,p.
Consideraremos aqu el vectorXcomo no aleatorio.
Denotamos i= 1, 2, . . . , n: xi= (xi,1,xi,2, . . . ,xi,p) y hacemos los siguientes supuestos sobre los errores:
i =yi E(Y) N(0,2), independientes entre si e independientes de los xi. Tenemos entonces p + 2
parmetros a estimar, que son0,1, . . . ,p y 2. Dos tipos de mtodos de estimacin se pueden usar aqu:
el mtodo de ajuste de los mnimos cuadrados y el mtodo de mxima verosimilitud.
3.3.1. Solucin de los mnimos cuadrados
Se busca minimizar una funcin de los errores, como por ejemplo:
p
i=12
i,
n
i=1 |i|, maxi {i}
El criterio de los mnimos cuadrados toma como funcinn
i=1
2i cuya solucin es fcil de obtener y que
tiene una interpretacin geomtrica simple. Escribiremos matricialmente el modelo aplicado a la muestra de
observaciones.
Sea Y=
y1
y2...
yn
, X=
1 x1,1 x1,2 . . . x1,p
1 x2,1 x2,2 . . . x2,p...
......
......
1 xn,1 xn,2 . . . xn,p
, =
0
1...
p
, =
1
2...
n
.
Entonces el modelo se escribe
Y=X+.
El criterio de los mnimos cuadrados consiste en buscar el punto del subespacio vectorial W=Im(X)deIRn
generado por las columnas de la matriz Xms cercano al punto Y. La solucin es la proyeccin ortogonal
63
7/25/2019 Teoria General del Modelo Lineal
8/33
del punto Y sobreWy esta es obtiene de lasecuaciones normalescon la mtrica usual:
XtX=XtY
Este sistema de ecuaciones lineales tiene una solucin nica cuando las columnas de Xson lineales inde-
pendientes, es decir que forman una base del subespacio vectorial de W, o sea que la dimensin del rango
deXes igual a p + 1. En este caso la solucin de los mnimos cuadrados es igual a:
= (XtX)1XtY.
Se deduce que el operador de proyeccin ortogonal sobre W, que es un operador lineal idempotente de orden
2 y simtrico, se escribe matricialmente como:
P=X(XtX)1Xt
Si el rango deXes inferior a p + 1, basta encontrar una base de Wentre las columnas deX, y reemplazarX
porX1 la matriz formada por estas columnas linealmente independientes. Se observar que si bien no es
necesariamente nico, Y=X=PY y= YX= (I P)Y lo son. El mtodo no permite estimar a2.
3.3.2. Solucin de mxima verosimilitud
En el prrafo anterior, para estimar los coeficientesj se us un criterio ma temtico que permite ajustar unhiperplano afin de IRp+2 . Aqu usaremos el mtodo de mxima verosimilitud para estimarlos. El modelo
probabilstico se basa en los errores. El modelo
E(Y) =0+1X1+ +pXp=X
con Y=E(Y) + =X+ en donde se supone Nn(0,2In). La funcin de verosimilitud utilizada es la
densidad conjunta de los errores:
f(1,2, . . . ,n) = 1
22 n2
exp 1
22t
f(1,2, . . . ,n;,2) =
1
22
n2
exp
1
22(YX)t(YX)
Calculemos el estimador de mxima verosimilitud de : lnf
= 0
(YX)t(YX)
= 0 (XtX)=
XTY (Ecuaciones normales).
64
7/25/2019 Teoria General del Modelo Lineal
9/33
Calculemos el estimador de mxima verosimilitud de2:
lnf
2 =0 2 =
(YX)t(YX)
n
y si= YX, entonces
2 =1
n
n
i=1
2i
Es decir que la funcin de verosimilitud es mxima cuando se cumplen las ecuaciones normales:(XtX)=
XtY y adems 2 = 1
n
n
i=1
2i llamado la varianza residual dado que es la varianza emprica de los i; en
efecto ya que Y=X+ , Im(X) y
X (Im(X)) 1nn
i=1
2i =0
El estimador de los mnimos cuadrados es igual entonces al estimador de mxima verosimilitud cuando se
tiene el supuesto de normalidad Nn(0,2In).
3.4. Propiedades del estimador
Las propiedades del estimadorsolucin de las ecuaciones normales estn ligadas a los supuestos hechos
sobre los erroresi. Supondremos aqu que X es de rango completo (p + 1).
Propiedades:
El estimadores un estimador insesgado de:
E() =0 E(Y) =X E() =
El estimador Y=PY=Xes un estimador insesgado deX.
Nn(0,2In) YNn(X,
2P)dondeP era el proyector ortogonal sobre W enIRn.
Nn(0,2In) Nn(o,
2(In P)), conortogonal a W oindependiente deX.
Np+1(,2(XtX)1).
1
n
n
i=1
2i es un estimador sesgado para2. En efecto:
E
n
i=1
2i
X
= (n p 1)2;
65
7/25/2019 Teoria General del Modelo Lineal
10/33
luego2 = 1
n p 1
n
i=1
2i es un estimador insesgado para2. En efecto,
= (In P)Y= (In P)X+ (In P)= (In P).
Luego
t=t(In P)=Traza((In P)t)
y
E(t) =2Traza((In P)) = (n p 1)2
es independiente den
i=1
2i.
es un estimador consistente para y 2 = 1
n p 1
n
i=12
i
es consistente para2.
El estimador es ptimo con respecto a la varianza (ver el teorema de Gauss Markov a continuacin).
Consideremos la siguiente definicin:
Definicin 3.1 Sean A,B Mn(IR). Se dice que A B si y solamente si B = A + C, en dondeCes
semi-definida positiva
Teorema 3.1 Teorema de Gauss-Markov:si E() =0 y E(T) = 2In, entoncestiene varianza entre
los estimadores insesgados de , lineales en Y. Adems si Nn(0,2In), entonces tiene mnima
varianza entre los estimadores insesgados de .Demostracin: Si entre los estimadores insesgados de y lineales enY, tiene la varianza ms pequea,
hay que mostrar que:
=GY :E() = Var() Var().
Sea=AYuna solucin de las ecuaciones normales, entonces = +DY, en queD=G A.
Como los dos estimadores son insesgados,E( ) = E(DY) = 0 y comoY=X+ entoncesDX=0.
Calculemos la varianza de:
Var() = Var() +Var(DY) + 2Cov(,DY)
en donde
Cov(,DY) =E(()(DY)t) =E(YtDt) =E((XtX)1XtYYtDt) =
(XtX)1XtE(YYt)Dt = (XtX)1[Var(Y) +E(Y)E(Y)t]Dt =0
Finalmente Var() = Var() +2DDt en dondeDDt es semi-definida positiva.
66
7/25/2019 Teoria General del Modelo Lineal
11/33
Si adems los errores siguen una distribucin normal, el estimador es de mnima varianza entre todos
los estimadores insesgados de . En efecto la cantidad de informacin de la muestra multivariada para el
parmetroes igual a
In() =
1
2Xt
X
y el estimador tiene una matriz de varianza igual a 2(XtX)1. Luego se obtiene la igualdad en la de-
sigualdad de Cramer-Rao.
Se obtiene faclmente una generalizacin de este teorema cuando Var() =, que supondremos invertible.
El estimador de mnima varianza es entonces:
= (Xt1X)1Xt1Y
Es decir que estamos proyectando ortogonalmente en el sentido de la mtrica1.
3.5. Calidad del modelo
Para ver si el modelo es vlido, hay que realizar varios estudios: la verificacin de los puestos sobre los
errores, la forma y significacin de las dependencias, el aporte de cada variable explicativa. Lo que se har
estudiando, mediante grficos, ndices y test, no solamente la calidad del modelo global y el aporte individual
de cada variable explicativa, sino que el aporte de un grupo de m variables explicativas tambin.
3.5.1. Calidad global del modelo.
Los residuosidan la calidad del ajuste para cada observacin de la muestra. Pero es una medida individual
que depende de la unidad de medicin. Un ndice que evita este problema est dado por:
n
i=1
y2i
n
i=1
y2i
que representa el cuadrado del coseno del ngulo del vector Ycon el vector Y enIRn (Figura??).
Se puede comparar las siguientes varianzas:
Varianza residual:1
n
n
i=1
2i.
Varianza explicada por el modelo:1
n
n
i=1
( yi y)2.
67
7/25/2019 Teoria General del Modelo Lineal
12/33
Varianza total: 1
n
n
i=1
(yi y)2.
Figura 3.1: Proyeccin del vector Y en W
Un ndice estadsticamente ms interesante es elcoeficiente de correlacin mltiple R o su cuadrado, el
coeficiente de determinacin:
IR2 =
n
i=1
( yi y)2
n
i=1
(yi y)2
que compara la varianza explicada por el modelo con la varianza total. El coeficiente de correlacin mltiple
R es el coeficiente de correlacin lineal entreY e Y. El valor de R est comprendido entre 0 y 1. Cuando
R=0, el modelo obtenido es i: yi= y, la media muestral de los valoresyi y en consecuencia las variables
no explican nada en el modelo. En cambio cuando R es igual a 1, el vector Y pertenece al subespacio
vectorialW, es decir que existe un modelo lineal que permite escribir las observaciones yi exactamente
como combinacin de las variables explicativas. Cuando R es cercano a 1, el modelo es bueno siendo que
los valores estimados yi ajustan bien los valores observados yi.
Para el caso general se tiene:
Corr(Y,Y) =
Yy1nYy1n
= maxZ=X
Corr(Y,Z)
en donde 1nes el valor de la bisectriz deIRn de componentes todas iguales a 1.
Si se plantea la hiptesis globalH0: 1= 2= = p=0 H0:E(Y) = 01n, esta hiptesis significa
que los valores de las pvariables explicativas no influyen en los valores de Y. Como Nn(0,2(In P))
68
7/25/2019 Teoria General del Modelo Lineal
13/33
e YNn(X,2P), si res el rango de la matriz X, se tiene:
n
i=1
2i
2 =
(n r)2
2
nr.
Como Y|H0 Nn(11n,2P) 0= y, se tiene:
n
i=1
yi 0
2y
n
i=1
yi y
2 2r1
Adems
n
i=1
y2i
2 y
n
i=1
yi y
2son independientes. Se tiene entonces que bajo la hiptesis nula H0:
F=
n
i=1
( yi y)2/(r 1)
n
i=1
2i/(n r)
Fr1,nr
en dondeFr1,nrsigue una distribucin de Fisher a r 1 yn rgrados de libertad. Se puede expresar F
en funcin del coeficiente de correlacin mltipleR:
F (n r)R2
(r 1)(1 R2).
La regin crtica para la hiptesis nulaH0:E(Y|X) = 01ncontra la hiptesis alternativaH1:E(Y|X) =X
con un nivel de significacin est definida por
IP(Fr1,nr> c) =.
Se rechazaH0, por lo tanto se declara el modelo globalmente significativo cuando se encuentra un valor F
en la muestra mayor que c.
En la prctica, se define laprobabilidad crticao p-valorque es el valor pc tal queIP(Fr1,nr> F) = pc.
Si el valor de la probabilidad crtica pc es alta, no se rechaza H0, es decir que se declara el modelo como
poco significativo.
3.5.2. Medicin del efecto de cada variable en el modelo
Cuando las variables explicativas son independientes, el efecto asociado a l variableXj se mide con Xjj.
Se observar que el modelo lineal es invariante por el cambio de escalas de mediciones.
69
7/25/2019 Teoria General del Modelo Lineal
14/33
Consideramos la hiptesis nulaH0: j=0. Comoj N(j,2j )en donde
2j= Var(j)(
2j=
2(XtX)1j,j
en el caso del modelo con rango completo),j jj
N(0, 1). Por otra parte, como (n r)
2 2nr, se
deduce que
j jj
tnr.
Bajo la hiptesis nulaH0:j= 0,
j
j tnr.
Si la probabilidad crtica o P-valorIP
|tnr| >
jj
= pc es grande, no se rechaza H0 y si es pequea se
rechazaH0, lo que en este caso muestra un efecto significativo de la variablesXj sobreY.
Estos test individuales sobre los efectos tienen validez cuando las variables explicativas son relativamente
independientes. Cuando no es el caso, es decir cuando una variable Xjpuede tener un efecto sobre Y distintocuando se combina con otras variables, hay entonces que eliminar los efectos de las otras variables. Para eso
se puede usar elcoeficiente de correlacin parcial.
3.5.3. Coeficiente de correlacin parcial
El efecto de una variable Xsobre la variable Ypuede estar afectado por una tercera variable Z cuando Z
tiene efecto sobreX tambin. El estudio se basa entonces en las dos relaciones del tipo lineal:
X= Z+
Y=Z+.
Una vez eliminada la influencia de la variableZsobre las variablesX eYse mide solamente a partir de los
restos:
XZ=
Y Z=.
Definicin 3.2 El coeficiente de correlacin parcial entre X eY bajoZconstante es el coeficiente de
correlacin entre los erroresy :
(X,Y|Z) = Corr(,)
Se observa que siXy Z son muy correlacionados entonces la correlacin parcial entreXe Yes muy pequea.
En efectoXaporta casi ninguna informacin nueva sobre Y(o vice-versa) cuandoZes conocida.
Se usa el grfico de los errores para medir los efectos y el tipo de efecto (lineal o no). Del grfico3.2(a)
podemos decir que la variableX2 no tiene efecto sobre la variableY en presencia de la variableX1. Pero en
70
7/25/2019 Teoria General del Modelo Lineal
15/33
el grfico3.2(b) la variableX2 aporta a la explicacin de la variableYan si la variable X1es presente en el
modelo.
Figura 3.2: Interpretacin de los errores y del coeficiente de correlacin parcial
Se puede generalizar a ms de 2 variables Zj, j=1, 2, . . . , q. Si
X=q
j=1
jZj+ Y=q
j=1
Zj+
entonces se define el coeficiente de correlacin parcial entreXe Y, dadas las variables Zj, por:
(X,Y|Z1,Z2, . . . ,Zq) = Corr(,).
Si las variablesZj no tienen efecto sobreXe Y, es decir que las correlaciones Corr(X,Zj)y Corr(Y,Zj)son
todas nulas, entonces(X,Y|Z1,Z2, . . . ,Zq) = Corr(X,Y).
Se generaliza tambin la matriz de correlacin parcial con mas de dos variables. Definimos para eso la
matriz de varianza-covarianza del vectorXdado el vectorZfijo:
Var(X|Z) =XX X Z1
ZZZX.
Se tiene una intertretacin geomtrica del coeficiente parcial(X,Y|Z)mediante los tringulos esfricos: El
ngulo(A)del tringulo esfrico(ABC)est definido por el ngulo entre las dos tangentes en A a los lados
del tringulo esfrico (Grfico3.3). El ngulo(A)es entonces igual a la proyeccin del ngulo entre OX y
OY sobre el plano ortogonal a OZ. Los ngulos siendo relacionados a los arcos, se tiene:
cos(A) =cos(a) cos(b) cos(c)
sin(b) sin(c) .
Luego:
71
7/25/2019 Teoria General del Modelo Lineal
16/33
Figura 3.3: Representacin esfrica del coeficiente de correlacin parcial
Figura 3.4: (a)(X,Y|Z) = 1 (b)Corr(X,Z) =0,Corr(Y,Z) =0, 01,(X,Y|Z) =1.
(X,Y|Z) = Corr(X,Y) Corr(X,Z)Corr(Y,Z)
1 Corr2(X,Z)
1 Corr2(Y,Z)
En la figura3.4a, el ngulo A = 2
, el coeficiente de correlacin parcial es1. Pero puede haber un efecto
escondido de la variable Xsobre la variableZcomo se ilustra en la figura3.4b: el coeficiente de correlacin
mltiple de X eY sobre Zes igual a 1, a pesar que el coeficiente de correlacin entre X y Zes nulo y el
coeficiente de correlacin entre Y y Z es muy pequeo aquel entre X eY cercano a 1. El coeficiente de
correlacin parcial es igual a 1 tambin.
3.5.4. Efecto de un grupo de variables
Vimos que el efecto global de todas las variables explicativas y los efectos individuales. Veremos aqu el
efecto de un grupo de k variables, sean Xj1 ,Xj2 , . . . ,Xjk (k p), entre las p variables. El efecto de estas
72
7/25/2019 Teoria General del Modelo Lineal
17/33
variables se mide considerando la hiptesis nula H0 : j1 =j2 = = jk=0 contra H1 : E(Y) =0+
1X1+ +pXp.
SeanXjk+1 ,Xjk+2 , . . . ,Xjp el restante de lasP variables. BajoH0, el modelo se escribe:Y=0+ jk+1Xjk+1+
+ jpXjp+ o. Se tiene la varianza residual bajoH1menor que la varianza residual bajo H0:
i
2i i
2oi
Se puede estudiar el cociente de las dos varianzas residuales
i
2oi
i
2io su complemento
i
y2oi
i
2ien donde
yoi=yi 2oi son las componentes del estimadorE(Y|X)bajoH0.
Bajo la hiptesisH0
Q=i ( y
i yoi)2/k
i
2i/(n r) Fk,nr.
Lo que conduce a un test de regin crtica de la forma Q c.
Considerando otra forma de escribir el problema. Sea la hiptesis nula H0 : E(Y) = X0 W0, con X0 de
rangos, contraH1=X W.
La hiptesis H0 equivale a (XX0)= 0 lo que corresponde a k= p s + 1 ecuaciones independientes
Dk(p+1) =0, en queD es de rangok. Para que el test tenga sentido,Dtiene que ser estimable, es decir queel estimadorDno debe depender de una solucin particularde las ecuaciones normales.
Sean Y e Y las proyecciones Y sobre W y W0respectivamente yE(Y) =0bajoH0y E(Y) = bajoH1.
Y02 = YY +Y 0
2 = YY2 + Y 02
Y2 = YY2 + Y2
SeanS2 =YY2
YY2 yR2 =
YY2
YY2. BajoH0, se tiene
n p 1
kR2 Fk,nr. La regin crtica es de la
forman r
k R2 > C.
Se puede plantear el test de razn de verosimilitudes tambin: =max
H0L
maxL. La regin crtica se escribe S> C
Este test coincide con el testF.
Se observar queYY2
n sy
YY2
kson ambos estimadores insesgados de2 bajoH0.
73
7/25/2019 Teoria General del Modelo Lineal
18/33
Cuando la varianza2 es conocida, la razn de verosimilitudes es igual a:
=
maxH0
L
maxL=exp
1
22Yy2
.La regin crtica del test se escribe entonces YY2 >22k.
Se puede construir un test a partir deD N(D,2)cuando N(0,2). BajoH0,tDt1D
2 2k.
Pero este test no equivale en general al test de razn de verosimilitudes basado en YY2.
3.5.5. Caso de una hiptesis lineal general
Sea la hiptesis nulaH0:A= ccontra la hiptesis alternativaH1:A= c, en dondeA Mk,p+1es conocida
y de rango k. A tiene que ser estimable, es decir no debe depender de una solucin de las ecuaciones
normales. Se supondr aqu un modelo de rango completo.
Sea = (XtX)1XtYel estimador de mxima verosimilitud sin restriccin y 0el estimador bajoH0:A =
c. Se obtiene 0usando los multiplicadores de Lagrange:
Q= (YX)t(YX) + 2(A c)
Q
=0 XtX0=X
tY+At 0= (XtX)1(XtY+At) = + (XtX)1At.
Utilizando la restriccinA0=c, obtenemos que= [A(XtX)1At]1(c A)
0= + (Xt
X)1
At
[A(Xt
X)1
At
]1
(c A)
SeanP0y Plos proyectores asociados respectivamente aX0y X, es decir tales queP0Y= X0yPy =X.
Entonces
P0Y=PY+X(XtX)1At[A(XtX)1At]1(c A).
Sea la varianza residual del modelo sin restriccin: V = (Y X)t(Y X) y la varianza residual bajo
H0: T= (YX0)t(YX0). ComoT V,consideramos U= T Vque compararemos a V.
Proposicin 3.2 La diferencia de las varianzas residuales con y sin restriccin es:
U= (A
c)t
[A(Xt
X)1
A
t
]1
(A
c)
y bajo la hiptesis nula U
2 2k.
Demostracin:
U(YX0)t(YX0) (YX)
t(YX) = Yt(P P0)Y.
Como P0Y= PY+X(XtX)1At[A(XtX)1At]1(cA) y U= Yt(PP0)t(PP0)Y U= (Ac)t[A(XtX)
1At]1(A
74
7/25/2019 Teoria General del Modelo Lineal
19/33
c).
Por otro lado como A es de rango igual a k,A Nk(A,2A(XtX)1At), luego
U
2 2k.
Comoes independiente de V=i 2i (ver ejercicio 1.7b), el estadstico del test es:
U/k
V/(n p) Fk,np.
3.5.6. Anlisis de los residuos
Se supone que el efecto de numerosas causas no identificadas est contenido en los errores, lo que se traduce
como una perturbacin aleatoria. De aqu los supuestos sobre los errores, que condicionan las propiedades
del estimador. Es importante entonces comprobar si los supuestos se cumplen.
La mejor forma de chequear si los errores son aleatorios de medias nulas, independientes y de la misma
varianza, consiste en estudiar los residuos
i=1, 2, . . . , n:i= yi j
jxi,j
considerndolos como muestra i.i.d. de una distribucin normal.
Se puede usar el grfico (Yi, i), que debera mostrar ninguna tendencia de los puntos, o bien construir
test de hiptesis sobre los errores. En el grfico de la izquierda ( 3.5) se puede ver los residuos aleatorios
independientes de Y, lo que no es el caso de los residuos del grfico de la derecha.
Si el supuesto que los errores sonN(0,2)no se cumple, tenemos que estudiar el efecto que esto tiene sobre
la estimacin de los parmetros y sobre los tests de hiptesis, adems tenemos que detectar si este supuesto
es cierto o no y corregir eventualmente la estimacin de los parmetros y tests.
Vimos donde interviene el supuesto de normalidad en la estimacin de los parmetros del modelo y en los
tests de hiptesis para verificar la significacin de las variables en el modelo. Este tema se relaciona con el
concepto de larobustez(ver MILLER R.G. (1986), Beyond ANOVA, Basics of Applied Statistics).
La teora de estimacin y de test de hiptesis se basa en supuestos sobre la distribucin de poblacin. Por lo
tanto si estos supuestos son inexactos, la estimacin o la conclusin del test sera distorsionada. Se buscan
entonces mtodos que sean lo menos sensibles a la inexactitud de los supuestos. Se habla entonces de
robustez del mtodo.
Se divide el estudio en tres partes: la normalidad, la independencia y la igualdad de las varianzas de los
errores.
75
7/25/2019 Teoria General del Modelo Lineal
20/33
Figura 3.5: Grficos de residuos
Estudio de la normalidad de los errores
Si no se cumple la normalidad de los errores, los efectos sobre la estimacin o tests relativos a los parmetros
son pequeos, pero son ms importantes sobre los tests relativos a coeficiente de correlacin. El problema
es ms agudo en presencia de observaciones atpicas.
Tenemos entonces que verificar la hiptesis nula Ho:i N(0,2)o sea si ui=
i
,Ho: ui N(0, 1). Esto
sugiere de comparar la funcin de distribucin empricaFn de los residuos normalizados con la funcin de
distribucin de laN(0, 1). SeaFla funcin de distribucin de laN(0, 1), que es invertible.
Entonces si losui provienen deN(0, 1),F1(Fn(ui)) ui. Consideramos entonces los estadsticos de orden
de los ui, que son los residuos normalizados ordenados de menor a mayor: sea u(1) u(2) ... u(n). La
funcin de distribucin emprica es entonces:
Fn(u) =card{u(i) u}
n
Se define los cuantiles empricosqi=F1(Fn(u
(i)). Notemos queFn(u
(i)) =Fn(
(i)).
Si Fn se parece a F, los puntos(ui, qi) deberan ser colineales (sobre la primera bisectriz). Este grfico se
llamaprobito recta de Henri( grfico 3.6).
Si los puntos en ell grfico probit aparecen como no lineal, se rechaza la normalidad de los errores y se
puede corregir utilizando la regresin no paramtrica basada o bien otras alternativas segn la causa de la
no normalidad (no simetra, observaciones atpicas, etc..
76
7/25/2019 Teoria General del Modelo Lineal
21/33
Figura 3.6: Recta de Henri
Test de Durbin y Watson
Test para la igualdad de las varianzas
3.6. Prediccin.
Si se tiene una nueva observacin para la cual se conocen los valores de las variables explicativas, sean
x0,1,x0,2, . . . ,x0,p, pero se desconoce el valorY0de la variables respuesta, se puede entonces usar el modelopara inferir un valor para Y0a travs de su modelo esperado:
0=E(y0) =xt0
en quext0= (x0,1x0,2 . . .x0,p).
Si es el estimador deobtenido sobre las antiguas observaciones, se estima 0dados los valores tomados
por las variables explicativas por:
0=E(y0) =xt0.
Se puede calcular un intervalo de confianza para 0: la distribucin de y0 es N(0,2xt0(XtX)1x0), luegoy0 0
xt0(XtX)1x0
tnp1. Se usa este estadstico para construir un intervalo de confianza de nivel 1
para0:
IP
y0 t
/2np1
xt0(X
tX)1x0 0 y0+ t/2np1
xt0(X
tx)1x0
=1
Un problema distinto es de estimar un intervalo para y0. Hablamos de un intervalo para la prediccin. En
77
7/25/2019 Teoria General del Modelo Lineal
22/33
este caso hay que tomar en cuenta de la varianza aleatoria y0:
y0= y0+ 0.
La varianza de0es igual a: 2 +2xt0(XtX)1x0, dado que y0. Un intervalo de prediccin paray0se obtiene
entonces a partir de y0 y0
1 + (xt0(XtX)1x0)
tnp1
El intervalo es entonces definido por:
IP
y0 t
/2np1
1 +xt0(X
tX)1x0 yo y0+ t/2np1
1 +xt0(X
tX)1x0
=1 .
3.7. Caso de modelo de rango incompleto.
Vimos que en el caso de una matriz Xde rango rmenor que p + 1, la solucin de las ecuaciones normales
no es nica. se habla en este caso demodelo de rango incompleto. Construyendo una solucin de las
ecuaciones normales a partir de una inversa generalizada A= (XtX) no se obtiene necesariamente un
estimador insesgado de. En efecto, sib es una solucin de las ecuaciones normales:
(XtX)b=XtY
entonces b =AXtYE(b) =AXtE(Y) =AXtX. SiH=AXtX, entoncesE(b) =HH= en general:
bes un estimador insesgado de Hy no de.
Sin embargo, Y= X b= (X AXt)Y es nico, dado queX AXt no depende de la inversa generalizadaA. LuegoE(Y) =E(X b) = (X AXt)X=X. Los vectoresY de las predicciones yde los residuos son invariantes e
insesgados y 2 =Yt(1 X AXt)Y
n rel estimador de2 lo es tambin.
Se presentan tres enfoques para estudiar estos modelos de rango incompleto
mediante un modelo reducido;
a partir de funciones estimables;
mediante restricciones identificables sobre los coeficientes del modelo.
Veremos las relaciones que existen entre estos mtodos.
3.7.1. El modelo reducido.
Sea X de rango r (< p + 1), entonces U Mr,p+1r tal que X= (X1|X2) con X1 de rango completo r
78
7/25/2019 Teoria General del Modelo Lineal
23/33
X2=X1U. Entonces, si=
1
2
:
X=X11+X22= X1(1+U2) =X1+
El modelo se escribe entonces: Y=X+ = X1+ + , que es un modelo de rango completo sobre X1
equivalente al modelo de rango incompleto:
+ = 1+U2= (Xt1X1)
1Xt1Y
E(+) =+
Var(+) =2(Xt1X1)1
3.7.2. Funciones vectoriales estimables
Definicin 3.3 Sea E=Rp+1 el espacio vectorial de los parmetros y G= Rk. Una aplicacin
lineal H :E G esestimable si existe una aplicacin lineal L: IRn G (L l (IRn,IRk)) tal que
E(LY) =H.
CuandoG=IR, se habla de funcin estimable.
Veamos a continuacin algunas condiciones para queHsea estimable.
Teorema 3.2 Una condicin necesaria y suficiente para queH: E Gsea estimable es que existeL
l(IRn,IRk)(o L Mk,n) tal queLX= H.
Demostracin: SiHes estimable L l(IRn,IRk) tal queE(LY) =H E(L(X+)) =H
LX= H.
Figura 3.7: Esquema de funciones
Teorema 3.3 Una condicin necesaria y suficiente para queHsea estimable es queKer(X)Ker(H).
Demostracin: () Si H es estimable L l (IRn,IRk) tq LX =H; si X b= 0 H b= 0, luego
Ker(X)Ker(H).
() SiKer(X)Ker(H), luego siX b = 0 Hb = 0 L Mk,n:LX b =Hb = 0. SeaIRp+1 = Ker(X)F,
entoncesXes un isomorfismo sobreW=Im(X) =X(IRp+1) =X(F). Entonces a todoY W corresponde
79
7/25/2019 Teoria General del Modelo Lineal
24/33
a un solo b F tal queY=X b. Si se toma LY=H b, lo que define L de manera nica, se tiene Y W :
LY=H b, es decir que b F: LX b=H b. Se deduce entonces queHes estimable.
Consecuencias del teorema:
Sea b una solucin de las ecuaciones normales. Si Hes estimable, entonces Hb no depende de la
solucin particularbelegida. En efecto,b = b0 +b1en queb0 Ker(X),b1nico. Luegob0 Ker(H)
y Hb = H b0+Hb1= H b1 que es invariante. Adems LXb= H b no depende de L. Adems Hb es
insesgado paraH.
Si se busca un estimador insesgado de, como se tieneq= p + 1,Hes la identidad enIRp+1 y como
Ker(H) = {0} Ker(X) = {0}. El modelo tiene que ser de rango completo.
En conclusin, en un modelo de rango completo, toda funcin vectorial deXes estimable.
3.7.3. Aplicacin al modelo de rango incompleto.
Sea X de rango r y X= (X1|X2) en que X1 es de rango completo r y X2 =X1U. Sea =
1
2
la
descomposicin de tal que X= X11+X22. Sea 1 L1 de dimensin r y 2 L2 de dimensin
p + 1 r. Entonces+ =1+U2 L1.
Figura 3.8:
Teorema 3.4 Una condicin necesaria y suficiente para queH l(IRp+1,IRk)sea estimable es queH2=
H1U, en dondeH1y H2son las restricciones deHa L1y L2.
Demostracin:
SiHes estimable, existeL tal queLX= Hy ademsLX1=H1y LX2=H2.
LX=L(X11+X22) =LX11+LX22=H11+H22. PeroLX2=LX1U, por lo tantoH2=H1U.
Recprocamente, siH2=H1U, mostramos que se puede construirL tal queLX= H.
Observemos que basta construirL, sobreIm(X). AdemsX1es de rango completo, luego YIm(X) !b1
L1 tq Y=X1b1. ExisteL tal queLY=LX1b1. EntoncesH2=LX1U= LX2.
80
7/25/2019 Teoria General del Modelo Lineal
25/33
Figura 3.9:
Finalmente IRp+1 :LX=L(X11+X22) =H11+H22=H. LuegoHes estimable.
Consecuencias: el teorema de Gauss-Markov, que vimos para el caso de modelo de rango completo, puede
aplicarse al caso de un modelo de rango incompleto para estimadores de funciones estimables:
Teorema 3.5 Si H es una funcin vectorial estimable, el nico estimador lineal insesgado de mnima
varianza deHes Hen donde es cualquiera solucin de las ecuaciones normales.
Demostracin:
H=H11+H22=H1+
H=H1+
Var(H) = Var(H1+) =2H1(X
t1X1)
1Ht1
que no depende de la particinXenX1y X2.
3.7.4. Estudio imponiendo restricciones.
Si el rango deXes igual ar< p + 1, se tiene p + 1 rgrados de indeterminacin en la eleccin de . Se
puede levantar esta indeterminacin imponiendo p + 1 r restricciones lineales independientes sobre , de
manera que conociendo Y, se obtenga un nico estimador de tal que Y=X.
Las restricciones son de la forma
K =0
conK Mp+1r,p+1,Kes de rangos= p + 1 r.
Se tiene entonces que estimar con tal que
Y=X con la restriccinK =0. (1)
Veamos que esta condicin nos asegura de obtener la unicidad con cualquier Kde rangos.
81
7/25/2019 Teoria General del Modelo Lineal
26/33
Teorema 3.6 ConsiderandoK1 y K2 las restricciones de Ka L1 y L2, la condicin necesaria y suficiente
para que (1) tenga una solucin nica es queK2 K1Usea invertible.
Demostracin: La ecuacin (1) puede escribirse usando la particinX= (X1,X2);
+ = 1+U2= (Xt1X1)1Xt1YK11+ K22=0
1= + U2
(K2 K1U)2= K1+
(2)
este sistema de ecuaciones (2) tiene una solucin nica si y solo si K2 K1Ues invertible.
Notas:
Kno puede ser estimable en este caso. Si lo fueraK2=K1Uy 2no es nico.
SiHes estimable,H no depende del estimador solucin de las ecuaciones normales por lo tanto
de las restricciones elegidas.
Dos maneras de encontrar la solucin de (2):
ComoK b=0, se puede escribir las ecuaciones normales de la forma:
(XtX+MK)K= XtY
en dondeMes una matriz tal que XtX+MKinvertible. El problema es de encontrar esta matriz M.
La otra manera , ms operativa, consiste en construir el modelo aumentado: XtX Kt
K 0
0
=
XtY
0
.
Si la matriz aumentada A =
XtX Kt
K 0
es invertible, su inversa se escribe: A1 =
C Pt
P Q
,
entonces = CXtY.
3.8. Intervalos y regiones de confianza.
Vimos que los test de hiptesis sobre los parmetros individualmente no son adecuados en general. Por
la misma razn, no se construye en general intervalo de confianza para cada parmetro por separado. Se
propone construir regiones de confianza o intervalos simultneos de confianza.
82
7/25/2019 Teoria General del Modelo Lineal
27/33
3.8.1. Regiones de confianza.
Vemos aqu intervalos o regiones de confianza para parmetros individualmente o para funciones de los
parmetros.
Para cada parmetroj del modelo lineal, se puede construir un intervalos de confianza utilizado:
j jj
tnr
en donde 2j es la estimacin deVar(j) = 2(XtX)1j,j ; es decir
2j (X
tX)1j,j . El intervalo de confianza de
nivel de confianza igual a 1 es: j t
/2nrj,
j+ t/2nrj
Para una combinacin lineal del vector : at a
t
at(XtX)1a tnr, luego el intervalo de confianza es:
at t
/2nr
at(XtX)1a, at+ t
/2nr
at(XtX)1a
Para un vectorA IRk conA Mk,p+1, sabemos de 2.5.5 que
( )tAt[A(XtX)1At]1A( ) 22k
y 1
2 i2
i 2
nr
son independientes.
Luego
( )tAt[A(XtX)1At]1A( ) k
n r2Fk,nr
define una regin de confianza elipsoidal paraA.
Ejemplo 3.7 Sean p=3,n=18,(XtX)1 = 1n
1 0 0
0 2 1
0 1 2
, 22 =n y =
0
2
1
.
Las varianzas de1 y2 son: 21= 1 y
22= 1. Los intervalos de confianza individuales con 1 =0, 95
para1y 2son:1 [0, 13;4, 13]y 2 [1, 13;3, 13].
El intervalo para1 2:at = ( 0 1 1 );Var(at) =3 1 2 [2, 691;4, 691].
El intervalo para1+2:at = ( 0 1 1 );Var(at) =1 1+2 [0, 891;5, 131].
83
7/25/2019 Teoria General del Modelo Lineal
28/33
En la figura3.10a se represent los dos intervalos de confianza individuales para 1y 2y en la figura3.10b,
las regiones de confianza para1 2y 1+2.
Figura 3.10: (a) Intervalo para1y 2 (b) Intervalo para1 2y 1+2
3.8.2. Intervalos simultneos de confianza.
Vimos que par un vector A IRk
conA Mk,p+1, la regin de confianza elipsoidal es tal que
IP(( )tAt[A(XtX)1At]1A( ) k
n r2Fk,nr) =1 .
Ahora bien, si representamos esta regin, por ejemplo, con loskintervalos asociados a losatj, j= 1, 2, . . . k
es dondeatj es la fila jde A, tomando la interseccin de loskintervalos:atj
k
n rFnrVar(a
tj), a
tj+
k
n rFnrVar(a
tj)
obtenemos una regin ms amplia que la definida por el elipsoide. En efecto:
Proposicin 3.3 Si Ces invertible, entonces supu=0
(utb)2
utCu
=btC1b.
Demostracin:
v h2 =2h2 2htv + v2 =
h
htv
h
2+ v2
(htv)2
h2 0.
84
7/25/2019 Teoria General del Modelo Lineal
29/33
Para h=0 v2h2 (htv)2. Luego (htv)2
v2 h2 sup
v=0
(htv)2
v2 =h2. Tomando v= C1/2u y
h= C1/2bobtenemos(btu)2
utCu btC1b.
Aplicando este resultado a la regin de confianza deA:
IP
( )tAt[A(XtX)1At]1A( )
k
n r2Fk,nr
=1 .
y tomando=A, C= [A(XtX)1At]y q= kn r2Fk,nr, obtenemos
IP(( )tC1( ) q) =1 IP
u =0 :
(ut( )2)
utCu q
=1 .
Ahora bien, cuando se quiere un intervalo para A, es equivalente a pedir kintervalos Ij al mismo tiempo
para losatj, j=1, 2, . . . , ken dondeatj es la fila jde A. De lo anterior deducimos que el elipsoide obtenido
paraAes ms que lo que pedimos que es para jIj:
IP(Ij) 1 .
Para A =I, Scheff propone proyectar el elipsoide asociado a sobre los ejes de coordenadas. En general
puede ser demasiado pesimista dado que
IP(Ij) 1 .
Bonferroni propone simplemente que cadaIj sea tal que IP(Ij) = 1 k (j= 1, 2, . . . , k). Aqu tambin se
tiene queIP(Ij) 1 . En efecto
IP(Ij) =1 IP
Ij
=1 IP
Ij
1 j
IPIj
=1 j
j= 1 .
3.9. Ejercicios.
1. Cuatro mdicos estudian los factores que explican porque hacen esperar a sus pacientes en la consulta.
Toman una muestra de 200 pacientes y consideran el tiempo de espera de cada uno el da de la
consulta, la suma de los atrasos de los mdicos a la consulta este mismo da, el atraso del paciente a la
consulta este da (todos estos tiempos en minutos) y el nmeros de mdicos que estn al mismo tiempo
es la consulta este da. Se encuentra un tiempo promedio de espera de 32 minutos con una desviacin
tpica de 15 minutos. Se estudia el tiempo de espera en funcin de las otras variables mediante un
modelo lineal cuyos resultados estn dados a continuacin:
85
7/25/2019 Teoria General del Modelo Lineal
30/33
Variable Coeficiente Desv. tpica t-Student IP(|X| > t)Constante 22,00 4,42 4,98 0,00
Atraso mdico 0,09 0,01 9,00 0,00
Atraso paciente -0,02 0,05 0,40 0,66
Nmero de mdicos -1,61 0,82 1,96 0,05Coef. determinacin=0,72 Fde Fisher=168 IP(X> F) =0, 000
Cuadro 3.1: Resultados de la regresin
a) Interprete los resultados del modelo lineal. Comente su validez global y la influencia de cada
variable sobre el tiempo de espera. Especifique los grados de libertad de lastde Student y la F
de Fisher.
b) Muestre que se puede calcular laF de Fisher a partir del coeficiente de determinacin. Si se
introduce una variable explicativa suplementaria en el modelo, el coeficiente de determinacin
sar ms elevado?
c) D un intervalo de confianza a 95
d) Predecir el tiempo de espera, con un intervalo de confianza a 95que llega a la hora un da que el
consultorio funciona con 4 mdicos que tienen respectivamente 10, 30, 0, 60 minutos de atraso.
2. Suponga que tenemos un modelo lineal Y=X+con Nn(0,2In),IR
p+1,XMn,p+1(IR).
a) EscribamosX como:X= (X1,X2), conX1 y X2 submatrices deXtales queXt1X2= 0 (la matriz
nula). El modelo inicialY=X+ se escribeY=X11+X22+con = 1
2
. Si 1 esel estimador de mxima verosimilitud de1en el modelo Y=X11+y 2es el estimador de
mxima verosimilitud dees igual a
1
2
.
(Indicacin: se usar el siguiente resultado: si A Mn,n(IR)es una matriz diagonal por bloque,
i.e.A1 =
A11 0
0 A12
, con las submatricesA1 y A2 invertibles , entonces A es invertible, y
A1 =
A1 0
0 A2
).
b) Si Xt1X2=0 y si se toma=
1
2
como estimador de, que propiedad pierde bajjo el
supuesto usualE() =0.
3. Consideremos tres variables Y,X,Zobservadas sobre una muestra de tamao n = 40, {(yi,xi,zi) tq i =
1, . . . , 40}. Se busca explicar Ylinealmente a partir de X yZ.
86
7/25/2019 Teoria General del Modelo Lineal
31/33
Variable Medias Desv. tpica
Y 11,68 3,46
X 5,854 2,74
Constante Estimacin Dev. tpica estimacin t-Student IP(|X| > t)
7,06 1,03 6,84 0,00 0,79 0,16 4,94 0,00
Coef. determinacin=0,39 Fde Fisher=24,44 IP(X> F) =0, 000
Cuadro 3.2: Resultados de la regresin
a) Se representan los resultados de modelo lineal:yi= +xi+ i,i =1, . . . , 40: Interprete estos
resultados y efecte el test de hiptesisH0:=0.
b) D una estimacin insesgada para2 la varianza de los errores de este modelo.
c) Comente el grfico de los residuos en funcin de losyi.
d) Se tiene una nueva observacin que toma sobre la variableXel valor x0= 6, 50. D una esti-
macin y0del valory0que toma sobre la variable Y.
e) Se presentan los resultados del modelo lineal:yi=+ zi+i:
Variable Medias Desv. tpica
Y 11,68 3,46
Z 0,00 2,65
Constante Estimacin Dev. tpica estimacin t-Student IP(|X| > t)
11,68 0,36 32,54 0,00
1,00 0,14 7,27 0,00Coef. determinacin=0,58 Fde Fisher=52,78 IP(X> F) =0, 000
Cuadro 3.3: Resultados de la regresin
Se tiene i
xizi=0 y i
zi=0.
Muestre que si X1= (1n|X) es una matriz formada del vector de unos y del vector de los xi y
X2Zel vector formado de los zi, se tieneXt1X2= 0. Usando los resultados del ejercicio 2 deduzca
las estimaciones de los parmetros del modelo yi=0+1X+2Z+ .
4. Se requiere ajustar una funcin escalny= f(t)con fconstante en los intervalos en que j=0, . . . , K
y a0< a1< ... < aK. Para ello se observan datos {(ti,yi) i= 1, . . . , n}. Se asume que los yi son
mutuamente independientes y que la distribucin de los yi es N(f(ti),2).
a) Formule el problema anterior como modelo lineal.
b) Obtenga la funcin ajustada por mnimos cuadrados.
87
7/25/2019 Teoria General del Modelo Lineal
32/33
c) Concluya un intervalo de confianza para
aKa
0
f(t)dt.
5. SeaY IRn un vector aleatorio con E(Y) = y Var(Y) = 2In. Se considera el modelo lineal Y=
X+, en queX Mn,pes de rango completo. Llamaremos Wal subespacio deIRn conjunto imagen
deXe Yal estimador de mnimos cuadrados de =E(Y).
a) Sea a W ya la recta generada por a. Se define H0= {z W tq atz=0} el suplemento
ortogonal de a enW. Se tiene entonces la descomposicin en suma directa ortogonal de W:
W=Ha a. Muestre que el estimador de mnimos cuadradosY de en Hase escribe como:
Y = Y
atYata
a.
b) Sib IRn, muestre que Var(btY) = Var(btY) 2(btb)2
ata .
c) Suponiendo que los errores son normales, d la distribucin de
i
2i
2 , en quei = Yi Y
i .
d) Se considera el caso particulara=In. D la distribbucin de
i
Y2i /p
i
2i /(n p). Muestre que si las
variables son centradas, Y= Y.
6. Teorema de Gauss-Markov generalizado.
Si Var(Y) =, invertible, entonces el estimador insesgado de mnima varianza entre los esti-
madores lineales insesgados de es aquel que minimiza YX21
.
a) Encuentre el estimador de mxima verosimilitud de y.
b) Demuestre el teorema.
88
7/25/2019 Teoria General del Modelo Lineal
33/33
c) Si el rango deXes igual ar, muestre que la norma del vector de residuos de un modelo lineal
YY21 2nr
en donde Y la proyeccin1-ortogonal de Y sobreIm(X).
7. Sea el modelo lineal:y i= 0+1xi,1+ +pxi,p+ i, i = 1, 2, . . . , n. MatricialmenteY=X+ ,
conrango(X) = p + 1,E() =0,Var()2In.
a) Se escribeXtX=
n at
a V
. D las expresiones dea y V. Muestre queV es definida positiva.
Muestre que a es un vector nulo cuando las variables explicativas estn centradas
j:
n
i=1
xi,j=0
.
Relacione los valores propios de Vcon los de V1.
b) Muestre quej
Var() sujeto a j :n
i=1
xi,j= 0 yj :n
i=1
x2i,j= c (c es una constante positiva)
alcanza su mnimo cuandoXtXes diagonal.
c) En qu difieren de las propiedades optimales obtenidas en el teorema de Gauss-Markov?
d) Se supone queXtXes diagonal con j:n
i=1
xi,j=0 y j:n
i=1
x2i,j=c. Deducir las expresiones de
, Var(), Y. Exprese el coeficiente de correlacin mltipleR2 en funcin de los coeficientes de
correlacin lineal de Ycon las variables explicativasX.
8. Sea el modelo lineal Y=X+, conXde rango completo peroXtXno diagonal.
a) D la expresin de una prediccin de la variable respuesta Yy un intervalo de confianza asocia-
do.
b) Se hace un cambio de base de las columnas de X, sea Z la matriz de las nuevas columnas,
de manera que Im(X) =I m(Z) y que ZtZ sea diagonal. Muestre que el cambio de variables
explicativas no cambia las predicciones de Y. Deduzca la expresin del intervalo de confianza
en funcin deZ.
9. Concluye el test de razn de verosimilitudes para la hiptesis nula H0 : A= c para los supuestos
usuales. Muestre que es equivalente al test Fde Fisher dado en 2.5.5.
10. Sea el modelo linealY=X+ con Nn(0,2In), X Mnp de rango incompleto. Sea A una
funcin vectorial estimable de , con A Msp de rango completo s. Muestre que A(XtX)At es
invertible.
Top Related