1. ¿Cuál es el propósito general del análisis de regresión?

En términos generales, el análisis de Regresión trata sobre el estudio de la dependencia de un fenómeno económico respecto de una o varias variables explicativas, con el objetivo de explorar o cuantificar la media o valor promedio poblacional de la primera a partir de un conjunto de valores conocidos o fijos de la/s segunda/s.

Utiliza el método de los "mínimos cuadrados" para ajustar una línea a una serie de observaciones. Puede utilizar esta herramienta para analizar la forma en que los valores de una o más variables independientes afectan a una variable dependiente; por ejemplo, en el rendimiento de un atleta inciden varios factores: la edad, la estatura y el peso entre otros. Basándose en un conjunto de datos de rendimiento, la regresión determinará la incidencia de cada uno de los factores en la medición del rendimiento y podrán utilizarse estos resultados para predecir el rendimiento de un atleta nuevo no sometido a ninguna prueba.

2. En el análisis de regresión intervienen dos tipos de variables: las independientes y

las dependientes. Explique con sus palabras y a través de ejemplos, las características de estos dos tipos de variables.

En un Análisis de Regresión simple existe una variable respuesta o dependiente (y) que puede ser el número de especies, la abundancia o la presencia-ausencia de una sola especie y una variable explicativa o independiente (x). La variable independiente aquella que produce modificaciones en otra variable con la cual está relacionada. Suele designársele, por ello, como variable causal. La variable dependiente, por su lado, experimenta modificaciones siempre que la variable independiente cambia de valor o modalidad de darse. Por ello, también recibe el nombre de variable efecto. Es importante señalar que una variable independiente en una cierta relación puede ser dependiente en otra, o viceversa. De manera general, pero simplificada, podemos decir que entre una variable independiente y su correspondiente variable dependiente se puede dar una variable interviniente, que actúa como puente entre las dos primeras.

4.- Considere el modelo de regresión lineal simple yi=β0 + β1xi + εi, conteste:

a) Formule las hipótesis que se hacen sobre los parámetros del modelo y explique la consecuencia de aceptar o rechazar cada una de éstas.

Prueba de hipótesis para el parámetro β0 (que indica la intersección con el eje y). H0: β0 = 0

HA: β0 ≠ 0

Al aceptar la H0: β0 = 0, nos indica que nuestra ecuación nos quedaría de la siguiente

manera: yi= β1xi y por lo tanto, al graficar nuestra recta de regresión ésta pasa por el

origen formando respecto al eje de las abscisas, un ángulo de 45°.

Con este resultado, no podemos considerar que nuestro modelo de regresión sea

confiable para predecir resultados debido a que no nos está mostrando una relación de

significancia entre nuestros parámetros.

Prueba de hipótesis para el parámetro β1 (que indica la pendiente de la recta, es decir, el incremento o decremento de la variable y por cada incremento de x).

H0: β1 = 0

HA: β1 ≠ 0

Al aceptar nuestra H0: β1 = 0, estamos considerando un valor nulo para nuestra pendiente,

y la ecuación de regresión toma la siguiente forma: yi= β0 + (0) xi es decir, el último

término queda eliminado y por lo tanto, a la hora de graficarlo nos queda de la siguiente

manera:

El resultado de la variable dependiente toma el valor constante de nuestro parámetro β0 y

lo que nos queda no es una recta de regresión lineal, ya que como en el caso anterior, no

nos plantea una relación para poder predecir con cierta confianza valores para nuestra

variable dependiente y.

b) Anote en forma detallada el estadístico de prueba, t0, para cada una de las hipótesis y dé una explicación de por qué sirven para probar las hipótesis. Es decir, determine cuándo estos estadísticos tienen valores pequeños o grandes, y la decisión que se tomaría con respecto a su hipótesis correspondiente.

Un estadístico de prueba es aquel calculado de una sola muestra aleatoria simple tomada

de la población de interés, en una prueba de hipótesis para establecer la verdad o

falsedad de la hipótesis nula.

Para el parámetro β1 tenemos que:

√

Para obtener la fórmula de éste estadístico, se hace un análisis respecto a la media y

varianza del parámetro β1 y se considera que tienen una distribución normal. Para calcular

la desviación estándar del estimador se hace una estimación dada por:

√ ⁄

Y recibe el nombre de error estándar de β1. Nótese que esta igualdad se toma en cuenta

para el cálculo del estadístico.

La distribución t-student se utiliza para muestras de n≤30. También es importante

mencionar que como nuestra HA contiene desviaciones desde la hipótesis nula en

cualquier dirección (por lo de β1≠0) se denomina hipótesis de dos colas, y he aquí donde

se aplica la distribución t-student.

Para el parámetro β0 tenemos que:

√ [

]

Como en el caso anterior, para formular el estadístico de prueba se tomó en cuenta que el

parámetro de β0 sigue una distribución normal considerando su media y varianza.

Entonces una estimación de esta última es:

( ) [

] [

]

De igual manera notamos que esto se toma en cuenta en la estructura del estadístico de

prueba.

En ambos casos para saber si aceptamos o rechazamos nuestra H0, representamos

nuestro criterio de rechazo de la siguiente manera:

| |

Si el valor de nuestro estadístico de prueba es grande o pequeño, podemos decir que es

respecto a los datos que se estén manejando para el análisis del problema, obviamente

para saber si se rechaza nuestra H0, el valor del estadístico debe satisfacer la expresión

anterior, por lo tanto estaremos aceptando la HA, esto quiere decir que el valor del

estadístico si es mayor que el área de rechazo (expresada con el valor que se obtiene de

las tabla de distribución t-student, con cierto nivel de significancia), entonces se encuentra

en el área de aceptación y como todo esto está en función de la H0 podemos sacar

conclusiones respecto de lo que estamos afirmando.

c) Con respecto al análisis de varianza para el modelo, escriba y explique la hipótesis correspondiente. Además, anote con detalle el estadístico de prueba, F0, y dé una justificación de por qué tal estadístico sirve para probar tal hipótesis.

En este caso, se plantea un análisis enfocado hacia la variabilidad total observada en la

variable de respuesta (Syy), la variabilidad explicada por la recta de regresión (SCR)y la

variabilidad no explicada por la recta de regresión (SCE), obteniendo consecuentemente el

Cuadrado Medio del Error, considerando los grados de libertad. Todo esto se utiliza para

generar otra forma de probar la hipótesis sobre la significancia de la regresión.

Para el análisis de varianza, sólo utilizamos la prueba de hipótesis para el estimador β1,

como ya sabemos, la pendiente.

H0: β1 = 0

HA: β1 ≠ 0

El estadístico de prueba respecto la hipótesis nula es:

F0 =

=

En realidad, esta forma de probar la significancia de la regresión, es equivalente a la que

se estableció a través del estadístico t0, ya que al elevar éste al cuadrado obtenemos:

t02 =

=

=

= F0

La distribución Fisher, se utiliza para probar si dos muestras provienen de poblaciones que

poseen varianzas iguales. Esta prueba es útil para determinar si una población normal

tiene una mayor variación que la otra. Y como al principio se menciona que los datos del

problema están sometidos a un análisis de varianza, es por eso que debemos utilizar este

estadístico de prueba.

5.-Con respecto a los intervalos de confianza para la recta y los intervalos de predicción,

señale ¿Cómo se obtienen y para que se aplica cada uno de ellos?

Intervalo de confianza de la recta

- √

| -

√

Un intervalo de confianza está definido por dos valores entre los cuales se encuentra el valor del parámetro con un determinado nivel de confianza que se denota (1 – ) y que se aplica para mostrar los valores entre los cuales se puede encontrar nuestro estimador puntual, para dar una idea de la confiabilidad de nuestro estimador. Los intervalos de predicción

-

√

| -

√

Se utilizan para predecir o pronosticar nuevas o futuras observaciones de Y. Para predecir

por intervalos la nueva observación es independiente de las observaciones utilizadas para

ajustar el modelo de regresión lineal por tal motivo el intervalo anterior no es adecuado.

Este intervalo depende tanto del error del modelo como del error asociada las

predicciones futuras.

Entre más alejado del valor medio es xi, mayores son los intervalos de confianza y de

predicción.

Los intervalos tienen la propiedad de ser de diferente ancho, según el valor de X, siendo

más angostos cuando X es igual al promedio, ensanchándose a medida que nos alejamos

del promedio. Cuando se sale del rango de los datos, se ensanchan más fuertemente. Esto

significa que mientras más nos alejamos del centro de los valores de la variable X, más

imprecisas serán nuestras estimaciones del valor de la variable Y, lo que parece razonable.

15. ¿por qué se requiere la regresión lineal múltiple?

Porque en muchas situaciones practicas existen varias variables independientes que se

cree que influyen o están relacionadas con una variable de respuesta Y, y por lo tanto será

necesario tomar en cuenta si se quiere predecir o entender mejor el comportamiento de

Y.

17 – Considere un modelo de regresión lineal múltiple con cuatro variables: yi = 0

+ 1 x1i + 2 x2i + ……..+ 4 x4 + i ; i = 1,2,…,n, y suponga que para estimar los parámetros se utilizaron un total de 12 observaciones, es decir, n = 12. Conteste las siguientes preguntas:

a) Explique en forma esquemática el procedimiento matemático para estimar los parámetros que minimizan los errores por mínimos cuadrados.

Generalmente, para el caso de k variables independientes X1, X2,....,Xk, la media de Y| X1, X2,....,XK está dada por el modelo de regresión lineal múltiple

Y|x1, x2 ,………, xk = 0 + 1 x1 +……..+ k xk

y la respuesta estimada se obtiene de la ecuación de regresión de la muestra

donde cada coeficiente de regresión i se estima por bi de los datos de la muestra con el uso del método de mínimos cuadrados. Con 4 variables (x1, x2, x3, x4) y 12 observaciones (n=12) El procedimiento matemático es mediante el ajuste del modelo de regresión lineal múltiple:

Y|x1 , x2, x3 , x4 = 0 + 1x1+ 2x2+ 3x3 + 4x4

a los puntos de datos i= 1,2,....,12 y 12 >4 },

. Al utilizar el concepto de mínimos cuadrados para llegar a las estimaciones 0, 1, 2, 3, 4, minimizamos la expresión:

Al diferenciar SSE a su vez con respecto a 0, 1, 2, 3, 4, e igualar a cero:

Sustituyendo n con 12 y k con 4, estas ecuaciones se pueden resolver para a 0, 1, 2, 3, 4 mediante cualquier método apropiado para resolver sistemas de ecuaciones lineales.

b) Denote el modelo en forma matricial: y=X + exprese con precisión todas las matrices involucradas en el modelo.

De manera resumida:

Y =

[

]

X =

[ ]

=

[ ]

[

]

La matriz de datos Y es el conjunto de todas las observaciones en cuanto a la variable dependiente se observaron en el experimento, de aquí que va de y1 hasta y12 con respecto a la totalidad de observaciones n = 12.

La matriz de datos X representa en realidad los valores de las variables independientes ya sean en cuadrados, cubos, productos cruzados u otras funciones de las variables de predicción. Se observa que la primera columna de la matriz X es una columna de unos, por tanto, estamos insertando un valor de x, específicamente x0, como coeficiente de b0. Donde x0 siempre es igual a 1.

La siguiente matriz representa los estimadores del modelo, para cada parámetro de la matriz hay una columna en la matriz X.

La última matriz representa el error aleatorio inherente a todo modelo de regresión.

c) Proporcione la expresión matricial para los estimadores de mínimos cuadrados.

Entonces la solución de mínimos cuadrados para la estimación de 0, 1, 2, 3, 4 , implica encontrar b para la que

SSE = (y - Xb)'(y - Xb)

se minimiza. Este proceso de minimización implica resolver para b en la ecuación

El resultado se reduce a la solución de b en(X'X) = X'Y

Podemos escribir la solución para el coeficiente de regresión como

=(X’X)

-1 X’Y

De esta forma se puede obtener la ecuación de predicción o la ecuación de regresión al resolver un conjunto de k + 1 ecuaciones con un número igual de incógnitas. Esto implica la inversión de la matriz X'X de k + 1 por k + 1.

d) Especifique la hipótesis de significancia del modelo y lo que significa aceptar o rechazar esta hipótesis.

La hipótesis más importante sobre un modelo de regresión múltiple consiste en ver si la

regresión es significativa:

H0 : 1 2 3 4 = 0

HA : j ≠ 0 Para al menos un j = 1, 2, 3, 4

Aceptar H0 indica que ningún término en el modelo tiene una contribución

significativa al explicar la variable de respuesta, Y.

Rechazar H0 implica que por lo menos un término en el modelo contribuye de

manera significativa a explicar Y.

e) De la expresión del estadístico de prueba, F0, para la hipótesis anterior, así como una explicación racional de por qué funciona como estadístico de prueba, es decir, vea cuando este estadístico tiene valores grandes o pequeños, y lo que eso significa en términos de calidad de ajuste.

F0 = CMR/CME

La hipótesis nula anterior se rechaza si: F0 > F (α, 4, 7) Dado que un estadístico es una medida cuantitativa, derivada de un conjunto de datos de una muestra, con el objetivo de estimar o contrastar características de una población o modelo estadístico, en este caso nos permite aceptar o rechazar la hipótesis, cuando

el valor de F0 es mayor que el valor F(α, 4, 7) implica que debemos descartar la hipótesis nula y aceptar la

alternativa que nos habla de una significación del modelo, además si F0 es notablemente grande refiere a

una mayor significancia dado que se aleja del criterio de rechazo establecido.

f) Formule las hipótesis sobre los parámetros individuales del modelo y comente que significa aceptar o rechazar cada una de estas.

H0 : j = 0

HA : j ≠ 0 j = 1, 2, 3, 4

Aceptar la hipótesis nula, para cualquier estimador, indica que el mismo no contribuye esencialmente a predecir Y en general, en caso contrario, rechazar hipótesis nula y por consiguiente aceptar la hipótesis alternativa, indica que el parámetro Bj es significativo.

g) Proporcione la expresión para el estadístico de prueba para el caso anterior y comente por que estos estadísticos funcionan como criterio de aceptación o rechazo.

t0 =

La hipótesis nula anterior se rechaza si: t0 > t (α/2, 7 )

La prueba t de Student como todos los estadísticos de contraste se basa en el cálculo de estadísticos descriptivos previos: el número de observaciones, la media y la desviación típica en cada grupo. A través de estos estadísticos previos se calcula el estadístico de contraste experimental. Por lo tanto el criterio de rechazo anterior funciona perfectamente con cada

estimador j

h) ¿Cuáles son los riesgos de hacer predicciones fuera de la región de los datos originales?

Fuera de la región, los aspectos físicos o sociales que están atrás de todo modelo de regresión pueden empezar a actuar de otra forma, muy fuera de la región de los datos originales empiezan a actuar otros fenómenos no considerados en el modelo original. Este riesgo es más grande en el análisis de regresión múltiple, ya que se trabaja con regiones multidimensionales.