Bueno de regresion lineal[1]

ESTADISTICA INFERENCIAL

Profesor:

ELSA RETURETA.

Fecha de entrega:

11 DE MAYO DE 2010.

Universidad Veracruzana

Facultad de Administración, Administración Turística y

Sistemas Computacionales.

“REGRESION LINEAL.”

ESTADISTICA INFERENCIAL.

INTEGRANTES:Alfaro Zabala GracielaCortez Zavala Yajaira

Escudero Recillas Sara LizbethGarcés barrios Liliana Janet

Gerónimo Domínguez KarinaPortilla Romero N. Melina

Saucedo García Jesús ManuelGonzález Resendiz Carlos Eduardo

http://www.uv.mx/index.html

ESTADISTICA INFERENCIALTEMA: REGRESION LINEAL

APLICACIÓN.

Muchos problemas de investigación requieren la estimación de las

relaciones existentes entre la pauta de variabilidad de una variable aleatoria y los

valores de una o más variables (aleatorias o no) de las que la primera depende o

puede depender.

El análisis de regresión es una técnica estadística para la estimación de los

parámetros de una ecuación que relaciona una determinada variable con un

conjunto de variables. El análisis se lleva a cabo mediante el establecimiento de

“un modelo de regresión” cuyos parámetros recogen y cuantifican los efectos que

se pretende estudiar.

La razón básica por la cual se construye un modelo de regresión es

describir la naturaleza de una relación en forma cuantitativa. Sin embargo, los

objetivos son con frecuencia más específicos. Por ejemplo, para un proceso en el

que la humedad es controlable, el objetivo podría ser hallar el valor particular de la

humedad que minimiza inestabilidad de un instrumento, o alguna función de

costos basada en dicha inestabilidad. O bien determinar variables independientes

importantes de un proceso. Por ejemplo, ver si la humedad, presión y temperatura

afectan a una característica de calidad de un producto. En síntesis la utilidad de

los modelos de regresión puede ser la siguiente:

1. Proyecto y predicción

2. Descripción cuantitativa entre un conjunto de variables

3. Interpretación de los valores de la función

4. Determinación de variables independientes importantes

5. Descubrimiento de las condiciones de funcionamiento óptimas

6. Selección entre modelos alternativos

7. Estimación de coeficientes de regresión particulares

Mtra. A Elsa Retureta Álvarez Página 1



El análisis de regresión ha cobrado popularidad debido al gran número de

paquetes estadísticos que lo incluyen y por ser un “proceso robusto que se adapta

a un sinfín de aplicaciones científicas y ejecutivas que permite la toma de

decisiones”

De manera general, podemos decir que el uso del las estadísticas en cualquier área de estudio y trabajo es importante; ya que ayuda a ordenar datos, obtener resultados y a tomar decisiones.




GLOSARIO.

CONCEPTO DEFINICION TRADUCCION

PARAMETROS

Se trata de una función definida sobre valores numéricos de una población, como la media aritmética, una proporción o su desviación típica. Un parámetro es un número que resume la ingente cantidad de datos que pueden derivarse del estudio de una variable estadística

This is a numerical function defined on a population, as the arithmetic average, a ratio or deviation. A parameter is a number that summarizes the vast amount of data that may result from the study of a statistical variable

COEFICIENTE DE REGRESIÓN

Indica el número de unidades en que se modifica la variable dependiente “Y” por efecto del cambio de la variable independiente “X” o viceversa en una unidad de medida.

Indicates the number of units that amending the dependent variable "Y" the effect of changing the independent variable "X" or vice versa in a unit of measurement.

β0Es la intersección o término "constante"

It is the intersection or the term "constant"

Son los parámetros respectivos a cada variable independiente.

Pertinent parameters are each independent variable.

PEs el número de parámetros independientes a tener en cuenta en la regresión.

The number of independent parameters to be considered in the regression.

Es la perturbación aleatoria que recoge Todos aquellos factores de la realidad no controlables u observables.

It is the random disturbance which includes all those factors not controllable or observable reality.

ESTOCÁSTICOSistema que funciona, sobre todo, por el azar.

System that works, mostly by chance.

Es el error asociado a la medición del valor

Is the error associated with measuring the value


http://es.wikipedia.org/wiki/Estoc%C3%A1stico

http://es.wikipedia.org/wiki/Aleatoriedad

http://es.wikipedia.org/wiki/Perturbaci%C3%B3n



INTRODUCCION.

Sabemos que existe una relación entre una variable denominada

dependiente y otras denominadas independientes, puede darse el problema de

que la dependiente asuma múltiples valores para una combinación de valores de

las independientes.

Si se da ese tipo de relaciones, se suele recurrir a los estudios de regresión

en los cuales se obtiene una nueva relación pero de un tipo especial denominado

función, en la cual la variable independiente se asocia con un indicador de

tendencia central de la variable dependiente. Cabe recordar que en términos

generales, una función es un tipo de relación en la cual para cada valor de la

variable independiente le corresponde un valor de la variable dependiente.

Se denomina regresión lineal cuando la función es lineal, es decir, requiere

la determinación de dos parámetros: la pendiente y la ordenada en el origen de la

recta de regresión, y=a x + b.

La regresión nos permite además, determinar el grado de dependencia de

las series de valores X e Y, prediciendo el valor y estimado que se obtendría para

un valor X que no esté en la distribución.




“REGRESION LINEAL”

La regresión lineal o ajuste lineal es un método matemático que modeliza

la relación entre una variable dependiente Y, las variables independientes Xi y un

término aleatorio ε. Este modelo puede ser expresado como:

Donde β0 es la intersección o término "constante", las son los

parámetros respectivos a cada variable independiente, y p es el número de

parámetros independientes a tener en cuenta en la regresión. La regresión lineal

puede ser contrastada con la regresión no lineal.

HISTORIA

La primera forma de regresiones lineales documentada fue el método de los

mínimos cuadrados, el cual fue publicado por Legendre en 1805, y por Gauss en

1809.

Tanto Legendre como Gauss aplicaron el método para determinar, a partir

de observaciones astronómicas, las órbitas de cuerpos alrededor del sol. En 1821,

Gauss publicó un trabajo en dónde desarrollaba de manera más profunda el

método de los mínimos cuadrados, y en dónde se incluía una versión del teorema

de Gauss-Márkov.


http://es.wikipedia.org/wiki/Regresi%C3%B3n_no_lineal


http://es.wikipedia.org/wiki/Variable_independiente

http://es.wikipedia.org/wiki/Variable_dependiente

http://es.wikipedia.org/wiki/Modelo_matem%C3%A1tico

http://es.wikipedia.org/wiki/Matem%C3%A1ticas

http://es.wikipedia.org/wiki/M%C3%A9todo



EL MODELO DE REGRESIÓN LINEAL.

El modelo lineal relaciona la variable dependiente Y con K variables

explicativas Xk (k = 1,...K), o cualquier transformación de éstas, que generan un

hiperplano de parámetros βk desconocidos:

donde es la perturbación aleatoria que recoge todos aquellos factores de la

realidad no controlables u observables y que por tanto se asocian con el azar, y es

la que confiere al modelo su carácter estocástico. En el caso más sencillo de dos

variables explicativas, el hiperplano es una recta:

El problema de la regresión consiste en elegir unos valores determinados

para los parámetros desconocidos βk, de modo que la ecuación quede

completamente especificada. Para ello se necesita un conjunto de observaciones.

En una observación cualquiera i-ésima (i= 1,... I) se registra el comportamiento

simultáneo de la variable dependiente y las variables explicativas (las

perturbaciones aleatorias se suponen no observables).

Los valores escogidos como estimadores de los parámetros, , son los

coeficientes de regresión, sin que se pueda garantizar que coinciden con

parámetros reales del proceso generador. Por tanto, en

Los valores son por su parte estimaciones de la perturbación aleatoria o errores.


http://es.wikipedia.org/wiki/Estimaci%C3%B3n

http://es.wikipedia.org/wiki/Regresi%C3%B3n

http://es.wikipedia.org/wiki/Coeficiente

http://es.wikipedia.org/wiki/Par%C3%A1metro

http://es.wikipedia.org/wiki/Estimador

http://es.wikipedia.org/wiki/Recta

http://es.wikipedia.org/wiki/Hiperplano

http://es.wikipedia.org/wiki/Estoc%C3%A1stico

http://es.wikipedia.org/wiki/Azar


http://es.wikipedia.org/wiki/Perturbaci%C3%B3n

http://es.wikipedia.org/wiki/Par%C3%A1metro

http://es.wikipedia.org/wiki/Hiperplano

http://es.wikipedia.org/wiki/Transformaci%C3%B3n

http://es.wikipedia.org/wiki/Variable_dependiente



TIPOS DE MODELOS DE REGRESIÓN LINEAL.

Existen diferentes tipos de regresión lineal que se clasifican de acuerdo a sus parámetros:

REGRESIÓN LINEAL SIMPLE.

Sólo se maneja una variable independiente, por lo que sólo cuenta con dos parámetros. Son de la forma:

Donde es el error asociado a la medición del valor Xi y siguen los supuestos de

modo que (media cero, varianza constante e igual a un σ y

con ).

ANÁLISIS.

Dado el modelo de regresión simple, si se calcula la esperanza (valor esperado) del valor Y, se obtiene:

Calculando y . Para esto se buscan dichos parámetros que minimicen

Derivando respecto a y e igualando a cero, se obtiene

Obteniendo dos ecuaciones denominadas ecuaciones normales que generan la siguiente solución para ambos parámetros:




La interpretación del parámetro beta 2 es que un incremento en Xi de una unidad, Yi incrementará en beta 2

MODELO DE REGRESIÓN SIMPLE.Y = β + β X + u t

La expresión anterior refleja una relación lineal, y en ella sólo figura una

única variable explicativa, recibiendo el nombre de relación lineal simple. El

calificativo de simple se debe a que solamente hay una variable explicativa.

Supongamos ahora que disponemos de T observaciones de la variable Y

( 1 2 , , ,T Y Y … Y ) y de las correspondientes observaciones de X ( 1 2 , , ,T X X

… X ). Si hacemos extensiva (3) a la relación entre observaciones, tendremos el

siguiente conjunto de T ecuaciones:

El sistema de ecuaciones anterior, se puede escribir abreviadamente de la

forma siguiente:




El objetivo principal de la regresión es la determinación o estimación de 1 β

y 2 β a partir de la información contenida en las observaciones de que

disponemos. Esta estimación se puede llevar a cabo mediante diversos

procedimientos. A continuación se analizan en detalle algunos de los métodos

posibles.

Interesa, en primer lugar, realizar una aproximación intuitiva a diferentes

criterios de ajuste. Para ello se utiliza la representación gráfica de las

observaciones (,t t X Y), con t = 1, 2,..., T. Si la relación lineal de dependencia

entre Y y X fuera exacta, las observaciones se situarían a lo largo de una recta

(véase la figura 1). En ese caso, las estimaciones más adecuadas de 1 β y 2 β –

de hecho, los verdaderos valores – serían, respectivamente, la ordenada en el

origen y la pendiente de dicha recta.

Pero si la dependencia entre Y y X es estocástica, entonces, en general, las

observaciones no se alinearán a lo largo de una recta, sino que formarán una

nube de puntos, como aparece en la figura 2. En ese caso, podemos contemplar

las estimaciones de 1β y 2 β como la ordenada en el origen y la pendiente de una

recta próxima a los puntos. Así, si designamos mediante 1ˆβ y 2 ˆβ las

estimaciones de 1β y 2 β, respectivamente, la ordenada de la recta para el valor t

X vendrá dada por:




El problema que tenemos planteado es, pues, hallar unos estimadores 1ˆβ y 2 ˆβ

tales que la recta que pasa por los puntos (, ˆ t t X ) se ajuste lo mejor posible a los

puntos ( ,t t X Y ). Se denomina error o residuo a la diferencia entre el valor

observado de la variable endógena y el valor ajustado, es decir,

Teniendo en cuenta el concepto de residuo se analizan a continuación diversos

criterios de ajuste.

PASOS PARA UNA REGRESION LINEAL SIMPLE.

En este tipo de regresión se desea caracterizar el efecto lineal de una única

variable explicativa sobre la variable respuesta.

Los pasos para efectuar un análisis son los siguientes

1. Representación gráfica de datos

2. Planteamiento del modelo

3. Estimación de la ecuación de predicción




4. Examen de la adecuación del modelo lineal

5. Intervalos de confianza para la estimación.

REGRESIÓN LINEAL MÚLTIPLE.

Maneja varias variables independientes. Cuenta con varios parámetros. Se expresan de la forma:[]

Donde es el error asociado a la medición i del valor Xip y siguen los supuestos de

modo que (media cero, varianza constante e igual a un σ y

con ).

SUPUESTOS DEL MODELO DE REGRESIÓN LINEAL.

Para poder crear un modelo de regresión lineal, es necesario que se cumpla con

los siguientes supuestos:

1.-La relación entre las variables es lineal.

2.-Los errores son independientes.

3.-Los errores tienen varianza constante.

4.-Los errores tienen una esperanza matemática igual a cero.

5.-El error total es la suma de todos los errores.


http://es.wikipedia.org/wiki/Varianza

http://es.wikipedia.org/wiki/Variable_independiente



RESTRICCIONES LINEALES.

En ocasiones puede interesar incluir las restricciones lineales sobre el

modelo teórico. Como es evidente, las restricciones lineales excluirán, en este

caso, al coeficiente .

El problema es el siguiente:

Dado el modelo teórico

Donde el subíndice denota que los datos de las variables han sido

centrados y que el vector carece de término independiente- encontrar un valor

para -al que llamaremos - que minimice la suma de los cuadrados de los

residuos sujeta a la restricción:

Procediendo de modo análogo a lo que hicimos en éste y en este otro post

se llega a que la estimación de sujeta a las restricciones es:

Donde es la estimación de en un modelo sin restricciones, y que el

incremento en la suma de los cuadrados de los residuos debida a la inclusión de la

restricción es:


http://www.jjgibaja.net/%C2%BFy-que-ocurre-con-la-suma-de-cuadrados-de-los-residuos

http://www.jjgibaja.net/el-modelo-de-ajuste-sometido-a-restricciones-lineales

http://www.jjgibaja.net/restricciones-lineales-con-datos-centrados



REPRESENTACION GRAFICA DE DATOS.

El primer paso para el estudio de relaciones entre variables, consiste en

trazar una gráfica de los datos (corrientemente llamado diagrama de dispersión).

La variable respuesta se indica en el eje vertical y la variable explicativa en el

horizontal. En la figura 5.3 se presentan ejemplos de gráficos de dispersión.

Los gráficos de dispersión son útiles debido a los siguientes aspectos :

· Facilita información sobre la relación existente entre las variables

· Permite sugerir modelos posibles para los datos o transformaciones de datos.

· Puede señalar la existencia de observaciones anómalas

· Puede facilitar una indicación de y para x fija. Además puede mostrar que esa

variabilidad permanece constante para todos los valores de x o que cambia con x.

PLANTEAMIENTO DEL MODELO.

La ecuación que relaciona los datos para una regresión lineal simple es la

siguiente:

y = b o + b 1 x + e

Donde: bo y b1 son respectivamente la ordenada en el origen y el nivel de

variación de y por cada unidad de variación de x (desconocidas de la recta de

regresión); x variable explicativa o una transformación de esta (ej: log x); e es el

error aleatorio con media cero y varianza constante. También se supone que las

{e} constituyen un conjunto de variables aleatorias independientes. El error

aleatorio puede deberse a errores en la medición de y y/o a efectos de “variables

no incluidas en el modelo”. Se denota como error de la ecuación.




TABLAS.

UTILIDAD.

LÍNEAS DE TENDENCIA.

Una línea de tendencia representa una tendencia en una serie de datos

obtenidos a través de un largo período. Este tipo de líneas puede decirnos si un

conjunto de datos en particular (como por ejemplo, el PBI, el precio del petróleo o

el valor de las acciones) han aumentado o decrementado en un determinado

período. Se puede dibujar una línea de tendencia a simple vista fácilmente a partir

de un grupo de puntos, pero su posición y pendiente se calcula de manera más

precisa utilizando técnicas estadísticas como las regresiones lineales. Las líneas




de tendencia son generalmente líneas rectas, aunque algunas variaciones utilizan

polinomios de mayor grado dependiendo de la curvatura deseada en la línea.

MEDICINA

En medicina, las primeras evidencias relacionando la mortalidad con el

fumar tabaco vinieron de estudios que utilizaban la regresión lineal. Los

investigadores incluyen una gran cantidad de variables en su análisis de regresión

en un esfuerzo por eliminar factores que pudieran producir correlaciones espurias.

En el caso del tabaquismo, los investigadores incluyeron el estado socio-

económico para asegurarse que los efectos de mortalidad por tabaquismo no sean

un efecto de su educación o posición económica. No obstante, es imposible incluir

todas las variables posibles en un estudio de regresión.12 13 En el ejemplo del

tabaquismo, un hipotético gen podría aumentar la mortalidad y aumentar la

propensión a adquirir enfermedades relacionadas con el consumo de tabaco. Por

esta razón, en la actualidad las pruebas controladas aleatorias son consideradas

mucho más confiables que los análisis de regresión.

EJEMPLOS

1.-Un vehículo que se mueve supuestamente con velocidad constante. Los datos

de las medidas del tiempo en cuatro posiciones separadas 900 m son las

siguientes

Tiempo t (s) Posición x (m)

17.6 0

40.4 900

67.7 1800

90.1 2700

Ajustar los datos a la línea recta

x=x0+vt




Y estimar el mejor valor de la velocidad v aplicando el procedimiento de mínimos

cuadrados

Introduciendo los datos en el programa interactivo, la pendiente es a=36.71 y el

error de la pendiente Da=1.001. La velocidad se escribe v=37±1 m/s

2.- Vamos a calcular la recta de regresión de la siguiente serie de datos de altura y

peso de los alumnos de una clase. Vamos a considerar que la altura es la variable

independiente "x" y que el peso es la variable dependiente "y" (podíamos hacerlo

también al contrario):

Alumno Estatura Peso Alumno Estatura Peso Alumno Estatura Pesox x x x x x x x x

Alumno 1 1,25 32 Alumno 11 1,25 33 Alumno 21 1,25 33Alumno 2 1,28 33 Alumno 12 1,28 35 Alumno 22 1,28 34Alumno 3 1,27 34 Alumno 13 1,27 34 Alumno 23 1,27 34Alumno 4 1,21 30 Alumno 14 1,21 30 Alumno 24 1,21 31Alumno 5 1,22 32 Alumno 15 1,22 33 Alumno 25 1,22 32Alumno 6 1,29 35 Alumno 16 1,29 34 Alumno 26 1,29 34Alumno 7 1,30 34 Alumno 17 1,30 35 Alumno 27 1,30 34Alumno 8 1,24 32 Alumno 18 1,24 32 Alumno 28 1,24 31Alumno 9 1,27 32 Alumno 19 1,27 33 Alumno 29 1,27 35Alumno 10 1,29 35 Alumno 20 1,29 33 Alumno 30 1,29 34

El parámetro "b" viene determinado por:

b =

(1/30) * 1,034 ----------------------------------------

-= 40,265

(1/30) * 0,00856

Y el parámetro "a" por:

a = 33,1 - (40,265 * 1,262) = -17,714

Por lo tanto, la recta que mejor se ajusta a esta serie de datos es:

y = -17,714 + (40,265 * x)




Esta recta define un valor de la variable dependiente (peso), para cada valor de la

variable independiente (estatura):

Estatura Peso1,20 30,61,21 31,01,22 31,41,23 31,81,24 32,21,25 32,61,26 33,01,27 33,41,28 33,81,29 34,21,30 34,6

3.- Para hacer un modelo de regresión necesitamos lápiz (o bolígrafo), folios y una

calculadora elemental. Nada más. En las prácticas era suficiente con introducir los

datos relativos a x y a y. Sin embargo, para hacer las cosas sin ordenador hay que

trabajar un poquito más. Por ese motivo vamos a hacer ejercicios con pocos

datos.

La idea es escribir una tabla como la siguiente:

En dicha tabla, además de introducir los valores de x e y, nos ayudamos de la

calculadora para hacer el resto de columnas y las sumas finales de cada una de

ellas. A partir de esta tabla, y conociendo las fórmulas de la varianza y la

covarianza, las calculamos tal y como aparecen a la derecha de la tabla. A partir

de las medias, las varianzas y la covarianza se calculan los coeficientes de la




recta de regresión de y sobre x. Recordemos que en la recta de regresión

y = a + bx, los coeficientes a y están dados por las siguientes fórmulas:

Por lo tanto, la recta es y = −5,0847 + 7,283x .Esta recta es la que mejor predice el

comportamiento de la variable y en función de la variable x. Así, para calcular lo

que podemos esperar que cueste un automóvil de 1,1 Tm, basta sustituir en la

recta de regresión la x por 1,1: y(1,1) = −5,0847 + 7,283 · 1,1=2,9266 millones.

Éste es el valor esperado (o valor que predice) nuestra regresión lineal para

x = 1,1.

Para saber si la predicción es fiable (si el ajuste es bueno), calculamos el

coeficiente de correlación lineal r

Que es bastante próximo a 1. Por tanto, los resultados se pueden considerar

fiables.

4.- Si representamos los datos como puntos de coordenadas (xi,yi) en el plano

vemos que, efectivamente, éstos podrían ajustarse a una recta, lo que nos indica

que la velocidad de reacción aumenta “linealmente” con la concentración de

glucógenas. Al igual que en el problema anterior, debemos elaborar una tabla con

los valores observados de las variables x e y y, a partir de ellos, completar las

columnas siguientes ayudados de la calculadora




A partir de aquí, hacemos también el cálculo de los estadísticos descriptivos más

sencillos: medias, varianzas y covarianza.

A continuación, calculamos los coeficientes a y b de la recta de regresión

y = a + bx:

La recta de regresión es y = 1,2112204 + 18,648343x ; en la figura se ve cómo se

ajustan los datos a ella.

Para calcular la velocidad de reacción a una concentración de 2,5 mili moles/litro,

basta sustituir x por 2,5 en la recta de regresión: y(2,5) = 1,2112204 + 18,648343 ·

2,5 = 47,832078 micro moles/minuto.

Finalmente, vemos si el ajuste lineal es bueno calculando el coeficiente de

correlación lineal r:

Que es muy próximo a 1. Por tanto, la dependencia lineal es buena.




5.- La representación de la nube de puntos nos da la idea de que un buen ajuste

va a ser el lineal aunque tampoco debemos descartar el ajuste exponencial sólo

por el dibujo:

Ajuste por una función lineal:

Como es habitual, introducimos la tabla con las columnas siguientes:

Por tanto, la recta de regresión es y = 3,7467 + 0,288x .

(b) Ajuste por una función exponencial: Como la función buscada es y = aebx,

tomando logaritmos tenemos que log y = log a + bx. Llamamos a la nueva variable




y = log y y también hacemos a = log a. Tenemos entonces que calcular entonces

la recta de regresión y = a +bx para las nuevas variables y y x




PROBLEMAS

Problema 1

En las practicas era suficiente con introducir los datos relativos a x y a y. Sin

embargo, para hacer las cosas sin ordenador hay que trabajar un poquito mas.

Por ese motivo vamos a hacer ejercicios con pocos datos.

La idea es escribir una tabla como la siguiente:

En dicha tabla, ademas de introducir los valores de x e y, nos ayudamos de la

calculadora para hacer el resto de columnas y las sumas finales de cada una de

ellas. A partir de esta tabla, y conociendo las formulas de la varianza y la

covarianza, las calculamos tal y como aparecen a la derecha de la tabla.

A partir de las medias, las varianzas y la covarianza se calculan los coeficientes de

la recta de regresion de y sobre x. Recordemos que en la recta de regresion y = a

+ bx, los coeficientes a y b estan dados por las siguientes formulas:

Por lo tanto la recta es:




Esta recta es la que mejor predice el comportamiento de la variable y en funcion

de la variable x. Asi, para calcular lo que podemos esperar que cueste un

automovil de 1, 1 Tm, basta sustituir en la recta de regresion la x por 1;1: y(1;1) =

¡5;0847 + 7;283 ¢ 1;1 = 2;9266 millones. Este es el valor esperado (o valor que

predice) nuestra regresion lineal para x = 1;1. Para saber si la predicciones fiable

(si el ajuste es bueno), calculamos el coeficiente de correlacion lineal r:



Bueno de regresion lineal[1]

Documents

Transcript of Bueno de regresion lineal[1]