Regresión No- lineal y Múltiple

2

Modelos lineales de regresión

En las ciencias de alimentos hay un gran número de En las ciencias de alimentos hay un gran número de fenómenos que se pueden representar mediante fenómenos que se pueden representar mediante modelos no lineales. modelos no lineales.

Un caso típico es el la concentración de una enzima a Un caso típico es el la concentración de una enzima a lo largo del tiempo en un proceso bioquímico. Este tipo lo largo del tiempo en un proceso bioquímico. Este tipo de reacciones sigue modelos complejos que han sido de reacciones sigue modelos complejos que han sido ampliamente estudiados en la literatura. ampliamente estudiados en la literatura.

3

Relaciones funcionales

En muchos aspectos de las ciencias de En muchos aspectos de las ciencias de alimentos existen ciertas relaciones funcionales alimentos existen ciertas relaciones funcionales entre variables, que se pueden deducir por su entre variables, que se pueden deducir por su proceso biológico, químico, o fisicoquímico. Por proceso biológico, químico, o fisicoquímico. Por ejemplo, se conoce que el proceso de crecimiento ejemplo, se conoce que el proceso de crecimiento relaciona variables como peso y aumento de peso relaciona variables como peso y aumento de peso en cierta forma más o menos establecida. en cierta forma más o menos establecida.

4

Relaciones funcionales

Otro ejemplo es la relación entre Otro ejemplo es la relación entre concentración de una cierta sustancia, cantidad concentración de una cierta sustancia, cantidad total de la sustancia original y concentración del total de la sustancia original y concentración del compuesto (generalmente enzima) que actúa para compuesto (generalmente enzima) que actúa para producir la sustancia.producir la sustancia.

Estas relaciones generalmente presentan Estas relaciones generalmente presentan ecuaciones complejas. Algunas de ellas se pueden ecuaciones complejas. Algunas de ellas se pueden simplificar, para obtener modelos más sencillos. simplificar, para obtener modelos más sencillos.

5

Modelos de Regresión no lineales

Los modelos de regresión no lineales son aquellos Los modelos de regresión no lineales son aquellos que no son lineales en sus parámetros. que no son lineales en sus parámetros.

Dentro de estos modelos existen dos tipos: Dentro de estos modelos existen dos tipos:

a)a) Modelos linearizablesModelos linearizables

b)b) Modelos no linearizablesModelos no linearizables

En el primer caso es posible, mediante una En el primer caso es posible, mediante una transformación de Y o de X, hacer el modelo lineal.transformación de Y o de X, hacer el modelo lineal.

6

Modelos de Regresión no lineales

Sea el modelo: Sea el modelo:

YYii(t) = Y(t) = Yeqeq + (Y + (Y00-Y-Yeqeq))exp(-Kexp(-Kt)t)

Este modelo no es linearizable, por lo que la Este modelo no es linearizable, por lo que la única forma de estimarlo es usando métodos de única forma de estimarlo es usando métodos de regresión no-lineal. regresión no-lineal.

7

Modelos de Regresión no lineales

Los modelos de regresión no-lineal se pueden Los modelos de regresión no-lineal se pueden estimar mediante el método de mínimos cuadrados estimar mediante el método de mínimos cuadrados no lineal, el cual incluye un proceso de iteración de no lineal, el cual incluye un proceso de iteración de las estimaciones. las estimaciones.

Este método no tienen una solución analítica Este método no tienen una solución analítica única (como es el caso del método regular de única (como es el caso del método regular de mínimos cuadrados), por lo que se requieren los mínimos cuadrados), por lo que se requieren los procedimientos iterativos que nos llevan a la mejor procedimientos iterativos que nos llevan a la mejor solución para los parámetros del modelo solución para los parámetros del modelo (estimadores de los parámetros que producen una (estimadores de los parámetros que producen una varianza del error mínima). varianza del error mínima).

8

Modelos de Regresión no lineales

Aquí se muestran algunos modelos no-lineales Aquí se muestran algunos modelos no-lineales que se pueden ajustar usando los métodos de que se pueden ajustar usando los métodos de

regresión no-lineal. regresión no-lineal.

9

Modelos de Regresión Logística

El modelo de regresión logística simple describe El modelo de regresión logística simple describe la relación entre una variable respuesta (Y) nominal la relación entre una variable respuesta (Y) nominal dicotómica u ordinal, y una variable independiente X. La dicotómica u ordinal, y una variable independiente X. La variable independiente puede ser continua o discreta, o variable independiente puede ser continua o discreta, o puede ser un factor con varias clases o niveles.puede ser un factor con varias clases o niveles.

La regresión logística se aplica cuando el interés La regresión logística se aplica cuando el interés se centra en conocer alguna estimación de riesgo o de se centra en conocer alguna estimación de riesgo o de probabilidad sobre la variable respuesta Y, en relación probabilidad sobre la variable respuesta Y, en relación con la variable independiente X.con la variable independiente X.

10

Modelos de Regresión Logística

Algunos conceptos de la regresión logística son:Algunos conceptos de la regresión logística son:

Proporción o probabilidad de ocurrenciaProporción o probabilidad de ocurrencia de casos de de casos de interés: interés:

ppii= (Número de casos de interés/Número total de casos) = (Número de casos de interés/Número total de casos)

Se llama Se llama razón de chancesrazón de chances o o razón de momiosrazón de momios, al cociente, al cociente

ppii/(1-p/(1-pii))..

La transformación logística es: La transformación logística es:

LLii = Logit ( = Logit (ppii) = Log) = Logee[[ppii/(1-/(1-ppii)], )],

El logit de El logit de ppii es el logaritmo neperiano de la razón de es el logaritmo neperiano de la razón de

momios generada a partir del valor de momios generada a partir del valor de ppii . .

11

Modelo de Regresión Logística

El modelo de regresión logística simple es:El modelo de regresión logística simple es:

Logit (pLogit (pii)= )= ββ00 + + ββ11X + X + εεii

donde donde ββ00 : ordenada al origen, : ordenada al origen, ββ11: pendiente de la regresión, : pendiente de la regresión,

X: variable independiente, y X: variable independiente, y εεii : error del modelo para la : error del modelo para la

observación i-ésima.observación i-ésima.

El valor estimado de pEl valor estimado de pii a través de la regresión logística será a través de la regresión logística será

igual a: igual a:

Lie1

1ip

12

Modelo de Regresión Logística

El método empleado para estimar la El método empleado para estimar la regresión logística es una aproximación del regresión logística es una aproximación del método de máxima-verosimilitud (a diferencia de método de máxima-verosimilitud (a diferencia de la regresión lineal simple o múltiple donde se la regresión lineal simple o múltiple donde se emplea el método de mínimos cuadrados).emplea el método de mínimos cuadrados).

Se verá un ejemplo usando el JMP versión Se verá un ejemplo usando el JMP versión 5.1 para Windows.5.1 para Windows.

13

Ejemplo

14

Modelos de Regresión Múltiple

Cuando la variable aleatoria respuesta Cuando la variable aleatoria respuesta (Y) está asociada con más de una variable (Y) está asociada con más de una variable independiente (al menos dos), se dice que el independiente (al menos dos), se dice que el modelo es de regresión múltiple. modelo es de regresión múltiple.

Los modelos de regresión múltiple Los modelos de regresión múltiple conservan la propiedad de ser lineales en conservan la propiedad de ser lineales en sus parámetros. sus parámetros.

Se verán dos tipos de modelos: Se verán dos tipos de modelos: Polinomiales y de varias variables.Polinomiales y de varias variables.

15

Modelos de Regresión Múltiple

Los modelos polinomiales relacionan a la Los modelos polinomiales relacionan a la respuesta Y con una sola variable X, en un respuesta Y con una sola variable X, en un polinomio de grado p. Su representación polinomio de grado p. Su representación matemática es: matemática es:

YYii = ß = ßoo + ß + ß11X + ßX + ß22XX22 + ß + ß33XX

33 +....+ ß +....+ ßppXXpp + e + eii

16

Modelos de Regresión Múltiple

Los modelos de varias variables, se Los modelos de varias variables, se representan en general, por la forma: representan en general, por la forma:

YYii = ß = ßoo + ß + ß11XX1i1i + ß + ß22XX2i2i + ...... + ß + ...... + ßkkXXkiki + e + eii

donde: Ydonde: Yii: Variable respuesta (aleatoria); X: Variable respuesta (aleatoria); X1i1i,..., ,...,

XXkiki: Variables independientes relacionadas con Y: Variables independientes relacionadas con Yii; ;

ßßoo,....,ß,....,ßkk: Parámetros del modelo; y e: Parámetros del modelo; y eii: Error : Error

aleatorio.aleatorio.

17

Modelos de Regresión Múltiple

Están los modelos mixtos, como el modelo cuadrático Están los modelos mixtos, como el modelo cuadrático de superficie de respuesta en dos variables, que se de superficie de respuesta en dos variables, que se representa como: representa como:

YYii = ß = ßoo + ß + ß11XX1i1i +ß +ß22*X*X2i2i + ß + ß1111XX1i1i22 + ß + ß2222XX2i2i

22 + ß + ß1212XX1i1iXX2i2i + e + eii

donde: Ydonde: Yii: Variable respuesta (aleatoria); y X: Variable respuesta (aleatoria); y X1i1i, X, X2i2i: Variables : Variables

independientes.independientes.

18

Modelos de Regresión Múltiple

Todos estos modelos tienen en común lo Todos estos modelos tienen en común lo siguiente: siguiente:

        Representan una relación entre una variable Representan una relación entre una variable aleatoria respuesta (Yaleatoria respuesta (Yii) y variables independientes ) y variables independientes

(X(Xii) que pueden tener valores predeterminados o ) que pueden tener valores predeterminados o

ser también aleatorias. En este último caso, estas ser también aleatorias. En este último caso, estas variables deben ser antecedentes o probables variables deben ser antecedentes o probables causas de la respuesta. causas de la respuesta.

        Son lineales en sus parámetros.Son lineales en sus parámetros.

19

Modelos de Regresión Múltiple

El objetivo general del análisis de modelos de regresión múltiple es explicar la variación de la variable respuesta (Yi), en razón de los cambios o

variaciones ocurridas en las variables independientes (X1i, X2i, ...,Xki).

Son objetivos particulares, el obtener el subconjunto de variables que mejor explican la variación de Y, y la predicción de Y a través del conocimiento de las variables independientes X's.

20

Modelos de Regresión Múltiple

Los problemas que surgen al hacer el análisis de estos modelos son: Pocas observaciones de (Yi, X1i, ...., Xki), que no

permiten detectar el tipo de relación que tiene Yi con

las Xi's.

Interrelaciones entre X1i, X2i, .....,Xki, las cuales

esconden la relación que cada Xi guarda con Yi. Esto

se llama Colinearidad.Escalas o magnitudes de medición de las Xi's que

pueden desfigurar la verdadera relación con Yi.

21

Modelos de Regresión Múltiple

Los métodos de estimación de estos modelos de regresión son tres: a) Método de Mínimos Cuadrados b) Método de Máxima Verosimilitud y c) Método de análisis por cordillera.

Los tres métodos tienen como objetivos: Reducir al mínimo las desviaciones entre los

valores observados (Yi) y los estimados (Yi). Esto es, la suma SCError = Σ(Yobs - Ypred)2 será un mínimo.

Obtener el mayor valor de R2. Obtener el mayor valor de Fc = CMReg/CMError.

22

Modelos de Regresión Múltiple

Las técnicas computacionales para obtener el modelo de regresión con el mínimo número de términos y con los objetivos señalados al principio, se pueden resumir en las siguientes:

1. Estimación del modelo completo. 2. Estudio de todos los modelos posibles.

Con la alta velocidad de las computadoras, este método no lleva mucho tiempo, aún en el caso de modelos con muchos términos.

23

Modelos de Regresión Múltiple

3. Método de selección por pasos (STEPWISE). Este método puede usarse con:

a) Selección hacia adelante (Forward), b) Eliminación hacia atrás (Backward), c) Selección Stepwise (llamado algoritmo de

Efroymson), el cual es una combinación de los dos anteriores.

24

Modelos de Regresión Múltiple

El método de selección Stepwise consiste en seleccionar los modelos de regresión, comenzando con aquella X que esté más relacionada con Y, y a su vez, menos relacionada con las demás variables independientes.

En cada uno de los pasos de selección, se revisan nuevamente los términos que han entrado al modelo, y se eliminan aquellos que están produciendo información redundante (la Fc es baja, o el valor de p es alto).

25

Modelos de Regresión Múltiple

Para ello se pueden controlar los niveles de significancia () de las pruebas de F para entrar un término y para sacar un término ( Ent y Sal); generalmente se usa Ent < Sal, de forma que sea más difícil que entre una variable independiente cuya regresión no es significante.

El software de regresión como el JMP, SPSS, SAS y otros tienen valores de de entrada y salida por default, los cuales pueden cambiarse de acuerdo a los requerimientos del análisis.

26

Modelos de Regresión Múltiple

Algunas técnicas complementarias que ayudan a seleccionar el modelo de regresión son:a) Graficación de los residuales versus Y y residuales (ei) versus las X's.b) Estudio de los coeficientes estándar de regresión.c) Selección de variables por criterios científicos, aparte de la estadística.d) Algunos otros índices y estadísticos que pueden ser útiles en casos particulares .

27

Análisis de modelos de regresión con JMP

Los modelos de regresión múltiple se pueden analizar usando el submenú “Fit Model” del JMP. Se ilustrará su uso en la clase.

En cuanto a los modelos no-lineales, existe un submenú en el JMP para analizar modelos no lineales, el cual se verá con un ejemplo.

28

Ejemplo

29

Ejemplo de análisis de modelo de regresión

múltiple con JMP

30

Regresión no-lineal con JMP

El modelo de regresión logística se puede analizar usando “Fit Y by X” con una variable nominal u ordinal como variable respuesta y una variable continua u ordinal como variable factor.

31

Regresión no-lineal con JMP

En el caso de regresión logística múltiple, se usa el menú de “Linear Model”, colocando en la variable respuesta una variable nominal dicotómica, o una variable ordinal. Los términos de la regresión logística múltiple pueden ser factores de clasificación o variables independientes continuas u ordinales.

32

Regresión no-lineal con JMP

33

Regresión múltiple y no-lineal con Infostat