Idea y origen La geometría de los mínimos cuadrados Los ...
Transcript of Idea y origen La geometría de los mínimos cuadrados Los ...
Agenda del 17/5/2017
• Regresión lineal – Idea y origen
• La geometría de los mínimos cuadrados
• Los problemas numéricos que conducen a malos resultados. Ejemplo real.
• Mínimos cuadrados no lineales
• Demostración de software
Mínimos Cuadrados Lagrange (1795 ?)
Gauss – 1809)
Regresión unidimensional
a
b
Mínimos cuadrados
Regresión unidimensional
axb
Problema: encontrar una recta que mejor represente la relación
a
b
Regresión unidimensional
xabe iii
• Problema: los datos no están sobre una recta
xab ii
a
b
Regresión unidimensional
xabe iii
• Problema: los datos no están sobre una recta
• Encontrar la recta que minimiza
2)( i
ii xab
xab ii
a
b
Mínimos cuadrados
Supongamos que tenemos los datos siguientes:
a b
1 5.1
2 6.9
1
2
Si la recta es 3 2 resulta
3 2.1 5.1 0.1
3 2.2 6.9 0.1
b a
1
2
1 1 1
2 2 2
1 1 5.13 2
1 2 6.9
y en general para la recta
1
1
. . . .
1m m m
b c ax
x b
x bc a
x b
1
2
Si la recta es 3 2 resulta
3 2.1 5.1 0.1
3 2.2 6.9 0.1
b a
1 1
2 2
1
2
Para plantear lo anterior como un sistema de
ecuaciones lineales definimos la matriz
1
1 y el vector
. . .
1
o sea
1
1
. .
1
m m
m
x b
x b cA A y
a
x b
x
x
x
1
*
2 *
* sea la solución
.
m
b
bc cx
a a
b
Por lo tanto, el vector de errores
– * es ortogonal a
cada vector columna de A.
O sea que – * 0
*
llamadas las ecuaciones normales de Gauss
t
t t
b A x
A b A x
A b A A x
A tiene columnas linealmente independientes si y sólo si ATA es invertible En este caso la solución de aproximación de A x = b es única y está dada por
x* = ( AT A )-1ATb algo verdadero en teoría,
pésimo en la práctica
1 2
En el caso de ajustar una recta
( es cuadrada y simétrica)
1 1 ... 1 resultando
...
t t t
t
m
b c ax
cA A A y A
a
Ax x x
1 1
2 21 11 1
+ ... + y + ... +y
... +...+ ...
estas son las ecuaciones normales de Gauss y
que usan los econometristas, los estadísticos, y
progr
m m
m mm m
m x x c
a x y x yx x x x
amas como Excel
Dan muy malos resultados !!!!!
El modo usual de medir la calidad del ajuste es
mediante el coeficiente de correlación de Pearson
R = coseno del ángulo entre la variable que se quiere
aproximar y la ycalc = w centradas por sus valores
medios
1
2 2
1 1
2
( )( )
( ) ( )
100 es el porcentaje de la varianza explicada
m
i i
i
m m
i i
i i
w w y y
R
w w y y
R
El modo normal de verificar la calidad de una solución es
reemplazarla en el sistema de ecuaciones, midiendo el error
resultante
2
2 1.99999 3.99999Sea
3 2.99999 5.99999
5 0.00006La "solución" da el error (R 1)
7 0.00006
1pero la verdadera solución es
1
¿Qué sucede?
c
a
Veamos lo ultrabásico de los problemas
numéricos porque el tema es largo y complicado.
En toda calculadora o computadora existe un
número TOL que es el más chico tal que
1 1 (por ejemploTOL 9
2
2
2
10 )
1 1 1 1Sea
0 1 1
1 1pero 1 1
1 1
t
t
TOLA A A
TOL TOL
TOL A A
Los programas usuales se concentran en los
errores de medición, ignorando los serios problemas
numéricos.
Supongamos que queremos resolver por mínimos
cuadrados el sistema que tiene por solución
exact
Az y
*
*
1
a .La solución calculada cumple
Nota: los se llaman valores singulares de
y si es muy chico entonces los coeficientes
de regresión pueden ser un desastre.
ESO SUCEDE
n
i
n
z z
Az y Az yz z
A
CON ALGUNOS DATOS AGRONÓMICOS
1 2
1
2
En el ejemplo resulta que
5.0990097 0.000001961
y 0.00008481
5 17.211102551
7 1
0.000084810.00001663
5.0990097
0.0000848143.24
0.000001961
5 0.00001663
7
error
error
error
*
*43.24
c
a
Supongamos que tenemos el sistema
Si el valor singular es chico tenemos
problemas. Pero si consideramos las ecuaciones
normales ahora los valores
singulares son el cuadrado de los origina
n
t t
Az y
A Az A y
2
les
O SEA QUE UN PROBLEMA "MALO"
SE CONVIERTE EN "MALO "
Entonces, si lo que queremos aproximar no es un fenómeno lineal,
qué hacemos ?
Un resultado teórico (teorema de aproximación de Weierstrass) dice que
toda función continua se puede aproximar por polinomios
2 3
0 1 2 3( ) ...
pero tienen un comportamiento oscilatorio
P x a a x a x a x
1 2
0 1 2
0 1 2 1 2
Una generalización esencial es usar
...
las incógnitas son
, , ,..., , ,...
problema muy inestable. En mi tesis
introduje el método de las proyecciones
variables que resuelve el prob
y a a x a x
a a a
1 2
lema usando
solamente , ,...
Veamos una demo del programa testprovar5 (versión 2014)
Funcion logaritmica (100 puntos con perturbaciones aleatorias)
Optimal solution:
coef(1) = -0.11274193D+05
0.11274193D+05*x( 2)** 0.88703244D-04
-0.77877371D-05*x( 3)** 0.16674554D+01
//R// = 0.000000155492
Un caso mucho más complicado:
Función seno (100 puntos perturbados al azar)
Optimal solution:
coef(1) = -0.27152404D-02
0.97839721D+00*x( 2)** 0.97822937D+00
-0.48167402D-01*x( 3)** 0.49191090D+01
0.89193166D-01*x( 4)** 0.46874362D+01
-0.17518434D+00*x( 5)** 0.34057827D+01
//R// = 0.0000086033737
Ejemplos de problemas no lineales
Non-linear least squares
• It is very common in applications for a cost
function f(x) to be the sum of a large number of
squared residuals
• If each residual depends non-linearly on the
parameters x then the minimization of f(x) is a
non-linear least squares problem.
Non-linear least squares
• The M × N Jacobian of the vector of residuals r is defined
as
• Consider
• Hence
Non-linear least squares
• For the Hessian holds
• Note that the second-order term in the Hessian is multiplied by the
residuals ri.
• In most problems, the residuals will typically be small.
• Also, at the minimum, the residuals will typically be distributed with
mean = 0. • For these reasons, the second-order term is often ignored.
• Hence, explicit computation of the full Hessian can again be avoided.
Gauss-Newton
approximation