Laboratori de Càlcul Numèric (LaCàN) Departament de Matemàtica Aplicada III

Universitat Politècnica de Catalunya (Barcelona) http://www-lacan.upc.es

Aproximación funcional por mínimos cuadrados

· 2

Introducción

  Interpolación polinómica pura puede no ser la mejor opción: •  si el número de datos (n+1) es elevado, el polinomio

interpolador puede presentar oscilaciones importantes (ejemplo paradoja de Runge),

•  poca flexibilidad para elegir el tipo de interpolante (polinomio de grado n)

•  si los datos son experimentales o susceptibles de tener un cierto error no tiene sentido imponer que el interpolante pase exactamente por los datos, es suficiente exigir “que se acerque lo máximo posible”

cambio de criterio de aproximación

· 3

Ejemplo: REGRESIÓN LINEAL

Criterio de MÍNIMOS CUADRADOS

· 4 APROXIMACIÓN FUNCIONAL. INTRODUCCIÓN

  Mínimos cuadrados: se minimiza el cuadrado de la distancia entre f(x) y p(x)

versión continua versión discreta

4

· 5

  Producto escalar continuo

  Producto escalar discreto

· 6

Producto escalar y norma

  Producto escalar <·,·>: es una forma 1.  bilineal

2.  simétrica

3.  y definida positiva

· 7

  Todo producto escalar tiene una norma asociada

  Norma || · ||:

1.  y

2. 

3. 

· 8

Criterio de MÍNIMOS CUADRADOS

  Mínimos cuadrados es un criterio de aproximación que se puede utilizar para ajustar cualquier tipo de función: •  Aproximación polinómica

•  Aproximación trigonométrica

•  otros, por ejemplo,

En cualquier caso, el aproximante se expresa en función de un número finito de coeficientes (con dependencia lineal o no lineal)

Criterio de MÍNIMOS CUADRADOS

  Criterio de mínimos cuadrados: minimizar el error

  donde el aproximante p(x) depende de los coeficientes c0,…,cm

  El mínimo se obtiene derivando respecto a los coeficientes

(sistema de ecuaciones m x m)

· 9

· 10

Teorema de existencia de proyección

Sea V un espacio métrico, y W un subespacio de dimensión finita. Entonces, dado v∈V existe w*∈W tal que ||v-w*|| ≤ ||v-w|| para todo w ∈W

· 11

Mínimos cuadrados sobre un espacio vectorial: ECUACIONES NORMALES

  Caso particular: el espacio de aproximación es un espacio vectorial (el aproximante depende linealmente de los coeficientes)

•  base

•  aproximante

•  buscamos los coeficientes c0, c1,...,cm que minimicen

· 12

  Para encontrar el mínimo derivamos respecto a los coeficientes

· 13

Proyección

  p(x) es la proyección de f(x) sobre Ψ

· 14

  Sustituyendo

se obtienen las ecuaciones normales

(notación)

· 15

Teorema fundamental de Mínimos Cuadrados

  Si son linealmente independientes, el problema de mínimos cuadrados, planteado como solución de las ecuaciones normales, 1.  Tiene solución única 2.  La solución se caracteriza por la propiedad de

ortogonalidad

3.  Si son una base ortogonal

(coeficientes de Fourier)

· 16

Ejemplo: regresión lineal

Ejemplo: paradoja de Runge

  Tipo aproximación: polinómica   Criterios:

Interpolación pura Mínimos cuadrados

· 17

-1 -0.5 0 0.5 1-1

-0.5

0

0.5

1

f(x) n=4 n=8 n=16-1 -0.5 0 0.5 1

-0.2

0

0.2

0.4

0.6

0.8

f(x) n=4 n=8 n=16

· 18

Teorema

Si las funciones son linealmente independientes, el problema de mínimos cuadrados tiene una única solución.

  demostración: •  basta comprobar que la matriz de las ecuaciones normales A es

regular •  la matriz es regular si la única solución del sistema homogéneo es

el vector 0 (hay que comprobarlo)

· 19

Consideremos un vector solución del sistema homogéneo, es decir,

Por lo tanto, la norma de la función es

· 20

|| · || norma

ψi linealmente independientes

· 21

Aproximación polinómica por mínimos cuadrados con datos discretos

  n+1 datos: f(xi) con i=0,...,n   Aproximación con un polinomio de grado m

donde es una base de Pm (espacio de polinomios de grado menor o igual que m)

  Condición

· 22

  Si m>n el producto escalar discreto

es degenerado en Pm (no induce una norma)

cumple aunque   Si m=n el polinomio pn(x) es el polinomio de

interpolación

· 23

Malcondicionamiento de las ecuaciones normales

  Las ecuaciones normales pueden estar muy mal condicionadas (depende de la elección de la base)

  Por ejemplo, la matriz de las ecuaciones normales con base natural de polinomios

y producto escalar continuo

se llama matriz de Hilbert

· 24

  Matriz de Hilbert de dimensión m+1

m Número de condición

2 1.9 101 3 5.2 102 5 4.8 105

10 1.6 1013 15 6.1 1020

· 25

Bases ortogonales

  Ecuaciones normales con matriz diagonal

· 26

Familias de polinomios ortogonales

  Polinomios de Legendre:

  Polinomios de Gram:

con puntos equiespaciados en [-1,1]

  Para intervalo [a,b] se hace un cambio de variable

· 27

Paradoja de Runge

  Interpolación polinómica

5 9 17