1
CVG-UPMC
OM
PU
TE
R V
ISIO
N
Neural Networks and Pattern RecognitionP. CampoyP. Campoy
índice
RN Supervisadas
- Introducción- El Perceptrón y la estructura multicapa MLP- El aprendizaje retropropagado: BP- Aplicaciones y ejemplos- Características y limitaciones
2
CVG-UPM
CO
MP
UT
ER
VIS
ION
Neural Networks and Pattern RecognitionP. CampoyP. Campoy
Red Neuronal Artificial
“Red de unidades simples , adaptativas einterconectadas entre sí, con capacidad deprocesamiento en paralelo, cuyo objetivo esinteractuar con su entorno de forma similara las redes neuronales naturales”
y = σ ( ∑ xi wi - wn+1)
x1
.
.
.
xn
∑w1
wn
y
Wn+1
.
...
y1
yK
.
.
.
yk
.
.
.
x1
xI
xi
.
..
zjwji wkj
3
CVG-UPMC
OM
PU
TE
R V
ISIO
N
Neural Networks and Pattern RecognitionP. CampoyP. Campoy
Funcionamiento del Perceptrón
espacio de características
w x
y = σ ( ∑ xi wi - w0) = σ(a)
x1
.
.
.
xn
∑w1
wn
y
W0
4
CVG-UPM
CO
MP
UT
ER
VIS
ION
Neural Networks and Pattern RecognitionP. CampoyP. Campoy
El perceptrón ante fronterasinterclase no lineales
función XOR
cara
cter
ístic
a 1
característica 2
5
CVG-UPMC
OM
PU
TE
R V
ISIO
N
Neural Networks and Pattern RecognitionP. CampoyP. Campoy
Perceptrón Multicapa (MLP)y
z3
z2
z1
y
cara
cter
ístic
a 1
característica 2
x1
x2
z1
z2
z3
6
CVG-UPM
CO
MP
UT
ER
VIS
ION
Neural Networks and Pattern RecognitionP. CampoyP. Campoy
Consideraciones matemáticassobre el MLP
Un MLP de dos capas puede representarcualquier función lógica con frontera convexa.
Un MLP de tres capas puede representarcualquier función lógica con frontera arbitraria.
Un MLP de dos capas puede aproximarcualquier función continua con una precisiónarbitraria.
7
CVG-UPMC
OM
PU
TE
R V
ISIO
N
Neural Networks and Pattern RecognitionP. CampoyP. Campoy
índice
RN Supervisadas
- Introducción- El Perceptrón y la estructura multicapa MLP- El aprendizaje retropropagado: algoritmo BP- Aplicaciones y ejemplos- Características y limitaciones
8
CVG-UPM
CO
MP
UT
ER
VIS
ION
Neural Networks and Pattern RecognitionP. CampoyP. Campoy
Metodología:Niveles de aprendizaje
Determinación de laestructura interna
(manual/automático)
Elección del modelo(manual)
modeloAjuste de parámetros(automático)
mue
stra
s e
ntre
nam
ient
o
9
CVG-UPMC
OM
PU
TE
R V
ISIO
N
Neural Networks and Pattern RecognitionP. CampoyP. Campoy
Esquema de funcionamiento:aprendizaje supervisado
área
long
itud
Espacio de características
?
Concepto aprendizaje supervisadoEstructura de
funcionamiento supervisado
y1..ym
.
.xn
x1
yd1
ydm
+ -..
Generalización de funciones de Rn ⇒ Rm
10
CVG-UPM
CO
MP
UT
ER
VIS
ION
Neural Networks and Pattern RecognitionP. CampoyP. Campoy
Aprendizaje:Algoritmo de Retro-propagación
E = 1/2 ∑ ( ykn - ydk
n )2 = 1/2 ∑ ( y(wkj, wji, xi)n - ydkn )2
k k
.
...
y1
yK
.
.
.
yk
.
.
.
x1
xI
xi
.
..
zjwji wkj
= (yk - ydk )zj∂E∂ wkj
11
CVG-UPMC
OM
PU
TE
R V
ISIO
N
Neural Networks and Pattern RecognitionP. CampoyP. Campoy
índice
RN Supervisadas
- Introducción- El Perceptrón y la estructura multicapa MLP- El aprendizaje retropropagado: algoritmo BP- Aplicaciones y ejemplos- Características y Limitaciones
12
CVG-UPM
CO
MP
UT
ER
VIS
ION
Neural Networks and Pattern RecognitionP. CampoyP. Campoy
Ejemplos MLP:Generalizador de Funciones
13
CVG-UPMC
OM
PU
TE
R V
ISIO
N
Neural Networks and Pattern RecognitionP. CampoyP. Campoy
Ejemplos MLP:Generalizador de Funciones
% datos de entrenamiento xe=linspace(0,2*pi,50); for i=1:numap yd(i)=sin(xe(i))+normrnd(0,0.1); end% datos de test numtest=500; xt=linspace(0,2*pi,numtest); yt=sin(xt);
%creacion MLP net = newff(minmax(xe),[10 1],{'tansig' 'purelin'},'trainlm');% entrenamiento MLP [net,tr]=train(net,xe,yd);%respuesta anst=sim(net,xt); errortest=mse(yt-anst)
14
CVG-UPM
CO
MP
UT
ER
VIS
ION
Neural Networks and Pattern RecognitionP. CampoyP. Campoy
Ejercicio de MLP comoGeneralizador de FuncionesTeniendo como datos de aprendizaje:
yd(i)=sin(xe(i))+normrnd(0,0.1);
Estudiar la influencia sobre el resultado (gráfico ycuantificación de los errores de test y de aprendizaje)de los siguientes factores:
1. número de muestras de aprendizaje2. orden de las muestras de aprendizaje3. número de neuronas utilizadas4. número de épocas de aprendizaje
15
CVG-UPMC
OM
PU
TE
R V
ISIO
N
Neural Networks and Pattern RecognitionP. CampoyP. Campoy
Otros ejemplos MLP:
Generalizador de funciones:- Ej.:
Estudiar esta generalización en función delnúmero de neuronas y del número demuestras!
y1
= 2x1x2
+ x3
2
y2
= x2
2x3
16
CVG-UPM
CO
MP
UT
ER
VIS
ION
Neural Networks and Pattern RecognitionP. CampoyP. Campoy
MLP como clasificador
- La función de salida es un discriminante binario:
p.valor t.valor
load datos2D_clasificadosen2.mat
17
CVG-UPMC
OM
PU
TE
R V
ISIO
N
Neural Networks and Pattern RecognitionP. CampoyP. Campoy
Ejercicio de MLP como clasificador
Teniendo como datos de aprendizaje del ejemplo anterior
Estudiar la influencia sobre el resultado (gráfico ycuantificación de los errores de test y de aprendizaje) delos siguientes factores:
1. número de muestras de aprendizaje2. orden de las muestras de aprendizaje3. número de neuronas utilizadas4. número de épocas de aprendizaje
18
CVG-UPM
CO
MP
UT
ER
VIS
ION
Neural Networks and Pattern RecognitionP. CampoyP. Campoy
.
...
.
.
.
x1
xd
xi
.
.zj
wji wkj
x1
xd
xi...
.
.
. .zj
wkj
MLP para reducción dimensionalno lineal: auto-encoder
La función de salida es la propia entrada yexiste una capa intermedia con menosneuronas que la dim(x)
19
CVG-UPMC
OM
PU
TE
R V
ISIO
N
Neural Networks and Pattern RecognitionP. CampoyP. Campoy
Ejemplo MLP para compresión
original PCA 5 PCA 25 - MLP 5
20
CVG-UPM
CO
MP
UT
ER
VIS
ION
Neural Networks and Pattern RecognitionP. CampoyP. Campoy
Ejemplo MLP para síntesis
1 D (prueba 1) 1 D (prueba 2) 1 D (prueba 3)escalonado
21
CVG-UPMC
OM
PU
TE
R V
ISIO
N
Neural Networks and Pattern RecognitionP. CampoyP. Campoy
codigo Matlab del autoencoder
% Procesamiento con una MLP para compresioón (salida=entrada)net=newff(minmax(p_entr),[floor((Dim+ndimred)/2),ndimred,floor((Di
m+ndimred)/2),Dim],{'tansig' 'purelin' 'tansig' 'purelin'},'trainlm');
[net,tr]=train(net,p_entr,p_entr);
% Creación de una red mitad de la anterior que comprime los datosnetcompr=newff(minmax(p_entr),[floor((Dim+ndimred)/2),
ndimred],{'tansig' 'purelin'},'trainlm');netcompr.IW{1}=net.IW{1}; netcompr.LW{2,1}=net.LW{2,1};netcompr.b{1}=net.b{1}; netcompr.b{2}=net.b{2};
%creación de una red que descomprime los datosnetdescompr=newff(minmax(p_compr),[floor((Dim+ndimred)/2),Dim],{'t
ansig' 'purelin'}, 'trainlm');netdescompr.IW{1}=net.LW{3,2}; netdescompr.LW{2,1}=net.LW{4,3};netdescompr.b{1}=net.b{3}; netdescompr.b{2}=net.b{4};
22
CVG-UPM
CO
MP
UT
ER
VIS
ION
Neural Networks and Pattern RecognitionP. CampoyP. Campoy
Otros ejemplos MLP:
Reductor de dimensionalidad:- Ej.:
!
x4
= 2x1x2
+ x3
2
x5
= x2
2x3
23
CVG-UPMC
OM
PU
TE
R V
ISIO
N
Neural Networks and Pattern RecognitionP. CampoyP. Campoy
índice
RN Supervisadas
- Introducción- El Perceptrón y la estructura multicapa MLP- El aprendizaje retropropagado: BP- Aplicaciones- Carácterísticas y limitaciones
24
CVG-UPM
CO
MP
UT
ER
VIS
ION
Neural Networks and Pattern RecognitionP. CampoyP. Campoy
Limitaciones delPerceptrón Multicapa
Aprendizaje mediante minimización de funcionesaltamente no lineales.- minimos locales- convergencia lenta
Sobreaprendizaje Extrapolación a zonas no aprendidas
x1
x2nº de neuronas
error de test
Top Related