Mapas auto-organizativos
Diego Milone y Leonardo Rufiner
Inteligencia ComputacionalDepartamento de Informatica
FICH-UNL
Introduccion Arquitectura de la red Entrenamiento LVQ
OrganizacionIntroduccion
Auto-organizacionInspiracion biologica
Arquitectura de la redSOM 2DEntornos y realimentacion lateral
Entrenamiento de un SOMCaracterısticas principalesAlgoritmo de entrenamientoConvergencia y consideraciones practicasFormacion de mapas topologicos
Cuantizacion vectorial con aprendizajeAlgoritmo LVQ1LVQ1: velocidad de aprendizaje
Introduccion Arquitectura de la red Entrenamiento LVQ
OrganizacionIntroduccion
Auto-organizacionInspiracion biologica
Arquitectura de la redSOM 2DEntornos y realimentacion lateral
Entrenamiento de un SOMCaracterısticas principalesAlgoritmo de entrenamientoConvergencia y consideraciones practicasFormacion de mapas topologicos
Cuantizacion vectorial con aprendizajeAlgoritmo LVQ1LVQ1: velocidad de aprendizaje
Introduccion Arquitectura de la red Entrenamiento LVQ
Auto-organizacion
• Autoorganizacion: es el proceso en el cual, por medio deinteracciones locales, se obtiene ordenamiento global(Turing, 1952).
• Ejemplo 1: evolucion de la ubicacion de los alumnosasisten a un curso...
• Ejemplo 2: las celulas del cerebro se auto-organizan engrupos de acuerdo a la informacion que reciben...
Introduccion Arquitectura de la red Entrenamiento LVQ
Auto-organizacion
• Autoorganizacion: es el proceso en el cual, por medio deinteracciones locales, se obtiene ordenamiento global(Turing, 1952).
• Ejemplo 1: evolucion de la ubicacion de los alumnosasisten a un curso...
• Ejemplo 2: las celulas del cerebro se auto-organizan engrupos de acuerdo a la informacion que reciben...
Introduccion Arquitectura de la red Entrenamiento LVQ
SOM: Inspiracion biologicaCorteza motora y sensorial
Ante estımulos provenientes de sensores proximos entre sı, se estimulanneuronas del cerebro pertenecientes a una misma zona.
Introduccion Arquitectura de la red Entrenamiento LVQ
OrganizacionIntroduccion
Auto-organizacionInspiracion biologica
Arquitectura de la redSOM 2DEntornos y realimentacion lateral
Entrenamiento de un SOMCaracterısticas principalesAlgoritmo de entrenamientoConvergencia y consideraciones practicasFormacion de mapas topologicos
Cuantizacion vectorial con aprendizajeAlgoritmo LVQ1LVQ1: velocidad de aprendizaje
Introduccion Arquitectura de la red Entrenamiento LVQ
SOM: Arquitectura• Arquitectura SOM 2D
x→ wj → sj
• Salidas: se activa solo la ganadora j∗
j∗(n) = G(x(n)) = arg mınj{‖x(n)− wj(n)‖}
Introduccion Arquitectura de la red Entrenamiento LVQ
SOM: Arquitectura• Arquitectura SOM 2D
x→ wj → sj
• Salidas: se activa solo la ganadora j∗
j∗(n) = G(x(n)) = arg mınj{‖x(n)− wj(n)‖}
Introduccion Arquitectura de la red Entrenamiento LVQ
Entornos de influencia o vecindades• Formas basicas:
• Alcance ΛG:• Entornos fijos• Entornos variables
• Excitacion asociadas al entorno:• Excitatorias puras• Inhibitorias puras• Funciones generales de excitacion/inhibicion
Introduccion Arquitectura de la red Entrenamiento LVQ
Entornos de influencia o vecindades• Formas basicas:
• Alcance ΛG:• Entornos fijos• Entornos variables
• Excitacion asociadas al entorno:• Excitatorias puras• Inhibitorias puras• Funciones generales de excitacion/inhibicion
Introduccion Arquitectura de la red Entrenamiento LVQ
Entornos de influencia o vecindades• Formas basicas:
• Alcance ΛG:• Entornos fijos• Entornos variables
• Excitacion asociadas al entorno:• Excitatorias puras• Inhibitorias puras• Funciones generales de excitacion/inhibicion
Introduccion Arquitectura de la red Entrenamiento LVQ
Funciones de excitacion/inhibicion lateral
• Uniforme (entorno simple):
ΛG(n) = 2⇒{
hG,i = β(n) si |G− i| ≤ 2hG,i = 0 si |G− i| > 2
siendo β(n) adaptable en funcion de las iteraciones n.
• Gaussiana:
hG,i = β(n)e− |G−i|2
2σ2(n)
• Sombrero Mejicano: campos receptivos retina, inhibicionlateral
Introduccion Arquitectura de la red Entrenamiento LVQ
Funciones de excitacion/inhibicion lateral
• Uniforme (entorno simple):
ΛG(n) = 2⇒{
hG,i = β(n) si |G− i| ≤ 2hG,i = 0 si |G− i| > 2
siendo β(n) adaptable en funcion de las iteraciones n.• Gaussiana:
hG,i = β(n)e− |G−i|2
2σ2(n)
• Sombrero Mejicano: campos receptivos retina, inhibicionlateral
Introduccion Arquitectura de la red Entrenamiento LVQ
Funciones de excitacion/inhibicion lateral
• Uniforme (entorno simple):
ΛG(n) = 2⇒{
hG,i = β(n) si |G− i| ≤ 2hG,i = 0 si |G− i| > 2
siendo β(n) adaptable en funcion de las iteraciones n.• Gaussiana:
hG,i = β(n)e− |G−i|2
2σ2(n)
• Sombrero Mejicano: campos receptivos retina, inhibicionlateral
Introduccion Arquitectura de la red Entrenamiento LVQ
OrganizacionIntroduccion
Auto-organizacionInspiracion biologica
Arquitectura de la redSOM 2DEntornos y realimentacion lateral
Entrenamiento de un SOMCaracterısticas principalesAlgoritmo de entrenamientoConvergencia y consideraciones practicasFormacion de mapas topologicos
Cuantizacion vectorial con aprendizajeAlgoritmo LVQ1LVQ1: velocidad de aprendizaje
Introduccion Arquitectura de la red Entrenamiento LVQ
Entrenamiento de un SOM
Caracterısticas principales:
• Entrenamiento NO-supervisado
• Aprendizaje competitivo
Introduccion Arquitectura de la red Entrenamiento LVQ
Entrenamiento de un SOM
Caracterısticas principales:
• Entrenamiento NO-supervisado
• Aprendizaje competitivo
Introduccion Arquitectura de la red Entrenamiento LVQ
Algoritmo de entrenamiento1. Inicializacion:
• pequenos valores aleatorios con wji ∈ [−0,5, · · · ,+0,5] otambien
• eligiendo aleatoriamente wj(0) = x` (` ∈ [1, · · · ,L])
2. Seleccion del ganador:
G(x(n)) = arg mın∀j{‖x(n)− wj(n)‖}
3. Adaptacion de los pesos:
wj(n + 1) ={
wj(n) + η(n) (x(n)− wj(n)) si yj ∈ ΛG(n)wj(n) si yj /∈ ΛG(n)
4. Volver a 2 hasta no observar cambios significativos.
Introduccion Arquitectura de la red Entrenamiento LVQ
Algoritmo de entrenamiento1. Inicializacion:
• pequenos valores aleatorios con wji ∈ [−0,5, · · · ,+0,5] otambien
• eligiendo aleatoriamente wj(0) = x` (` ∈ [1, · · · ,L])
2. Seleccion del ganador:
G(x(n)) = arg mın∀j{‖x(n)− wj(n)‖}
3. Adaptacion de los pesos:
wj(n + 1) ={
wj(n) + η(n) (x(n)− wj(n)) si yj ∈ ΛG(n)wj(n) si yj /∈ ΛG(n)
4. Volver a 2 hasta no observar cambios significativos.
Introduccion Arquitectura de la red Entrenamiento LVQ
Algoritmo de entrenamiento1. Inicializacion:
• pequenos valores aleatorios con wji ∈ [−0,5, · · · ,+0,5] otambien
• eligiendo aleatoriamente wj(0) = x` (` ∈ [1, · · · ,L])
2. Seleccion del ganador:
G(x(n)) = arg mın∀j{‖x(n)− wj(n)‖}
3. Adaptacion de los pesos:
wj(n + 1) ={
wj(n) + η(n) (x(n)− wj(n)) si yj ∈ ΛG(n)wj(n) si yj /∈ ΛG(n)
4. Volver a 2 hasta no observar cambios significativos.
Introduccion Arquitectura de la red Entrenamiento LVQ
Algoritmo de entrenamiento1. Inicializacion:
• pequenos valores aleatorios con wji ∈ [−0,5, · · · ,+0,5] otambien
• eligiendo aleatoriamente wj(0) = x` (` ∈ [1, · · · ,L])
2. Seleccion del ganador:
G(x(n)) = arg mın∀j{‖x(n)− wj(n)‖}
3. Adaptacion de los pesos:
wj(n + 1) ={
wj(n) + η(n) (x(n)− wj(n)) si yj ∈ ΛG(n)wj(n) si yj /∈ ΛG(n)
4. Volver a 2 hasta no observar cambios significativos.
Introduccion Arquitectura de la red Entrenamiento LVQ
Entrenamiento de un SOM
Consideraciones practicas:
• ΛG(n) es generalmente cuadrado
• hG,i(n) uniforme en i, decreciente con n• 0 < η(n) < 1 decreciente con n
¿Como varıan ΛG(n) y η(n)?
Introduccion Arquitectura de la red Entrenamiento LVQ
Entrenamiento de un SOM
Consideraciones practicas:
• ΛG(n) es generalmente cuadrado• hG,i(n) uniforme en i, decreciente con n
• 0 < η(n) < 1 decreciente con n
¿Como varıan ΛG(n) y η(n)?
Introduccion Arquitectura de la red Entrenamiento LVQ
Entrenamiento de un SOM
Consideraciones practicas:
• ΛG(n) es generalmente cuadrado• hG,i(n) uniforme en i, decreciente con n• 0 < η(n) < 1 decreciente con n
¿Como varıan ΛG(n) y η(n)?
Introduccion Arquitectura de la red Entrenamiento LVQ
Entrenamiento de un SOM
Consideraciones practicas:
• ΛG(n) es generalmente cuadrado• hG,i(n) uniforme en i, decreciente con n• 0 < η(n) < 1 decreciente con n
¿Como varıan ΛG(n) y η(n)?
Introduccion Arquitectura de la red Entrenamiento LVQ
Etapas del entrenamiento
1. Ordenamiento global (o topologico)• ΛG(n) grande (≈ medio mapa)• η(n) grande (entre 0.9 y 0.7)• Duracion 500 a 1000 epocas
2. Transicion• ΛG(n) se reduce linealmente hasta 1• η(n) se reduce lineal o exponencialmente hasta 0.1• Duracion ≈1000 epocas
3. Ajuste fino (o convergencia)• ΛG(n) = 0 (solo se actualiza la ganadora)• η(n) = cte (entre 0.1 y 0.01)• Duracion: hasta convergencia (≈ 3000 epocas)
Introduccion Arquitectura de la red Entrenamiento LVQ
Etapas del entrenamiento
1. Ordenamiento global (o topologico)• ΛG(n) grande (≈ medio mapa)• η(n) grande (entre 0.9 y 0.7)• Duracion 500 a 1000 epocas
2. Transicion• ΛG(n) se reduce linealmente hasta 1• η(n) se reduce lineal o exponencialmente hasta 0.1• Duracion ≈1000 epocas
3. Ajuste fino (o convergencia)• ΛG(n) = 0 (solo se actualiza la ganadora)• η(n) = cte (entre 0.1 y 0.01)• Duracion: hasta convergencia (≈ 3000 epocas)
Introduccion Arquitectura de la red Entrenamiento LVQ
Etapas del entrenamiento
1. Ordenamiento global (o topologico)• ΛG(n) grande (≈ medio mapa)• η(n) grande (entre 0.9 y 0.7)• Duracion 500 a 1000 epocas
2. Transicion• ΛG(n) se reduce linealmente hasta 1• η(n) se reduce lineal o exponencialmente hasta 0.1• Duracion ≈1000 epocas
3. Ajuste fino (o convergencia)• ΛG(n) = 0 (solo se actualiza la ganadora)• η(n) = cte (entre 0.1 y 0.01)• Duracion: hasta convergencia (≈ 3000 epocas)
Introduccion Arquitectura de la red Entrenamiento LVQ
Formacion de mapas topologicos
• Ejemplo 1: R1 → R1, 2 neuronas
• Ejemplo 2: R2 → R1, 4 neuronas• Ejemplo 3: R2 → R2, 4 neuronas• Ejemplo 4: RN → R2, M neuronas• Ejemplo 5: el “phonetic typewriter” (Kohonen)• Ejemplo 6: el experimento de los paıses (Kohonen)• Ejemplo 7: ejemplos demo Matlab
Introduccion Arquitectura de la red Entrenamiento LVQ
Formacion de mapas topologicos
• Ejemplo 1: R1 → R1, 2 neuronas• Ejemplo 2: R2 → R1, 4 neuronas
• Ejemplo 3: R2 → R2, 4 neuronas• Ejemplo 4: RN → R2, M neuronas• Ejemplo 5: el “phonetic typewriter” (Kohonen)• Ejemplo 6: el experimento de los paıses (Kohonen)• Ejemplo 7: ejemplos demo Matlab
Introduccion Arquitectura de la red Entrenamiento LVQ
Formacion de mapas topologicos
• Ejemplo 1: R1 → R1, 2 neuronas• Ejemplo 2: R2 → R1, 4 neuronas• Ejemplo 3: R2 → R2, 4 neuronas
• Ejemplo 4: RN → R2, M neuronas• Ejemplo 5: el “phonetic typewriter” (Kohonen)• Ejemplo 6: el experimento de los paıses (Kohonen)• Ejemplo 7: ejemplos demo Matlab
Introduccion Arquitectura de la red Entrenamiento LVQ
Formacion de mapas topologicos
• Ejemplo 1: R1 → R1, 2 neuronas• Ejemplo 2: R2 → R1, 4 neuronas• Ejemplo 3: R2 → R2, 4 neuronas• Ejemplo 4: RN → R2, M neuronas
• Ejemplo 5: el “phonetic typewriter” (Kohonen)• Ejemplo 6: el experimento de los paıses (Kohonen)• Ejemplo 7: ejemplos demo Matlab
Introduccion Arquitectura de la red Entrenamiento LVQ
Formacion de mapas topologicos
• Ejemplo 1: R1 → R1, 2 neuronas• Ejemplo 2: R2 → R1, 4 neuronas• Ejemplo 3: R2 → R2, 4 neuronas• Ejemplo 4: RN → R2, M neuronas• Ejemplo 5: el “phonetic typewriter” (Kohonen)
• Ejemplo 6: el experimento de los paıses (Kohonen)• Ejemplo 7: ejemplos demo Matlab
Introduccion Arquitectura de la red Entrenamiento LVQ
Formacion de mapas topologicos
• Ejemplo 1: R1 → R1, 2 neuronas• Ejemplo 2: R2 → R1, 4 neuronas• Ejemplo 3: R2 → R2, 4 neuronas• Ejemplo 4: RN → R2, M neuronas• Ejemplo 5: el “phonetic typewriter” (Kohonen)• Ejemplo 6: el experimento de los paıses (Kohonen)
• Ejemplo 7: ejemplos demo Matlab
Introduccion Arquitectura de la red Entrenamiento LVQ
Formacion de mapas topologicos
• Ejemplo 1: R1 → R1, 2 neuronas• Ejemplo 2: R2 → R1, 4 neuronas• Ejemplo 3: R2 → R2, 4 neuronas• Ejemplo 4: RN → R2, M neuronas• Ejemplo 5: el “phonetic typewriter” (Kohonen)• Ejemplo 6: el experimento de los paıses (Kohonen)
• Ejemplo 7: ejemplos demo Matlab
Introduccion Arquitectura de la red Entrenamiento LVQ
Formacion de mapas topologicos
• Ejemplo 1: R1 → R1, 2 neuronas• Ejemplo 2: R2 → R1, 4 neuronas• Ejemplo 3: R2 → R2, 4 neuronas• Ejemplo 4: RN → R2, M neuronas• Ejemplo 5: el “phonetic typewriter” (Kohonen)• Ejemplo 6: el experimento de los paıses (Kohonen)• Ejemplo 7: ejemplos demo Matlab
Introduccion Arquitectura de la red Entrenamiento LVQ
Agrupamiento y clasificacion
¿Como utilizar un SOM para clasificar patrones?
• Entrenamiento no-supervisado• Etiquetado de neuronas• Clasificacion por mınima distancia
¿Cual es la diferencia principal entre el SOM y otros metodosde agrupamiento no-supervisado?
Introduccion Arquitectura de la red Entrenamiento LVQ
Agrupamiento y clasificacion
¿Como utilizar un SOM para clasificar patrones?• Entrenamiento no-supervisado
• Etiquetado de neuronas• Clasificacion por mınima distancia
¿Cual es la diferencia principal entre el SOM y otros metodosde agrupamiento no-supervisado?
Introduccion Arquitectura de la red Entrenamiento LVQ
Agrupamiento y clasificacion
¿Como utilizar un SOM para clasificar patrones?• Entrenamiento no-supervisado• Etiquetado de neuronas
• Clasificacion por mınima distancia
¿Cual es la diferencia principal entre el SOM y otros metodosde agrupamiento no-supervisado?
Introduccion Arquitectura de la red Entrenamiento LVQ
Agrupamiento y clasificacion
¿Como utilizar un SOM para clasificar patrones?• Entrenamiento no-supervisado• Etiquetado de neuronas• Clasificacion por mınima distancia
¿Cual es la diferencia principal entre el SOM y otros metodosde agrupamiento no-supervisado?
Introduccion Arquitectura de la red Entrenamiento LVQ
Agrupamiento y clasificacion
¿Como utilizar un SOM para clasificar patrones?• Entrenamiento no-supervisado• Etiquetado de neuronas• Clasificacion por mınima distancia
¿Cual es la diferencia principal entre el SOM y otros metodosde agrupamiento no-supervisado?
Introduccion Arquitectura de la red Entrenamiento LVQ
Demostraciones online...
• Caracteres: http://fbim.fh-regensburg.de/˜saj39122/begrolu/kohonen.html
• 1D: http://www.cis.hut.fi/research/javasomdemo/demo1.html
• 2D: http://www.cis.hut.fi/research/javasomdemo/demo2.html
• Otro 2D:http://www.neuroinformatik.ruhr-uni-bochum.de/VDM/research/gsn/DemoGNG/GNG.html
• 3D: http://www.sund.de/netze/applets/som/som1/index.htm
• Buscador WEB: http://www.gnod.net/
Introduccion Arquitectura de la red Entrenamiento LVQ
OrganizacionIntroduccion
Auto-organizacionInspiracion biologica
Arquitectura de la redSOM 2DEntornos y realimentacion lateral
Entrenamiento de un SOMCaracterısticas principalesAlgoritmo de entrenamientoConvergencia y consideraciones practicasFormacion de mapas topologicos
Cuantizacion vectorial con aprendizajeAlgoritmo LVQ1LVQ1: velocidad de aprendizaje
Introduccion Arquitectura de la red Entrenamiento LVQ
Cuantizacion vectorial con aprendizaje (LVQ)Conceptos basicos:• Cuantizador escalar: senales cuantizadas
• Cuantizador vectorial:• centroides o prototipos• diccionario o code-book• el proceso de cuantizacion: de vectores a numeros enteros
• Ideas de como entrenarlo:• algoritmo k-means etiquetado para clasificacion• SOM etiquetado como clasificador...• algoritmo supervizado LVQ
Introduccion Arquitectura de la red Entrenamiento LVQ
Cuantizacion vectorial con aprendizaje (LVQ)Conceptos basicos:• Cuantizador escalar: senales cuantizadas• Cuantizador vectorial:
• centroides o prototipos• diccionario o code-book• el proceso de cuantizacion: de vectores a numeros enteros
• Ideas de como entrenarlo:• algoritmo k-means etiquetado para clasificacion• SOM etiquetado como clasificador...• algoritmo supervizado LVQ
Introduccion Arquitectura de la red Entrenamiento LVQ
Cuantizacion vectorial con aprendizaje (LVQ)Conceptos basicos:• Cuantizador escalar: senales cuantizadas• Cuantizador vectorial:
• centroides o prototipos• diccionario o code-book• el proceso de cuantizacion: de vectores a numeros enteros
• Ideas de como entrenarlo:• algoritmo k-means etiquetado para clasificacion• SOM etiquetado como clasificador...• algoritmo supervizado LVQ
Introduccion Arquitectura de la red Entrenamiento LVQ
Algoritmo LVQ11. Inicializacion aleatoria
2. Seleccion:
c(n) = arg mıni{‖x(n)−mi(n)‖}
3. Adaptacion:
mc(n + 1) = mc(n) + s(c, d, n)α [x(n)−mc(n)]
s(c, d, n) ={
+1 si c(n) = d(n)−1 si c(n) 6= d(n)
4. Volver a 2 hasta satisfacer error de clasificacion
Introduccion Arquitectura de la red Entrenamiento LVQ
Algoritmo LVQ11. Inicializacion aleatoria2. Seleccion:
c(n) = arg mıni{‖x(n)−mi(n)‖}
3. Adaptacion:
mc(n + 1) = mc(n) + s(c, d, n)α [x(n)−mc(n)]
s(c, d, n) ={
+1 si c(n) = d(n)−1 si c(n) 6= d(n)
4. Volver a 2 hasta satisfacer error de clasificacion
Introduccion Arquitectura de la red Entrenamiento LVQ
Algoritmo LVQ11. Inicializacion aleatoria2. Seleccion:
c(n) = arg mıni{‖x(n)−mi(n)‖}
3. Adaptacion:
mc(n + 1) = mc(n) + s(c, d, n)α [x(n)−mc(n)]
s(c, d, n) ={
+1 si c(n) = d(n)−1 si c(n) 6= d(n)
4. Volver a 2 hasta satisfacer error de clasificacion
Introduccion Arquitectura de la red Entrenamiento LVQ
Algoritmo LVQ11. Inicializacion aleatoria2. Seleccion:
c(n) = arg mıni{‖x(n)−mi(n)‖}
3. Adaptacion:
mc(n + 1) = mc(n) + s(c, d, n)α [x(n)−mc(n)]
s(c, d, n) ={
+1 si c(n) = d(n)−1 si c(n) 6= d(n)
4. Volver a 2 hasta satisfacer error de clasificacion
Introduccion Arquitectura de la red Entrenamiento LVQ
LVQ1: observaciones• Interpretacion grafica
• Caso de clasificacion correcta• Caso de clasificacion incorrecta
• No hay arquitectura neuronal• Se puede ver al cuantizador como SOM lineal, sin entorno
y supervisado• Velocidad de aprendizaje
• ¿Existe un αc optimo para cada centroide?• ¿Se debe considerar un αc(n) optimo para cada instante de
tiempo?
Introduccion Arquitectura de la red Entrenamiento LVQ
LVQ1: observaciones• Interpretacion grafica
• Caso de clasificacion correcta• Caso de clasificacion incorrecta
• No hay arquitectura neuronal
• Se puede ver al cuantizador como SOM lineal, sin entornoy supervisado
• Velocidad de aprendizaje• ¿Existe un αc optimo para cada centroide?• ¿Se debe considerar un αc(n) optimo para cada instante de
tiempo?
Introduccion Arquitectura de la red Entrenamiento LVQ
LVQ1: observaciones• Interpretacion grafica
• Caso de clasificacion correcta• Caso de clasificacion incorrecta
• No hay arquitectura neuronal• Se puede ver al cuantizador como SOM lineal, sin entorno
y supervisado
• Velocidad de aprendizaje• ¿Existe un αc optimo para cada centroide?• ¿Se debe considerar un αc(n) optimo para cada instante de
tiempo?
Introduccion Arquitectura de la red Entrenamiento LVQ
LVQ1: observaciones• Interpretacion grafica
• Caso de clasificacion correcta• Caso de clasificacion incorrecta
• No hay arquitectura neuronal• Se puede ver al cuantizador como SOM lineal, sin entorno
y supervisado• Velocidad de aprendizaje
• ¿Existe un αc optimo para cada centroide?• ¿Se debe considerar un αc(n) optimo para cada instante de
tiempo?
Introduccion Arquitectura de la red Entrenamiento LVQ
LVQ1: velocidad de aprendizajemc(n + 1) = mc(n) + s(n)α(n) [x(n)−mc(n)]
mc(n + 1) = mc(n) + s(n)α(n)x(n)− s(n)α(n)mc(n)
mc(n + 1) = [1− s(n)α(n)] mc(n) + s(n)α(n)x(n)
mc(n + 1) =
= [1− s(n)α(n)]{mc(n− 1) + s(n− 1)α(n− 1) [x(n− 1)−mc(n− 1)]}+s(n)α(n)x(n)
x(n− 1) es afectado dos veces por α
Introduccion Arquitectura de la red Entrenamiento LVQ
LVQ1: velocidad de aprendizajemc(n + 1) = mc(n) + s(n)α(n) [x(n)−mc(n)]
mc(n + 1) = mc(n) + s(n)α(n)x(n)− s(n)α(n)mc(n)
mc(n + 1) = [1− s(n)α(n)] mc(n) + s(n)α(n)x(n)
mc(n + 1) =
= [1− s(n)α(n)]{mc(n− 1) + s(n− 1)α(n− 1) [x(n− 1)−mc(n− 1)]}+s(n)α(n)x(n)
x(n− 1) es afectado dos veces por α
Introduccion Arquitectura de la red Entrenamiento LVQ
LVQ1: velocidad de aprendizajemc(n + 1) = mc(n) + s(n)α(n) [x(n)−mc(n)]
mc(n + 1) = mc(n) + s(n)α(n)x(n)− s(n)α(n)mc(n)
mc(n + 1) = [1− s(n)α(n)] mc(n) + s(n)α(n)x(n)
mc(n + 1) =
= [1− s(n)α(n)]{mc(n− 1) + s(n− 1)α(n− 1) [x(n− 1)−mc(n− 1)]}+s(n)α(n)x(n)
x(n− 1) es afectado dos veces por α
Introduccion Arquitectura de la red Entrenamiento LVQ
LVQ1: velocidad de aprendizajemc(n + 1) = mc(n) + s(n)α(n) [x(n)−mc(n)]
mc(n + 1) = mc(n) + s(n)α(n)x(n)− s(n)α(n)mc(n)
mc(n + 1) = [1− s(n)α(n)] mc(n) + s(n)α(n)x(n)
mc(n + 1) =
= [1− s(n)α(n)]{mc(n− 1) + s(n− 1)α(n− 1) [x(n− 1)−mc(n− 1)]}+s(n)α(n)x(n)
x(n− 1) es afectado dos veces por α
Introduccion Arquitectura de la red Entrenamiento LVQ
LVQ1: velocidad de aprendizaje
Siendo α < 1 la importancia relativa de los primeros patronesde entrenamiento siempre sera menor que la de los ultimos.
Si queremos que α afecte por igual a todos los patronesdeberemos hacerlo decrecer con el tiempo.
Se debe cumplir que:
αc(n) = [1− s(n)αc(n)]αc(n− 1)
Introduccion Arquitectura de la red Entrenamiento LVQ
LVQ1: velocidad de aprendizaje
Siendo α < 1 la importancia relativa de los primeros patronesde entrenamiento siempre sera menor que la de los ultimos.
Si queremos que α afecte por igual a todos los patronesdeberemos hacerlo decrecer con el tiempo.
Se debe cumplir que:
αc(n) = [1− s(n)αc(n)]αc(n− 1)
Introduccion Arquitectura de la red Entrenamiento LVQ
LVQ1: velocidad de aprendizaje
Siendo α < 1 la importancia relativa de los primeros patronesde entrenamiento siempre sera menor que la de los ultimos.
Si queremos que α afecte por igual a todos los patronesdeberemos hacerlo decrecer con el tiempo.
Se debe cumplir que:
αc(n) = [1− s(n)αc(n)]αc(n− 1)
Introduccion Arquitectura de la red Entrenamiento LVQ
LVQ1-O: velocidad de aprendizaje
Demostrar que:
αc(n) =αc(n− 1)
1 + s(n)αc(n− 1)
(no sobrepasar α > 1)
Top Related