El Perceptrn 1958 - El psiclogo Frank Ronsenblant desarroll un modelo simple de neurona basado en el modelo de McCulloch y Pitts que utilizaba una regla de aprendizaje basada en la correccin del error: Perceptrn w1w2w3Funcin paso o De HeavisideFuncin signo

Qu se pretende con el Perceptrn?Se dispone de la siguiente informacin: Conjunto de patrones {xk}, k = 1,2,,p1 , de la clase C1 (zk = 1) Conjunto de patrones {xr}, k = p1+1,...,p , de la clase C2 (zr = -1)

Se pretende que el perceptrn asigne a cada entrada (patrn xk) la salida deseada zk siguiendo un proceso de correccin de error (aprendizaje) para determinar los pesos sinpticos apropiadosRegla de aprendizaje del Perceptrn:errortasa deaprendizaje

Cmo se modifica el sesgo ? 11w1w2w3

Algoritmo del Perceptrn Paso 0: InicializacinInicializar los pesos sinpticos con nmeros aleatorios del intervalo [-1,1]. Ir al paso 1 con k=1Paso 1: (k-sima iteracin)Calcular

Paso 2: Correccin de los pesos sinpticos Si z(k) y(k) modificar los pesos sinpticos segn la expresin:

Paso 3: ParadaSi no se han modificado los pesos en las ltimas p iteraciones, es decir,

parar. La red se ha estabilizado.En otro caso, ir al Paso 1 con k=k+1.

Ejemplo Disea un perceptrn que implemente la funcin lgica ANDAND Entradas Salidas(1, 1) 1 (1, 1) 1 (1, 1) 1 (1,1) 1

w1 w2Paso 0: Inicializacin aleatoria w1 = 0.4, w2 = 0.2, = 0.6,

Disea un perceptrn que implemente la funcin lgica AND0.3 0.20.6Paso 1:Patrn de entrada (1,1):Paso 2: Correccin de los pesos sinpticosElegimos =0.5y = 1

Disea un perceptrn que implemente la funcin lgica AND0.7 0.8 0.4Paso 1:Patrn de entrada (1,1):Como y = 1 y z = 1 la clasificacin es correctay = 1

Disea un perceptrn que implemente la funcin lgica AND0.7 0.8 0.4Paso 1:Patrn de entrada (1,1):Elegimos = 0.5Paso 2: Correccin de los pesos sinpticosy = 1

Disea un perceptrn que implemente la funcin lgica AND 0.3 1.8 0.6Paso 1:Patrn de entrada (1,1):Elegimos = 0.5Paso 2: Correccin de los pesos sinpticosy = 1

Disea un perceptrn que implemente la funcin lgica AND 1.3 0.8 0.4Patrn (1,1):Patrn (1,1):Patrn (1,1):Patrn (1,1):

Disea un perceptrn que implemente la funcin lgica AND 1.3 0.8 0.4Paso 1:Patrn de entrada (1,1):Elegimos = 0.5Paso 2: Correccin de los pesos sinpticosy = 1

Disea un perceptrn que implemente la funcin lgica AND 0.7 1.8 1.4Paso 1:Patrn de entrada (1,1):Elegimos = 0.5Paso 2: Correccin de los pesos sinpticosy = 1

El Perceptrn Dado un conjunto cualquiera de patrones de entrenamiento, puede el Perceptrn aprender a clasificarlos correctamente? Problema XOR Entradas Salidas (1, 1) 1 (1, 1) 1 (1, 1) 1 (1,1)1

Conjuntos separables linealmente

Teorema de convergencia del PerceptrnSi el conjunto de patrones de entrenamiento con sus salidas deseadas,{x1 ,z1}, {x2 ,z2},,{ xp ,zp},es linealmente separable entonces el Perceptrn simple encuentra una solucin en un nmero finito de iteraciones DemostracinComo es linealmente separable entonces existen si son de la clase C1si son de la clase C2

Demostracin

DemostracinSi

Tasa de aprendizaje ptimaSe trata de elegir de la tasa de aprendizaje manera que se produzca un mayor decrecimiento del error en cada iteracin Error cuadrtico en la iteracin k+1

Tasa de aprendizaje ptima

Regla de aprendizaje normalizada

Regla de aprendizaje normalizada

Interpretacin de la regla de aprendizaje del Perceptrnx C1x C2Se realizan las correcciones siempre y cuando se producen clasificaciones incorrectas, es decir,

Interpretacin de la regla de aprendizaje del PerceptrnSe realizan las correcciones siempre y cuando se producen clasificaciones incorrectas, es decir,

Deduccin de la regla de aprendizajeLa regla de aprendizaje del Perceptrn intenta encontrar una solucin w* para el siguiente sistema de desigualdades:k =1,2,,pI(w) es el conjunto de patrones clasificados incorrectamente utilizando el vector de pesos sinpticos w (es decir, (a(k))T w 0). As, J nunca es negativo y si dicho conjunto es vaco entonces J alcanza su valor mnimo, J = 0. Funcin criterio:Mtodo del descenso del gradiente

Algoritmo de aprendizaje por lotes del PerceptrnPaso 0: Inicializacin Inicializar los pesos sinpticos con nmeros aleatorios del intervalo [-1,1]. Fijar un valor de parada s. Ir al paso 1 con k=1

Paso 1: (k-sima iteracin) Correccin de los pesos sinpticos

Paso 2: Parada

Si parar. En otro caso, ir al Paso 1 con k=k+1.

Paso 1

Una modificacin: La Regla del BolsilloConsiste en tener en cuenta el nmero de iteraciones consecutivas del algoritmo de perceptrn en las cuales no se ha modificado el vector de pesos sinpticos (para cada uno de los vectores que va generando), es decir, tener en cuenta el nmero de patrones que se han clasificado correctamente con dicho vector hasta que se ha encontrado el primer patrn que clasifica incorrectamente. Se tiene guardado en el bolsillo la mejor solucin explorada, es decir, el vector de pesos sinpticos generado que ha conseguido, hasta el momento, el mayor nmero de iteraciones sin ser modificado. Cuando se encuentra un nuevo vector de pesos sinpticos que consigue un mayor nmero de clasificaciones correctas consecutivas que el que hay en el bolsillo entonces el vector del bolsillo se reemplaza por este. La solucin final viene dada por el vector de pesos sinpticos guardado en el bolsillo.

La ADALINALa ADALINA (tambin llamada ADALINE), pues corresponde al acrnimo de ADAptive Linear NEuron) o neurona con adaptacin lineal que fue introducida por Widrow en 1959. Esta neurona es similar al Perceptrn simple pero utiliza como funcin de transferencia la funcin identidad en lugar de la funcin signo. La salida de la ADALINA es simplemente una funcin lineal de las entradas (ponderadas con los pesos sinpticos):

La ADALINAAprendizaje individualizado:

La ADALINAAprendizaje por lotes:

Neuronas con salida continua: Regla de aprendizaje de Widrow-Hoff

Neuronas con salida continua: Regla de aprendizaje de Widrow-Hoff

Neuronas con salida continua: Regla de aprendizaje de Widrow-Hoff