Redes Neuronales_1/3

1

REDES NEURONALES I

Co

nte

nid

o

Definiciones.

Referencias histricas.

El modelo biolgico.

El modelo matemtico.

Diferentes esquemas de RNA.

Analoga biolgica artificial.

Clasificacin de las RNA.

Mecanismos de aprendizaje.

Ejemplo de aplicacin.

Referencias bibliogrficas.

2

T3-1 REDES NEURONALES

RNA - DEFINICIONES

Son modelos en hardware o en software que

intentan reproducir el comportamiento del

cerebro humano, con el propsito de

resolver problemas.

El estudio de las redes neuronales

est fuertemente motivado por la

necesidad de producir modelos

biolgicos para ser utilizados en la

resolucin de problemas.

Es la interconexin en paralelo, de

elementos de procesamiento unitarios,

capaces de resolver problemas, luego de un

proceso de aprendizaje.

3

1943 - Origen de los modelos conexionistas con la primera idea de

neurona artificial, dada por McCulloch y Pitts.

1949 - Donald Hebb, introduce las hiptesis del modo en que las

neuronas memorizan informacin, basadas en investigaciones

psicofisiolgicas.

1959 - Widrow publica una teora sobre la adaptacin neuronal y un

modelo inspirados en esa teora, el Adaline (Adaptative Linear

Neuron).

1962 - Rosemblatt desarrolla el Perceptrn, un identificador de patrones

pticos binarios y salida binaria, junto con la regla de aprendizaje

delta.

1969 - Minsky y Papert realizan una seria crtica del Perceptrn, reve-

lando serias limitaciones. Se crean serias dudas sobre las capaci-

dades de los modelos conexionistas y decaen las investigaciones.

1977 - Anderson desarrolla modelos de memorias asociativas. conocidos

como brain-state-in-a-box.

1982 - Hopfield elabora un modelo de red consistente en unidades de

proceso interconectadas que alcanzan mnimos energticos.

1984 - Kohonen siguiendo el trabajo de Anderson, desarrolla modelos

de aprendizaje competitivo basados en el principio de inhibicin

lateral.

1987 - Grossberg realiza un importante trabajo terico - matemtico a

travs de sus modelos ART (Adaptative Resonance Theory).


REFERENCIAS HISTRICAS

4

El cerebro

humano

Sistema de procesamiento no lineal

y paralelo.

Aproximadamente 1010 neuronas.

Alrededor de 1012 interconexiones.

Las interconexiones se modifican en funcin al

tiempo.

Los estmulos externos pueden sensibilizar la

calidad y cantidad de

interconexiones.


EL MODELO BIOLGICO

5

Cerebro humano y red de neuronas


EL MODELO BIOLGICO

6


EL MODELO BIOLGICO

La neurona biolgica

Una neurona tpica recoge seales procedentes de

otras neuronas a travs de un conjunto de delicadas

estructuras

llamadas

dendritas. La

neurona emite

impulsos de

actividad

elctrica a lo

largo de una fibra

larga y delgada

denominada axn,

que se escinde en

millares de

ramificaciones.

7


EL MODELO BIOLGICO

Las extremidades de estas ramificaciones llegan

hasta las dendritas de otras neuronas y establecen

unas conexiones llamadas sinapsis, en las cuales se

produce una transformacin del impulso elctrico en

un mensaje neuro-qumico, mediante la liberacin de

sustancias llamadas neurotransmisores

Las conexiones biolgicas

8


EL MODELO MATEMTICO

9

f(xi ,wi )

x1

x2

xn

y

w1

w2

wn

g(f)

q

Pesos

Bias

Funcin de excitacin

Funcin de activacin

En

trada

s

Salida

La neurona artificial

Se modelan mediante unidades de proceso. Cada

unidad de proceso se compone de un conjunto de

conexiones de entrada, modificadas por valores de

peso, una funcin de excitacin ( de red), encargada

de computar la entrada total ponderada, un ncleo

central de proceso, encargado de aplicar la funcin

de activacin, y la salida, por donde se transmite el

valor de activacin a otras unidades.


EL MODELO MATEMTICO

10

f(xi ,wi ) xi

y wji g(f)

Funciones internas

f

n

j i ij j

i 1

x .w

f

n

2j i ij j

i 1

x .w cuadrtica

2)f

n

-2j i ij j

i 1

(x .w esfrica

signo

rampa

sigmoide

escaln

lineal


EL MODELO MATEMTICO

11

Actividad de neurona aislada

1

0

1

1

0,75

2

-0,5

S

Entradas X = [1 ; 0 ; 1]

Pesos W = [0,75 ; 2 ; -0,5]

Funcin de

excitacin lineal f = } S(X . W) 1*0,75+0*2+1*(-0,5) = 0,25 {

Funcin de

activacin escaln y = g(f) = } 0 si f 0 1 si f > 0 { = 1

Neurona activada o disparada


EL MODELO MATEMTICO

Se corresponde

con la neurona

original de

McCulloch-Pitts

12 12

Actividad de neurona aislada

Funcin de

excitacin lineal f = } {

Funcin de

activacin escaln y = g(f) = } { = 0

Neurona inhibida o bloqueada

(X . W) 1*0,5+0*2+1*(-0,75)

= -0,25

0 si f 0

1 si f > 0

1

0

1

0

0,5

2

-0,75

S

Entradas X = [1 ; 0 ; 1]

Pesos W = [0,5 ; 2 ; -0,75]


EL MODELO MATEMTICO

Se corresponde

con la neurona

original de

McCulloch-Pitts

13


DIFERENTES ESQUEMAS DE RNA

14

Organizacin por capas


TOPOLOGA DE REDES E

ntr

ad

a Salid

a

Entr

ad

a Salid

a

Monocapa Bicapa E

ntr

ad

a Salid

a. . .

. . .

Capa de

entradaCapa de

salida

Capas internas

(ocultas)

Multicapa

15

Conexiones entre neuronas

Conexiones progresivas:

Transmiten la informacin

hacia delante.

Se

ale

s d

e en

trad

a Se

ales d

e salid

aSe

ale

s d

e en

trad

a Se

ales d

e salid

a

Se

ale

s d

e en

trad

a Se

ales d

e salid

a

Conexiones regresivas:


hacia atrs, a la entrada o

hacia capas anteriores.

Conexiones laterales:


entre neuronas de la

misma capa. Permiten

competir.

Conexiones autolazo:

realimentan la informacin

a la entrada de la misma

neurona. Permiten

mantener la salida.


TOPOLOGA DE REDES

16

Aprendizaje inductivo: No se le indican las reglas para dar

una solucin, sino que extrae sus propias reglas a partir

de los ejemplos de aprendizaje.

Generalizacin: Una vez entrenada, se le pueden

presentar a al red datos distintos a los usados durante el

aprendizaje. La respuesta obtenida depender del

parecido de los datos con los ejemplos de entrenamiento

Abstraccin o tolerancia al ruido: Las RNA pueden

procesar correctamente datos incompletos o

distorsionados.

Procesamiento paralelo: las neuronas reales trabajan en

paralelo; las neuronas artificiales simuladas en

computador emplean un paralelismo inherente.

Memoria distribuida: el conocimiento acumulado por la

red se halla distribuido en numerosas conexiones, esto

tiene como consecuencia la tolerancia a fallos: una red

neuronal es capaz de seguir funcionando adecuadamente

a pesar de sufrir lesiones con destruccin de neuronas o

sus conexiones, ya que la informacin se halla distribuida

por toda la red.


PROPIEDADES INTRNSECAS

17

Comparacin entre las neuronas biolgicas

reales y las unidades de proceso artificiales

Redes Neuronales

Biolgicas

Redes Neuronales

Artificiales

Neuronas Unidades de proceso

Conexiones sinpticas Conexiones ponderadas

Efectividad de las sinpsis Peso de las conexiones

Efecto excitatorio o

inhibitorio de una conexin

Signo del peso de una

conexin

Efecto combinado de las

sinpsis

Funcin de propagacin

o de red

Activacin tasa de

disparo

Funcin de activacin

Salida


ANALOGA BIOLGICA ARTIFICIAL

18

Redes mononeuronales: Utilizan una sola neurona con varias

entradas y una salida. Por ejemplo Perceptrn, Adaline.

Redes monocapa: Las neuronas se organizan en una capa

nica, generalmente conectadas con conexiones laterales o

autorecurrentes. Por ejemplo redes de Kohonen, redes de

Hopfield.

Segn la topologa


CLASIFICACIN

Ref.

Garca Martnez

et al, Sistemas Inteligentes.

19

Redes multicapa: Las

neuronas se organizan en

varias capas, con

distintos tipos de

conexiones. Estas

estructuras suelen

utilizarse para realizar

tareas ms complejas.

Por ejemplo redes

feedforward, redes ART.

Segn la

topologa


CLASIFICACIN

Ref.

Garca Martnez


20

Redes con aprendizaje supervisado: Existe un parmetro

externo ( tutor) que determina si la respuesta de la RNA

durante el proceso de aprendizaje es correcta. Por

ejemplo redes feedforward/backpropagation.

Segn el tipo de aprendizaje


CLASIFICACIN

Ref.

Garca Martnez


21

Redes con aprendizaje no

supervisado: La RNA no

recibe influencia externa

sobre su comportamiento.

La modificacin de los par-

metros responde exclusiva-

mente a las entradas.

Fundamentalmente, bajo

esta categora de aprendi-

zaje la ANN intenta rescatar

propiedades comunes de los

patrones de entrada. Por

ejemplo redes de Hopfield,

redes de Kohonen.

Segn el tipo

de aprendizaje


CLASIFICACIN

Ref. Garca Martnez et al,

Sistemas Inteligentes.

22

Redes heteroasociativas: Las redes aprenden

pares de datos entrada-salida que se presentan

durante la fase de entrenamiento. En general

presentan una topologa de 2 ms capas. Por

ejemplo redes feedforward/ backpropagation.

Redes autoasociativas: En este tipo de redes,

las entradas se clasifican de acuerdo a los

patrones intrnsecos generados o aprendidos

por la red. Puede implementarse inclusive en

topologas monocapa. Por ejemplo redes ART,

redes de Kohonen.

Segn la relacin entrada-salida


CLASIFICACIN

23

Redes continuas: Tanto los valores de entrada

como de salida, son de tipo analgicos y reales,

pudiendo estar normalizados a un intervalo

predefinido. Por ejemplo redes feedforward/

backpropagation, redes de Hopfield (continuas).

Redes discretas: En este tipo de redes, tanto las

entradas como las salidas son discretas y

particularmente binarias. Por ejemplo redes de

Hopfield (discretas, redes ART1.

Redes hbridas: Manejan distintos tipos de

valores entre las entradas y salidas.

Comnmente reciben valores analgicos en las

entradas y responden con valores binarios.

Segn el tipo de seales de

entrada-salida


CLASIFICACIN

24

Segn el

tipo de

seales

de

entrada-

salida


CLASIFICACIN

Ref.

Garca Martnez


25

Redes sincrnicas o determinsticas: Son

aquellas donde se calcula la activacin de todas

las unidades de una capa en cada ciclo de

aprendizaje.

Redes asincrnicas o probabilsticas: En este

tipo de redes, cada unidad de proceso tiene una

cierta posibilidad de computar su activacin en

cada ciclo de aprendizaje. Tienen la ventaja de

ser menos propensas a caer en mnimos

locales.

Segn el proceso de

actualizacin


CLASIFICACIN

26

Los cambios que se producen durante el proceso de

aprendizaje se reducen a la destruccin, modifica-

cin y creacin de conexiones entre las neuronas.

La creacin de una nueva conexin implica que el

peso asociado pasa a tener un valor distinto de cero.

Una conexin se destruye cuando su peso pasa a ser

cero. Representa una desconexin virtual en el

modelo.

Se puede afirmar que el proceso de aprendizaje ha

finalizado (la red ha aprendido) cuando los valores

de los pesos permanecen estables (dwij / dt = 0).

El aprendizaje es el proceso

por el cual una red neuronal modifica sus

pesos en respuesta a una informacin de

entrada.


PROCESOS DE APRENDIZAJE

27

Se realiza mediante un entrenamiento controlado por un agente

externo (supervisor, maestro) que determina la respuesta que

debera generar la red a partir de una entrada determinada. En el

caso de que la salida no coincida con la deseada, se proceder a

modificar los pesos de las conexiones. Se consideran tres formas

de llevar a cabo este tipo de aprendizaje:

Aprendizaje por correccin de error: Consiste en ajustar los

pesos en funcin de la diferencia entre los valores deseados

y los obtenidos en la salida; es decir, en funcin del error.

Aprendizaje por refuerzo: La funcin del supervisor se reduce a

indicar mediante una seal de refuerzo si la salida obtenida en la

red se ajusta a la deseada (xito = +1 fracaso = -1), y en funcin

de ello se ajustan los pesos basndose en un mecanismo de

probabilidades.

Aprendizaje estocstico: Consiste bsicamente en realizar

cambios aleatorios en los valores de los pesos de las conexiones

de la red y evaluar su efecto a partir del objetivo deseado y de

distribuciones de probabilidad.

Aprendizaje supervisado



28

Aprendizaje supervisado -ESQUEMA-



Capa oculta

Capa de entrada

Capa de salida

n p

pesos

salida

actual

salida

deseada

p m

pesos

m neuronas

n neuronas

p neuronas

error

29

1. Aleatorizar los pesos de todas las conexiones

(preferiblemente con valores pequeos).

2. Seleccionar un par de entrenamiento.

3. Presentar el patrn de entrada y calcular la funcin de

excitacin (red), funcin de activacin y transferencia a

la siguiente capa, hasta llegar a la capa de salida.

4. Calcular el error o discrepancia entre la salida obtenida y

la deseada. El error (funcin objetivo) se suele definir

como la suma de los cuadrados de las diferencias entre

las salidas reales obtenidas y las deseadas, promediado

para todas las unidades de salida y todos los patrones de

entrenamiento. Si todos los ejemplos se han clasificado

correctamente, finalizar, sino continuar.

5. Aplicar la regla de aprendizaje (ajustar los pesos)

tratando de disminuir el error.

6. Volver al paso 2.

Aprendizaje supervisado -ALGORITMO-



30

No se requiere influencia externa para ajustar los pesos

entre neuronas. La red no recibe ninguna informacin por

parte del entorno que le indique si la salida generada es o

no correcta. En algunos casos, la salida representa el grado

de familiaridad o similitud entre la informacin que se le

est presentando en la entrada y las que se le han mostrado

en el pasado. En general en este tipo de aprendizaje se

suelen considerar dos tipos:

Aprendizaje Hebbiano: Consiste bsicamente en el ajuste de

los pesos de las conexiones de acuerdo con la correlacin,

as si las dos unidades son activas (positivas), se produce un

reforzamiento de la conexin. Por el contrario cuando un es

activa y la otra pasiva (negativa), se produce un

debilitamiento de la conexin.

Aprendizaje competitivo y cooperativo: Las neuronas compiten (y

cooperan) unas con otras con el fin de llevar a cabo una tarea

dada . Cuando se presenta a la red cierta informacin de entrada,

solo una de las neuronas de salida se activa. Por tanto las

neuronas compiten por activarse, quedando finalmente una,

como neurona vencedora

Aprendizaje no supervisado



31

Feed-Forward Backpropagation (Recurrente)

Capa de entrada

5 entradas

Capa intermedia

15 neuronas log-sig

Capa de salida

1 neurona tan-sig

Realimentacin de la salida

con retardo de 1 muestra

Va

ria

ble

s d

e

en

tra

da

Va

ria

ble

d

e

sa

lid

a


EJEMPLO DE RED NEURONAL

32

RNA Ejemplo de red neuronal Feed-forward Backpropagation (Recurrente)

Sistema de

deteccin de fallas

en un

tanque hidrulico

Prueba de deteccin

de componentes

principales por

anulacin de entradas


EJEMPLO DE RED NEURONAL

33

RNA Aplicaciones

Modelado de procesos lineales y no lineales.

Control de procesos y equipos.

Reconocimiento de patrones.

Asociacin de datos.

Deteccin de trayectorias.

Prediccin de series temporales.

Reconocimiento ptico de caracteres.

Aproximacin de funciones de cualquier tipo.


APLICACIONES

34

Del Brio, B.M. Sanz Molina, A. REDES NEURONALES Y SISTEMAS BORROSOS. Editorial RA-MA.

Hilera Gonzalez, J.R. Martnez Hernando, B.J. REDES NEURONALES ARTIFICIALES. Editorial RA-MA. 1995.

Isasi Viuela P., Galvn Len L. M. REDES DE NEURONAS ARTIFICIALES Un Enfoque Prctico. Ed. Pearson Educacin, Madrid, 2004.


REFERENCIAS

Redes Neuronales_1/3

Documents

Transcript of Redes Neuronales_1/3