Técnicas y herramientas en VA:

Redes Neuronales

Miguel A. Fernández(*).

M. Alonso Díaz Marta(*).

F. Javier Gómez(*).

Antonio Fernández Caballero.

(*) Departamento de Informática de la Universidad de Castilla la Mancha (UCLM)

Telf.: 34-67-228551, Fax: 43-67-506650, e-mail: miki@info-ab.uclm.es

Resumen

Este trabajo pretende introducir al lector en los intentos que se han realizado para formular modelos de computación local inspirados en la biología. Como veremos, los estudios en este campo se han realizado generando modelos computacionales que, aunque usualmente intentan utilizar mecanismos como los que aparecen en las redes neuronales biológicas, están muy alejados de la naturaleza y capacidad computacional que éstas poseen. En este trabajo describimos los mecanismos mas básicos de las redes neuronales biológicas, realizamos una exposición enormemente simplificada de los modelos computacionales artificiales que han tenido un mayor eco y después, destacamos las enormes diferencias que existen entre los sistemas neuronales biológicos y los modelos artificiales propuestos hasta la fecha. Finalizamos este trabajo definiendo cuales son a nuestro juicio las líneas que deben marcar la pauta en este campo de investigación.

1. Introducción

El computador tradicional diseñado según el esquema de von Neumann (una unidad de

control que ejecuta una lista de ordenes almacenada en memoria) ha dado muy buenos resultados

para diversos campos computacionales. En muchos de ellos como el cálculo, estas máquinas

aventajan con mucho a su diseñador, el ser humano. No obstante este tipo de sistemas no consigue

realizar satisfactoriamente tareas, tan "aparentemente sencillas", como puedan ser el identificar un

paisaje conocido, mantener una conversación, o seguir con la mirada un rostro conocido que se

mezcla entre la gente.

¿A qué se debe pues, el que nuestros ingenios con arquitectura von Neumann para cuya

realización se han necesitado tantos recursos, años de estudios y esfuerzos de personas claramente

cualificadas, no sean capaces de realizar tareas que puede realizar un niño de pocos meses sin que

ningún científico sesudo haya tenido que dedicarle ni tan siquiera quince minutos?

Básicamente la causa se encuentra en la diferencia de estructura que para el tratamiento de la

información emplean los dos sistemas, niño y computador, que los hace diferentes y a cada uno más

eficiente para las tareas que hemos comentado. Las estructuras de los computadores artificiales nos

son totalmente conocidas, ya que hemos sido sus diseñadores. Por contra, los sistemas biológicos

como el niño, son muy poco conocidos. Sabemos sin embargo que, bajo la supervisión de algún ente

inteligente o sin ella, el sistema computacional del niño es el resultado del trabajo de los

mecanismos evolutivos durante muchos millones de años. No es extraño por tanto, que desde

múltiples visiones la ciencia haya intentado y continúe intentando, abordar el conocimiento de los

mecanismos capaces de generar sistemas de tal calidad entre los que se incluye el ser humano. El

campo de conocimiento de la "Vida Artificial" surge para abordar esta tarea desde la nueva

perspectiva que aparece, debido a las posibilidades que ofrece la joven ciencia del tratamiento de la

información.

No obstante nuestro escaso conocimiento de los mecanismos computacionales biológicos

nos permite afirmar que la arquitectura von Neumann, basada en una unidad central que ejecuta

secuencialmente una lista de órdenes, no se asemeja en nada a lo que conocemos de los mecanismos

que aparecen en el cerebro. Así como las máquinas von Neumann son totalmente conocidas, de los

mecanismos que contiene el cerebro, aunque se conoce cual es su anatomía, qué tareas están

relacionadas con qué zonas concretas y en general algunos de los procesos que en él aparecen; muy

poco conocemos, por no decir nada, acerca de cómo su anatomía y los mecanismos que contiene

gestionan y procesan la información que evidentemente alberga.

Es natural por tanto que desde el nacimiento mismo de la computación, a mediados de siglo,

hayan existido intentos de diseñar sistemas que simulen los mecanismos que al parecer utiliza el

cerebro para procesar la información. De estos intentos, así como de sus logros y su semejanza con

los sistemas neuronales biológicos vamos a hablar a continuación.

2. Estructura y mecanismos de las redes neuronales biológicas

Vamos a realizar una breve descripción del elemento básico de los sistemas biológicos, la

neurona. Es importante destacar que, con la finalidad de ilustrar sucintamente la naturaleza de los

mecanismos que la biología utiliza para procesar información, lo que aquí describiremos son tan

sólo algunos mecanismos neuronales básicos. Mas adelante realizaremos algunas apreciaciones

acerca del volumen computacional real de los sistemas biológicos.

La célula básica de las redes neuronales biológicas es la neurona, su estructura puede verse

en la 1. Dicha estructura es similar a la de cualquier otra célula del organismo, con algunas

diferencias. La membrana celular tiene unas propiedades eléctricas determinadas. En la neurona

pueden diferenciarse varias partes. Su campo receptivo esta formado por una serie de apéndices

denominados dendritas; a estas dendritas se conectan ramificaciones del axón de otras neuronas

mediante contactos con un comportamiento electroquímico característico. A estas conexiones se las

denomina sinapsis; todas las dendritas confluyen en el cuerpo neuronal, y de él, parte un único

apéndice con propiedades específicas por el que emerge la respuesta de la célula a las perturbaciones

que recoge a lo largo de sus dendritas, este apéndice conocido con el nombre de axón está recubierto

en numerosos casos por una vaina de mielina que lo aísla eléctricamente; esta vaina de mielina se

interrumpe de forma discreta a lo largo del axón en los puntos que se conocen como nodos de

Ranvier.

Con el fin de ilustrar la naturaleza de estas células podemos dar algunos valores físicos

característicos. La longitud de una neurona puede tomar valores muy distintos, desde valores

microscópicos hasta una longitud de varias decenas de centímetros, el cuerpo de la célula puede

estar en la médula y la fibra alcanzar la mano o el pie. En cuanto al diámetro del axón o las

Ilustr. 1 Estructura básica de la neurona biológica.

dendritas, éste puede tomar valores entre 1 a 20 micras. Un nervio contiene miles y algunos hasta un

millón (el nervio óptico) de fibras neuronales.

Los mecanismos que pueden observarse a nivel de la membrana neuronal parecen ser

responsables de gran parte de la capacidad operativa de la neurona, por ello realizamos a

continuación una descripción ilustrativa, aunque muy simple, de los mismos. Nos ayudaremos de la

2 para realizar esta descripción.

La membrana celular separa el plasma intracelular del fluido intersticial que se encuentra en

el exterior. En ella aparecen varios tipos de iones: iones cloruro (CL-), iones potasio (K+) e iones

sodio (Na+) entre otros, además de algunos iones orgánicos negativos. La membrana es permeable a

algunos de estos iones y actúa manteniendo cierta diferencia de potencial entre el interior y el

exterior de la célula. Este efecto se consigue principalmente mediante el mecanismo que se

denomina "bomba de sodio-potasio"; éste fuerza a que dentro de la célula aparezca una mayor

concentración de potasio, mientras fuera es mas alta la concentración de sodio. Todas las especies

iónicas se pueden difundir a traves de la neurona a excepción de los iones orgánicos. Al permanecer

éstos fijos en el interior de la neurona, la concentración de iones cloruro es mayor en el exterior para

Ilustr. 2 Mecanismos de la membrana neuronal.

equilibrar la carga.

El resultado de las fuerzas eléctricas más la bomba de sodio-potasio, establecen mayores

concentraciones de iones orgánicos y potasio en el interior de la célula, y de iones cloro y sodio

fuera. La consecuencia de estos mecanismos es la existencia de una diferencia de potencial eléctrico

de unos 70 a 100mv., encontrándose el polo más negativo en el interior de la neurona. Este potencial

recibe el nombre de potencial de reposo de la neurona. Mientras la membrana no es perturbada

mantiene fijo el potencial existente entre el interior y el exterior de la célula. Sin embargo si la

membrana es perturbada en algún punto, bien sea mediante una diferencia de potencial, bien por

otras causas, el potencial existente entre el interior y el exterior de la membrana se invierte, aparece

por tanto una zona de membrana en la que el potencial es distinto al resto. Al existir una diferencia

de potencial invertida, también aparece una diferencia de potencial en los bordes de la zona de

membrana que se ha perturbado. Debido a esta diferencia de potencial y a la naturaleza

fisicoquímica de la membrana, esta diferencia de potencial viaja a lo largo de la membrana. Este

efecto recibe el nombre de potencial de acción (ver 3). Es importante destacar que el potencial de

acción no constituye una corriente eléctrica tal y como pueda ser la corriente que aparece en un

conductor de cobre ya que por un lado, los procesos que aparecen en el potencial de acción son

reacciones fisicoquímicas complejas que no se reducen a una simple transmisión de carga, y por

otro, la energía, tanto para la propagación como para la respuesta, la genera la membrana y no

Ilustr. 3 Potencial de reposo y potencial de acción.

procede del estímulo.

También son importantes en cuanto a la capacidad operativa de la neurona sus mecanismos a

nivel sináptico; por ello comentamos a continuación de una forma simplificada y ayudándonos con

la 4, sus características mas importantes. La sinapsis es el punto de contacto entre dos células

nerviosas. En ella puede distinguirse la membrana presináptica, la postsináptica y ciertas

vesículas que contienen unas sustancias denominadas neurotransmisores. Cuando el potencial de

acción llega a la membrana presináptica, las vesículas que contienen los neurotransmisores los

liberan sobre la separación sináptica. Los neurotransmisores liberados se unen a la membrana

postsináptica en unas zonas determinadas llamadas receptores. La unión de los neurotransmisores

produce en la membrana cambios de permeabilidad para ciertos iones, lo que crea un flujo de iones a

traves de la membrana y por tanto una alteración del potencial de reposo. Esta alteración es una

despolarización de efecto excitatorio si los iones entrantes son positivos, y será una

hiperpolarización de efecto inhibitorio si los iones que entran son negativos. Estos eventos se

producen en múltiples sinapsis de una misma célula y sus efectos se suman en el montículo del

axón. Si la suma de estos efectos es mayor que un cierto umbral se genera un potencial de acción

que viaja por el axón hasta los contactos sinápticos que lo conectan con dendritas de otras neuronas.

Ilustr. 4 Contacto sináptico.

Según los análisis fisiológicos realizados desde un punto de vista biológico, los mecanismos

que regulan la activación en la neurona son mecanismos de sumación sobre las entradas, jugando los

contactos sinápticos un papel importante. Estos mecanismos de sumación fueron la inspiración para

el diseño de los primeros modelos neuronales basados en un sumador, en el que cada entrada es

ponderada por el valor de la sinapsis y la neurona se activa si la suma obtenida supera cierto valor de

umbral. Puede verse este modelo gráficamente en la 5, donde X1,..., Xn son los valores que aparecen

en cada una de las entradas a la neurona y W1,..., Wn son los pesos sinápticos asociados a cada una.

Las distintas redes neuronales artificiales que se han ido diseñando, constituyen básicamente

diversas pruebas sobre este modelo, en cuanto a estructura y método de definición de pesos

sinápticos. En el apartado siguiente describiremos de forma simplificada las redes neuronales

artificiales más significativas.

Queremos insistir en que lo que se ha descrito, es tan sólo una muestra de los múltiples

mecanismos que existen en las redes neuronales biológicas. Más adelante procuraremos ilustrar cual

es la capacidad computacional y la gran variedad de mecanismos que pueden encontrarse en los

sistemas biológicos.

Ilustr. 5 Esquema básico de sumador mas umbral.

3. Estructura y mecanismos de los sistemas neuronales artificiales

Según hemos comentado, dedicaremos este apartado a describir los modelos de redes

neuronales artificiales que se han propuesto. Para ello realizaremos un recorrido a lo largo de la

historia e iremos describiendo las más significativas.

Los primeros pasos se remontan a mitad de este siglo [0]. En 1943 W.McCulloch, un

psiquiatra que trabajó más de 20 años en el estudio de la representación de la información en el

sistema nervioso, y W.Pitts, matemático, con su trabajo "A logical calculus of the ideas immanent in

nervous activity" [0], fueron pioneros en el campo de la computación neuronal. Sus trabajos, casi

contemporáneos con la definición de las bases de las máquinas von Neumann, marcaban otras

alternativas para abordar tareas de procesamiento de información. Según comentaremos, debido a

sus características y a la tecnología de la época, las máquinas de estructura Von Neumann tuvieron

un mayor y más continuo desarrollo, aunque curiosamente Von Neumann utilizó algunos de los

elementos de los descritos por McCulloch y Pitts, en el diseño de EDVAC (Electronic Discrete

Variable Automatic Computer) [0], y dedicó sus últimos estudios, hasta poco antes de su muerte en

1957, a analizar las diferencias entre el funcionamiento del cerebro y el de los computadores [0].

En 1948, Wiener publicó su libro "Cybernetics" [0], en el que describe conceptos

importantes de campos como el de las comunicaciones, control, o el tratamiento de señales, tratando

este último desde un punto de vista estadístico. En este trabajo [0] y otros posteriores [0][0] Weiner

apunta la importancia de los mecanismos estadísticos en el campo que nos ocupa, pero tendrán que

transcurrir treinta años hasta que Hopfield realice el puente entre los mecanismos estadísticos y los

sistemas con capacidad de aprendizaje.

Otro importante hito en el campo de las redes neuronales tiene lugar en 1949, con la

publicación del libro "The Organization of Behavior" escrito por D.O. Hebb. Hebb propone su

postulado sobre el aprendizaje según el cual, el peso de una sinapsis que une dos neuronas se

incrementa cuando una neurona activa a otra repetidamente mediante dicho contacto sináptico. Los

postulados de Hebb tuvieron un fuerte eco en el campo de la psicología, pero desafortunadamente no

tuvieron el debido impacto en los investigadores dedicados al mundo de la computación. Aunque las

ideas de Hebb no han tenido, a nuestro juicio, el eco debido, sí han servido de inspiración para

diversos trabajos. Trabajos como los de Rochester, Holland y Duda [0], o los de Uttley [0]

demuestran la posibilidad del diseño de redes basadas en los principios de Hebb con capacidad de

aprender a clasificar diversos grupos de datos binarios. Otros investigadores trabajaron en esta línea,

Ashby apoyaba la idea de que el comportamiento adaptativo no aparece innato, si no que se aprende

[0], y Minsky concretó diversas ideas en este campo [0][0]. Contemporáneamente, Gabor realizó su

propuesta de filtros adaptativos no lineales [0][0].

Otro concepto con el que se trabajó durante los años cincuenta fue el concepto de memoria

asociativa. Tras este concepto introducido por Taylor en 1956 [0], surgieron las matrices de

aprendizaje introducidas por Steinbuch en 1961 [0]. Tanto Willishaw, Buneman y Lonqut-Higgins

[0], como Anderson [0], Kohonen [0] y Nakato [0], trabajaron en redes neuronales basadas en estas

mastrices.

También en los años cincuenta, aparecen los primeros estudios sobre fiabilidad apoyados en

conceptos de redes neuronales. Se intentan diseñar sistemas de alta fiabilidad usando neuronas "poco

fiables" en redes redundantes [0], [0].

En 1958, de los estudios de reconocimiento de formas realizados por Rosemblatt [0], nace

el perceptrón, y tras él su teorema de convergencia [0].

Estructuralmente el perceptrón se compone de varias capas de neuronas con capacidad de

sumador más umbral (ver 6). En la zona sensorial se genera la entrada a la primera capa denominada

zona de asociación. La salida de las neuronas de esta capa es a su vez entrada en otra capa neuronal

que recibe el nombre de zona de respuesta. La salida de las neuronas de esta última capa configura la

respuesta de la red. El método de aprendizaje se basa en potenciar los pesos de las sinapsis que

participan en caso de acierto, y decrementar el de las que participan en caso de fallo.

Ilustr. 6 Estructura básica del perceptrón.

El perceptrón básicamente ofrece un mecanismo para la clasificación de subconjuntos

dispuestos en el hiperespacio de manera que estos sean separables por hipersuperficies. El problema

de la XOR, función que no puede ser aprendida mediante un perceptrón, es un ejemplo básico de no

clasificabilidad debido a que las soluciones no pueden separarse mediante hiperplanos en el espacio

de salida. Para solucionar este problema de no clasificabilidad, es posible incluir capas intermedias

"ocultas", con las que se dota la red de la capacidad de realizar intersecciones entre los hiperplanos

definidos por las primeras capas. De esta manera se pueden hacer clasificables conjuntos no

separables mediante hiperplanos con una sóla capa neuronal.

Tanto el número de capas de un perceptrón, como el número de neuronas que contiene cada

capa, son valores que se obtienen por métodos empíricos sin que existan reglas para su

determinación. Por otra parte es de destacar que la red como tal, no contiene los recursos que son

necesarios para realizar el aprendizaje; estos, pertenecen al host y por tanto es él host el autor del

aprendizaje.

En esta misma línea Widrow y Hoff desarrollan el algoritmo de mínimos cuadrados y lo

usan para definir el "Adaline", que se diferencia del perceptrón en el sistema de aprendizaje. Como

generalización del adaline para el reconocimiento de formas, Widrow propone el "Madaline" en

1962 [0].

Ilustr. 7 Estructura del Adaline.

El Adaline, nace y se emplea principalmente en el campo de tratamiento de señales. Su

estructura se compone de una sóla neurona con comportamiento de sumador mas umbral (ver 7). Al

subsistema formado por el sumador se le conoce con el nombre de "combinador adaptativo lineal" y

la entrada X0 tiene una naturaleza distinta de las demás y se conoce con el nombre de término de

tendencia. El adaline se diferencia del perceptrón principalmente en que el adaline está compuesto

por una sóla neurona mientras que el perceptrón es una red de varias capas con varias neuronas por

capa. Por otro lado, el término de tendencia, cuya inclusión se debe a la experiencia empírica, no

aparece en el perceptrón. Además, la salida en el adaline se formula como 1 y -1, siendo 0 ó 1 en el

caso del perceptrón.

Pero la diferencia principal reside en los mecanismos que se utilizan para realizar el

aprendizaje. En el adaline, al que se presentan una serie de vectores cada uno acompañado de su

correspondiente valor de salida, el aprendizaje es realizado calculando la función que define el error

cuadrático medio entre la salida obtenida y la deseada, haciendo depender dicha función de los pesos

de las sinapsis, y obteniendo después los valores de los pesos que minimizan el valor de esta

función. Este proceso denominado de mínimos cuadrados (LMS) se realiza tomando la salida del

combinador adaptativo lineal, es decir, el valor obtenido en el sumador antes de someterlo al umbral

posterior.

Al igual que sucede en el caso del perceptrón, los mecanismos que realizan el aprendizaje no

están contenidos en la estructura de sumador más umbral que define al adaline. El autor del

aprendizaje continua siendo el host, y por tanto un sistema externo al neuronal conforme éste se ha

definido.

El Madaline es básicamente un conjunto de adalines, estos pueden estar dispuestos en varias

capas de forma similar a como estaba configurado el perceptrón, o pueden estar dispuestos en una

capa cubriendo las distintas posibilidades posicionales que puede ocupar un vector de entrada en el

espacio de entradas. El entrenamiento se realiza mediante un método similar al de mínimos

cuadrados, pero con algunas variaciones, este método se conoce con el nombre de Regla II de

Madaline (MRII), y es de prueba y error teniendo en cuenta el principio de mínima perturbación.

Tampoco en el madaline los mecanismos de aprendizaje están contenidos en la estructura

que define la red.

Este primer período en el estudio de las redes neuronales que comienza en 1943 con los

primeros trabajos de McColloch y Pitts, finaliza en los años sesenta con una etapa de euforia en la

que parece que el perceptrón puede hacer cualquier cosa. Este entusiasmo de los años sesenta se ve

frenado de repente en 1969 con la aparición del libro de Minsky "Perceptrons" [0], en el que se

definen las limitaciones computacionales de los perceptrones de una capa, y se pone de manifiesto la

falta de teorías que permitan asegurar, que la capacidad de computación de los perceptrones de una

capa pueda transportarse a los perceptrones multicapa sin mas. Misky prueba que la capacidad de

clasificación del perceptrón está limitada a las clases separables por hiperplanos en el hiperespacio

asociado, y también pone de manifiesto el problema del escalado; las redes neuronales basadas en el

perceptrón funcionan con problemas de juguete, pero no dan resultado al crecer en complejidad y

tamaño para enfrentarse a problemas reales. Además de las afirmaciones de Minsky acerca de las

limitaciones del perceptrón, también influye en la falta de desarrollo de las redes neuronales durante

los años setenta la tecnología existente en la época. Esta tecnología fue apropiada para el desarrollo

de máquinas Von Neumann, pero no estaba preparada para soportar la realización de redes

neuronales.

Los años setenta son por tanto años con pocos desarrollos en el campo de las redes

neuronales. Fruto de los incondicionales que continúan trabajando en este campo durante esta

década son el concepto de aprendizaje competitivo [0][0] y las estructuras de mapas

autoorganizativos introducidas por Von der Malsburg en 1973 [0] [0], que adquirirían mayor eco en

los años ochenta con los trabajos realizados por Kohonen [0].

La década de los ochenta comienza con los trabajos de Grossberg de 1980 [0]. Estos parten

de sus trabajos de principios de los setenta [0][0] para introducir la teoría de la resonancia

adaptativa ART. Esta teoría pretende definir un sistema en el que sea posible aprender

dinámicamente durante la fase de funcionamiento. Se enfrenta por tanto al dilema entre estabilidad y

plasticidad, donde entendemos como estabilidad la capacidad de la red de mantener lo ya

aprendido sin alterarse ante entradas irrelevantes, y entendemos como plasticidad la capacidad de

adaptarse a nuevas entradas significativas. Los sistemas neuronales artificiales que se han diseñado

sobre estas bases utilizan mecanismos competitivos, y añaden un mecanismo de realimentación

entre la capa competitiva y la capa de entrada a la red, que permite aprender nueva información sin

destruir el conocimiento adquirido. La red ART1 trabaja con vectores de entrada binarios, mientras

la red conocida como ART2 trabaja sobre entradas analógicas o señales digitalizadas.

Su estructura (ver 8) puede dividirse en varios bloques funcionales que pasamos a concretar.

El sistema se divide en dos bloques principales: el subsistema de atención y el subsistema de

orientación.

El subsistema de atención se subdivide a su vez en tres partes. La capa F1, o capa de entrada

que además de admitir el vector de entrada, recibe el mapa de activación de F2 y emite una

respuesta, de forma similar a como la genera la capa de outstar de una red de contrapropagación. La

capa F2 que genera una activación de tipo competitivo dependiente de la trama de entrada. Y el

sistema de control de ganancia que realiza funciones tendentes a controlar el flujo de información

procedente de capas superiores e inferiores, si suponemos varias capas de ART superpuestas.

El subsistema de orientación tiene una labor distinta, compara el vector de entrada con el

emitido por la capa F1 al analizar el mapa de activación que genera la capa F2. El subsistema de

orientación compara por tanto la entrada con la decisión de la red, si los vectores comparados son

similares la red asume que el vector de entrada está entre los ya aprendidos; si los vectores

comparados difieren, la red entrará en modo plástico haciendo competir de nuevo a la capa F2, para

que realice un nuevo aprendizaje sobre el vector de entrada.

Ilustr. 8 Estructuras de resonancia adaptativa.

En este caso, las redes ART, sí contienen los mecanismos necesarios para llevar a cabo el

aprendizaje en el sistema, lo que supone una diferencia importante con otros sistemas neuronales

artificiales.

En 1982 Hopfield [0], utilizando la idea de una función de energía abre un nuevo enfoque en

la interpretación de las redes neuronales, y trabaja con la memoria bidireccional asociativa (BAM)

definiendo los modelos de memoria de Hopfield discreto y continuo. Este nuevo enfoque abrió una

nueva visión en el campo de la redes neuronales y creó gran controversia debido, entre otras causas,

al alejamiento que supone de los ejemplos biológicos conocidos.

El modelo de BAM propuesto por Hopfield tiene la estructura que puede verse en la 9.

Básicamente aparecen n unidades en la capa X y m en la capa Y. Ambas pueden ser interpretadas

como entrada o como salida, ya que la BAM tiende a tener la capacidad de generar como salida el

vector Y si aparece como entrada el X, y viceversa.

Ilustr. 9 Estructura BAM.

Para el entrenamiento se utilizan dos conjuntos de vectores, los vectores de un grupo pueden

tener distinto número de coordenadas que los del otro, y se relacionan con estos de forma biyectiva

(uno a uno). Para el entrenamiento basta con mostrar a la red todos los pares de vectores asociados

una sóla vez, y en la matriz de pesos, cada uno de estos pesos toma un valor proporcional a las veces

que coinciden la coordenada del vector de entrada con el de salida. En el fondo es una aplicación del

principio de Hebb.

Uno de los problemas más importantes de la red neuronal artificial propuesta por Hopfiel, es

aquél que se conoce como problema de interferencia cruzada, este aparece cuando un conjunto

elevado de vectores de entrenamiento deteriora la capacidad de la red. Esto es debido a que el

modelo propuesto por Hopfield impone el lenguaje definido por el observador en la estructura de la

red. Es decir, se impone un vector de salida concreto a un vector de entrada concreto. Esto hace que

la decisión con respecto a un vector de entrada determinado sea enturbiada por los efectos que en el

aprendizaje ejercieron otros vectores de entrada con coordenadas similares en el vector de salida.

Otra importante aportación del modelo es el concepto de función de energía. En la red se

define una función de energía, y la obtención de una respuesta a un vector de entrada dado, consiste

en un proceso tendente a la

minimización de dicha energía (ver

10), los métodos utilizados para la

búsqueda de la energía mínima están

basados en ir descendiendo por la

superficie que define la función de

energía, en dirección de la máxima

pendiente, este proceso conlleva la

posibilidad de quedar atrapado en

valles locales. Este planteamiento

ofrece la posibilidad de trabajar en el

campo de la mecánica estadística.

Como aspecto negativo del modelo de Hopfiel, puede destacarse, además del problema de

interferencia cruzada ya comentado, el alejamiento de las estructuras que se conocen en los sistemas

biológicos.

Según hemos visto, en este caso el método de aprendizaje es sumamente sencillo, pero no

reside en mecanismos internos a la estructura de la red, según ésta se define.

Ilustr. 10 Energía en la BAM.

El siguiente paso fueron los trabajos de Kirkpatrick, Galant y Vecchi en 1983 [0] en los se

define el temple simulado "Annealing" para resolver el problema de las soluciones situadas en

mínimos locales que aparecía en las redes diseñadas bajo el modelo planteado por Hopfield. Para sus

trabajos, estos investigadores utilizan como base los conceptos de termodinámica estadística.

Ackley, Hinton y Sejnowski volverán a trabajar en 1985 sobre estos conceptos aprovechando las

propiedades de la distribución de Boltzman [0].

Las estructuras de temple o "Annealing", tienen el objetivo de reducir la posibilidad de que

la red obtenga como solución un mínimo local. Conviene comentar que para muchas aplicaciones es

suficiente con encontrar una solución con un error permisible, aunque no corresponda al mínimo

global, siendo usual llegar a una solución de compromiso entre el error que se obtiene y el coste

computacional que conlleva reducirlo.

El nombre de "temple", es debido a la similitud del proceso con el proceso de templado de

los metales. El concepto de temple se define sobre principios de teoría de la información y mecánica

estadística. La respuesta de la red se alcanza haciendo disminuir la función de energía de forma

similar a como se hace en las redes de Hopfield, pero en vez de utilizar un método determinista

como en ese caso, se utilizan variables estocásticas y un parámetro de temperatura T, con el que se

controla la "temperatura" de la red. Durante el proceso, la temperatura de la red se eleva y después

se hace disminuir lentamente. Esta operación puede repetirse varias veces al igual que el templado

de un metal, y con ello se reduce la posibilidad de que el sistema quede prisionero en un mínimo

local y aumenta la de que llegue a alcanzar el mínimo global.

Los mecanismos realizados sobre estos principios son la máquina de Boltzman y la red de

Boltzman modificada.

En los sistemas biológicos existen multitud de ejemplos en los que aparece una ordenación

física de las neuronas que responden a una determinada señal, atendiendo a la escala de valores que

ésta pueda adoptar. Este efecto se conoce como correspondencia ordenada de características. Un

ejemplo claro es el mapa tonotópico de las neuronas auditivas, según el cual las neuronas

físicamente próximas entre sí responden a frecuencias de sonido similares según una sucesión

ordenada desde los tonos más altos hasta los más bajos. Otro ejemplo es el mapa somatotópico que

define la localización de los nervios motores.

En 1984 Teuvo Kohonen, planteó las bases de los denominados mapas autoorganizativos,

estos son un intento de establecer en las redes neuronales artificiales, mecanismos que permitan una

distribución ordenada de las neuronas que componen la red, con respecto a la ordenación que se

defina sobre el espacio de entradas. Estos sistemas están basados en mecanismos competitivos sobre

una capa de instar, con los que no sólo se modifican los pesos de la neurona vencedora si no que

también se modifican, tendiendo a los valores del vencedor, los pesos de las neuronas que

pertenecen a un intervalo de vecindad de la neurona vencedora.

En 1987 Robert Hecht-Nielsen, define las redes de contrapropagación. La estructura de la

red de contrapropagación es concebida combinando dos estructuras existentes previamente: la red

competitiva con estructura de Instar y las Outstar. La estructura completa puede verse en la 11, pero

para analizarla es conveniente redibujarla de forma simplificada según puede verse en la 12. En la

estructura de contrapropagación podemos distinguir varios bloques funcionales: una capa de entrada,

las instar trabajando con mecanismos competitivos y las outstar.

Ilustr. 11 Estructura de contrapropagación completa.

La capa de entrada básicamente normaliza el valor de entrada consiguiendo la denominada

trama de reflectancia con la que se pretende desnudar a la señal de cambios globales en su

intensidad.

La instar es básicamente un módulo de recepción de información. Funciona en base a

ecuaciones diferenciales. El valor de salida es el producto escalar entre el vector de entrada y el

vector de pesos, por lo que el valor de salida será máximo cuando el vector de pesos y el vector de

entrada tengan la misma dirección. El aprendizaje va por tanto encaminado a orientar el valor de

pesos hacia el centroide de la dirección de los vectores de la clase de entrada a la que se asocia dicho

conjunto de vectores de entrada. Un grupo de instar, especializada cada una de ellas en una clase de

vectores (entendiendo como clase un conjunto de vectores de entrada con una dirección similar)

diferenciará cada vector como perteneciente a una clase determinada, ya que al presentar este vector

como entrada a la capa de instar, la instar que adquiriría mayor valor de activación será aquélla

correspondiente a la clase a la que pertenece el vector de entrada.

La capa de instar en la red de contrapropagación está dotada de mecanismos competitivos.

Cada neurona recibe una señal positiva de realimentación procedente de ella misma y envía su salida

Ilustr. 12 Estructura de contrapropagación simplificada.

de forma inhibitoria, es decir como entrada negativa, a todas las demás neuronas de la capa. Esto

hace que la neurona que tiene la salida más elevada permanezca activa, mientras el resto pierde su

actividad. Bastará por tanto con dotar de comportamiento competitivo a una capa de instar, para que

tras una etapa de aprendizaje, a la presencia de un vector a la entrada, la capa responda activando la

instar correspondiente a la clase de dicho vector.

En la capa de outstar (capa 4) cada neurona tiene como entrada la salida de todas las de la

capa de instar anterior (capa 3). En la capa de outstar (capa 4), además de las entradas procedentes

de las instar existe una entrada de entrenamiento. Durante el aprendizaje, cada neurona de entrada

aprende qué valor de entrenamiento acompaña a la activación de cada instar. Durante la fase de

funcionamiento, cuando no aparece valor de entrenamiento, la neurona de la capa de salida

reproduce, con la activación de una instar concreta, el valor de entrenamiento que la acompañaba

durante la fase de aprendizaje.

El funcionamiento de la red de contrapropagación es fácil de analizar sobre la 12. El vector

de entrada genera una competición en la capa de instar o capa 2. La instar vencedora generará como

salida en las neuronas de la capa 3, el valor de entrenamiento que acompañó a dicha activación

durante el proceso de aprendizaje.

También durante la década de los ochenta se realizan algunos trabajos referentes a

aprendizaje con refuerzo [0] que tienen su origen en los trabajos de Minsky de mediados de siglo

[0].

Puede afirmarse que lo más destacado de la década de los ochenta, junto con los trabajos de

Hopfield, es algoritmo de retropropagación o "back-propagation". Este fue conocido a partir de los

trabajos de Rumelhart, Hinton y Williams en 1986 [0], aunque fue propuesto anteriormente por

Werbos en su tesis doctoral en agosto de 1974 [0]. El algoritmo de retropropagación ha sido el más

utilizado para el entrenamiento de perceptrones multicapa, y éste, junto con las aportaciones de

Hopfield son los responsables del resurgimiento de las redes neuronales en la década de los ochenta.

El algoritmo de backpropagation propuesto con poco éxito por Webros en 1974, y vuelto a

definir por Rumelhart en 1986, es un algoritmo de aprendizaje que se utiliza sobre una red neuronal

clásica de sumadores, un madaline, con la característica de que está totalmente conectada entre

capas, y no tiene realimentaciones ni conexiones adelantadas. Asocia pares de vectores de

entrada-salida, la entrada se propaga hasta la salida y una vez obtenida ésta se calcula el error

comparándola con la salida deseada. El error calculado se propaga hacia detrás, influyendo en cada

uno de los pesos, según su influencia en la decisión tomada por la red.

Existen otros trabajos en esta década como son los de Linsker de 1988 enfocados hacia el

principio de preservación de la máxima información [0], o los de Broomhead y Lowe también del

1988 en los que abordan el problema del diseño de redes realimentadas usando funciones básicas

radiales (RBF) [0], y que encuentran continuidad en los realizados por Poggio y Girosi en 1990 [0].

Existen en esta segunda época de resurgimiento de las redes neuronales, multitud de trabajos

enfocados hacia las tecnologías necesarias para su realización, y mas concretamente en el campo del

VLSI [0].

4. Deficiencias entre los sistemas neuronales artificiales y los biológicos

Al principio de este trabajo describimos los mecanismos neuronales básicos que inspiraron

los diseños de las redes neuronales artificiales que posteriormente hemos descrito, pero no son estos

ni mucho menos los únicos mecanismos que aparecen en los sistemas de computación biológicos.

Las células del sistema nervioso de los seres vivos son mucho más ricas y complejas de lo que

define el modelo de sumador más umbral. Para avalar esta afirmación basta con comentar, como

hacemos seguidamente, algunos de los procesos existentes en las redes neuronales biológicas.

En cuanto a su arquitectura, en los sistemas biológicos encontramos múltiples estructuras de

las que no existe equivalente en las redes artificiales. Podemos comentar la capacidad de

morfogénesis y capacidad selectiva (migración, diferenciación, especificidad de conexiones,...) la

plasticidad y muerte selectiva (poda de conectividad sobreabundante, reconfiguración tras lesión,...),

o muchas de las tipologías existentes ( barriles, circuitos locales,...). Por otro lado, en cuanto a la ruta

de datos, en los sistemas biológicos existen transmisiones atenuadas (pasivas) o no atenuadas

(activas) sobre impedancias no lineales, aparecen también mecanismos de facilitación e inhibición

absoluta, y conducciones en sentido inverso; sin que existan en los sistemas artificiales mecanismos

de este estilo. La computación que se realiza a nivel local es también sustancialmente diferente, en

los sistemas biológicos aparece transducción logarítmica, filtros sintonizados a neurotransmisores

específicos, disparo por derivada del estímulo, computación algorítmica local dependiente del nivel

bioquímico, mecanismos de fatiga o falta de actividad, o multiplicidad funcional. Igualmente estos

mecanismos no se incluyen en los diseños de redes neuronales artificiales, como tampoco se

incluyen muchos mecanismos de memoria que aparecen en sistemas biológicos como los de

memoria analógica distribuida, retardos sobre sinapsis, mecanismos de adaptación, períodos

refractario absoluto y relativo, o mecanismos de memoria dinámica o ciclos de oscilación. También

aparecen en los sistemas biológicos potenciales lentos, trenes de impulsos o sincronizaciones locales

o masivas que tampoco se han duplicado en los sistemas artificiales.

Según J.Mira lo hasta aquí expuesto son tan sólo algunas de las diferencias entre los

sistemas biológicos y los artificiales [0], es por tanto evidente la diferencia en cuanto a riqueza de

mecanismos y funcionamiento que existe entre los sistemas biológicos y los modelos propuestos en

el campo de las redes neuronales artificiales. Esta diferencia no es sólo en cuanto a su estructura y

mecanismos de funcionamiento, si no también en cuanto a la falta de autonomía para el aprendizaje

que aparece en multitud de sistemas artificiales y que evidentemente, sí poseen los sistemas

neuronales biológicos. J. Mira, junto con sus colaboradores, entre los que nos encontramos los

autores de este trabajo, define su línea de trabajo hacia la búsqueda de modelos computacionales

más cercanos a los que se observan en la biología, para los que se impone entre otras, la capacidad

de autoprogramación con el fin de obtener sistemas dotados de autonomía para el aprendizaje.

Vamos a continuación a comentar, tambien según J. Mira, algunas de las causas por las que

los sistemas neuronales artificiales no consiguen asemejarse a los biológicos.

En primer lugar, salvo algunos trabajos como los de J. Mira [0], existe una importante falta

de metodología a la hora de abordar el diseño de sistemas neuronales artificiales. Es notoria entre

otros aspectos la falta de especificación del producto final. La pregunta "¿ Qué características debe

tener el sistema que se desea diseñar ?", básica antes de iniciar cualquier diseño, no suele abordarse

en este campo. Los sistemas neuronales artificiales suelen diseñarse intentando emular mecanismos

biológicos, pero sin realizar especificaciones previas de funcionamiento. Todas las soluciones

propuestas en el mundo de las redes neuronales parten de mecanismos definidos desde el punto de

vista propio inspirados en la biología u otros campos, sumador más umbral, mapas autoorganizativos

o neocognitrón por ejemplo, y pretenden desde este punto de partida, resolver un amplio abanico de

problemas computacionales que tienen una naturaleza definida desde el punto de vista del

observador. Esto conlleva una diversidad de estructuras similares pero difíciles de interpretar dentro

de un mismo lenguaje.

El exceso de seguimiento de los sistemas de sumador más umbral y defecto de utilización de

muchos otros mecanismos, como los que hemos descrito, que aparecen en los sistemas biológicos,

impide también un mayor desarrollo de los sistemas neuronales artificiales.

Otro factor que dificulta a nuestro juicio el desarrollo de redes neuronales más eficientes es

el exceso de empirismo con el que se trabaja en este campo, tanto es así, que en algunos casos la red

aprende y funciona pero no sabemos por qué.

En resumen pues, la falta de atención hacia los análisis sobre la capacidad computacional

real de los sistemas biológicos, la utilización de modelos artificiales extremadamente simplificados,

la escasez de diseños causales proliferando aquéllos en los que no se controlan los mecanismos de

funcionamiento, y un exceso de componente empírica en gran parte de los desarrollos realizados,

han llevado esta disciplina a un punto en el que, debido tanto al escaso número de recursos

computacionales propuestos como a la falta de definición en cuanto a las propiedades y capacidades

que les son asociadas, resulta difícil avanzar.

Según lo comentado a lo largo de este trabajo, en el campo de conocimiento de las redes

neuronales artificiales se han probado diversos modelos de computación intentando emular los

sistemas biológicos, pero todos ellos quedan bastante alejados de su objetivo. Queda por tanto

mucho camino por recorrer hasta llegar a conocer e incluso realizar artificialmente los mecanismos

que los sistemas biológicos emplean para almacenar y procesar la información. Esta situación hace

del campo de conocimiento de las redes neuronales, un campo de trabajo apasionante mediante el

que, si somos capaces de encontrar el camino correcto, podremos aumentar el conocimiento que

tenemos tanto del conocimiento en sí, como de las máquinas capaces de albergarlo y enriquecerlo.

Agradecimiento

Agradecemos el soporte económico proporcionado por la CICYT dentro del proyecto

TIC-940095 del que es investigador principal el prof. J. Mira y colaboradores los autores de este

trabajo.

Bibliografía

[1] ACKLEY, D.H.; HINTON, G.E.; SEJNOWSKI, T.J.; "A LEARNIG ALGORITHM FOR BOLZMANN

MACHINES". COGNITIVE SCIENCE, 9; pp 147 - 169; . 1985

[2] ANDERSON, J.A.; "A SIMPLE NEURAL NETWORK GENERATING AN INTERACTIVE MEMORY".

MATHEMATICAL BIOSCIENCES, 14; pp 197 - 220; . 1972

[3] ASHBY, W.R.; "DESING FOR A BRAIN"; WILEY. NEW YORK. 1952

[4] ASPRAY, W.; BURKS, A.; "PAPERS OF JOHN VON NEWMAN ON COMPUTING AND COMPUTER

THEORY". CHARLES BABBAGE INST. REP. SERIES FOR THE HIST. OF COMPUTING, VOL. 12; MIT

PRESS. CAMBRIDGE. 1986

[5] BARTO, A.G.; SUTTON, R.S.; ANDERSON, C.W.; "NEURONLIKE ADAPTIVE ELEMENTS THAT

CAN SOLVE DIFFICULT LEARNING CONTROL PROBLEMS". IEEE TRANSACTIONS ON SYSTEMS,

MAN AND CYBERNETICS; pp 834 - 846. IEEE

[6] BROOMHEAD, D.S.; LOWE, D.; "MULTIVARIABLE FUNCTIONAL INTERPOLATION AND

ADAPTIVE NETWORKS". COMPLEX SYSTEMS, 2; pp 321 - 355; . 1988

[7] GABOR, D.; "COMUNICATION THEORY AND CYBERNETICS". IRE TRANSACTION ON CIRCUIT

THEORY, CT-1; pp 19 - 31; . 1954

[8] GABOR, D.; WILBY, W.P.L.; WOODCOCK, R.; "A UNIVERSAL NONLINEAR FILTER PREDICTOR

AND SIMULATOR WHICH OPTIMIZES ITSELF BY LEARNING PROCESS". pp 422 - 435. LONDON

[9] GROSSBERG, S.; "NEURAL EXPECTATION: CEREBELLAR AND RETINAL ANALOG OF CELLS

FIRED BY LEARNABLE OR UNLEARNED PATTERN CLASSES". KYBERNETIK, 10; pp 49 - 57; . 1972

[10] GROSSBERG, S.; "ADAPTATIVE PATTERN CLASSIFICATION AND UNIVERSAL RECORDING: I.

PARALLEL DEVELOPMENT AND CODING OF NEURAL DETECTORS". BIOLOGICAL CYBERNETICS,

23; pp 121 - 134; . 1976

[11] GROSSBERG, S.; "NONLINEAR NEURAL NETWORKS: PRINCIPLES MECHANISMS AND

ARCHITECTURES". pp 17 - 61.

[12] HOPFIELD, J.J.; "NEURAL NETWROKS AND PHYSICAL SYSTEMS WITH EMERGENT

COLLECTIVE COMPUTATIONAL ABILITIES". PROCEEDINGS OF THE NATIONAL ACADEMY OF

SCIENCES OF THE U.S.A., 79; pp 2554 - 2558; . 1982

[13] KIRKPATRICK, S.; GELATT, C.D.; VECCHI, M.P.; "OPTIMIZATION BY SIMULATED

ANNEALING". SCIENCE, 220; pp 671 - 680; . 1983

[14] KOHONEN, T.; "CORRELATION MATRIX MEMORIES". IEEE TRANSACTIONS ON COMPUTERS,

C-21; pp 353 - 359; IEEE. 1972

[15] KOHONEN, T.; "SELF_ORGANIZED FORMATIONOF TOPOLOGICALLY CORRECT FEATURE

MAPS". BIOLOGICAL CYBERNETICS, 43; pp 59 - 69; . 1982

[16] LINSKER, R.; "AN APLICATION OF THE PRINCIPLE OF MAXIMUM INFORMATION

PRESERVATION TO LINEAR SYSTEMS". ADVANCES IN NEURAL INFORMATION PROCESSING

SYSTEMS, 1; pp 186 - 194; D.S. TOUTETZKY. SAN MATEO. CA

[17] MCCULLOCH, W.S.; PITTS, W.; "A LOGICAL CALCULUS OF THE IDEAS IMMANENT IN

NERVOUS ACTIVITY". BULLETIN OF MATHEMATICAL BIOPHYSICS, VOL. 5; pp 115 - 133; . 1943

[18] MEAD, C.A.; ISMAIL, M.; "ANALOG VLSI IMPLEMENTATION OF NEURAL SYSTEMS".

KLUWER. BOSTON. MA.

[19] MINSKY, M.L.; "THEORY OF NEURAL-ANALOG REINFORCEMENT SYSTEMS AND ITS

APPLICATION TO THE BRAIN-MODEL PROBLEM". PRINCETON. NJ

[20] MINSKY, M.L.; "STEPS TOWADS ARTIFICIAL INTELLIGENCE". PROCEEDINGS OF THE

INSTITUTE OF RADIO ENGINEERS, 49; pp 8 - 30; . 1961

[21] MINSKY, M.; PAPERT, S.; "PERCEPTRONS". MIT PRESS 88.

[22] MIRA, J.; DELGADO, A.E.; ALVAREZ, J.R.;A.P. DE MADRID; SANTOS, M.; "TOWARDS MORE

REALISTIC SELF CONTAINED MODELS OF NEURONS: HIGH-ORDER, RECURRENCE AND LOCAL

LEARNING". NEW TRENDS IN NEURAL COMPUTATION; pp 55 - 62; . LONDON. 1993

[23] MIRA, J.; MORENO-DIAZ, ROBERTO; "UN MARCO TEORICO PARA INTERPRETAR LA

FUNCION NEURONAL A ALTO NIVEL". I REUNION NACIONAL DE BIOCIBERNETICA; pp 151 - 179;.

MADRID. 1982

[24] NAKANO, K.; "ASSOCIATION-A MODEL OF ASSOCIATIVE MEMORY". IEEE TRANSACTIONS

ON SYSTEMS, MAN AND CYBERNETICS; pp 380 - 388. IEEE

[25] POGGIO, T.; GIROSI, F.; "NETWORKS FOR APPROXIMATION AND LEARNING". PROCEEDINGS

OF THE IEEE, 78; pp 1481 - 1497; IEEE. 1990

[26] RALL, W.; "SOME HISTORICAL NOTES". COMPUTATIONAL NEUROSCIENCE; pp 3 - 8; MIT

PRESS. CAMBRIDGE. MA

[27] ROCHESTER, N.; HOLLAND, J.H.; HABIT & W.L. DUDA, L.H.; "TEST ON A CELL ASSEMBLY

THEORY OF THE ACTION OF THE BRAIN USING A LARGE DIGITAL COMPUTER". pp 80 - 93.

[28] ROSENBLATT, F.; "THE PERCEPTRON: A PROBABILISTIC MODEL FOR INFORMATION

STORAGE AND ORGANIZATION IN THE BRAIN". PSYCHOLOGICAL REVIEW, 65; pp 386 - 408; . 1958

[29] ROSENBLATT, F.; "ON THE CONVERGENCE OF REINFORCEMENT PROCEDURES IN SIMPLE

PERCEPTRONS". CORNELL AERONAUTICAL LABORATORY; BUFFALO. 1960

[30] RUMELHART, D.E.; HINTON, G.E.; WILLIANS, R.J.; "LEARNING REPRESENTATIONS BY

BACK-PROPAGATING ERRORS". NATURE, 323; pp 533 - 536; . LONDON. 1986

[31] STEINBUCH, K.; "DIE LERMATRIX". KYBERNETIK, 1; pp 36 - 45; . 1961

[32] TAYLOR, W.K.; "ELECTRICAL SIMULATION OF SOME NERVOUS SYSTEM FUNCTIONAL

ACTIVITIES". INFORMATION THEORY, VOL. 3; pp 314 - 328; E.C. CHERRY. LONDON: BUTTERWORTH.

1956

[33] UTTLEY, A.M.; "A THEORY OF THE MECHANISM OF LEARNING BASED ON THE

COMPUTATION OF CONDITIONAL PROBABILITIES". PROCEEDINGS OF THE 1ST INTERNATIONAL

CONFERENCE ON CYBERBETIC, S; PARIS. 1956

[34] VON DER MALSBURG, C.; "SELF-ORGANIZATION OF ORIENTATION SENSITIVE CELLS IN

THE STRIATE CORTEX". KYBERNETIK, 14; pp 85 - 100; . 1973

[35] VON NEWMAN, J.; "PROBABILISTIC LOGICS AND THE SYNTHESIS OF RELIABLE

ORGANISMS FROM UNRELIABLE COMPONENTS". AUTOMATA STUDIES; pp 43 - 98; C.E. SHANNON

ET ALL. PRINCETON. NJ

[36] VON NEWMAN, J.; "THE COMPUTER AND THE BRAIN". YALE UNIVERSITY PRESS. NEW

HAVEN. CT

[37] WERBOS, P.J.; "BEYOND REGRESSION: NEW TOOLS FOR PREDICTION AND ANALYSIS IN

THE BEHAVIORAL SCIENCES". HARVARD UNIVERSITY. CAMBRIDGE. MA

[38] WIDROW, B.; "GENERALIZATION AND INFORMATION STORAGE IN NETWORKS OF

ADALINE NEURONS". SELF-ORGANIZATION SYSTEMS; pp 435 - 461; M.C. YOVITZ. WASINGTON. DC

[39] WIENER, N.; "CYBERNETICS: OR CONTROL AND COMUNICATION IN THE ANIMAL AND THE

MACHINE". WILEY. NEW YORK

[40] WIENER, N.; "EXTRAPOLATION INTERPOLATION AND SMOOTHING OF STATIONARY TIME

SERIES WITH ENGINEERING APPLICATIONS". MIT PRESS. CAMBRIDGE

[41] WIENER, N.; "NONLINEAR PROBLEMS IN RANDOM THEORY". WILEY. NEW YORK. 1958

[42] WILLSHAW, D.J.; BUNEMAN, O.P.; LONGUET.HIGGINS, H.C.; "NON_HOLOGRAPHIC

ASSOCIATIVE MEMORY". NATURE, 222; pp 960 - 962; . LONDON. 1969

[43] WILLSHAW, D.J.; VON DER MALSBURG, C.; "HOE PATTERNED NEURAL CONNECTIONS CAN

BE SET UP BY SELF-ORGANIZATION". PROCEEDINGS OF THE ROYAL SOCIETY OF LONDON,

SERIES B; pp 194 - 431; 445. PROCEEDINGS. LONDON

[44] WINOGRAD, S.; COWAN, J.D.; "RELIABLE COMPUTATION IN THE PRESENCE OF NOISE". MIT

PRESS. CAMBRIDGE. MA