1

[1] Adaptative Linear Elements es el primer modelo implementado para resolver problemas como filtros adaptativos para eliminar interrupciones en la lnea telefnica. [2] Parallel Distributed Processing. .

Redes neuronales artificiales

Breve resea sobre las redes neuronales artificiales con sus elementos, aprendizaje y aplicaciones en la computacin.

David Ceciliano, Elizabeth Gamboa, Maricel Monge UCR

1. Resumen Durante la historia de la computacin, el ser humano ha querido implementar modelos computaciones similares al comportamiento del cerebro humano. Sin embargo, por la poca informacin acerca de este tema ha causado que el desarrollo de esta nueva investigacin sea pausado. Empero, lo propuesto por McCulloch y Pitts con respecto a un nuevo modelo computacional conlleva a un nuevo comienzo en la rama de la computacin: las redes neuronales artificiales. Las redes neuronales artificiales poco a poco toma fuerza en el campo cientfico-computacional, lo cual, implica que mucho investigadores desarrollen modelos o redes neuronales artificiales. Ahora bien, la presente investigacin abarca este nuevo inters en el campo de la ciencia y la computacin al definir el concepto de las redes neuronales computacionales, as como tambin los elementos que implican este tema, el aprendizaje y sus aplicaciones.

2. Introduccin

Desde un principio, la humanidad se ha interesado en el comportamiento del uno de los rganos ms importantes del ser humano, el cerebro.

El cerebro humano es el sistema de clculo ms complejo que conoce el hombre, ya que realiza una gran cantidad de funciones, de tal manera que se puede afirmar este rgano se encarga tanto de regular y mantener las funciones del cuerpo como de ser el rgano donde reside la mente y la conciencia del individuo. Asimismo, el cerebro se puede catalogar como un sistema complejo, no lineal y paralelo.

Por ende, lo anterior provoca que el ser humano estudie o investigue acerca de las funcionalidades del cerebro y aplicarlas tambin en otros campos, tal como la computacin. Sin embargo, el reconocimiento de formas, tomas de decisiones, resoluciones de problemas complejos no pueden ser descritos fcilmente mediante un

2

[1] Adaptative Linear Elements es el primer modelo implementado para resolver problemas como filtros adaptativos para eliminar interrupciones en la lnea telefnica. [2] Parallel Distributed Processing. .

algoritmo tradicional en la computadora; es por eso que se ha establecido un nuevo campo de la computacin llamado redes neuronales artificiales.

Ahora bien, de acuerdo con Andrade Tepn en su tesis Estudio de los principales tipos de redes neuronales y las herramientas para su aplicacin:

Las redes neuronales artificiales estn inspiradas en la estructura y funcionamiento de los sistemas nerviosos, donde la neurona es el elemento principal. (Andrade, Tepn 2013).

De esta manera, las redes neuronales tratan de imitar la funcionalidad de un cerebro y, la primera persona quin estudi el cerebro como una perspectiva computacional fue Allan Turing.

Posteriormente, en 1943, Warren McCulloch y Walter Pitts, presentaron los primeros fundamentos de la computacin neuronal, as como la forma de trabajar de las neuronas y modelar una red neuronal simple mediante circuitos elctricos.

En el ao 1957, Frank Rosenblatt crea el desarrollo del perceptrn, que, segn Basogain en su documento Redes neuronales artificiales y sus aplicaciones: el perceptrn es un sistema clasificador de patrones que puede identificar patrones geomtricos y abstractos. (Basogain, 2008)

El primer perceptrn era capaz de aprender algo y era robusto, de forma que su comportamiento variaba slo si resultaban daados los componentes del sistema. Adems presentaba la caracterstica de ser flexible y comportarse correctamente despus de que algunas celdas fueran destruidas. Actualmente el perceptrn es usado en reconocimiento de patrones.

Sin embargo, el perceptrn fue una red dbil, por lo que en el ao 1960 se desarroll la red neuronal ANDALINE [1].

Posteriormente a este ao se desarrollaron ms redes neuronales artificiales con diferentes autores, lo cual, provoca que se tuviera ms materiales con respecto a la red neuronal. Asimismo, en 1985, John Hopfield con su libro Computacin neuronal de decisiones en problemas de optimizacin abre paso al renacimiento de las redes neuronales, dando resultado ms investigaciones, desarrollos y numerosas publicaciones con respecto al tema, e inclusive, se han creado grupos de investigaciones, tales como PDP [2], California Institute of Technology, University of California Berkeley, entre otros.

3

Conforme pase el tiempo, la redes neuronales artificiales cambia y ms grupos de investigadores se interesan ms en el tema. Sin embargo, qu hace este tema que los investigadores se involucren ms y ms y desarrollar ms redes neuronales artificiales? Para responder a esta pregunta es necesario comprender importancia con sus las aplicaciones, aprendizaje y elementos que conllevan las redes neuronales artificiales.

3. Redes Neuronales Artificiales

Las redes neuronales artificiales surgen con la idea de desarrollar modelos computacionales capaces de operar simultneamente problemas o situaciones, tal como el comportamiento del cerebro humano. Ahora, de acuerdo con Kohonen en su documento Self-organization and associative memory, las redes neuronales son conjuntos de elementos de clculos simples, usualmente adaptativos, interconectados masivamente en paralelo y con una organizacin jerrquica que le permite interactuar con algn sistema del mismo modo que lo hace el sistema nervioso biolgico.(Kohonen, 1989).

Por ende, las redes neuronales artificiales se pueden expresar como un mtodo para resolver problemas de forma individual o combinadas con otros mtodos para tareas tipo identificacin, clasificacin, optimizacin, en las que se puede haber la necesidad de aprendizaje en tiempo de ejecucin y de cierta tolerancia a fallos. Asimismo, las redes neuronales tienen unidades llamadas neuronas, que posteriormente se definir esta unidad.

3.1. Elementos las redes neuronales artificiales

En una red neuronal el objetivo es asemejar en un modelo el funcionamiento de partes del cerebro humano, a travs de los diferentes pulsos que recibe y combina para generar nuevos impulsos que sern emitidos. Por esto en las redes neuronales, el principal elemento es el que imita a la neurona, ya que esta es la que realiza el proceso de entrada, combinacin y salida de informacin.

(Flrez, Fernndez 2008) definen las neuronas artificiales como una serie de procesadores elementales, que constituyen dispositivos simples de clculo que, bien a partir de un vector de entrada procedente del mundo exterior o bien a partir de estmulos recibidos de otras neuronas, proporcionan una respuesta nica. La neurona artificial puede ser representada por medio de letras, nmeros u otro conjunto de elementos. Para realizar el procesamiento de la informacin, la neurona se divide en tres:

a. Neurona de entrada: son las encargadas de recibir las seales emitidas desde el entorno o desde otros sectores de los sistemas.

b. Neurona de salida: son las que envan su seal directamente fuera de los sistemas, cuando se ha finalizado el procesamiento de la informacin.

c. Neurona oculta: Estas cumplen con la funcin de combinacin de la informacin, aunque tambin tiene propiedades de las dos anteriores, ya que se encarga de la recepcin de la informacin dentro del sistema y la emisin de seales igualmente dentro del sistema.

4

Fig. 1. Neuronas Artificiales, (Flrez, Fernndez 2008).

Las neuronas anteriormente descritas se identifican en partes al igual que en las neuronas naturales es decir, las dendritas son representadas por las neuronas de entrada, a la vez estas generan pesos que son las neuronas ocultas y son las que realizan el proceso de sinapsis y los axones que se representan por las neuronas de salida.

Fig. 2. Comparacin de neurona biolgica con una neurona artificial.

3.2. Arquitectura de las redes neuronales

a. Estmulos o entradas a la neurona: Los valores que procedentes del exterior en forma de seales pueden tener naturaleza binaria o continua, dependiendo de la tarea que se vaya a realizar, (Flrez y Fernndez 2008), definen varios tipos como: las neuronas de tipo McCulloch-Pitts que son aquellas cuya salida solo puede tomar valores {0,1}, las neuronas de tipo Ising, son aquellas cuyas salida toma nicamente los valores {-1+1}, las neuronas de tipo Potts, son aquellas cuya salida puede adoptar diversos valores discretos de salida {,-2, -1, 0, 1, 2, } y las neuronas de salida continua, que son aquellas cuya salida puede tomar cualquier valor en un determinado intervalo, normalmente [0,1] o [-1,1]. De alguna de estas maneras cada neurona recibe un conjunto de impulsos que le proporcionan informacin acerca del estado de las dems neuronas con la que se encuentra conectada, por medio de un peso. b. Funcin de propagacin: Es la regla que establece el procedimiento que se debe seguir para combinar los valores de entrada y los pesos de las conexiones que llegan. c. Funcin de activacin o transferencia: La funcin de activacin combina la entrada total de la j-sima neurona obtenido a partir de los estmulos y pesos recibidos con el estado inicial de la neurona, para generar un nuevo estado de activacin con

5

respecto a la nueva informacin recibida. Se pueden distinguir varias funciones de transferencia:

1. Funcin lineal o identidad: devuelve directamente el valor de activacin de la neurona.

2. Funcin escaln o signo: presenta salidas binarias. El valor de activacin de la neurona es inferior a un determinado umbral, la salida se asocia con un determinado output y si es igual o superior al umbral se asocia con el otro output.

3. Funcin mixta o lineal a tramos: si la activacin de la unidad es menor que un lmite inferior, la salida se asocia con un determinado valor, si la activacin es igual o superior, la salida se asocia a otro valor y si el nivel de activacin est entre los lmites se aplica la funcin lineal o identidad.

4. Funcin sigmoidea: presenta una derivada siempre positiva e igual a cero en sus lmites asintticos.

6

Fig.3.Funciones de propagacin. (Diez, Gmez, Martnez, 2001).

Diez, Gmez y Martnez, 2001, definen en su libro los pasos para la construccin y planeamiento de una red neuronal. Estos pasos son: a. Fase de Conceptualizacin: Partiendo del problema que hay que resolver, se comprueba que su solucin natural se obtiene a travs de una red neuronal y se estudia el modelo de red entre los existentes que se ajusta ms al problema. b. Fase de diseo: se determina la estructura de la red, el tipo de elemento de procesamiento (funcin de transferencia) y el algoritmo de aprendizaje a utilizar. c. Fase de implementacin: una red neuronal encargada de realizar una tarea deber ser entrenada para su correcta realizacin, es decir, la arquitectura y los valores de los pesos sinpticos habrn de ser los adecuados para suministrar la respuesta correcta cuando se le presenta una entrada determinada. Al proceso en el que se determina la configuracin ptima se le denomina entrenamiento y se realiza a travs de la presentacin de ejemplos. Se le presentaron a la red una batera de ejemplos de entradas asociadas con las correspondientes respuestas y se modificarn paulatinamente los pesos sinpticos para que cada vez sea menor la discrepancia promedio entre las respuestas de la red y las correctas. Esta parte tambin consta de una serie de pruebas que se realizarn al terminar el entrenamiento, esto con el fin de comprobar su comportamiento con distintos casos de ejemplos. d. Fase de mantenimiento: Se integra la red neuronal en el sistema de informacin donde va a operar habitualmente. Se hace un seguimiento del funcionamiento con casos reales.

7

3.3. Caractersticas del procesamiento neuronal

a. Paralelismo masivo: esta caracterstica lo que hace es proporcionarle a la neurona una gran capacidad de cmputo. Una red neuronal se fundamenta en unidades individuales, cada una de las cuales se encarga de calcular una funcin elemental como se explic anteriormente y donde cada neurona es independiente, ya que no depende de los procesos que se estn efectuando en las dems. Esto ofrece una importante ventaja frente al procesamiento secuencial, donde cada unidad de clculo debe ejecutarse despus de que hayan acabado las anteriores. b. Memoria asociativa distributiva: un dato no se encuentra en un nico sitio, sino repartido por toda la estructura, es decir cada neurona puede tener una misma informacin de entrada, ya que se le debe dar un procesamiento o funcionamiento diferentes. c. Tolerancia a fallos: el sistema no deja de funcionar aunque se estropeen una serie de componentes; el sistema se degrada lentamente con una funcin de error contina, sin rupturas totales. d. Reconstruccin de datos parciales: los datos de entrada no necesitan ser explicados rigurosamente. Cuando el conocimiento del problema no es total, resulta imprescindible la capacidad de procesamiento a partir de informacin parcial.

3.4. Aprendizaje

Las redes neuronales tienen dos principales formas de adquirir conocimiento basadas en sus experiencias, es decir, de aprender.

3.4.1. Aprendizaje supervisado

Las redes neuronales deben de ser entrenadas, ya que no estn programadas tradicionalmente, sino debe de condicionarse cada neurona, para obtener el resultado deseado. (Brookshear, 2012). Una tcnica usual consiste en el backpropagation, la cual es utilizada en redes multicapa, porque poseen una gran cantidad de entradas y salidas, con pesos diferentes. (Coppin, 2004).

Para este algoritmo se necesita que las neuronas utiliza en la funcin sigmoidea, mencionada anteriormente. Cada iteracin involucra tanto el suministrarle datos a la red, y luego se procede a retroalimentar, propagndolos desde las salidas hacia las entradas, lo cual le da el nombre al mtodo. Este proceso se repite hasta obtener de manera casi certera los valores deseados, minimizando los errores. A pesar de eso, es bastante ineficiente para la mayora de los problemas. (Coppin, 2004) Pero existe una manera ms natural de producir aprendizaje, descubierta por Donald Hebb en 1949. Esta, deca que dos neuronas humanas reforzaban la sinapsis entre ellas cuando la activacin de esta era continua, es decir entre ms se presentaba la conexin, ms sencillo era recordarla. Esto es fcilmente inducible en una red, ya que nada ms se inyectan los valores claves para obtener resultados, produciendo tendencia a esos resultados. (Hebb, 1949).

8

3.4.2. Aprendizaje NO supervisado

Las redes neuronales con aprendizaje no supervisado son aquellas que no necesitan un asesor externo para llevar a cabo su aprendizaje. La red no recibe confirmacin externa de si la salida generada es correcta o incorrecta. El aprendizaje no supervisado consiste en que la red descubra por s misma regularidades o correlaciones de los datos de entrada y as poder llegar a generar la salida esperada (Pelez, 2012). El fundamento de Hebb tambin puede ser utilizado en las redes no supervisadas, ya que al encontrar que cierta conexin existe de manera habitual, va a tender ms hacia esta. (Matich, 2001). Teuvo Kohonen, cientfico finlands, en la dcada de los 80s inicio con el desarrollo de una forma de auto-ordenar informacin, lo cual result en los Mapas de Auto Organizacin (SOM por sus siglas en ingls) o Mapas de Kohonen (s.a., s.f.). El propsito de un mapa Kohonen es agrupar los datos de entrada en una cantidad determinada de grupos. Para lograr esto, utiliza el algoritmo winner-take-it-all, donde las neuronas de mayor activacin son las ganadoras. Un mapa de Kohonen no trae grupos ya predeterminados, el mismo determina la segmentacin ms til. De esta manera, un mapa de Kohonen es particularmente til para agrupar datos en donde los grupos no son conocidos de antemano (Coppin, 2004). Un mapa de Kohonen est formado por dos capas: la capa de entradas y la capa de grupos.

Fig.4. Organizacin de una mapa de Kohonene

El mtodo utilizado para formar un mapa de Kohonen es el sigue: Inicialmente, todos los pesos se ajustan en pequeos valores aleatorios. La tasa de aprendizaje, tambin se establece, por lo general a un valor positivo pequeo. Un vector de entrada es presentado a la capa de entradas. Esta capa se alimenta de los datos de entrada de la capa de grupos. La neurona en la capa de grupos que ms estrechamente coincida con los datos de entrada es declarada ganadora. Esta neurona proporciona la clasificacin de salida del mapa y tambin actualiza sus pesos.

Para determinar qu neurona gana, sus pesos se tratan como un vector, y este vector se compara con el vector de entrada. La neurona cuyo peso vector est ms cerca del vector de entrada es el ganador (Coppin, 2004).

3.5. Aplicaciones

9

Se pueden describir tres tipos de aplicaciones para las redes neuronales: las aplicaciones candidatas, las aplicaciones en desarrollo y las aplicaciones demostradas. Las primeras consisten en problemas que pueden resolverse con esta tecnologa, pero que an no han sido probados. Las aplicaciones en desarrollo son las que estn pruebas, y ya se tiene un prototipo de red que pueda aplicrsele al problema. Las aplicaciones ya demostradas son en las que ya estn siendo utilizadas, incluso comercialmente, para resolver diferentes tipos de problemas (Basogain, 2008).

Por ejemplo, el modelo de Widrow y Hoff de 1960, ADELINE, es utilizado para el diseo y la creacin de filtros de ruido, para eliminarlo en diferentes tipos de seales portadoras de informacin, y de mdems. La Red de Backpropgation es utilizada en el proyecto de la mquina de escribir neural fontica (Sotolongo y Guzmn, 2001).

El modelo de los mapas auto-organizados ha sido aplicado en software tales como el Viscovery SOMine (C). Este software, lo define su pgina web, es una aplicacin de escritorio para la minera de datos exploratoria. Es de los ms potentes del mercado debido a la gran cantidad de variables que puede manejar, y la cantidad de informacin que puede representar (VAUTRON RECHENZENTRUM AG, 2013).

Las redes neuronales y el software de aprendizaje han alcanzado niveles tan avanzados de aplicacin, que, segn Jeff Dean y Andrew Ng de Google, las usamos docenas de veces al da sin darnos cuenta. La mquina de escribir fontica es usado en software de reconocimiento de voz; incluso los filtros modernos de spam utilizan redes neuronales (Dean & Ng, 2012).Una de las aplicaciones ms modernas e impresionantes de las redes neuronales es el Google Brain. Este es un experimento a larga escala de Google, que usa el poder de 16 000 procesadores, para lograr una red neuronal mucho ms eficiente y con infinitas utilidades (Deep Learning, 2012). Pretende utilizar informacin sin identificar (unlabeled data) para lograr el aprendizaje. Con esta red, se utilizaran imgenes diferentes y al azar, sin etiquetar, y la red por s sola empezara a reconocer algunos objetos dentro de imgenes e incluso videos.

Fig.5. FGoogle brain ha logrado reconocer patrones de rostros humanos y felinos. (Google, 2013).

10

4. Conclusiones David Ceciliano Snchez: Dentro de la sociedad que hemos logrado alcanzar a travs de los aos, la tecnologa se vuelve cada vez ms esencial, y sinnimo de progreso, provocando un vertiginoso aceleramiento en las contribuciones cientficas recientes, rayando ya el lmite, de lo que se sola llamar ciencia ficcin. Las redes neuronales son parte de este tipo de innovacin, que desafa los lmites de la imaginacin. El darle la capacidad a un ser inerte de aprender, suena como una buena trama, para una pelcula futurstica. Pero es real, gracias apersonas adelantadas a su tiempo, y todos sus conocimientos, sus brillantes ideas puestas juntas, es que se logra iniciar una revolucin en la forma en que vemos a las computadoras, para as, vernos todos beneficiados de lo inimaginable. Elizabeth Gamboa Bermdez:

A pesar de que el conocimiento de las redes neuronales fue un poco desapercibido, poco a poco ste fue evolucionando con el inters de los investigadores para desarrollar modelos computacionales similares al del cerebro humano.

Dicha idea de llegar a cmo se comporta un cerebro causa que ideas o nuevos modelos de redes neuronales artificiales se presenten al mundo, desafiando el comportamiento lineal y secuencial de las computadoras.

Sin embargo, conforme pase el tiempo se han creado modelos importantes que poco a poco se acerca al objetivo de las redes neuronales. Adems, actualmente se estn implementando redes neuronales artificiales con el desconocimiento de muchas personas (por ejemplo Google Brain). Empero, estas aplicaciones de las redes neuronales an le faltan ms desarrollo para cumplir con el objetivo de las redes neuronales artificiales, por lo que, en un futuro se espera implementar una red neuronal artificial completa. Maricel Monge:

Las redes neuronales han tenido un importante auge en los ltimos aos, gracias a los avances obtenidos mediante diferentes investigaciones, todo con el propsito de recrear artificialmente el funcionamiento del cerebro humano. El inters de conocer este rgano es saber cmo recibe y procesa la informacin, para ser emitida a las tareas en las que se solicita.

Las distintas aplicaciones que se resuelvan mediante redes neuronales, deberan enfocar sus esfuerzos en la investigacin de nuevas tcnicas de aprendizaje de las neuronas, ya que los mtodos con los que ahora se cuenta, funcionan pero a largo

11

plazo o para proyectos ms grandes se podran considerar como obsoletos, ya que sus mtodos son lentos.

A pesar de esto los avances que se puedan tener en el desarrollo de las redes neuronales artificiales en los prximos aos se ver con respecto hacia donde vayan dirigidas las investigaciones, es decir si se plantearan nuevos conocimientos a partir de ms investigacin en el cerebro humano o nuevas prcticas para el aprendizaje de sus elementos o simplemente en el descubrimiento de conocimiento a travs de la creacin de aplicaciones y lo que resulte con ellas.

Bibliografa 1. Andrade Tepn, (2013). Estudio de los principales tipos de redes neuronales y las

herramientas para su aplicacin. Ecuador: Universidad Politcnica Salesiana. Tomado de: http://dspace.ups.edu.ec/bitstream/123456789/4098/1/UPS-CT002584.pdf

2. Basogain Olabe, X. (2008). Redes neuronales artificiales y sus aplicaciones. Bilbao, Espaa: Universidad del Pas Vasco.

3. Brookshear, J., & Smith, D. (2012). Artificial Intelligence. In Computer science: An overview(11th ed.). Boston: Addison-Wesley.

4. Coppin, B. (2004). Artificial intelillence iluminated. (1 ed., Vol. 1, p. 316). Canada: Jones and Bartlett Publishers.

5. Dean, J., & Ng, A. (2012, June 26). [Web log message]. Retrieved from http://googleblog.blogspot.com/2012/06/using-large-scale-brain-simulations-for.html

6. Deep Learning. (2012, December 13). Googles large scale deep learning experiments. Retrieved from http://deeplearning.net/tag/google-brain/

7. Gestal Pose, (2013). Introduccin a las Redes de Neuronas Artificiales. Espaa: Universidade da Corua. Tomado de: http://sabia.tic.udc.es/mgestal/cv/RNAtutorial/TutorialRNA.pdf

8. Hebb, D. O. (1949). The organization of behavior: a neuropsychological theory. New York: Wiley and Sons.

9. Matich, D. J. (2001). Redes neuronales: Conceptos bsicos y aplicaciones.. Rosario : Universidad Tecnolgica Nacional. DOI

10. Pelaz Chvez, N. (2012). Aprendizaje no supervisado y el algoritmo wake-sleep en redes neuronales. HUAJUAPAN DE LEON, OAXACA.: UNIVERSIDAD TECNOLOGICA DE LA MIXTECA. Retrieved from http://jupiter.utm.mx/~tesis_dig/11612.pdf

11. Raquel Flrez Lpez y Jos Miguel Fernndez. (2008). Las Redes Neuronales Artificiales. Fundamentos Tericos y Aplicaciones Prcticas. Espaa: Gesbiblo S.L.

12. Ral Pino Dez, Alberto Gmez Gmez, Nicols de Abajo Martnez. (2001). Introduccin a la Inteligencia Artificial: Sistemas Expertos, Redes Neuronales y Computacin Evolutiva. Espaa: Universidad de Oviedo.

13. Sotolongo, G., & Guzmn, M. V. (2001). Aplicaciones de las redes neuronales: el caso de la biliometra. Informally published manuscript, Ciencias de la Informacin, UNAM, Distrito Federal, Mxico.

14. Teuvo Kohonen. (n.d.). Retrieved November 23, 2014, from http://users.ics.aalto.fi/teuvo/ 15. VAUTRON RECHENZENTRUM AG. (2013). Viscovery somine 6. Retrieved from

http://www.viscovery.net/somine/