1

Sistemas de Representación y Procesamiento Automático del Conocimiento

Tema 3: Ðreas de la IA: Tema 3: Ðreas de la IA: Tema 3: Ðreas de la IA: Tema 3: Ðreas de la IA: Tema 3: Ðreas de la IA: Tema 3: Ðreas de la IA: Tema 3: Ðreas de la IA: Tema 3: Ðreas de la IA: Ejemplos de Investigaci‡n Actual Ejemplos de Investigaci‡n Actual Ejemplos de Investigaci‡n Actual Ejemplos de Investigaci‡n Actual Ejemplos de Investigaci‡n Actual Ejemplos de Investigaci‡n Actual Ejemplos de Investigaci‡n Actual Ejemplos de Investigaci‡n Actual

(III)(III)(III)(III)(III)(III)(III)(III)Redes NeuronalesRedes NeuronalesRedes NeuronalesRedes NeuronalesRedes NeuronalesRedes NeuronalesRedes NeuronalesRedes Neuronales

SRPSRPCarlos Carrascosa Carlos Carrascosa CasamayorCasamayor

Vicente J. Julián Vicente J. Julián IngladaInglada

Sistemas de Representación y Procesamiento Automático del Conocimiento

Tema 3: Ðreas de La IA:Tema 3: Ðreas de La IA:Tema 3: Ðreas de La IA:Tema 3: Ðreas de La IA:Tema 3: Ðreas de La IA:Tema 3: Ðreas de La IA:Tema 3: Ðreas de La IA:Tema 3: Ðreas de La IA:Ejemplos de Investigaci‡n Actual (II) Ejemplos de Investigaci‡n Actual (II) Ejemplos de Investigaci‡n Actual (II) Ejemplos de Investigaci‡n Actual (II) Ejemplos de Investigaci‡n Actual (II) Ejemplos de Investigaci‡n Actual (II) Ejemplos de Investigaci‡n Actual (II) Ejemplos de Investigaci‡n Actual (II)

Redes NeuronalesRedes NeuronalesRedes NeuronalesRedes NeuronalesRedes NeuronalesRedes NeuronalesRedes NeuronalesRedes Neuronales........3.1. Historia.3.1. Historia.3.2. Aplicaciones.3.2. Aplicaciones.3.3. Modelo Natural.3.3. Modelo Natural.3.4. Computación Neuronal.3.4. Computación Neuronal.3.5. Elementos de una Red Neuronal Artificial.3.5. Elementos de una Red Neuronal Artificial.3.6. Ventajas de las Redes Neuronales.3.6. Ventajas de las Redes Neuronales.3.7. Realización de Redes Neuronales.3.7. Realización de Redes Neuronales.

•• Bibliografía:Bibliografía:–– Hilera, J.R., Martínez, V.J., “Redes Neuronales Artificiales: Hilera, J.R., Martínez, V.J., “Redes Neuronales Artificiales:

Fundamentos, modelos y aplicaciones”, raFundamentos, modelos y aplicaciones”, ra--ma, (1995).ma, (1995).–– S. S. RusselRussel, ‘Inteligencia Artificial: Un enfoque moderno’, Prentice , ‘Inteligencia Artificial: Un enfoque moderno’, Prentice

Hall(1996). Hall(1996).

2

Sistemas de Representación y Procesamiento Automático del Conocimiento

Historia (I)Historia (I)Historia (I)Historia (I)Historia (I)Historia (I)Historia (I)Historia (I)–– 1943: Walter 1943: Walter PittsPitts y y WarrenWarren McCullochMcCulloch::

•• Funcionamiento del cerebro humano: Funcionamiento del cerebro humano: –– Red de células conectadas entre sí que ejecutan Red de células conectadas entre sí que ejecutan

operaciones lógicas. operaciones lógicas. –– Menor suceso psíquico (según ellos): el impulso Menor suceso psíquico (según ellos): el impulso

todo/nada, generado por una célula nerviosa. todo/nada, generado por una célula nerviosa.

–– 1951: Primera Red Neuronal << 1951: Primera Red Neuronal << SharcSharc >>:>>:•• MarvinMarvin MinskyMinsky y y DeanDean EdmondsEdmonds. . •• Compuesta de 300 tubos de vacío y un piloto automático Compuesta de 300 tubos de vacío y un piloto automático

de un bombardero Bde un bombardero B--24 (en desuso por supuesto). 24 (en desuso por supuesto). •• Red de 40 neuronas artificiales que imitaban el cerebro de Red de 40 neuronas artificiales que imitaban el cerebro de

una rata. una rata. •• No tenía mucho futuro, pues no llegaba a trazar planes. No tenía mucho futuro, pues no llegaba a trazar planes.

No era “inteligente”No era “inteligente”

Sistemas de Representación y Procesamiento Automático del Conocimiento

Historia (II)Historia (II)Historia (II)Historia (II)Historia (II)Historia (II)Historia (II)Historia (II)–– 1957: El 1957: El PerceptrónPerceptrón ((FrankFrank RosenblattRosenblatt):):

•• Red neuronal capaz de generalizar (reconocer patrones similares Red neuronal capaz de generalizar (reconocer patrones similares a los que ya conocía).a los que ya conocía).

•• Limitación: No es capaz de clasificar clases no separablesLimitación: No es capaz de clasificar clases no separableslinealmente.linealmente.

–– 1959: 1959: BernardBernard WidrowWidrow y Marcial y Marcial HoffHoff::•• Modelo ADALINE (Modelo ADALINE (ADAptativeADAptative LINearLINear ElementsElements):):

–– RNA: filtros RNA: filtros adaptativosadaptativos que eliminan ecos en las líneas que eliminan ecos en las líneas telefónicas.telefónicas.

–– 1969: “Perceptrons” (Marvin Minsky y 1969: “Perceptrons” (Marvin Minsky y Seymour Papert)Seymour Papert)•• Definen a los Definen a los PerceptronesPerceptrones como caminos sin salida.como caminos sin salida.

La mayor parte de las investigaciones sobreLa mayor parte de las investigaciones sobrePerceptrones Perceptrones se paralizaron y anularonse paralizaron y anularon

3

Sistemas de Representación y Procesamiento Automático del Conocimiento

Historia (III)Historia (III)Historia (III)Historia (III)Historia (III)Historia (III)Historia (III)Historia (III)–– 1977: 1977: AsociadorAsociador Lineal (James Lineal (James AndersonAnderson):):

•• Las conexiones entre neuronas se refuerzan cada vez que Las conexiones entre neuronas se refuerzan cada vez que están activas.están activas.

•• Extensión: Extensión: BrainBrain--StateState--inin--aa--Box (BSB).Box (BSB).

–– 1977: 1977: Mapas Mapas AutoorganizativosAutoorganizativos ((TeuvoTeuvo KohonenKohonen):):•• Modelo para reconocimiento de patrones visuales.Modelo para reconocimiento de patrones visuales.

–– 1980: 1980: NeocognitrónNeocognitrón ((KunihikoKunihiko FukushimaFukushima):):–– 1982: 1982: JohnJohn HopfieldHopfield::

•• Variación del Variación del AsociadorAsociador LinealLineal

–– 1982: 1982: USUS--JapanJapan JointJoint ConferenceConference onon CooperativeCooperative / / CompetitiveCompetitive NeuralNeural NetworksNetworks

Mostró como tales redes Mostró como tales redes pueden trabajar y qué pueden trabajar y qué

pueden hacerpueden hacer

Sistemas de Representación y Procesamiento Automático del Conocimiento

AplicacionesAplicacionesAplicacionesAplicacionesAplicacionesAplicacionesAplicacionesAplicaciones–– Área de defensa.Área de defensa.–– Clasificación de Patrones.Clasificación de Patrones.–– Robótica (esp. control de trayectorias).Robótica (esp. control de trayectorias).–– Visión Artificial.Visión Artificial.–– Procesamiento de Señales.Procesamiento de Señales.–– Aplicaciones al habla.Aplicaciones al habla.

4

Sistemas de Representación y Procesamiento Automático del Conocimiento

Modelo NaturalModelo NaturalModelo NaturalModelo NaturalModelo NaturalModelo NaturalModelo NaturalModelo Natural–– Neurona Natural:Neurona Natural:

•• Entradas: Dendritas (tantas Entradas: Dendritas (tantas como necesite).como necesite).

•• Salida: Axón.Salida: Axón.

Estado condicionado por Estado condicionado por el de las el de las DendritasDendritas

Sistemas de Representación y Procesamiento Automático del Conocimiento

Computaci‡n Neuronal (I)Computaci‡n Neuronal (I)Computaci‡n Neuronal (I)Computaci‡n Neuronal (I)Computaci‡n Neuronal (I)Computaci‡n Neuronal (I)Computaci‡n Neuronal (I)Computaci‡n Neuronal (I)–– ““Redes Neuronales Artificiales son redes Redes Neuronales Artificiales son redes

interconectadas masivamente en paralelo de elementos interconectadas masivamente en paralelo de elementos simples (usualmente adaptativos) y con organización simples (usualmente adaptativos) y con organización jerárquica, las cuales intentan interactuar con los jerárquica, las cuales intentan interactuar con los objetos del mundo real del mismo modo que lo hace el objetos del mundo real del mismo modo que lo hace el sistema nervioso biológico”. (Kohonen).sistema nervioso biológico”. (Kohonen).

–– Operación de proceso básico de los procesadores elementales:Operación de proceso básico de los procesadores elementales:•• Transformación de sus señales de entrada.Transformación de sus señales de entrada.

5

Sistemas de Representación y Procesamiento Automático del Conocimiento

Computaci‡n Neuronal (II)Computaci‡n Neuronal (II)Computaci‡n Neuronal (II)Computaci‡n Neuronal (II)Computaci‡n Neuronal (II)Computaci‡n Neuronal (II)Computaci‡n Neuronal (II)Computaci‡n Neuronal (II)–– Cálculo realizado por Cálculo realizado por arquitectsarquitects. modulares.. modulares.–– Organización:Organización:

•• Redes Redes multicapamulticapa::

–– Eliminación parcial de la necesidad de Eliminación parcial de la necesidad de programaciónprogramación

•• Gran nº de procesadores elementales. Gran nº de procesadores elementales. •• Alto grado de Alto grado de interconectividadinterconectividad..•• Realizan localmente una función Realizan localmente una función

analógica no lineal.analógica no lineal.

Algoritmos de AprendizajeAlgoritmos de Aprendizaje

Sustituir por

modifican el valor de los modifican el valor de los parámetros que parámetros que

definen la computacióndefinen la computación

Procedimientos Procedimientos No SupervisadosNo Supervisados

Procedimientos Procedimientos SupervisadosSupervisados

Sistemas de Representación y Procesamiento Automático del Conocimiento

Elementos de una Red Neuronal Elementos de una Red Neuronal Elementos de una Red Neuronal Elementos de una Red Neuronal Elementos de una Red Neuronal Elementos de una Red Neuronal Elementos de una Red Neuronal Elementos de una Red Neuronal Artificial (I)Artificial (I)Artificial (I)Artificial (I)Artificial (I)Artificial (I)Artificial (I)Artificial (I)

–– Elementos de una Neurona:Elementos de una Neurona:•• Valor o Estado de Activación Valor o Estado de Activación aaii(t(t).).•• Señal de salida (Señal de salida (yyii(t(t)). )). •• Peso de una sinapsis (Peso de una sinapsis (wwijij): factor asignado a cada sinapsis.): factor asignado a cada sinapsis.•• Entrada Total (Entrada Total (NetNetii))•• Función de salida (Función de salida (ffii):):

–– Función EscalónFunción Escalón–– Función Lineal y MixtaFunción Lineal y Mixta–– Función Función SigmoidalSigmoidal–– Función Función GaussianaGaussiana

•• Función de Activación (F):Función de Activación (F):

•• Regla de Aprendizaje: modificar los pesos de la red (Regla de Aprendizaje: modificar los pesos de la red (wwijij))

aaii(t)(t)

ffii

∑=j

ijji wyNet

yyii(t) = f(t) = fii((aaii(t))(t))

aaii(t+1) = F((t+1) = F(aaii(t), (t), NetNetii))

6

Sistemas de Representación y Procesamiento Automático del Conocimiento

Elementos de una Elementos de una Elementos de una Elementos de una Elementos de una Elementos de una Elementos de una Elementos de una Red Neuronal Artificial (II)Red Neuronal Artificial (II)Red Neuronal Artificial (II)Red Neuronal Artificial (II)Red Neuronal Artificial (II)Red Neuronal Artificial (II)Red Neuronal Artificial (II)Red Neuronal Artificial (II)

–– Capa o Nivel:Capa o Nivel:•• CjtoCjto. de neuronas cuyas entradas provienen de la misma . de neuronas cuyas entradas provienen de la misma

fuente y cuyas salidas se dirigen al mismo destino.fuente y cuyas salidas se dirigen al mismo destino.

–– Tipos de Capas:Tipos de Capas:•• Entrada: Reciben estímulos externos.Entrada: Reciben estímulos externos.•• Ocultas: Se genera la representación interna de laOcultas: Se genera la representación interna de la

información.información.•• Salida.Salida.

Sistemas de Representación y Procesamiento Automático del Conocimiento

Elementos de una Elementos de una Elementos de una Elementos de una Elementos de una Elementos de una Elementos de una Elementos de una Red Neuronal Artificial (III)Red Neuronal Artificial (III)Red Neuronal Artificial (III)Red Neuronal Artificial (III)Red Neuronal Artificial (III)Red Neuronal Artificial (III)Red Neuronal Artificial (III)Red Neuronal Artificial (III)

–– Formas de Conexión entre Neuronas:Formas de Conexión entre Neuronas:•• Propagación hacia delante: ninguna salida de las neuronasPropagación hacia delante: ninguna salida de las neuronas

es entrada del mismo nivel o niveles anteriores.es entrada del mismo nivel o niveles anteriores.•• Propagación hacia atrás: las salidas de las neuronasPropagación hacia atrás: las salidas de las neuronas

pueden ser entradas del mismo nivel o nivelespueden ser entradas del mismo nivel o nivelesanteriores (incluyéndose ellas mismas).anteriores (incluyéndose ellas mismas).

7

Sistemas de Representación y Procesamiento Automático del Conocimiento

Elementos de una Elementos de una Elementos de una Elementos de una Elementos de una Elementos de una Elementos de una Elementos de una Red Neuronal Artificial (IV)Red Neuronal Artificial (IV)Red Neuronal Artificial (IV)Red Neuronal Artificial (IV)Red Neuronal Artificial (IV)Red Neuronal Artificial (IV)Red Neuronal Artificial (IV)Red Neuronal Artificial (IV)

–– Dinámica:Dinámica:

•• Asíncrona: las neuronas evalúan su estado Asíncrona: las neuronas evalúan su estado contínuamentecontínuamentesegún les va llegando la información.según les va llegando la información.

•• SíncronaSíncrona: los cambios se realizan a la vez en todas las: los cambios se realizan a la vez en todas lasneuronas.neuronas.

Sistemas de Representación y Procesamiento Automático del Conocimiento

Ventajas de Ventajas de Ventajas de Ventajas de Ventajas de Ventajas de Ventajas de Ventajas de las Redes Neuronales (I)las Redes Neuronales (I)las Redes Neuronales (I)las Redes Neuronales (I)las Redes Neuronales (I)las Redes Neuronales (I)las Redes Neuronales (I)las Redes Neuronales (I)

•• Similares al cerebro:Similares al cerebro:•• Capaces de aprender de la experiencia.Capaces de aprender de la experiencia.•• Generalizar de casos anteriores a nuevos casos.Generalizar de casos anteriores a nuevos casos.•• Abstraer características esenciales a partir de Abstraer características esenciales a partir de

entradas que representan información relevante.entradas que representan información relevante.

–– Aprendizaje Aprendizaje AdaptativoAdaptativo::•• Basado en un entrenamiento o experiencia inicial.Basado en un entrenamiento o experiencia inicial.•• Aprende a llevar a cabo ciertas tareas mediante un Aprende a llevar a cabo ciertas tareas mediante un

entrenamiento con ejemplos ilustrativos.entrenamiento con ejemplos ilustrativos.•• Capacidad de Capacidad de autoajustarseautoajustarse de las neuronas.de las neuronas.•• Adaptarse a las nuevas condiciones.Adaptarse a las nuevas condiciones.•• Algoritmo de aprendizajeAlgoritmo de aprendizaje Proporciona la capacidad de Proporciona la capacidad de

discriminar mediante un discriminar mediante un entrenamiento con patronesentrenamiento con patrones

8

Sistemas de Representación y Procesamiento Automático del Conocimiento

Ventajas de Ventajas de Ventajas de Ventajas de Ventajas de Ventajas de Ventajas de Ventajas de las Redes Neuronales (II)las Redes Neuronales (II)las Redes Neuronales (II)las Redes Neuronales (II)las Redes Neuronales (II)las Redes Neuronales (II)las Redes Neuronales (II)las Redes Neuronales (II)

–– Autoorganización:Autoorganización:•• Modificación de la red neuronal completa para llevar a Modificación de la red neuronal completa para llevar a

cabo un objetivo específico.cabo un objetivo específico.•• GeneralizaciónGeneralización

–– Tolerancia a fallos:Tolerancia a fallos:•• Respecto a los datosRespecto a los datos

•• Seguir realizando su función (+ ó Seguir realizando su función (+ ó --) aunque se destruya ) aunque se destruya parte de la red.parte de la red.

•• Información distribuida en las conexiones entre neuronas Información distribuida en las conexiones entre neuronas

Permite incluso responder Permite incluso responder ante información incompletaante información incompleta

Reconocer patrones con ruido, Reconocer patrones con ruido, distorsionados o incompletosdistorsionados o incompletos

∃∃∃∃∃∃∃∃ redundanciaredundancia

Sistemas de Representación y Procesamiento Automático del Conocimiento

Ventajas de Ventajas de Ventajas de Ventajas de Ventajas de Ventajas de Ventajas de Ventajas de las Redes Neuronales (III)las Redes Neuronales (III)las Redes Neuronales (III)las Redes Neuronales (III)las Redes Neuronales (III)las Redes Neuronales (III)las Redes Neuronales (III)las Redes Neuronales (III)

–– Operación en Tiempo Real:Operación en Tiempo Real:•• Posibilitada por su implementación paralela.Posibilitada por su implementación paralela.•• Entorno de Tiempo RealEntorno de Tiempo Real

–– Fácil inserción dentro de la tecnología Fácil inserción dentro de la tecnología existente:existente:•• Una red puede ser rápidamente entrenada, comprobada, Una red puede ser rápidamente entrenada, comprobada,

verificada y trasladada a una implementación verificada y trasladada a una implementación hwhw de bajo de bajo costecoste

MMíínima necesidad de cambio en los pesos de nima necesidad de cambio en los pesos de las conexiones o entrenamientolas conexiones o entrenamiento

Es fEs fáácil insertar redes cil insertar redes neuronales neuronales para para aplicaciones especaplicaciones especííficas dentro de ficas dentro de

sistemas existentessistemas existentes

9

Sistemas de Representación y Procesamiento Automático del Conocimiento

Realizaci‡n de Redes NeuronalesRealizaci‡n de Redes NeuronalesRealizaci‡n de Redes NeuronalesRealizaci‡n de Redes NeuronalesRealizaci‡n de Redes NeuronalesRealizaci‡n de Redes NeuronalesRealizaci‡n de Redes NeuronalesRealizaci‡n de Redes Neuronales–– Simulación en un ordenador normal mediante Simulación en un ordenador normal mediante swsw específicoespecífico

•• Principal Uso: Para entrenamiento y evaluación.Principal Uso: Para entrenamiento y evaluación.•• Desventaja: Simulación de redes con un gran paralelismoDesventaja: Simulación de redes con un gran paralelismo

mediante máquinas mediante máquinas secuencialessecuenciales..–– Mediante Mediante arquitectsarquitects. orientadas a la ejecución de procesos . orientadas a la ejecución de procesos

con un alto grado de paralelismo (redes de con un alto grado de paralelismo (redes de transputerstransputers, ...), ...)•• Más rápido, pero sigue siendo una simulación.Más rápido, pero sigue siendo una simulación.•• NeurocomputadorNeurocomputador: : CjtoCjto. de procesadores conectados que operan. de procesadores conectados que operan

concurrentemente (concurrentemente (MarkMark III y IV, el ANZA y ANZAIII y IV, el ANZA y ANZAPlusPlus o el Deltao el Delta--Sigma).Sigma).

–– Implementación por circuitos integrados específicos (Chips Implementación por circuitos integrados específicos (Chips Neuronales): N64 de Neuronales): N64 de IntelIntel (chip con 64 neuronas y 1000 (chip con 64 neuronas y 1000 sinapsis, capaz de procesar 2500 conexiones por segundo)sinapsis, capaz de procesar 2500 conexiones por segundo)•• Mucho más rápidos.Mucho más rápidos.•• Problema: Pérdida de flexibilidad (no se pueden conseguir Problema: Pérdida de flexibilidad (no se pueden conseguir

sinapsis con pesos variables sinapsis con pesos variables --necesario para el aprendizajenecesario para el aprendizaje--).).