Universidad de Verano de Adeje 2002 Conferencia: Reconocimiento de Patrones Impartida por: Fernando...

67
Universidad de Verano de Adeje 2002 Conferencia: Reconocimiento de Patrones Impartida por: Fernando Pérez Nava Departamento de Estadística, Investigación Operativa y Computación (DEIOC) Universidad de La Laguna e-mail: [email protected] Curso: La Inteligencia Artificial en el desarrollo de Actividades Informáticas para la Resolución de Problemas: Técnicas y Áreas de Aplicación

Transcript of Universidad de Verano de Adeje 2002 Conferencia: Reconocimiento de Patrones Impartida por: Fernando...

Page 1: Universidad de Verano de Adeje 2002 Conferencia: Reconocimiento de Patrones Impartida por: Fernando Pérez Nava Departamento de Estadística, Investigación.

Universidad de Verano de Adeje 2002

Conferencia: Reconocimiento de Patrones

Impartida por: Fernando Pérez Nava

Departamento de Estadística, Investigación Operativa y Computación (DEIOC)

Universidad de La Laguna

e-mail: [email protected]

Curso: La Inteligencia Artificial en el desarrollo de Actividades Informáticas para la Resolución de Problemas: Técnicas y Áreas de Aplicación

Page 2: Universidad de Verano de Adeje 2002 Conferencia: Reconocimiento de Patrones Impartida por: Fernando Pérez Nava Departamento de Estadística, Investigación.

Contenidos

1. Introducción

2. ¿Qué es el Reconocimiento de Patrones?

3. Diseño de un Sistema de Reconocimiento de Patrones

4. Aplicaciones

5. Conclusiones

Page 3: Universidad de Verano de Adeje 2002 Conferencia: Reconocimiento de Patrones Impartida por: Fernando Pérez Nava Departamento de Estadística, Investigación.

Reconocimiento de Patrones

1.- Introducción

Page 4: Universidad de Verano de Adeje 2002 Conferencia: Reconocimiento de Patrones Impartida por: Fernando Pérez Nava Departamento de Estadística, Investigación.

El Reconocimiento de Patrones (R.P.) en la Inteligencia Artificial (I.A.) El R.P. se inserta de forma natural en la I.A. dentro del

paradigma de los Agentes Inteligentes Agente: Todo aquello que percibe su ambiente mediante

sensores y que actúa en tal ambiente mediante efectores.

Agente inteligente: es aquel que intenta hacer que su rendimiento sea óptimo

El Reconocimiento de Patrones se encarga de la parte perceptual del Agente.

Agente interactuando con su entorno

RECONOCIMIENTO DE PATRONES 1.- INTRODUCCIÓN

Page 5: Universidad de Verano de Adeje 2002 Conferencia: Reconocimiento de Patrones Impartida por: Fernando Pérez Nava Departamento de Estadística, Investigación.

Agentes que interactúan en distintos ambientes En un agente inteligente interactuando con el mundo físico el

R. P. intenta proporcionar respuestas a preguntas del tipo: ¿Qué estoy viendo?

¿Es un obstáculo? ¿Es una persona?

¿Qué estoy oyendo? ¿Es una voz de alguien familiar? ¿Qué intenta comunicarme?

Los agentes también interactúan en mundos no “físicos” como por ejemplo Internet y pueden necesitar respuestas a: ¿De qué tipo es esta página Web?

¿Deportes? ¿Negocios?

RECONOCIMIENTO DE PATRONES 1.- INTRODUCCIÓN

Page 6: Universidad de Verano de Adeje 2002 Conferencia: Reconocimiento de Patrones Impartida por: Fernando Pérez Nava Departamento de Estadística, Investigación.

¿Qué capacidad perceptual proporciona el R.P. a los Agentes Inteligentes? A la edad de cinco años la mayoría de los niños pueden

reconocer dígitos y letras: Grandes, pequeños, escritos a mano, rotados, incompletos...

Reproducir esta capacidad por medio de los ordenadores es sorprendentemente difícil

De hecho, tras 50 años de investigación no existe actualmente ningún sistema de R.P. de propósito general que sea capaz de aproximarse a la capacidad humana.

Variaciones de la letra d

RECONOCIMIENTO DE PATRONES 1.- INTRODUCCIÓN

Page 7: Universidad de Verano de Adeje 2002 Conferencia: Reconocimiento de Patrones Impartida por: Fernando Pérez Nava Departamento de Estadística, Investigación.

Los Seres Vivos como Sistemas de Reconocimiento de Patrones ¿Por qué los Seres Vivos son tan buenos reconociendo

patrones? Porque un buen sistema de R.P. proporciona una ventaja

competitiva a la hora de la supervivencia y reproducción. ¿Qué estoy viendo?

¿Es un alimento? ¿Es un depredador? ¿Una pareja de mi especie?

¿Por qué no copiarlos? No se sabe actualmente como los Seres Vivos reconocen los

patrones

RECONOCIMIENTO DE PATRONES 1.- INTRODUCCIÓN

Page 8: Universidad de Verano de Adeje 2002 Conferencia: Reconocimiento de Patrones Impartida por: Fernando Pérez Nava Departamento de Estadística, Investigación.

Reconocimiento de Patrones

2.- ¿Qué es el Reconocimiento de Patrones?

Page 9: Universidad de Verano de Adeje 2002 Conferencia: Reconocimiento de Patrones Impartida por: Fernando Pérez Nava Departamento de Estadística, Investigación.

Definiciones de Reconocimiento de Patrones Definiciones a partir de la Bibliografía

“La asignación de un objeto físico o evento a una de varias categorías predefinidas” (Duda y Hart)

“La ciencia que está relacionada con la descripción o clasificación de medidas” (Schalkoff)

“El proceso de dar nombres a las observaciones” (Schürmann)

“El Reconocimiento de Patrones está relacionado con la respuesta a la pregunta ¿Qué es esto? (Morse)

RECONOCIMIENTO DE PATRONES 2.- ¿QUÉ ES?

Page 10: Universidad de Verano de Adeje 2002 Conferencia: Reconocimiento de Patrones Impartida por: Fernando Pérez Nava Departamento de Estadística, Investigación.

Conceptos básicos de Reconocimiento de Patrones

En el R.P. no se clasifican directamente las entidades u objetos sino su descripción.

Esta descripción se crea a partir de un modelo de la entidad construida a partir de unas características y algún tipo de representación.

La representación también es dependiente del problema y puede ser un vector, una cadena, un grafo, etc...

Esta representación es utilizada por un clasificador para asignar la entidad a una clase

Además el clasificador se ajusta al problema mediante un proceso de entrenamiento o aprendizaje

RECONOCIMIENTO DE PATRONES 2.- ¿QUÉ ES?

Page 11: Universidad de Verano de Adeje 2002 Conferencia: Reconocimiento de Patrones Impartida por: Fernando Pérez Nava Departamento de Estadística, Investigación.

El Proceso de Clasificación El proceso de clasificación sigue las etapas:

Adquisición de datos Preprocesado Extracción de características Clasificación

Modelo del proceso de clasificación

Sensor PreprocesadoMedida de

CaracterísticasClasificación

Asignacióna una clase

El mundoreal

Patrónde testeo

Sensor PreprocesadoSelección de

CaracterísticasAprendizajeEl mundo

real

Patrónde entrenamiento

RECONOCIMIENTO DE PATRONES 2.- ¿QUÉ ES?

Page 12: Universidad de Verano de Adeje 2002 Conferencia: Reconocimiento de Patrones Impartida por: Fernando Pérez Nava Departamento de Estadística, Investigación.

Vector de características

Espacio de características

Representación en el espacio de características

Clase 1Clase 3

Clase 2Característica 1

Car

acte

ríst

ica

2

Las Características: Propiedades Las características:

Pueden ser simbólicas o numéricas Cuestiones básicas son:

¿Qué características? ¿Cuántas?. ¿Cuál es su importancia relativa?

Cuando la combinación de d características se representa mediante un vector éste se llama vector de características

El espacio d-dimensional al que pertenecen los vectores de características se llama espacio de características

Los objetos y entidades se representan entonces como puntos en el espacio de características.

RECONOCIMIENTO DE PATRONES 2.- ¿QUÉ ES?

Page 13: Universidad de Verano de Adeje 2002 Conferencia: Reconocimiento de Patrones Impartida por: Fernando Pérez Nava Departamento de Estadística, Investigación.

Vectores de características

¿Qué proporciona un buen vector de características? La calidad de un vector de características está relacionado con

su capacidad para discriminar ejemplos de clases distintas Ejemplos de la misma clase deberían tener similares valores de

características Ejemplos de clases distintas deberían tener distintos valores de

características

“Buenas” características “Malas” características

RECONOCIMIENTO DE PATRONES 2.- ¿QUÉ ES?

Page 14: Universidad de Verano de Adeje 2002 Conferencia: Reconocimiento de Patrones Impartida por: Fernando Pérez Nava Departamento de Estadística, Investigación.

Clasificadores La tarea del clasificador es dividir el espacio de características

en regiones de decisión asociadas a las clases Las fronteras entre clases se llaman

fronteras de decisión La clasificación de un vector de

características x consiste en

determinar a que región pertenece y asignarlo a dicha clase La elección del clasificador depende del problema. Cuestiones

a resolver son: ¿Como hacer mínimo el error de clasificación? ¿Cual debe ser su complejidad?

Si se combinan clasificadores para resolver un problema ¿Que hacer cuando proporcionen respuestas distintas?

RECONOCIMIENTO DE PATRONES 2.- ¿QUÉ ES?

Page 15: Universidad de Verano de Adeje 2002 Conferencia: Reconocimiento de Patrones Impartida por: Fernando Pérez Nava Departamento de Estadística, Investigación.

Aprendizaje

Una vez elegido el clasificador, éste debe de ajustarse a los datos del problema mediante un proceso de aprendizaje que en R.P. se realiza mediante un conjunto de entrenamiento a cuyos elementos de llaman muestras. Cuestiones básicas son: ¿Cuantas muestras? ¿Cual es el costo de obtenerlas? ¿cómo hacer que sean representativas del problema?

Hay tres tipos fundamentales de aprendizaje: Supervisado: Se dispone de un conjunto de muestras junto con

las clases a las que pertenecen No Supervisado: Se dispone de un conjunto de muestras pero

se desconocen las clases a las que pertenecen Por Refuerzo: Se puede saber si el proceso de clasificación es

correcto o no para un conjunto de muestras

RECONOCIMIENTO DE PATRONES 2.- ¿QUÉ ES?

Page 16: Universidad de Verano de Adeje 2002 Conferencia: Reconocimiento de Patrones Impartida por: Fernando Pérez Nava Departamento de Estadística, Investigación.

Áreas Relacionadas

Procesamiento de Señal Aprendizaje Computacional Robótica y Visión Ciencias Cognitivas Estadística Matemática Optimización no Lineal Análisis de Datos Sistemas Difusos y Genéticos Lenguajes Formales Modelado Estructural

RECONOCIMIENTO DE PATRONES 2.- ¿QUÉ ES?

Page 17: Universidad de Verano de Adeje 2002 Conferencia: Reconocimiento de Patrones Impartida por: Fernando Pérez Nava Departamento de Estadística, Investigación.

Aplicaciones

Dominio Aplicación Patrón de entrada Clases Bioinformática Análisis de secuencias Secuencia de ADN /

Proteínas Tipos conocidos de genes

Minado de Datos Búsqueda de patrones de interés

Puntos en espacios multidimensionales

Agrupaciones

Clasificación de documentos

Búsqueda en Internet Documento de texto Categorías semánticas

Automatización industrial

Inspección de tarjetas de ordenador

Imagen de la tarjeta Defectuosa o no defectuosa

Gestión de bases de datos multimedia

Búsqueda por Internet Vídeo clip Tipo de video (acción, diálogo)

Reconocimiento Biométrico

Identificación de personas

Cara, iris, huellas dactilares

Usuario autorizado o no autorizado

Teledetección Estudio de cultivos Imagen de Satélite Categorías de uso de la tierra

Reconocimiento del habla

Gestiones telefónicas sin asistencia de operador

Onda sonora con el habla

Palabras habladas

Computación Afectiva

Reconocimiento de emociones

Imagen de la persona, Sonido de la voz

Estados de ánimo

RECONOCIMIENTO DE PATRONES 2.- ¿QUÉ ES?

Page 18: Universidad de Verano de Adeje 2002 Conferencia: Reconocimiento de Patrones Impartida por: Fernando Pérez Nava Departamento de Estadística, Investigación.

Principales Aproximaciones al Reconocimiento de Patrones

Estadística Los Patrones se clasifican basados en un modelo estadístico de

las características Sintáctica

Los Patrones se clasifican basados en medidas de similaridad estructural

Neuronal La clasificación está basada en la respuesta de una red de

unidades de procesamiento (neuronas) a un estímulo de entrada (patrón)

Tiene una interpretación estadística

RECONOCIMIENTO DE PATRONES 2.- ¿QUÉ ES?

Page 19: Universidad de Verano de Adeje 2002 Conferencia: Reconocimiento de Patrones Impartida por: Fernando Pérez Nava Departamento de Estadística, Investigación.

Reconocimiento de Patrones

3.- Diseño de un Sistema de Reconocimiento de Patrones

Page 20: Universidad de Verano de Adeje 2002 Conferencia: Reconocimiento de Patrones Impartida por: Fernando Pérez Nava Departamento de Estadística, Investigación.

Un Sistema sencillo de Reconocimiento de Patrones Consideremos el problema de reconocer las letras L,P,O,E,Q

Necesitamos determinar: Un conjunto suficiente de características Un clasificador

Resultado

Letra Líneas Rectas Verticales

Líneas Rectas Horizontales

Líneas Rectas Oblícuas

Líneas Curvas

L 1 1 0 0

P 1 0 0 1

O 0 0 0 1

E 1 3 0 0

Q 0 0 1 1

Inicio

SI

SI

SI

SI

NO

NO

NO

Características

Ejemplo de características y clasificador

RECONOCIMIENTO DE PATRONES 3.- DISEÑO DE UN SISTEMA

NO

11

Page 21: Universidad de Verano de Adeje 2002 Conferencia: Reconocimiento de Patrones Impartida por: Fernando Pérez Nava Departamento de Estadística, Investigación.

Un Sistema realista de Reconocimiento de Patrones (1) Considérese el siguiente problema:

Una planta procesadora de pescado quiere automatizar el proceso de clasificación de pescado con respecto a la especie (salmón o ródalo).

El sistema automatizado consiste en: Una cinta transportadora para los productos recibidos Dos cintas transportadoras para los productos clasificados Un brazo robótico para coger y colocar objetos Un sistema de visión con una cámara Un ordenador para clasificar las imágenes y controlar el robot.

CintaTransportadora

Cámara deVídeo

BrazoRobótico

Cinta Transportadora (Salmones)

Cinta Transportadora (Ródalos)

Ordenador

Sistema de Clasificación de Pescado

RECONOCIMIENTO DE PATRONES 3.- DISEÑO DE UN SISTEMA

Page 22: Universidad de Verano de Adeje 2002 Conferencia: Reconocimiento de Patrones Impartida por: Fernando Pérez Nava Departamento de Estadística, Investigación.

Un Sistema realista de Reconocimiento de Patrones (2) Sensor

El sistema de visión captura una imagen en cuanto un nuevo pescado entra en el área de ordenación

Preprocesado Algoritmos de Procesamiento de Imágenes

Ajuste de niveles de intensidad Segmentación para separar el pescado del fondo de la imagen

Extracción de características Supongamos que sabemos que en

media, el ródalo es más largo que elsalmón

A partir de la imagen segmentada estimamos la longitud del pescado

RECONOCIMIENTO DE PATRONES 3.- DISEÑO DE UN SISTEMA

Page 23: Universidad de Verano de Adeje 2002 Conferencia: Reconocimiento de Patrones Impartida por: Fernando Pérez Nava Departamento de Estadística, Investigación.

Un Sistema realista de Reconocimiento de Patrones (3) Clasificación

Seleccionar un conjunto de muestras de ambas especies Calcular la distribución de longitudes para ambas clases Determinar la frontera de decisión (umbral) que minimiza el error

de clasificación

Estimamos la probabilidad de error y se obtiene un mal resultado del orden del 40%

¿Qué hacemos ahora?

Longitud

Salmón Ródalo

Fronterade decisión

Nº veces

Histograma de longitudes

RECONOCIMIENTO DE PATRONES 3.- DISEÑO DE UN SISTEMA

Page 24: Universidad de Verano de Adeje 2002 Conferencia: Reconocimiento de Patrones Impartida por: Fernando Pérez Nava Departamento de Estadística, Investigación.

Un Sistema realista de Reconocimiento de Patrones (4) Mejoremos el rendimiento del sistema de R.P.

Para obtener un error inferior al 5%, probamos con nuevas características

Anchura, área, posición de los ojos respecto a la cara,... Finalmente encontramos una “buena”

característica: intensidad media de las escamas

Combinamos “longitud” e “intensidad media de las escamas” para mejorar la separabilidad de las clases

Buscamos un clasificador que proporcione una frontera de decisión lineal (clasificador lineal) y obtenemos un 4.3% de error de clasificación

Salmón

Ródalo Frontera de decisión

Intensidad media

Intensidad media

RódaloSalmón

Long

itud

Frontera

Clasificador con 2 características

RECONOCIMIENTO DE PATRONES 3.- DISEÑO DE UN SISTEMA

Page 25: Universidad de Verano de Adeje 2002 Conferencia: Reconocimiento de Patrones Impartida por: Fernando Pérez Nava Departamento de Estadística, Investigación.

Un Sistema realista de Reconocimiento de Patrones (5) Costo y Error de Clasificación

El clasificador que se diseñó hace mínimo el error de clasificación ¿Es éste el mejor criterio para procesar pescado ?

El costo de clasificar erróneamente salmón como ródalo es que el consumidor encontrará una pieza sabrosa de salmón cuando compra ródalo.

El costo de clasificar erróneamente ródalo como salmón es que el consumidor encontrará una pieza ródalo comprada al precio de salmón

Deberíamos ajustar la frontera de decisión para minimizar esta función de coste

Intensidad media Intensidad media

Long

itud

Long

itud

Salmón Salmón

RódaloRódalo

Frontera Nueva Frontera

Fronteras de decisión: Error y Costo

RECONOCIMIENTO DE PATRONES 3.- DISEÑO DE UN SISTEMA

Page 26: Universidad de Verano de Adeje 2002 Conferencia: Reconocimiento de Patrones Impartida por: Fernando Pérez Nava Departamento de Estadística, Investigación.

Un Sistema realista de Reconocimiento de Patrones (6) ¿Cómo seguir mejorando el rendimiento del sistema?

El rendimiento de un clasificador depende de la interrelación entre el número de muestras del conjunto de entrenamiento, el número de características y la complejidad del clasificador.

Supongamos un número de muestras fijo entonces podemos: Aumentar el número de características

En principio parece que al aumentar la información (más características) debe de aumentarse el rendimiento del clasificador. Sin embargo se observa en la práctica que llega un momento en que el rendimiento disminuye cuando el número de características aumenta. A este comportamiento paradójico se le llama “la maldición de la dimensionalidad”

Se acepta que generalmente que se debe utilizar al menos diez veces más muestras por clase que el número de características

RECONOCIMIENTO DE PATRONES 3.- DISEÑO DE UN SISTEMA

Page 27: Universidad de Verano de Adeje 2002 Conferencia: Reconocimiento de Patrones Impartida por: Fernando Pérez Nava Departamento de Estadística, Investigación.

Intensidad mediaRódalo

Salmón

Long

itud

Frontera

Un Sistema realista de Reconocimiento de Patrones (7) Para mejorar el rendimiento del sistema la otra alternativa es

aumentar la complejidad del clasificador Parece que un clasificador más complejo debería aumentar el

rendimiento del sistema. Sin embargo se observa en la práctica que llega un momento en que el rendimiento disminuye cuando aumenta la complejidad del clasificador.

A este hecho se le llama “el problema de la generalización”, su explicación es que el clasificador se ajusta tanto a las muestras de entrenamiento que no “captura” bien el comportamiento de las muestras nuevas.

Hay una teoría filosófica para la elección de

clasificadores sencillos. Ya William de Occam

(1284-1347?) afirmaba (“navaja de Occam”)

que si dos explicaciones son igual de buenas

se debe elegir la simple sobre la complicada. El problema de la generalización

RECONOCIMIENTO DE PATRONES 3.- DISEÑO DE UN SISTEMA

Page 28: Universidad de Verano de Adeje 2002 Conferencia: Reconocimiento de Patrones Impartida por: Fernando Pérez Nava Departamento de Estadística, Investigación.

Metodología general para diseñar un Sistema de Reconocimiento de Patrones

RECONOCIMIENTO DE PATRONES 3.- DISEÑO DE UN SISTEMA

Estudiar las clases del problema y desarrollar sus caracterizaciones.

Determinar que características pueden extraerse Estudiar el clasificador más adecuado Determinar la presencia de datos de entrenamiento para

entrenar el clasificador Considerar las restricciones computacionales Realizar una Simulación Iterar los pasos anteriores hasta obtener el rendimiento

deseado.

Page 29: Universidad de Verano de Adeje 2002 Conferencia: Reconocimiento de Patrones Impartida por: Fernando Pérez Nava Departamento de Estadística, Investigación.

La elección de las características

Hay al menos dos razones para mantener el número de características tan pequeño como sea posible: Costo de obtención Precisión en la clasificación

Para determinar las características del clasificador distinguiremos entre: Extracción de características

Métodos que crean nuevas características con mejor poder de discriminación a partir del conjunto original de características

Selección de características Métodos que seleccionan el mejor subconjunto de características a

partir de un conjunto original

RECONOCIMIENTO DE PATRONES 3.- DISEÑO DE UN SISTEMA

Page 30: Universidad de Verano de Adeje 2002 Conferencia: Reconocimiento de Patrones Impartida por: Fernando Pérez Nava Departamento de Estadística, Investigación.

Extracción de características Estos métodos transforman el conjunto de características

originales pudiendo reducir también su número. Algunos métodos

Método Propiedad Comentarios

Análisis de Componentes Principales (ACP)

Transformación Lineal; rápida; basada en autovectores

Tradicional; bueno para datos gausianos.

Análisis de Componentes Independientes

Transformación Lineal iterativa; no gausiana

Utilizada para separar mezclas de señales no gausianas

Mapa Auto-Organizado (MAO)

No lineal; iterativo Basado en una malla de neuronas

Extracción de características mediante ACP

NO CAMBIOCAMBIO

CAMBIO

Intensidad Imagen Anterior

IntensidadImagenPosterior

RECONOCIMIENTO DE PATRONES 3.- DISEÑO DE UN SISTEMA

Page 31: Universidad de Verano de Adeje 2002 Conferencia: Reconocimiento de Patrones Impartida por: Fernando Pérez Nava Departamento de Estadística, Investigación.

Ejemplo de extracción de características mediante ACP Autocaras

Componentes principales a partir de un conjunto de jóvenes, 50 masculinos y 50 femeninos. Un total de 236 puntos se localizan en cada cara. Los efectos de los autovalores se miden añadiendo y sustrayendo su valor de la cara media.

Images copyright Peter Hancock, March 2000

Tamaño Dirección de la mirada Longitud de la cara Cabeceo Lateral ¿Relación flequillo – orejas?

Autocaras: Componentes de forma

RECONOCIMIENTO DE PATRONES 3.- DISEÑO DE UN SISTEMA

Page 32: Universidad de Verano de Adeje 2002 Conferencia: Reconocimiento de Patrones Impartida por: Fernando Pérez Nava Departamento de Estadística, Investigación.

Selección de características

El problema de la selección de características se define como: Dado un conjunto de d características, seleccionar un

subconjunto de tamaño m que proporcione el menor error de clasificación

Esta definición hace que este proceso dependa del clasificador y de los tamaños de los conjuntos de aprendizaje y testeo

¿Cómo solucionar el problema? La aproximación más sencilla: de forma exhaustiva

Examinar todos los subconjuntos de tamaño d calcular el error de clasificación y elegir el óptimo

Sin embargo, no es factible computacionalmente por su complejidad Además es posible demostrar que no existe ningún

procedimiento no exhaustivo que proporcione el subconjunto óptimo de características

RECONOCIMIENTO DE PATRONES 3.- DISEÑO DE UN SISTEMA

Page 33: Universidad de Verano de Adeje 2002 Conferencia: Reconocimiento de Patrones Impartida por: Fernando Pérez Nava Departamento de Estadística, Investigación.

Métodos de Selección de Características

Método Propiedad Comentarios

Búsqueda exhaustiva Evalúa todos los posibles subconjuntos Encuentra el óptimo. No factible computacionalmente

Búsqueda mediante ramificación y corte

Examina únicamente una fracción de los posibles subconjuntos

Encuentra el óptimo. La complejidad en el pero caso es exponencial

Búsqueda secuencial hacia delante (BSAD)

Añade características de forma secuencial de forma que al unirse con las ya seleccionadas formen un conjunto óptimo

No garantiza el óptimo. Computacionalmente eficiente

Búsqueda secuencial hacia atrás (BSAT)

Elimina características de forma secuencial de forma que el conjunto resultante forme un conjunto óptimo

No garantiza el óptimo. Computacionalmente eficiente.

Más complejo que el BSAD

Selección “añade l y quita r” Añade l características mediante BSAD y elimina r mediante BSAT

Permite añadir y eliminar a diferencia de BSAD y BSAT

Búsqueda Flotante Secuencial hacia Delante (BFSAD) y Búsqueda Flotante Secuencial hacia Atrás (BFSAT)

Es una generalización del “añade l y quita r” los valores de l y r se determinan automáticamente

Proporciona soluciones cercanas al óptimo con un costo razonable computacionalmente

RECONOCIMIENTO DE PATRONES 3.- DISEÑO DE UN SISTEMA

Page 34: Universidad de Verano de Adeje 2002 Conferencia: Reconocimiento de Patrones Impartida por: Fernando Pérez Nava Departamento de Estadística, Investigación.

La elección del clasificador

En la práctica, la elección de un clasificador es un problema difícil y generalmente está basado en cuales están disponibles o son conocidos para el usuario

Podemos identificar tres aproximaciones distintas para el diseño de un clasificador: Basados en similitud

Patrones similares deben ser asignados a la misma clase Basados en probabilidades

Proporciona el clasificador óptimo haciendo mínima la probabilidad de error o el costo de clasificación

Basados en criterios geométricos Se construyen directamente las fronteras de decisión utilizando

criterios geométricos

RECONOCIMIENTO DE PATRONES 3.- DISEÑO DE UN SISTEMA

Page 35: Universidad de Verano de Adeje 2002 Conferencia: Reconocimiento de Patrones Impartida por: Fernando Pérez Nava Departamento de Estadística, Investigación.

Algunos métodos de Clasificación (1)

Método Propiedad Comentarios

Bayes plug-in Asigna el patrón a la clase mayor probabilidad a posteriori

Proporciona clasificadores simples para las distribuciones gausianas. Sensible a errores en la estimación de la función de densidad

1-Vecino más próximo Asigna el patrón a la clase de la muestra de entrenamiento más cercana

No necesita entrenamiento; rendimiento robusto: testeo lento; dependiente de la escala

k-Vecinos más próximos Asigna el patrón a la clase mayoritaria entre las k muestras de entrenamiento más cercana

Asintóticamente óptima; dependiente de la escala; testeo lento

Clasificador basado en probabilidad Bayes plug-in.

Distribuciones gausianas de igual covarianza

Media clase 2

Media clase 1

Muestra aclasificar

Clase 1Clase 2

RECONOCIMIENTO DE PATRONES 3.- DISEÑO DE UN SISTEMA

Clasificador basado en similitud: 1-vecino más próximo

Muestra aclasificar

Clase 1Clase 2

Vecino máspróximo

A continuación se muestran algunos métodos de clasificación. La lista no es ni mucho menos exhaustiva

Page 36: Universidad de Verano de Adeje 2002 Conferencia: Reconocimiento de Patrones Impartida por: Fernando Pérez Nava Departamento de Estadística, Investigación.

Algunos Métodos de Clasificación (2)

Método Propiedad Comentarios

Arbol de decisión binario Encuentra un conjunto de umbrales para una secuencia de características

Procedimiento de entrenamiento iterativo; sensible a problemas de generalización; testeo rápido

Perceptrón multicapa

(Red Neuronal con Propagación hacia Delante (RNPA) )

Optimización iterativa de dos o más capas de perceptrones utilizando función de transferencia sigmoidal

Sensible a los parámetros de entrenamiento; clasificador no lineal; sensible a problemas de generalización

Clasificador del Vector Soporte (CVS)

Maximiza el margen entre las clases seleccionando un número mínimo de vectores soporte

Dependiente de la escala; entrenamiento lento; no lineal; no sensible a problemas de generalización

Clasificador basado en criterios geométricosClasificador del Vector Soporte

Muestra aclasificar

Clase 1Clase 2

RECONOCIMIENTO DE PATRONES 3.- DISEÑO DE UN SISTEMA

Page 37: Universidad de Verano de Adeje 2002 Conferencia: Reconocimiento de Patrones Impartida por: Fernando Pérez Nava Departamento de Estadística, Investigación.

Ejemplo de clasificación

LocBoost Demo Applet.htm

Page 38: Universidad de Verano de Adeje 2002 Conferencia: Reconocimiento de Patrones Impartida por: Fernando Pérez Nava Departamento de Estadística, Investigación.

¿Hay algún clasificador inherentemente superior al resto? Teorema “No Free Lunch” (NFL)

En ausencia de información a priori no hay ningún clasificador superior a otro (incluyendo la elección al azar de las clases) sobre todos los problemas de reconocimiento de patrones.

Teorema “Ugly Duckling” En ausencia de información a priori no hay ninguna

representación superior a otra sobre todos los problemas de reconocimiento de patrones.

La paradoja del Reconocimiento de Patrones Hemos dicho (Navaja de Occam) que a igual rendimiento sobre

el conjunto de entrenamiento preferimos un clasificador simple sobre otro más complicado. Sin embargo, el teorema NFL nos dice que no hay razón para elegir un clasificador sobre otro.¿cómo se resuelve la paradoja?

Page 39: Universidad de Verano de Adeje 2002 Conferencia: Reconocimiento de Patrones Impartida por: Fernando Pérez Nava Departamento de Estadística, Investigación.

Una revisión del argumento de “La navaja de Occam” ¿Cómo explicamos que en igualdad de condiciones los

clasificadores más simples tengan en la práctica mejor rendimiento sobre datos nuevos? ¿Cuál es la respuesta a la paradoja? El éxito empírico de la navaja de Occam indica que los

problemas de R.P. que se intentan resolver tienen ciertas propiedades comunes

Hay algunos problemas, donde la navaja de Occam no es cierta, sin embargo, históricamente, no los hemos encontrado (o más probablemente los hemos evitado), puesto que de forma evolutiva siempre buscamos soluciones a menor costo, más rápidas, más pequeñas y más eficientes

Page 40: Universidad de Verano de Adeje 2002 Conferencia: Reconocimiento de Patrones Impartida por: Fernando Pérez Nava Departamento de Estadística, Investigación.

La esencia del Reconocimiento de Patrones

La ciencia del Reconocimiento de Patrones está relacionada con la elección del algoritmo más apropiado para el problema a resolver

Esto requiere conocimiento a priori (distribución de los datos, probabilidades a priori, complejidad del problema, física del fenómeno que generó los datos, etc)

El teorema NFL nos dice que en ausencia de conocimiento a priori no hay ningún clasificador mejor que otro. Sin embargo con información a priori, algunos clasificadores funcionan mejor con determinados tipos de problemas

El reto del profesional del Reconocimiento de Patrones es entonces identificar el clasificador adecuado para el problema a resolver

Page 41: Universidad de Verano de Adeje 2002 Conferencia: Reconocimiento de Patrones Impartida por: Fernando Pérez Nava Departamento de Estadística, Investigación.

Combinación de Clasificadores

¿Hay alguna técnica para para mejorar el rendimiento en un problema de Reconocimiento de Patrones?

De forma empírica se observa que la combinación de clasificadores mejoran el rendimiento. Sin embargo, actualmente hay pocas explicaciones teóricas para este hecho.

De todas formas hay diferentes razones para combinar clasificadores: El diseñador puede tener acceso a diferentes clasificadores,

cada uno diseñado en un contexto distinto y para una representación distinta de los datos. Por ejemplo, la identificación mediante voz, cara y escritura

Se pueden tener diferentes clasificadores entrenados sobre los mismos datos y que no sólo difieran en su rendimiento global sino que muestren fuertes diferencias locales. Cada clasificador puede tener una región donde es mejor.

Page 42: Universidad de Verano de Adeje 2002 Conferencia: Reconocimiento de Patrones Impartida por: Fernando Pérez Nava Departamento de Estadística, Investigación.

Algunos esquemas de combinación de clasificadores

Esquema Información Comentarios

Votación Asignación de clases por cada clasificador

Asume clasificadores independientes

Suma, media,mediana Valores numéricos de confianza para cada clase

Robusto. Asume estimadores de confianza independientes

Mezcla de expertos locales (MEL) Valores numéricos de confianza para cada clase

Utiliza clasificadores expertos localmente.

Parámetros del clasificador k.

Asigna un voto de confianza a cada clasificador

Combina los resultados de los “expertos” individuales mediante algún esquema de combinación.

Decisión final

Clasificador 1 Clasificador 2 Clasificador kParámetros del clasificador 1.

Sistema deponderación

Sistema defusión

Mezcla de expertos

Regla de decisión del clasificador k

Page 43: Universidad de Verano de Adeje 2002 Conferencia: Reconocimiento de Patrones Impartida por: Fernando Pérez Nava Departamento de Estadística, Investigación.

Clasificación no supervisada En muchas aplicaciones, es extremadamente difícil, caro o

incluso imposible etiquetar una muestra de entrenamiento con su clase.

En este caso el objetivo es construir regiones de decisión basadas en datos para los que la clase no es conocida

La clasificación no supervisada asume que es probable que muestras “cercanas” pertenezcan a la misma clase y muestras “lejanas” estén en clases distintas por lo que se suelen buscar agrupamientos en el conjunto de entrenamiento.

Es un problema muy difícil debido a que los datos pueden mostrar agrupamientos con distintas formas y tamaños

Distintos agrupamientos

Page 44: Universidad de Verano de Adeje 2002 Conferencia: Reconocimiento de Patrones Impartida por: Fernando Pérez Nava Departamento de Estadística, Investigación.

Algunas técnicas de agrupamiento

Esquema Información Comentarios

K-medias Identifica agrupamientos esféricos. Necesita el valor del número de agrupamientos y una estimación de sus centros

Jerárquico Aglomerativo (JA) y Jerárquico Divisivo (JD)

Realiza de forma secuencial la unión o división de agrupamientos

Necesita el número de agrupamientos. Computacionalmente eficiente

Descomposición de mezclas

Cada patrón se asume que pertenece a una de k agrupamientos. Los parámetros de la población se estiman de los datos

Se asume que la forma de las funciones de densidad y el valor de k es conocido

Agrupamiento Jerárquico: Composición de la leche de 25 mamíferos

Page 45: Universidad de Verano de Adeje 2002 Conferencia: Reconocimiento de Patrones Impartida por: Fernando Pérez Nava Departamento de Estadística, Investigación.

Reconocimiento de Patrones

4. Aplicaciones

Page 46: Universidad de Verano de Adeje 2002 Conferencia: Reconocimiento de Patrones Impartida por: Fernando Pérez Nava Departamento de Estadística, Investigación.

Aplicaciones:Inspección Industrial Objetivo:

Inspección de defectos en cadenas de montaje Realizado por

Cognex (Estados Unidos)

Inspección de defectos en botellas

Inspección de defectos en neumáticos

© Copyright 2002, Cognex Corporation

RECONOCIMIENTO DE PATRONES 4.- APLICACIONES

Page 47: Universidad de Verano de Adeje 2002 Conferencia: Reconocimiento de Patrones Impartida por: Fernando Pérez Nava Departamento de Estadística, Investigación.

Aplicaciones:Teledetección Objetivo

Predicción del tiempo atmosférico Realizado por

Instituto meteorológico del Reino Unido Características

Realizado con una red neuronal Precisión del 94%. En servicio desde 1999

Imagen visible del Meteosat Imagen infraroja del Meteosat

Tipo de masa de aire esperada:Violeta:libre de nubes, Verde:nubes dinámicas

Amarillo:nubes superficiales, Rojo: nubes profundas

RECONOCIMIENTO DE PATRONES 4.- APLICACIONES

Page 48: Universidad de Verano de Adeje 2002 Conferencia: Reconocimiento de Patrones Impartida por: Fernando Pérez Nava Departamento de Estadística, Investigación.

Aplicaciones:Clasificación de Documentos en Internet Objetivo:

Clasificar de forma automática documentos en Internet Realizado por:

Universidad de Arizona (Estados Unidos) Características:

Realizado con un Mapa Auto-Organizado (MAO) bidimensional multicapa

El MAO agrupa categorías similares cerca de cada otra en el mapa

Seleccionando una región del mapa se pasa a la siguiente capa del mapa multicapa o se muestran los documentos de la categoría si el número es inferior a 200

Los textos y colores se utilizan para visualizar las distintas categorías

RECONOCIMIENTO DE PATRONES 4.- APLICACIONES

Page 49: Universidad de Verano de Adeje 2002 Conferencia: Reconocimiento de Patrones Impartida por: Fernando Pérez Nava Departamento de Estadística, Investigación.

Clasificación de Documentos en Internet: Ejemplo Mapa bidimensional multicapa generado a partir de las

páginas de entretenimiento de Yahoo.

ET-Map: Clasificación de documentos en Internet

RECONOCIMIENTO DE PATRONES 4.- APLICACIONES

Page 50: Universidad de Verano de Adeje 2002 Conferencia: Reconocimiento de Patrones Impartida por: Fernando Pérez Nava Departamento de Estadística, Investigación.

Aplicaciones: Computación Afectiva Objetivo:

Creación de robots “sociales” capaces de reconocer y expresar emociones.

Realizado por: MIT (Estados Unidos)

Características Se creó el robot Kismet que es una criatura expresiva robótica

con capacidades perceptuales y motoras diseñadas para los canales de comunicación natural con el hombre.

RECONOCIMIENTO DE PATRONES 4.- APLICACIONES

Kismet: Cabeza robótica

Cámaras Dirección de la mirada

Sintetizador de voz Orientación de la cabeza

Page 51: Universidad de Verano de Adeje 2002 Conferencia: Reconocimiento de Patrones Impartida por: Fernando Pérez Nava Departamento de Estadística, Investigación.

Computación Afectiva: Ejemplo

Computación Afectiva: Robot Kismet

Disgustado

Triste Sorprendido

Feliz

Interesado Enfadado

Calmado

RECONOCIMIENTO DE PATRONES 4.- APLICACIONES

Page 52: Universidad de Verano de Adeje 2002 Conferencia: Reconocimiento de Patrones Impartida por: Fernando Pérez Nava Departamento de Estadística, Investigación.

Aplicaciones:Minado de Bases de Datos Multimedia Objetivo:

Realizar el indexado, clasificación, navegación y visualización de videos de forma automática

Realizado por: CMU (Estados Unidos)

Características Utiliza tecnología de comprensión

automática del habla, lenguaje e

imágenes para transcribir,

segmentar e indexar el video.

Las mismas herramientas se

utilizan para realizar búsquedas

inteligentes y proporcionar

respuestas selectivas. Sistema Informedia (CMU)

RECONOCIMIENTO DE PATRONES 4.- APLICACIONES

Page 53: Universidad de Verano de Adeje 2002 Conferencia: Reconocimiento de Patrones Impartida por: Fernando Pérez Nava Departamento de Estadística, Investigación.

Aplicaciones:Biometría Objetivo

Identificación mediante el iris del ojo Realizado por

Iriscan (Estados Unidos) Características

Probabilidad de dos iris iguales 1/1078

Tiempo medio de identificación 1 seg (NT) con 100.000 usuarios

RECONOCIMIENTO DE PATRONES 4.- APLICACIONES

Identificación mediante iris (Irisscan)

Page 54: Universidad de Verano de Adeje 2002 Conferencia: Reconocimiento de Patrones Impartida por: Fernando Pérez Nava Departamento de Estadística, Investigación.

Aplicaciones:Reconocimiento de Caracteres Objetivo:

Reconocimiento de caracteres para clasificación postal Realizado por

CEDAR (Universidad de Nueva York) para el Servicio Postal de Estados Unidos

Características Cada ordenador procesa 90.000 cartas a la hora Clasifica totalmente el 15% de las cartas El error cometido es inferior al 2%

RECONOCIMIENTO DE PATRONES 4.- APLICACIONES

Page 55: Universidad de Verano de Adeje 2002 Conferencia: Reconocimiento de Patrones Impartida por: Fernando Pérez Nava Departamento de Estadística, Investigación.

Reconocimiento de Caracteres: Ejemplo

1 Digitalización 2 Localización de la dirección 3 Extracción de la dirección

4 Binarización 5 Separación de líneas 6 Análisis de la dirección 7a Nombre del estado

7b Reconocimiento del C. Postal 7c Reconocimiento del número de calle 7d Reconocimiento de nombre de calle

8 Códigos de entrega 9 Impresión de códigos de entrega

RECONOCIMIENTO DE PATRONES 4.- APLICACIONES

Page 56: Universidad de Verano de Adeje 2002 Conferencia: Reconocimiento de Patrones Impartida por: Fernando Pérez Nava Departamento de Estadística, Investigación.

Aplicaciones de Reconocimiento de Patrones

¿Y en Canarias…?

Page 57: Universidad de Verano de Adeje 2002 Conferencia: Reconocimiento de Patrones Impartida por: Fernando Pérez Nava Departamento de Estadística, Investigación.

Aplicaciones de R.P. en CanariasRegistro Oleícola Español (1992-1998) Objetivo:

Realizar un censo de los olivos en España a partir de fotografías aéreas.

Realizado por Galileo Ingeniería y Servicios (Tenerife).

Características Duración del proyecto 6 años Puestos de trabajo creados 40.

Conteo de parcela con olivos

RECONOCIMIENTO DE PATRONES 4.- APLICACIONES

Page 58: Universidad de Verano de Adeje 2002 Conferencia: Reconocimiento de Patrones Impartida por: Fernando Pérez Nava Departamento de Estadística, Investigación.

Aplicaciones de R.P. en Canarias Detecam (2001) Objetivo:

Detectar cambios en imágenes aéreas (edificaciones, carreteras, etc.)

Realizado por Universidad de La Laguna (DEIOC) para Grafcan

Sistema Detecam

RECONOCIMIENTO DE PATRONES 4.- APLICACIONES

Page 59: Universidad de Verano de Adeje 2002 Conferencia: Reconocimiento de Patrones Impartida por: Fernando Pérez Nava Departamento de Estadística, Investigación.

Detecam: Algunos resultados

S/C Tfe. 1995 S/C Tfe. 1998 Cambios

CambiosMadrid 2000Madrid 1999

RECONOCIMIENTO DE PATRONES 4.- APLICACIONES

Page 60: Universidad de Verano de Adeje 2002 Conferencia: Reconocimiento de Patrones Impartida por: Fernando Pérez Nava Departamento de Estadística, Investigación.

Aplicaciones de R.P. en Canarias Proyecto Eldi Objetivo

Diseño y construcción de un Sistema Autónomo Inteligente Móvil capaz de interactuar con el medio en ambientes en los cuales coexiste con personas.

Realizado por: Grupo de investigación en Inteligencia Artificial y Sistemas

(GIAS) de la ULPGC para el Museo de La Ciencia de Las Palmas de Gran Canaria

ELDI bailando en el Museo de La CienciaVídeo cortesía del GIAS

RECONOCIMIENTO DE PATRONES 4.- APLICACIONES

Page 61: Universidad de Verano de Adeje 2002 Conferencia: Reconocimiento de Patrones Impartida por: Fernando Pérez Nava Departamento de Estadística, Investigación.

Aplicaciones de R.P. en Canarias Espacio Acústico Virtual (1995-2004) Objetivo:

Codificar la información visual mediante sonidos para aumentar la autonomía de las personas ciegas.

Realizado por Instituto Astrofísico de Canarias (Área de Instrumentación) Universidad de La Laguna (Departamento de Fisiología) En colaboración con ONCE, ITC, IMETISA Financiación: 1.4 Meuros (230 Mptas)

Espacio Acústico Virtual: PresentaciónVídeo cortesía del IAC

RECONOCIMIENTO DE PATRONES 4.- APLICACIONES

Page 62: Universidad de Verano de Adeje 2002 Conferencia: Reconocimiento de Patrones Impartida por: Fernando Pérez Nava Departamento de Estadística, Investigación.

Reconocimiento de Patrones

5. Conclusiones

Page 63: Universidad de Verano de Adeje 2002 Conferencia: Reconocimiento de Patrones Impartida por: Fernando Pérez Nava Departamento de Estadística, Investigación.

Conclusiones

El Reconocimiento de Patrones: Es un área de gran importancia dentro del área de la Percepción

Artificial Es un componente básico de los agentes inteligentes que tienen

contacto con el mundo físico Tiene una fuerte expansión debido a:

El incremento de interacción y colaboración entre diferentes disciplinas: redes neuronales, aprendizaje automático, estadística, etc.

La presencia de procesadores cada vez más potentes, la Internet y los grandes medios de almacenamiento

La aparición de aplicaciones como el minado de datos o la clasificación automática de documentos que proporcionan nuevos retos al área

RECONOCIMIENTO DE PATRONES 5.- CONCLUSIONES

Page 64: Universidad de Verano de Adeje 2002 Conferencia: Reconocimiento de Patrones Impartida por: Fernando Pérez Nava Departamento de Estadística, Investigación.

Además...

Hay razones para sentirse optimista Hay una “prueba de existencia” de que los problemas de

Reconocimiento de Patrones pueden de hecho resolverse como lo demuestran los humanos y otros sistemas biológicos.

Recientemente han aparecido teorías bien fundamentadas para la resolución de dichos problemas

Hay un gran aumento en la inversión en recursos materiales y humanos en el área debido a su creciente importancia

RECONOCIMIENTO DE PATRONES 5.- CONCLUSIONES

Page 65: Universidad de Verano de Adeje 2002 Conferencia: Reconocimiento de Patrones Impartida por: Fernando Pérez Nava Departamento de Estadística, Investigación.

Bibliografía R. Duda. P. Hart D. Stork, Pattern Classification, Wiley-

Interscience (2001)

S. Theodoridis, K. Koutroumbas , Pattern Recognition, Academic Press (1998).

R. Schalkoff, Pattern Recognition, John Wiley & Sons (1992).

S. Bow, Pattern Recognition and Image Preprocessing, M. Dekker (1992)

Page 66: Universidad de Verano de Adeje 2002 Conferencia: Reconocimiento de Patrones Impartida por: Fernando Pérez Nava Departamento de Estadística, Investigación.

Gracias...

Page 67: Universidad de Verano de Adeje 2002 Conferencia: Reconocimiento de Patrones Impartida por: Fernando Pérez Nava Departamento de Estadística, Investigación.

Universidad de Verano de Adeje 2002

Conferencia: Reconocimiento de Patrones

Impartida por: Fernando Pérez Nava

Departamento de Estadística, Investigación Operativa y Computación (DEIOC)

Universidad de La Laguna

e-mail: [email protected]

Curso: La Inteligencia Artificial en el desarrollo de Actividades Informáticas para la Resolución de Problemas: Técnicas y Áreas de Aplicación