DESARROLLO DE PLATAFORMA SINGTXT V1.0 PARA LA TRADUCCIÓN

DE LENGUAJE DE SEÑAS A TEXTO

JHON FREDY GONZALEZ MUÑOZINGENIERÍA ELECTRÓNICA

AGENDA

1. JUSTIFICACION Y PROBLEMA

2. OBJETIVOS

3. MARCO TEORICO

4. METODOLOGIA

5. RESULTADOS

6. CONCLUSIONES

7. COSTOS

8. IMPACTO AMBIENTAL

9. REFERENCIAS

JUSTIFICACION Y PROBLEMA

Durante muchos años, las personas Sordas han sido excluidas de los diferentes escenarios y actividades que realizan las personas del común (Persona Oyente) debido a la dificultad de comunicación, tanto así que un gran porcentaje de Personas Sordas es analfabeta teniendo como único medio de comunicación el lenguaje de Señas, el cual no es conocido por la gran mayoría de personas sin dichas discapacidades. De esta manera se ha querido estrechar esa brecha, con el desarrollo e implementación de un software de bajo costo que sea capaz de hacer una comunicación Persona Sorda – Persona Oyente. Es por ello que se ha enfocado dicha problemática de comunicación que desde siempre ha excluido a este tipo de personas.  Además de ello, se ha querido realizar este trabajo, orientando a personas con dichas discapacidades, en donde la ingeniería ha prestado poca atención.

OBJETIVO GENERAL

DISEÑAR E IMPLEMENTAR LA PLATAFORMA SINGTXT V1.0 PARA LA TRADUCCIÓN DE LENGUAJE DE SEÑAS A TEXTO

 

OBJETIVOS ESPECIFICOS

• Caracterizar la fonología propia del lenguaje de señas • Determinar que herramientas e instrumentos físicos son más

adecuados para el desarrollo de la plataforma. • Implementar algoritmos óptimos para el pre-procesamiento de

imágenes en tiempo real. • Implementar algoritmos de reconocimiento de patrones para

identificación de señas.  • Diseñar la interfaz gráfica amigable al usuario. • Realizar pruebas con la plataforma.

Marco Teorico SVM ( Maquinas de Soporte vectorial)

(1)

(2)

(3)Ancho del vector Variable de desplazamiento.

N indica el numero de dimensiones de la función de activación.

(4)

(5)

La variable de holgura esta denotada por Los Hiperparametros de control estan dados por

Equidistantes

Kernel

Transformada Wavelet

El análisis de imágenes mediante Transformada Wavelet (TW) descompone la imagen en versiones trasladadas (en tiempo) y escaladas de la Wavelet original, la que es más conocida como Wavelet Madre.

La aplicación principal en la cual se ha utilizado el Análisis Wavelet corresponde a la compresión de imágenes, donde apoyado del teorema de disminución de muestras (downsampling), reduce la tasa de muestreo en la imagen, generando así una disminución notable de resolución.

Siendo a y b los parámetros de escala y translación y s(t) la señal original

(1)

(2)

METODOLOGIA

Captura de Video Detección de Piel Pre-Procesamiento

SegmentaciónExtracción PatronesClasificación y Visualización

Captura de Video

Qt Creator OpenCv Matlab

Deteccion de Piel

• Espacio de Color HSV (H: Saturacion, S: Tonalidad , V: Valor)• Umbralizacion por canar H (0-50), S (1-63), V (0-255)

Pre - acondicionamiento

• Binarizacion mediante metodo Otsu• Filtros Morfologicos (Erosion - Dilatacion)• Filtros por area

Filtros por area

Filtrado por Área

Extracción de Región

Etiquetado Regiones

Filtro Morfologicos

Imagen Original

Filtro de Erosión Filtro de Dilatación

Segmentacion de imagenes

• Segmentacion de regiones de interes mediante etiqueteado• Compresion usando downsampling (T. Wavelet)• Estabilizacion de video sobre imagenes segmentadas

Compresion

1. Downsampling (matriz 40 *40)2. Promedio con mascara 5*5

Extraccion de Caracteristicas

- Ubicacion de Contorno

- Extraccion angulo de la mano- Deteccion de Yema de Dedos

- Estabilizacion de Video

Clasificacion mediante SVM y Visualizacion

Características algoritmo de clasificación:

•SVM Multiclase•Matriz de entrenamiento dimensiones 440 * 125.•Etiquetas de Salida del 0 al 24.•Hiperparametros óptimos de clasificación alpha = 10.3, sigma = 0.8•Kernel tipo RBF (Función de Base Radial).

Clasificacion mediante SVM y Visualizacion

Resultados

Pruebas

Conclusiones

La electrónica y la medicina son disciplinas que encuentran gran afinidad y gran aplicabilidad cuando se conjugan para desarrollar sistemas biomédicos, factor que demuestra que el trabajo interdisciplinario constituye una excelente alternativa para el desarrollo de proyectos con un mayor grado de complejidad y competitividad en los mercados nacionales e internacionales.

La utilización de las librerías de OpenCV permitió aumentar considerablemente el tiempo de reconocimiento de cada una de las señas, ya que las pruebas realizadas bajo Matlab, si bien se obtuvieron buenos resultados en precisión de clasificación, los tiempos de extracción y clasificación para cada seña se elevaban hasta los 3.2 segundos. OpenCV permitió dar respuestas de reconocimiento que giran a los 0.47 segundos por seña.

La implementación de un algoritmo de estabilización sobre las manos para su segmentación sin importar la distancia a la cámara, me permitió extraer parámetros relevantes de cada seña sin que se alterara sus características

La detección de piel me permitió eliminar esas limitaciones establecidas en un principio que consistían en la utilización de un ambiente controlado para la captura de video.

Conclusiones

Se realizó una detección de piel y posteriormente segmentación de manos, con técnicas y conceptos de procesamiento de imágenes que permitieron rapidez y eficiencia en la ejecución del algoritmo y en la búsqueda del resultado. Algunas de estas técnicas fueron: detección de contornos, filtros morfológicos, detección de convergentes convexas, máquinas de soporte vectorial, wavelet.

Las SVM multiclase demostraron ser un método de reconocimiento de patrones con resultados satisfactorios en la interpretación de las señas, utilizando un tiempo de extracción de parámetros corto, al igual que el tiempo de procesamiento de la imagen, siendo ideal para aplicaciones donde se necesite rapidez en la ejecución del algoritmo.

Al realizar la programación bajo C# y entorno Qt Creator, permite la realización de programación cruzada con sistemas operativos de celulares como Androide con el fin de llevar este software como aplicación para celulares de gama alta.

Costos

El costo de este trabajo recata esencialmente en la provisión de los siguientes elementos y servicios:

El desarrollo de la plataforma no solo demandó gran dedicación en tiempo, sino que a futuro representa una importante alternativa para su implementación en sector biomédico; incrementando de esta forma el nivel investigativo de la Universidad De Pamplona contando con un fuerte impacto social enfocado a mejorar la calidad de vida de las personas discapacitadas. También es importante señalar que el desarrollo de esta plataforma puede ser llevada como una aplicación para celulares de gama alta y así crear una herramienta portátil.

ITEM DESCRIPCION COSTO

1Computador Portátil con

cámara integrada$ 1.350.000

2 Papelería y otros $ 150.000

Impacto Ambiental

El software realizado por su naturaleza no representa riesgo alguno para el medio ambiente, no contiene efectos negativos en la sociedad.

Un factor primordial dentro del desarrollo y ejecución del proyecto es la bioseguridad, entendida como el conjunto de medidas preventivas, destinadas a mantener el control de factores de riesgo laborales procedentes de agentes biológicos, físicos o químicos, logrando la prevención de impactos nocivos, asegurando que el desarrollo o producto final de dichos procedimientos no atenten contra la salud y seguridad de trabajadores de la salud, pacientes, visitantes y el medio ambiente.

 

Referencias

 [4]Escalante Crespo, P. A. 2006. Transcriptor de Lenguaje de Señas a Texto. Tesis Maestría. Ciencias con Especialidad en Ingeniería Electrónica. Departamento de Computación, Electrónica, Física e Innovación, Escuela de Ingeniería y Ciencias, Universidad de las Américas Puebla. Diciembre. [Consultado 10 de junio de 2010]. Disponible en http://catarina.udlap.mx/u_dl_a/tales/documentos/meie/escalante_c_pa/index.html[5] PLATERO DUEÑAS, Carlos. Apuntes de visión artificial: Introducción a la visión artificial. [En línea]. 2009. [consultado 3 abril 2011]. Disponible en http://www.elai.upm.es:8009/spain/Asignaturas/MIP_VisionArtificial/ApuntesVA/cap1IntroVA.pdf[11] “Aplicaciones de la visión por computadora”. http://ccc.inaoep.mx/~labvision/avis.htm[12] PAJARES MARTINSANZ, Gonzalo. Aplicaciones industriales de la visión por computador. [En línea].2006. [Consultado 4 marzo 2011]. Disponible en http://gavab.escet.urjc.es/recursos/seminario_07.pdf[13] GONZALEZ, Rafael C. WOODS, Richard E. “Digital Image Processing”. Prentice Hall, Ed.[14] J.A BERRY, MICHAEL, GORDON, Linoff, Data Mining Tecniques p. 22-35[17] S. L. PHUNG, A. BOUZERDOUM, D. CHAI, “Skin Segmentation Using Color Pixel Classification: Analysis and Comparison”, IEEE sactions on pattern analysis and machine intelligence, vol. 27, no. 1, pp. 148-154, 2005.[19] BASTARDAS Boada, A. (1999): “Lingüística general y teorías de la complejidad ecológica: algunas ideas desde una transdisciplinariedad sugerente”, J. Fernández González et alii (eds.), Lingüística para el siglo XXI, 1, Salamanca: Ediciones. Universidad de Salamanca, pp. 287-294.[20] BRENTARI, D. (2002).Modalitu difference in sign language phonologhy. In Modality and structure in signed and spoken language. Meirer, R (eds) 2002. Cambridge: Inglaterra[22] BHASKARAN V., KONSTANTINIDIES K., Image and Video Compression Standards, Kluwer, 1995.[24] WILLIAM K. PRATT. Digital Image Processing.Wiley, 2001.[25] DAUBECHIES, I., 1990: The wavelet transforms time-frequency localization and signals analysis. IEEE Trans. Inform. Theory, 36, 961-1004.[26] COLIN CAMPBELL, YIMING YING. (2011) Learning with Support Vector Machines.SynthesisLectureson Artificial Intelligence and Machine Learning5:1, 1-95