Desarrollo de un sistema de traducción de voz a Lengua de Signos Española para un servicio...
-
Upload
alarico-placido -
Category
Documents
-
view
0 -
download
0
Transcript of Desarrollo de un sistema de traducción de voz a Lengua de Signos Española para un servicio...
![Page 1: Desarrollo de un sistema de traducción de voz a Lengua de Signos Española para un servicio público de atención personal Primera Reunión de arranque del.](https://reader036.fdocumento.com/reader036/viewer/2022070304/54d46c32497959a0198b528c/html5/thumbnails/1.jpg)
Desarrollo de un sistema de traducción de voz a Lengua de Signos Española para un servicio público de atención personal
Primera Reunión de arranque del proyecto
En la ETSI Telecomunicación de la UPM
Proyecto
![Page 2: Desarrollo de un sistema de traducción de voz a Lengua de Signos Española para un servicio público de atención personal Primera Reunión de arranque del.](https://reader036.fdocumento.com/reader036/viewer/2022070304/54d46c32497959a0198b528c/html5/thumbnails/2.jpg)
INDICE y AGENDA 10:00-10:10 Presentación 10:10-10:20 Introducción 10:20-11:30 Tareas
T1: Estudio Lingüístico T2: Diseño de Arquitectura T3: Reconocimiento de voz
11:30-12:00 Café 12:00-13:20 Tareas
T4: Traducción por reglas T5: Traducción estadística T6: Generación de signos T7: Evaluación de prototipos T8: Gestión/documentación
13:20-13:30 Ruegos y preguntas 13:30-14:00 Visita al laboratorio
PROYECTOS
![Page 3: Desarrollo de un sistema de traducción de voz a Lengua de Signos Española para un servicio público de atención personal Primera Reunión de arranque del.](https://reader036.fdocumento.com/reader036/viewer/2022070304/54d46c32497959a0198b528c/html5/thumbnails/3.jpg)
INTRODUCCIÓN
![Page 4: Desarrollo de un sistema de traducción de voz a Lengua de Signos Española para un servicio público de atención personal Primera Reunión de arranque del.](https://reader036.fdocumento.com/reader036/viewer/2022070304/54d46c32497959a0198b528c/html5/thumbnails/4.jpg)
ENFOQUE
VOZ TEXTO
SIGNOS
RAZONABLE
COMPLICADO
El proceso de traducción se puede llevar a cabo en los dos sentidos
![Page 5: Desarrollo de un sistema de traducción de voz a Lengua de Signos Española para un servicio público de atención personal Primera Reunión de arranque del.](https://reader036.fdocumento.com/reader036/viewer/2022070304/54d46c32497959a0198b528c/html5/thumbnails/5.jpg)
SIGNOS - VOZ
COMPLICADO
Reconocimiento visual de los signos Procesado de Vídeo 2D a 3D
Hoy: reconocimiento del alfabeto dactilográfico Captura de los movimientos mediante guantes
Mejores tasas Poco práctico
![Page 6: Desarrollo de un sistema de traducción de voz a Lengua de Signos Española para un servicio público de atención personal Primera Reunión de arranque del.](https://reader036.fdocumento.com/reader036/viewer/2022070304/54d46c32497959a0198b528c/html5/thumbnails/6.jpg)
VOZ - SIGNOS
RAZONABLE
Conseguir una buena tasa de transferencia de información: 90% es posible para dominios restringidos. El 100% es una utopía
Dominios RestringidosEn torno a 100-1000 palabras: información
meteorológica, deportes,....
![Page 7: Desarrollo de un sistema de traducción de voz a Lengua de Signos Española para un servicio público de atención personal Primera Reunión de arranque del.](https://reader036.fdocumento.com/reader036/viewer/2022070304/54d46c32497959a0198b528c/html5/thumbnails/7.jpg)
UN PRIMER PROTOTIPO
En primer lugar pedir perdón porque las traducciones no han sido realizadas por ningún experto, ni los signos tampoco han sido supervisados por una
persona experta
![Page 8: Desarrollo de un sistema de traducción de voz a Lengua de Signos Española para un servicio público de atención personal Primera Reunión de arranque del.](https://reader036.fdocumento.com/reader036/viewer/2022070304/54d46c32497959a0198b528c/html5/thumbnails/8.jpg)
TAREAS: OBJETIVO Y
PLANIFICACIÓN GENERAL
![Page 9: Desarrollo de un sistema de traducción de voz a Lengua de Signos Española para un servicio público de atención personal Primera Reunión de arranque del.](https://reader036.fdocumento.com/reader036/viewer/2022070304/54d46c32497959a0198b528c/html5/thumbnails/9.jpg)
OBJETIVO CONCRETO
Diseño, desarrollo y evaluación de una arquitectura software que permita la traducción de voz a Lengua de Signos Española (LSE) aplicados a la traducción de las frases que un funcionario público pronuncia cuando atiende personalmente a una persona sorda.
Se elegirán dos de entre estos servicios: Renovación del Documento Nacional de Identidad (DNI). Prestaciones económicas del Instituto Nacional de la Seguridad Social (INSS). Información y gestión de los servicios que presta la DGT (Dirección General de Tráfico).
![Page 10: Desarrollo de un sistema de traducción de voz a Lengua de Signos Española para un servicio público de atención personal Primera Reunión de arranque del.](https://reader036.fdocumento.com/reader036/viewer/2022070304/54d46c32497959a0198b528c/html5/thumbnails/10.jpg)
PLANIFICACIÓN GENERALOriginal (15 meses)
Real (12 meses)
Tareas T0 T1 T2 T3 T4 T5 T6 T7 T8 T9T10
T11
T12
T13
T14
T1: Estudio Lingüístico
T2: Diseño Arquitectura
T3: Reconocimiento de voz
T4: Traducción por reglas
T5: Traducción estadística
T6: Generación de signos
T7: Evaluación prototipos
T8: Gestión/documentación
Tareas T0 T1 T2 T3 T4 T5 T6 T7 T8T9
T10 T11
T1: Estudio Lingüístico
T2: Diseño Arquitectura
T3: Reconocimiento de voz
T4: Traducción por reglas
T5: Traducción estadística
T6: Generación de signos
T7: Evaluación prototipos
T8: Gestión/documentación
![Page 11: Desarrollo de un sistema de traducción de voz a Lengua de Signos Española para un servicio público de atención personal Primera Reunión de arranque del.](https://reader036.fdocumento.com/reader036/viewer/2022070304/54d46c32497959a0198b528c/html5/thumbnails/11.jpg)
ESTUDIO LINGÜÍSTICO
![Page 12: Desarrollo de un sistema de traducción de voz a Lengua de Signos Española para un servicio público de atención personal Primera Reunión de arranque del.](https://reader036.fdocumento.com/reader036/viewer/2022070304/54d46c32497959a0198b528c/html5/thumbnails/12.jpg)
1 PASO: ENTREVISTA CON FUNCIONARIO Y ESCENARIOS
Es necesario una entrevista con un funcionario Obtención de escenarios o posibles situaciones demandadas por los usuarios
Descripción de situaciones y escenarios
![Page 13: Desarrollo de un sistema de traducción de voz a Lengua de Signos Española para un servicio público de atención personal Primera Reunión de arranque del.](https://reader036.fdocumento.com/reader036/viewer/2022070304/54d46c32497959a0198b528c/html5/thumbnails/13.jpg)
2 PASO: RECOPILACIÓN DE FRASES
el denei es obligatorio desde los catorce años
para solicitar por primera vez el denei necesitas dos fotos
si usted solicita por primera vez el denei debe llevar la partida de nacimiento
si usted tiene entre treinta y setenta años debe renovar el denei
las personas mayores de setenta años ya no tienen que renovar el denei
para hacerte las fotografías tienes que pagar cuatro euros
con tu denei puedes viajar a estos países
para alquilar un coche tienes que presentar el denei
Varios funcionarios generan varias frases según los escenarios definidos Estimación: entre 200 y 500 frases
![Page 14: Desarrollo de un sistema de traducción de voz a Lengua de Signos Española para un servicio público de atención personal Primera Reunión de arranque del.](https://reader036.fdocumento.com/reader036/viewer/2022070304/54d46c32497959a0198b528c/html5/thumbnails/14.jpg)
3 PASO: EXTENSIÓN DE FRASES: FLEXIBILIDAD
el denei es obligatorio desde los catorce años
para solicitar por primera vez el denei necesitas dos fotos
si usted solicita por primera vez el denei debe llevar la partida de nacimiento
si usted tiene entre treinta y setenta años debe renovar el denei
las personas mayores de setenta años ya no tienen que renovar el denei
para hacerte las fotografías tienes que pagar cuatro euros
con tu denei puedes viajar a estos países
para alquilar un coche tienes que presentar el denei
Varias formas de expresar lo mismo para aumentar la flexibilidad del sistema Estimación: entre 500 y 800 frases
Desde los catorce años el denei es obligatorio
Con más de catorce años te tienes que sacar el denei
Cuando tengas catorce años tienes que disponer del denei
![Page 15: Desarrollo de un sistema de traducción de voz a Lengua de Signos Española para un servicio público de atención personal Primera Reunión de arranque del.](https://reader036.fdocumento.com/reader036/viewer/2022070304/54d46c32497959a0198b528c/html5/thumbnails/15.jpg)
4 PASO: TRADUCCIÓN
Se podría utilizar el Excel para etiquetar Sugerencia: grabación de vídeos
Estos 4 pasos hay que repetirlos para cada uno de los 2 servicios desarrollados
![Page 16: Desarrollo de un sistema de traducción de voz a Lengua de Signos Española para un servicio público de atención personal Primera Reunión de arranque del.](https://reader036.fdocumento.com/reader036/viewer/2022070304/54d46c32497959a0198b528c/html5/thumbnails/16.jpg)
DISEÑO DE LA ARQUITECTURA
![Page 17: Desarrollo de un sistema de traducción de voz a Lengua de Signos Española para un servicio público de atención personal Primera Reunión de arranque del.](https://reader036.fdocumento.com/reader036/viewer/2022070304/54d46c32497959a0198b528c/html5/thumbnails/17.jpg)
ARQUITECTURA
Requiere de un corpus paralelo de varios miles
de frases para entrenar los motores de traducción
Speech Recognition
Rule-based Translation
Natural Speech
Word Sequence Translation
Rules
Acoustic Models
Language Model
Statistical Translation
Probabilistic Model
Gesture Animation
Gesture Descriptions
Gesture Sequence
Speech Recognition
Rule-based Translation
Natural Speech
Word Sequence Translation
Rules
Acoustic Models
Language Model
Statistical Translation
Probabilistic Model
Gesture Animation
Gesture Descriptions
Gesture Sequence
![Page 18: Desarrollo de un sistema de traducción de voz a Lengua de Signos Española para un servicio público de atención personal Primera Reunión de arranque del.](https://reader036.fdocumento.com/reader036/viewer/2022070304/54d46c32497959a0198b528c/html5/thumbnails/18.jpg)
ARQUITECTURA
Gran Experiencia: Optimizado en
múltiples proyectos
Speech Recognition
Rule-based Translation
Natural Speech
Word Sequence Translation
Rules
Acoustic Models
Language Model
Statistical Translation
Probabilistic Model
Gesture Animation
Gesture Descriptions
Gesture Sequence
Speech Recognition
Rule-based Translation
Natural Speech
Word Sequence Translation
Rules
Acoustic Models
Language Model
Statistical Translation
Probabilistic Model
Gesture Animation
Gesture Descriptions
Gesture Sequence
![Page 19: Desarrollo de un sistema de traducción de voz a Lengua de Signos Española para un servicio público de atención personal Primera Reunión de arranque del.](https://reader036.fdocumento.com/reader036/viewer/2022070304/54d46c32497959a0198b528c/html5/thumbnails/19.jpg)
RECONOCIMIENTO DE VOZ
![Page 20: Desarrollo de un sistema de traducción de voz a Lengua de Signos Española para un servicio público de atención personal Primera Reunión de arranque del.](https://reader036.fdocumento.com/reader036/viewer/2022070304/54d46c32497959a0198b528c/html5/thumbnails/20.jpg)
RECONOCIMIENTO DE VOZ
VOZ
![Page 21: Desarrollo de un sistema de traducción de voz a Lengua de Signos Española para un servicio público de atención personal Primera Reunión de arranque del.](https://reader036.fdocumento.com/reader036/viewer/2022070304/54d46c32497959a0198b528c/html5/thumbnails/21.jpg)
RECONOCIMIENTO DE VOZ
VOZ
Ya hechoDisponible
![Page 22: Desarrollo de un sistema de traducción de voz a Lengua de Signos Española para un servicio público de atención personal Primera Reunión de arranque del.](https://reader036.fdocumento.com/reader036/viewer/2022070304/54d46c32497959a0198b528c/html5/thumbnails/22.jpg)
Café
![Page 23: Desarrollo de un sistema de traducción de voz a Lengua de Signos Española para un servicio público de atención personal Primera Reunión de arranque del.](https://reader036.fdocumento.com/reader036/viewer/2022070304/54d46c32497959a0198b528c/html5/thumbnails/23.jpg)
TRADUCCIÓN BASADA EN REGLAS
![Page 24: Desarrollo de un sistema de traducción de voz a Lengua de Signos Española para un servicio público de atención personal Primera Reunión de arranque del.](https://reader036.fdocumento.com/reader036/viewer/2022070304/54d46c32497959a0198b528c/html5/thumbnails/24.jpg)
TRADUCCIÓN POR REGLAS Reglas codificadas en C: colaboración de programador y experto en LSE. Necesidad de corpus Tipos de reglas:
Un concepto se traduce por un signo. Un concepto se traduce por varios signos. Varios conceptos se traducen por un signo. Varios conceptos se traducen por varios signos.
El orden de las reglas es muy importante 128 reglas de traducción para DNIs EJEMPLO:
Texto: ”el denei es obligatorio desde los catorce años” Signos: DNI OBLIGATORIO DESDE CATORCE EDAD
![Page 25: Desarrollo de un sistema de traducción de voz a Lengua de Signos Española para un servicio público de atención personal Primera Reunión de arranque del.](https://reader036.fdocumento.com/reader036/viewer/2022070304/54d46c32497959a0198b528c/html5/thumbnails/25.jpg)
TRADUCCIÓN ESTADÍSTICA
![Page 26: Desarrollo de un sistema de traducción de voz a Lengua de Signos Española para un servicio público de atención personal Primera Reunión de arranque del.](https://reader036.fdocumento.com/reader036/viewer/2022070304/54d46c32497959a0198b528c/html5/thumbnails/26.jpg)
TRADUCCIÓN ESTADÍSTICA
Generación de Modelos
Traducción y Modelos de Lenguaje
Traducción
Modelos de Traducción y
Modelos de Lenguaje
Texto Signos
Texto Signos
Texto: ”el denei es obligatorio desde los catorce años”Signos: DNI OBLIGATORIO DESDE CATORCE EDAD
![Page 27: Desarrollo de un sistema de traducción de voz a Lengua de Signos Española para un servicio público de atención personal Primera Reunión de arranque del.](https://reader036.fdocumento.com/reader036/viewer/2022070304/54d46c32497959a0198b528c/html5/thumbnails/27.jpg)
TRADUCCIÓN ESTADÍSTICA
Generación de Modelos
Traducción y Modelos de Lenguaje
Traducción
Modelos de Traducción y
Modelos de Lenguaje
Texto Signos
Texto Signos
Texto: ”el denei es obligatorio desde los catorce años”Signos: DNI OBLIGATORIO DESDE CATORCE EDAD
![Page 28: Desarrollo de un sistema de traducción de voz a Lengua de Signos Española para un servicio público de atención personal Primera Reunión de arranque del.](https://reader036.fdocumento.com/reader036/viewer/2022070304/54d46c32497959a0198b528c/html5/thumbnails/28.jpg)
GENERACIÓN DE LA BASE DE DATOS DE SIGNOS
![Page 29: Desarrollo de un sistema de traducción de voz a Lengua de Signos Española para un servicio público de atención personal Primera Reunión de arranque del.](https://reader036.fdocumento.com/reader036/viewer/2022070304/54d46c32497959a0198b528c/html5/thumbnails/29.jpg)
LISTA DE SIGNOS A GENERAR
Lista de signos a generar
Muy fácil de generar con un programa sencillo. Nosotros lo tenemos disponible y lo
podemos generar sin problemas
![Page 30: Desarrollo de un sistema de traducción de voz a Lengua de Signos Española para un servicio público de atención personal Primera Reunión de arranque del.](https://reader036.fdocumento.com/reader036/viewer/2022070304/54d46c32497959a0198b528c/html5/thumbnails/30.jpg)
REPRESENTACIÓN DE LOS SIGNOS
VGUIDO: Agente animado del proyecto eSIGN• http://www.sign-lang.uni-hamburg.de/eSIGN/
• Desarrollado en colaboración con la empresa VISICAST: http://www.visicast.co.uk/.
• Libre para investigación
![Page 31: Desarrollo de un sistema de traducción de voz a Lengua de Signos Española para un servicio público de atención personal Primera Reunión de arranque del.](https://reader036.fdocumento.com/reader036/viewer/2022070304/54d46c32497959a0198b528c/html5/thumbnails/31.jpg)
REPRESENTACIÓN DE LOS SIGNOS
Notación HamNoSys
Editor de SIGNOS
Genera un fichero SIGML (formato XML)
para representar cada SIGNO
![Page 32: Desarrollo de un sistema de traducción de voz a Lengua de Signos Española para un servicio público de atención personal Primera Reunión de arranque del.](https://reader036.fdocumento.com/reader036/viewer/2022070304/54d46c32497959a0198b528c/html5/thumbnails/32.jpg)
REPRESENTACIÓN DE LOS SIGNOS
<sigml> <hns_sign gloss="GLOSS:OBLIGATORIO"> <hamnosys_nonmanual> </hamnosys_nonmanual> <hamnosys_manual>
<hampinch12open/><hamextfingero/><hampalmul/><hamchest/><hamlrat/><hamarmextended/><hamseqbegin/><hammovedl/><hamsmallmod/><hamrepeatreverse/><hamseqend/><hamrepeatfromstartseveral/>
</hamnosys_manual> </hns_sign></sigml>
![Page 33: Desarrollo de un sistema de traducción de voz a Lengua de Signos Española para un servicio público de atención personal Primera Reunión de arranque del.](https://reader036.fdocumento.com/reader036/viewer/2022070304/54d46c32497959a0198b528c/html5/thumbnails/33.jpg)
INTRODUCCIÓN A HAMNOSYS
Demo de generación de un signo
![Page 34: Desarrollo de un sistema de traducción de voz a Lengua de Signos Española para un servicio público de atención personal Primera Reunión de arranque del.](https://reader036.fdocumento.com/reader036/viewer/2022070304/54d46c32497959a0198b528c/html5/thumbnails/34.jpg)
EVALUACIÓN DE LOS PROTOTIPOS
![Page 35: Desarrollo de un sistema de traducción de voz a Lengua de Signos Española para un servicio público de atención personal Primera Reunión de arranque del.](https://reader036.fdocumento.com/reader036/viewer/2022070304/54d46c32497959a0198b528c/html5/thumbnails/35.jpg)
EVALUACIÓN DE LOS PROTOTIPOS
USUARIOS FINALES
Evaluación subjetiva según una encuesta
• Inteligibilidad
• Velocidad
• Utilidad....
Evaluación objetiva
• Tasa de reconocimiento
• Velocidad....
• Número de repeticiones
![Page 36: Desarrollo de un sistema de traducción de voz a Lengua de Signos Española para un servicio público de atención personal Primera Reunión de arranque del.](https://reader036.fdocumento.com/reader036/viewer/2022070304/54d46c32497959a0198b528c/html5/thumbnails/36.jpg)
DIVULGACIÓN DE RESULTADOS Página web con los resultados del proyecto.
Publicaciones en revistas científicas y de divulgación Publicación en congresos especializados y jornadas o congresos de divulgación (Feria de Madrid,...) Medios de comunicación: televisión, prensa,....
http://lorien.die.upm.es/~lapiz/voz2lse/introduccion.php
![Page 37: Desarrollo de un sistema de traducción de voz a Lengua de Signos Española para un servicio público de atención personal Primera Reunión de arranque del.](https://reader036.fdocumento.com/reader036/viewer/2022070304/54d46c32497959a0198b528c/html5/thumbnails/37.jpg)
RUEGOS Y PREGUNTAS