Estimación de Ruido Acústico Mediante Filtros de Partículas para Reconocimiento Robusto de Voz...
description
Transcript of Estimación de Ruido Acústico Mediante Filtros de Partículas para Reconocimiento Robusto de Voz...
Estimación de Ruido Acústico
PROYECTO FIN DE MÁSTERPROYECTO FIN DE MÁSTER
Estimación de Ruido Acústico Mediante Filtros de Partículas para Reconocimiento Robusto de VozI v á n L ó p e z E s p e j o
� Introducción y Motivación� Fundamentos Teóricos del Sistema� Diseño del Filtro Bayesiano
� Modelado del proceso de ruido
SUMARIOSUMARIO
� Modelado del proceso de ruido� Relación entre estados y observaciones� Filtro SIR aplicado
� Test y Resultados� Conclusiones� Trabajo Futuro
PFM | Estimación de Ruido Acústico Mediante Filtros de Partículas | Iván López Espejo
� Introducción y Motivación� Fundamentos Teóricos del Sistema� Diseño del Filtro Bayesiano
� Modelado del proceso de ruido
1. INTRODUCCIÓN Y MOTIVACIÓN1. INTRODUCCIÓN Y MOTIVACIÓN
� Modelado del proceso de ruido� Relación entre estados y observaciones� Filtro SIR aplicado
� Test y Resultados� Conclusiones� Trabajo Futuro
PFM | Estimación de Ruido Acústico Mediante Filtros de Partículas | Iván López Espejo
� Acto de hablar: Usualmente en entornosacústicos ruidosos� Alta capacidad de reconocimiento en el ser humano� Necesidad de adaptación de los sistemas ASR
1. INTRODUCCIÓN1. INTRODUCCIÓN Y MOTIVACIÓNY MOTIVACIÓN
� Necesidad de adaptación de los sistemas ASR
PFM | Estimación de Ruido Acústico Mediante Filtros de Partículas | Iván López Espejo
� Acto de hablar: Usualmente en entornosacústicos ruidosos� Alta capacidad de reconocimiento en el ser humano� Necesidad de adaptación de los sistemas ASR
1. INTRODUCCIÓN1. INTRODUCCIÓN Y MOTIVACIÓNY MOTIVACIÓN
� Necesidad de adaptación de los sistemas ASR
� Algunas técnicas para mejorar el matching:� Adaptación de los modelos� Descomposición de HMMs� Realce de las características de voz
PFM | Estimación de Ruido Acústico Mediante Filtros de Partículas | Iván López Espejo
1. INTRODUCCIÓN1. INTRODUCCIÓN Y MOTIVACIÓNY MOTIVACIÓN
PFM | Estimación de Ruido Acústico Mediante Filtros de Partículas | Iván López Espejo
� Motivaciones� Mejora del rendimiento de un sistema ASR� Ventajas de la metodología de realce� Aplicaciones:
1. INTRODUCCIÓN1. INTRODUCCIÓN Y MOTIVACIÓNY MOTIVACIÓN
� Aplicaciones:� Búsqueda de información� Ejecución de transacciones� Control de sistemas (entornos industriales)� …
PFM | Estimación de Ruido Acústico Mediante Filtros de Partículas | Iván López Espejo
� Introducción y Motivación� Fundamentos Teóricos del Sistema� Diseño del Filtro Bayesiano
� Modelado del proceso de ruido
2. FUNDAMENTOS TEÓRICOS DEL 2. FUNDAMENTOS TEÓRICOS DEL SISTEMASISTEMA
� Modelado del proceso de ruido� Relación entre estados y observaciones� Filtro SIR aplicado
� Test y Resultados� Conclusiones� Trabajo Futuro
PFM | Estimación de Ruido Acústico Mediante Filtros de Partículas | Iván López Espejo
� Seguimiento: Estimación de la secuencia deestados de un sistema a partir de susobservaciones
� Modelo compuesto de dos procesos
2. FUNDAMENTOS TEÓRICOS DEL 2. FUNDAMENTOS TEÓRICOS DEL SISTEMASISTEMA
� Modelo compuesto de dos procesos� Proceso de estados� Proceso observado
� Solución MMSE
PFM | Estimación de Ruido Acústico Mediante Filtros de Partículas | Iván López Espejo
� Justificación del filtro de partículas� Evaluación compleja:� Solución: modelado markoviano
2. FUNDAMENTOS TEÓRICOS DEL 2. FUNDAMENTOS TEÓRICOS DEL SISTEMASISTEMA
� Aproximación numérica: (muestreo y remuestreo deimportancia + integración de Monte Carlo)
PFM | Estimación de Ruido Acústico Mediante Filtros de Partículas | Iván López Espejo
� Introducción y Motivación� Fundamentos Teóricos del Sistema� Diseño del Filtro Bayesiano
� Modelado del proceso de ruido
3.3. DISEÑO DEL FILTRO BAYESIANODISEÑO DEL FILTRO BAYESIANO
� Modelado del proceso de ruido� Relación entre estados y observaciones� Filtro SIR aplicado
� Test y Resultados� Conclusiones� Trabajo Futuro
PFM | Estimación de Ruido Acústico Mediante Filtros de Partículas | Iván López Espejo
� Seguimiento de ruido en el domino log Mel�Ruido (estado del sistema)�Voz limpia (ruido que contamina la observación)�Voz ruidosa (observación)
3.3. DISEÑO DEL FILTRO BAYESIANODISEÑO DEL FILTRO BAYESIANO
�Voz ruidosa (observación)
� Definición del espacio de estados dinámico� Proceso de ruido,� Proceso observado,
PFM | Estimación de Ruido Acústico Mediante Filtros de Partículas | Iván López Espejo
� Introducción y Motivación� Fundamentos Teóricos del Sistema� Diseño del Filtro Bayesiano
3.13.1 Modelado del proceso de ruidoModelado del proceso de ruido
� Relación entre estados y observaciones� Filtro SIR aplicado
� Test y Resultados� Conclusiones� Trabajo Futuro
PFM | Estimación de Ruido Acústico Mediante Filtros de Partículas | Iván López Espejo
� Codificación de la previsibilidad del ruido:proceso AR en el dominio log Mel
3.13.1 Modelado del proceso de ruidoModelado del proceso de ruido
PFM | Estimación de Ruido Acústico Mediante Filtros de Partículas | Iván López Espejo
� Definición implícita de una distribucióngaussiana para el ruido:
3.13.1 Modelado del proceso de ruidoModelado del proceso de ruido
� Selección de orden unidad para el modelo AR� Distribución a priori modelada como unagaussiana:
PFM | Estimación de Ruido Acústico Mediante Filtros de Partículas | Iván López Espejo
� Introducción y Motivación� Fundamentos Teóricos del Sistema� Diseño del Filtro Bayesiano
� Modelado del proceso de ruido
3.23.2 Relación entre estados y observacionesRelación entre estados y observaciones
� Modelado del proceso de ruido
� Filtro SIR aplicado
� Test y Resultados� Conclusiones� Trabajo Futuro
PFM | Estimación de Ruido Acústico Mediante Filtros de Partículas | Iván López Espejo
� Se parte de la aproximación:
� ¿Cuál es la relación entre las observaciones yel ruido?
3.23.2 Relación entre estados y observacionesRelación entre estados y observaciones
el ruido?
PFM | Estimación de Ruido Acústico Mediante Filtros de Partículas | Iván López Espejo
� ¿Cuál es la relación entre las observaciones yel ruido?
3.23.2 Relación entre estados y observacionesRelación entre estados y observaciones
PFM | Estimación de Ruido Acústico Mediante Filtros de Partículas | Iván López Espejo
� ¿Cuál es la relación entre las observaciones yel ruido?
3.23.2 Relación entre estados y observacionesRelación entre estados y observaciones
� Distribución para la voz limpia:
PFM | Estimación de Ruido Acústico Mediante Filtros de Partículas | Iván López Espejo
� Imponemos� Se aplica la ley fundamental de
transformación de probabilidades
3.23.2 Relación entre estados y observacionesRelación entre estados y observaciones
� De esta forma,
PFM | Estimación de Ruido Acústico Mediante Filtros de Partículas | Iván López Espejo
� Introducción y Motivación� Fundamentos Teóricos del Sistema� Diseño del Filtro Bayesiano
� Modelado del proceso de ruido
3.33.3 Filtro SIR aplicadoFiltro SIR aplicado
� Modelado del proceso de ruido� Relación entre estados y observaciones
� Test y Resultados� Conclusiones� Trabajo Futuro
PFM | Estimación de Ruido Acústico Mediante Filtros de Partículas | Iván López Espejo
1. Generación de N partículas
2. Cálculo de pesos normalizados
3.33.3 Filtro SIR aplicadoFiltro SIR aplicado
2. Cálculo de pesos normalizados
3. Remuestreo sobre las partículas
PFM | Estimación de Ruido Acústico Mediante Filtros de Partículas | Iván López Espejo
� Existencia de problemas en la práctica� Si no se cumple para ningún j � DROPOUT
� SOLUCIÓN:
3.33.3 Filtro SIR aplicadoFiltro SIR aplicado
� Evolución independiente de la observación � Pérdida dela trayectoria de seguimiento
� SOLUCIÓN: Procedimiento de reinicialización delfiltro
PFM | Estimación de Ruido Acústico Mediante Filtros de Partículas | Iván López Espejo
� Existencia de problemas en la práctica� Modos de reinicialización
� Generación de nuevas hipótesis sobre ladistribución a priori de ruido
3.33.3 Filtro SIR aplicadoFiltro SIR aplicado
distribución a priori de ruido� Inferir partículas de ruido a partir de muestrear
un GMM
PFM | Estimación de Ruido Acústico Mediante Filtros de Partículas | Iván López Espejo
� Existencia de problemas en la práctica� Pobre modelado de ruido � Subestimación
de hipótesis� SOLUCIÓN: Se incentiva una futura
3.33.3 Filtro SIR aplicadoFiltro SIR aplicado
� SOLUCIÓN: Se incentiva una futurareinicialización si
PFM | Estimación de Ruido Acústico Mediante Filtros de Partículas | Iván López Espejo
� Existencia de problemas en la práctica� Mitigación de dropouts � TEST DE
ACEPTACIÓN RÁPIDA
3.33.3 Filtro SIR aplicadoFiltro SIR aplicado
PFM | Estimación de Ruido Acústico Mediante Filtros de Partículas | Iván López Espejo
� Modos de inicialización� Uso de las l primeras tramas� Empleo de la distribución a priori de ruido
3.33.3 Filtro SIR aplicadoFiltro SIR aplicado
PFM | Estimación de Ruido Acústico Mediante Filtros de Partículas | Iván López Espejo
� Introducción y Motivación� Fundamentos Teóricos del Sistema� Diseño del Filtro Bayesiano
� Modelado del proceso de ruido
4.4. TEST Y RESULTADOSTEST Y RESULTADOS
� Modelado del proceso de ruido� Relación entre estados y observaciones� Filtro SIR aplicado
� Test y Resultados� Conclusiones� Trabajo Futuro
PFM | Estimación de Ruido Acústico Mediante Filtros de Partículas | Iván López Espejo
� Uso de la base de datos Aurora-2� Empleo del conjunto de test A:
� 1001 grabaciones con secuencias de dígitos� Ruidos: metro, multitud conversando, coche y sala deexposiciones
4.4. TEST Y RESULTADOSTEST Y RESULTADOS
exposiciones� SNRs: -5dB, 0dB, 5dB, 10dB, 15dB, 20dB y caso limpio
� Las estimaciones de ruido son usadas en unaetapa de VTS para la compensación de lascaracterísticas de voz ruidosa
PFM | Estimación de Ruido Acústico Mediante Filtros de Partículas | Iván López Espejo
� Ajuste de parámetros� Estudio del MSE
4.4. TEST Y RESULTADOSTEST Y RESULTADOS
� Más bien basado en la observación, razonamiento ybibliografía
PFM | Estimación de Ruido Acústico Mediante Filtros de Partículas | Iván López Espejo
� Test de reconocimiento del habla� Aparente independencia del número de partículas
4.4. TEST Y RESULTADOSTEST Y RESULTADOS
120,00
Acc. vs. SNR
PFM | Estimación de Ruido Acústico Mediante Filtros de Partículas | Iván López Espejo
0,00
20,00
40,00
60,00
80,00
100,00
-5 0 5 10 15 20 Limpio
Acc
. (%
)
SNR (dB)
Base-Line
FP (300)
Interpolación
� Test de reconocimiento del habla� Aparente independencia del número de partículas
4.4. TEST Y RESULTADOSTEST Y RESULTADOS
Acc. vs. Técnica empleada
PFM | Estimación de Ruido Acústico Mediante Filtros de Partículas | Iván López Espejo
0
10
20
30
40
50
60
70
80
90
Base-Line FP (300) Interpolación
Acc
. (%
)
Técnica
� Test de reconocimiento del habla� Aparente independencia del número de partículas
4.4. TEST Y RESULTADOSTEST Y RESULTADOS
� WAcc = 1 - WER
PFM | Estimación de Ruido Acústico Mediante Filtros de Partículas | Iván López Espejo
� Introducción y Motivación� Fundamentos Teóricos del Sistema� Diseño del Filtro Bayesiano
� Modelado del proceso de ruido
5.5. CONCLUSIONESCONCLUSIONES
� Modelado del proceso de ruido� Relación entre estados y observaciones� Filtro SIR aplicado
� Test y Resultados� Conclusiones� Trabajo Futuro
PFM | Estimación de Ruido Acústico Mediante Filtros de Partículas | Iván López Espejo
� Verificación experimental de la utilidad de unatécnica de realce
� Preferible, por el momento, uso de ruidoestimado mediante interpolación espectral:
5.5. CONCLUSIONESCONCLUSIONES
estimado mediante interpolación espectral:� Mayor rendimiento del sistema ASR� Menor coste computacional
� Necesidad de mejorar la calidad de lasestimaciones resultantes del filtro de partículas
PFM | Estimación de Ruido Acústico Mediante Filtros de Partículas | Iván López Espejo
� Introducción y Motivación� Fundamentos Teóricos del Sistema� Diseño del Filtro Bayesiano
� Modelado del proceso de ruido
6.6. TRABAJO FUTUROTRABAJO FUTURO
� Modelado del proceso de ruido� Relación entre estados y observaciones� Filtro SIR aplicado
� Test y Resultados� Conclusiones� Trabajo Futuro
PFM | Estimación de Ruido Acústico Mediante Filtros de Partículas | Iván López Espejo
� Solventar usuales pérdidas del seguimiento� Nuevo modelo de ruido a priori� Inclusión del término de fase relativa (FAT
innecesario)
6.6. TRABAJO FUTUROTRABAJO FUTURO
innecesario)� Optimización de la implementación� Experimentación con otros conjuntos de test� Actualización del modelo AR de ruido y de
la distribución a priori� Uso de un detector de actividad de voz
� Experimentar con un filtro RPF
PFM | Estimación de Ruido Acústico Mediante Filtros de Partículas | Iván López Espejo
Estimación de Ruido Acústico Mediante Filtros de Partículas para Reconocimiento Robusto de Voz
�GRACIAS