Departamento de Teoría de la Señal y Comunicaciones -...
Transcript of Departamento de Teoría de la Señal y Comunicaciones -...
1
Multimedia: Tecnologías y Servicios
Jesús Cid SueiroUniversidad Carlos III de Madrid
Curso de Doctorado:Procesado Multimedia
Universidad Carlos III de MadridMarzo 2004
Índice
1. Escenarios Multimedia (MM)2. Retos tecnológicos3. Tecnologías MM
Transmitir la informaciónIndexado multimediaBusqueda y recuperación.Máquinas que reconocen e interpretanSíntesis de escenarios multimediaProtección de información
2
1. Escenarios MultiMedia
Introducción
Multimedia (MM): Integración de dos o mas medios para transmisión, almacenamiento, acceso y creación de contenidos:
Texto (manuscrito o no)Voz y AudioImágenes y GráficosVideo y AnimaciónFicheros de datosProgramas
3
Medios “estáticos”
Tipos:Texto
codificadoimagen de texto
DatosProgramasGráficosImágenes fijas
Medios “dinámicos”
Tipos:VozAudioAnimacionesVídeo
Presentan evolución continua en el tiempo
Dulces Margaritas
4
Escenarios MM
Educación (Teleeducación)Libros “vivientes”Aprendizaje a distancia
Escenarios MM
Bibliotecas virtuales
National Galleryhttp://www.nga.gov3500 visitas diarias
Museo del hermitageNavegación virtual 3Dhttp://www.hermitagemuseum.org
Klau library750.000 volúmeneshttp://www.emanuelnyc.org
5
Escenarios MM
Entretenimiento (Teleocio)Videojuegos en red
Video bajo demanda
Dragones y mazmorrashttp://www.tsr.com
Escenarios MM
Sanidad (Telemedicina)Sistemas de información hospitalariaTelemedicina
7
Los sistemas MM de
acceso universal (desde
cualquier punto en
cualquier momento)
requieren:
Terminales de acceso,
fijos como móviles
Una red capaz de
transportar todo tipo de
señales
Servidores de
información
Interfaz de usuario
Agentes en comunicaciones MM
Procesado,almacenamiento
recuperación
Servidor deinformación
MM
RedModo
persona apersona
Modo persona a máquina
Interfaz de usuario
Red
Servidor deinformación
MM
Cod
ific
ació
n
Servidores de información
Captura de imágenes para un museo virtualFactores críticos:
Tiempo de capturaTasa de captura: aprox. 1000 imágenes/dia
Tecnologías:DigitalizaciónMarcado digitalCompresiónIndexado
Original
Fotografiado
Escaneado
Retoque
Reducción
Marca de agua
Diapositiva
Indexado
Compresión
8
Interacción con el servidor
Tecnologías:TransmisiónOrganización, almacenamiento y recuperación de informaciónTecnologías de acceso: interfaces hombre-máquinaTécnicas de búsqueda en bases de datosTécnicas de distribución de material
Accede
Busca
Explora
Recupera Stream
Almacena Visualiza
Revisión
3. Tecnologías MultiMedia
9
Tecnologías
Redes de comunicacionesCompresión y codificaciónIndexaciónBúsquedaNavegaciónAccesoSíntesisProtección de la información
Tecnologías de red
Nacimiento del sistema telefónico:
1876: Bell patenta el teléfono.Los teléfonos se vendían en pares.El cliente se encargaba de tender un cable entre ellos.Si un cliente quiere hablar con N personas, debía tender 10 cables
10
Tecnologías de red
Redes de comunicaciones:Conectar a todos con todos resultaba ineficiente y costoso1878: Bell Telephone Companyabrió su primera oficina de conmutación. Las oficinas se conectaban entre sí de modo jerárquicoAsí nació la red telefónica, que tiene ya más de 100 años de evolución.
Oficina de conmutación
Oficina de conmutación
Red
Sistema de Señalización
Diseñada para transmisión y conmutacion de llamadas vocales a 3.5 kHz.
Tiempo realBaja latenciaAlta fiabilidadFidelidad moderada
Red Telefónica Básica (RTB)
RTB
11
La RTB está orientada a conexión.
Asigna un canal al usuario
de poca capacidad (suficiente para voz)permanente (desde el principio al fin de la llamada)bidireccionalsimétrico
Orientación de la RTB
RedRTB
La RTB, hoy Las conexión entre centrales es digitalEl bucle de abonado (conexión del usuario a la 1ª central) es analógico.
No está bien diseñada para transmitir
Voz de banda anchaAudioImágenes y vídeoFax y datos
Se necesitan MoDems
Red
¿Cómo transmitir datos por la RTB?
Sistema de Señalización
ModemModem RTB
Servicios ybases de
datos
12
Red
Redes de paquetes
Bien diseñadas para transporte de datos.
InternetIntranets...
Los datos se distribuyen en paquetes de tamaño fijo, que se envían de forma independiente
Red de
paquetes
Servidores y bases de datos
Cabecera Datos
Red
Redes de paquetesLos datos son encamina-dos utilizando direcciones indicadas en cada paquete
Cada paquete puede viajar en diferente direcciónLos paquetes pueden llegar en diferente ordenAlgunos paquetes pueden perderse o retrasarse
No están diseñadas para transmisión en tiempo real(de voz, por ejemplo)
Red de
paquetes
13
Redes para comunicaciones MM
Mayor ancho de bandaTransmisión multimediaComunicaciones asimétricas
Diferentes modalidades de transmisión
Tiempo realStreamingTransmisión de datos
Acceso desde diferentes terminales Calidad de servicio negociableContenido adaptable al cliente
Tecnologías
Redes de comunicacionesCompresión y codificaciónIndexaciónBúsquedaNavegaciónAccesoSíntesisProtección de la información
14
Tecnologías de Compresión y codificación
A. VozB. AudioC. Imágenes (texto, gráficos, fotografía)D. Vídeo
Vídeo
ImagenVoz/Audio
Necesidad de compresión
Tipo Rango defrecuencias
Tasa demuestreo
Bits pormuestra
Tasa de bitssin compres.
Voztelefónica
200-3200 Hz 8 KHz 16 128 kbps
Voz altacalidad
50-7000 Hz 16 KHz 16 256 kbps
Audio CD 20-20000 Hz 44.1 KHz16x2
canales1.41 Mbps
Tipo deImagen Pixels Bits /
PixelTamaño
sin comp.
FAX 1700x2200 1 3.74 Mb
VGA 640x480 8 2.46 Mb
XVGA 1024x768 24 18.87 Mb
Tipo deVídeo
Pixeles porcuadro
Relaciónde aspecto
Cuadrospor segundo
Bits/pixel
Tasa de bitssin compres.
NTSC 480x483 4:3 29.97 16 111.2 Mbps
PAL 576x576 4:3 25 16 132.7 Mbps
CIF 352x288 4.3 14.98 12 18.2 Mbps
QCIF 176x144 4:3 9.99 12 3.0 Mbps
HDTV 1280x720 16:9 59.94 12 622.9 Mbps
HDTV 1920x1080 16:9 29.97 12 745.7 Mbps
15
Aspectos relevantes
Codificación: Capacidad de compresiónComplejidadRetardo
DecodificaciónComplejidad Calidad de la señal decodificadaFlexibilidadRetardo
Codificador
Decodificador
Señal portadora de información
Datos
Señal
Otros aspectos relevantes
Streaming:transmisión de información multimedia para reproducción previa al final de la transmisión
Robustez:la señal puede reconstruirse a pesar de que algunos bits se interpreten erróneamente
16
Otros aspectos relevantes
Escalabilidad en imágenes y vídeo
El usuario solo necesita una parte de los datos en función de la calidad de su equipo receptor
Potencial de compresión
Los algoritmos de compresión pueden reducir significativamente el volumen de datos:
Voz BE: 30-1Voz BA: 15-1CD Audio: 22 - 1Fax: 100-1Imágenes: 30-1Video: 100-1
17
Tecnologías
Redes de comunicacionesCompresión y codificaciónIndexaciónBúsquedaNavegaciónAccesoSíntesisProtección de la información
Indexación
Indexar: añadir metadatos.Metadatos: datos que describen a los datos.Tipos:
De textoDe vozDe audioDe imágenes y vídeo
18
Indexación de textos
Es, con diferencia, la más desarrollada de las técnicas de indexación para MM2 formas de almacenar información textual:
EstructuradaTexto organizado en formato especial, con campos predefinidos, al modo de una base de datos
No estructuradaRequiere técnicas de búsqueda
Estándares: MPEG-7
Es un estándar de Indexación(descripción de contenidos en documentos audio-visuales)
Descripción sintáctica (segmentación)Descripción semántica
19
Tecnologías
Redes de comunicacionesCompresión y codificaciónIndexaciónBúsquedaNavegaciónAccesoSíntesisProtección de la información
4. Búsqueda de documentos MM
Un importante tarea en la utilización efectiva de bibliotecas de información MM es la recuperación selectiva de información para aplicaciones de búsqueda y navegación“El valor de almacenar un documento puede medirse por el esfuerzo que requiere encontrarlo cuando se necesita”
20
Rendimiento de la búsqueda
Rendimiento de un sistema de búsqueda:
Precisión: % de documentos recuperados que son útiles
“Recall”% de documentos útiles que son recuperados
No existe el buscador perfecto,
el usuario necesita herramientas de navegación
Patrones de búsqueda (queries)
TextualesPalabras con conectivas lógicas y operadores
EsquemáticosBoceto gráficoNotas musicales“Tarareo”
Ejemplos (query by example)
Útil en búsqueda sobre registros MM
21
Tecnologías
Redes de comunicacionesCompresión y codificaciónIndexaciónBúsquedaNavegaciónAccesoSíntesisProtección de la información
5. Navegación
Por escenarios:HyperTexto
HTML(+ Java + Flash + reproductores + ..)
Mundos VirtualesVRML
Por documentos:Técnicas de búsque-da (manual) rápida en material MM
Navegación basada en imágenesNavegación basada en escenasNavegación superficial de vídeoNavegación superficial de audio
22
Tecnologías
Redes de comunicacionesCompresión y codificaciónIndexaciónBúsquedaNavegaciónAccesoSíntesisProtección de la información
3. Acceso a información MM
Terminales de acceso:Solo audio:
Teléfono convencionalTeléfono móvil
Gráficos: PCSistemas móviles
23
Herramientas de acceso al medio
Herramientas de acceso al medio:Interfaces de usuario:
Interfaces gráficos de usuario(GUI’s, Grafical User Interfaces)
Interfaces de lenguaje hablado(SLI’s, Spoken Language Interfaces)
Conversores de mediosAgentes
Interfaces de usuario: GUI’s
GUI: Aplicación que aprovecha las siguientes capacidades:
Representación continua de objetos y accionesOperaciones rápidas, incrementales y reversibles, de impacto inmediatamente visibleAcciones físicas en lugar de sintaxis complejas
Botones etiquetados, barras de menús, barras de desplazamiento,...
GUI’s son la respuesta a ciertas limitaciones del sistema cognitivo humano.
24
Interfaces de lenguaje hablado
La voz es la más natural de las modalidades de comunicaciónEl diseño de interfaces vocales pasa por el desarrollo de varias tecnologías:
CodificaciónSíntesis de vozReconocimiento de vozComprensión del lenguaje naturalSistemas de diálogo
Tecnologías
Redes de comunicacionesCompresión y codificaciónIndexaciónBúsquedaNavegaciónAccesoSíntesisProtección de la información
25
Síntesis de voz
Los sistemas de síntesis de voz evitan el coste de pregrabación y almacenamiento de mensajes, del tipo utilizado en sistemas de transporte públicoCalidad de la voz sintética:
Inteligibilidad: 97 % frente a 99% de la voz natural
NaturalidadMOS de 3.0-3.5 (aceptable a bueno)
Graficos Por Computador
La graficación computerizada ha hecho que los computadores sean más fáciles de usar: interfaces gráficas de usuario (GUI) y sistemas multimedia (WWW).
26
El campo de la síntesis de imágenes
Incluye el estudio de:
Dispositivos de entrada, procesadores, dispositivos de almacenamiento y de visualización (hardware).
Algoritmos para generar y presentar objetos gráficos.
Programas para el desarrollo del sistema gráfico y de sus aplicaciones (software).
Aplicaciones de imágenes generadas por computador.
Tecnologías
Redes de comunicacionesCompresión y codificaciónIndexaciónBúsquedaNavegaciónAccesoSíntesisProtección de la información
27
Introducción
Esteganografía(stegano-graphos = “escritura oculta”)Cualquier mecanismo para ocultar informaciónen determinado soporteDifiere de la criptografía: el mensaje/código
suele pasar desapercibidoSuele estar imbricado en el registro (imagen/audio/video)
Marcas de agua: imprimaciones (visibles o no) en documentosTécnicas usadas para transmitir mensajes, probar autoría/pertenencia, preservar de copias ilegales, etc.
Marcas en imágenes
Visibles