SDK Kinect v2
Interfaz natural de usuario(NUI)
Interacción no basada en comando o dispositivos de GUI
Ejemplos
Reconocimiento de gestos
Reconocimiento de voz
Seguimiento de mirada
Pantallas táctiles
BCI
¿Que es kinect?
• Kinect es el dispositivo de captura de movimiento creado por Alex
Kipman y distribuido por Microsoft para el Xbox y Windows.
Kinect for Windows – Version 2Kinect for Windows – Version 1
Kinect for Windows v1
Kinect for Windows v2
Kinect for Windows v2
Kinect vs Kinect v2Otras caracteristicas novedosas del Kinectv2 son:
• Mejora al sistema de Skeletal Tracking.
• Sistema nativo de reconocimiento de expresiones y gestos por manos.
• Mejoras en el proceso de reconocimiento de voz.
• Soporte de múltiples aplicaciones simultaneas.
• Soporte dedicado a Unity 3D.
Kinect vs Kinect v2
¿Como captura Kinect?
Point cloud
La señal capturada por el sensor infrarrojo se conoce como Point cloud o mapa de voxels y es una imagen 3D de la zona en una escala de grises.
Identificación
Kinect viene equipado con un sistema de reconocimiento de bípedos(BodyIndex).Este sistema evalúa varios factores como el movimiento de brazos ,el rango de altura, posición de la cabeza etc. Una vez identificado el cuerpo, el programa crea un objeto virtual independiente de la imagen.
255
0 1
El esqueletoKinect está precargado con una base de datos de 200 poses,con la cuales compara el objeto creado y dibuja un esqueleto compuesto de 20 nodos.
Paralelamente una herramienta de audio llamada ‘Beam Forming’ simula una esfera de sonido que envuelve de el objeto capturado con la finalidad de optimizar el sistema de reconocimiento de voz.
Tipos de datos que maneja Kinect
• Datos de calibración: almacena los datos jerárquicos ajustados a una forma preestablecida (bípedo,facial).
• Raw Data: almacena los datos de movimiento de cada nodo en las componentes X,Y y Z.
• Apertura o cierre de la mano(Kinect v2).
• Captura de audio.
Estos tipos de datos pueden ser almacenados en un archivo con la extensión .bvh que es desarrollado por Biovision y utilizado por diversas plataformas(Autodesk,Blender,etc...).
Nuevas especificaciones del SDK v2
Disponible Visual Gesture Builder.
Disponible Kinect Studio.
Disponible Kinect Fusion Tools.
Posibilidad de publicar aplicaciones en Windows Store.
Visual Gesture Builder• Actividad:cerrar los ojos,abrir la boca,posicion de la mirada
• Apariencia:gafas,gorras…
• Expresión: exaltación, cansancio…
Kinect Studio
Kinect Fusion Tools
Herramienta de escaneo 3D para animación
HDface:Puntos(1347), Poligonos(2340), color de pelo, color de piel
System / Software Requirements
OS Windows 8, 8.1, Embedded 8, Embedded 8.
1 (x64)
CPU Intel Core i7 3.1GHz (or higher)
RAM 4GB (or more)
GPU DirectX 11 supported
USB USB 3.0 (Intel or Renesas Host Controller)
Compiler Visual Studio 2012, 2013 (Supported Express)
Language Native (C++), Managed (C#,VB.NET), WinRT (C#,
HTML)
Other Unity Pro (Add-in), Cinder, openFrameworks(wrapper)
Que falta?Teniendo en cuenta el video de la demostración, existen un par de características que no están incluidas:
• No modelo gráfico de reconocimiento de fuerzas
• No hay aproximación de la frecuencia cardíaca basado en gestos faciales.
conexión
Kinect for Windows v1 Kinect for Windows v2
PCPC
Conexión en múltiples sensores
Procesamiento
Flujo básico de programación (C ++)
Sensor Stream Frame Data
Sensor Source Reader Frame Data
Kinect for Windows SDK v1
Kinect for Windows SDK v2
Encapsulamiento de codigo en modulos Modulos independientes(ColorSource, DepthSource, InfraredSource, BodyIndexSource, BodySource, …)
Abstraccion para generar independencia entre Modulos y datos(adquisición directa de datos)
Body Snap
Herramienta de full body scanportable que utiliza Microsoft Kincet v2
Recovery Rapids
Un juego de rehabilitación para hemiparesia desarrollado en la Universidad Estatal de Ohio por un equipo dirigido por el Dr. Lynne Gauthier.
Top Related