Hoip10 presentacion seguimiento de vehículos con visión artificial estereostópica_sice

1 Seguimiento de vehículos con Visión Artificial estereoscópica

Zamudio, 16 y 17 de Noviembre de 2010

Seguimiento de vehículos con visión artificial estereoscópica

Josep Umbert

HANDS-ON IMAGE PROCESSING 2010 (HOIP’10)


1

2 Visión estereoscópica

3

4

Ventajas y caso práctico5

Comparación de la detección 2D y 3D

Índice

Introducción

Características y calibración


Introducción

ObjetivoObjetivoMejorar el seguimiento de vehículos para detectar situaciones de riesgo, calculando sus velocidades y distancias a ciertos puntos conflictivos.Cuando el vehículo todavía se encuentran a una distancia considerable y hay tiempo de reacción.Avisar al implicado y a terceros de las situaciones anómalas detectadas para evitar posibles accidentes.

CaracterCaracteríísticas de la vsticas de la vííaaInicialmente pensado para vías con un solo carril por sentido ya que presentan más posibilidades de accidente.

Una propuestaUna propuestaUtilizar un sistema estereoscópico de cámaras que permita trabajar con suficiente precisión, a distancias más grandesque con las que trabajan los sistemas 2D.


Introducción.

¿¿QuQuéé son distancias grandes? Algunos datos.son distancias grandes? Algunos datos.Tiempos y Distancias de Reacción.

Se acepta comúnmente en tráfico que el tiempo de reacción medio ante señales de UNA PALABRA ronda los 2.6 segundos (Tiempo que le lleva al conductor reconocer la señal y responder). Para un vehículo a 160 km/h se traduce en una distancia recorrida, mientras el cerebro procesa la información, de 115 m.

Distancia de Detención. Necesitamos aproximadamente 110 metros para detener un vehículo que circula a 160 km/h en buenas condiciones, es decir, con un coeficiente de adherencia cercano al 0.8.

Distancia total Reacción + DetenciónA 160 Km/h 115 m + 110 m = 225 m del punto de riesgoA 120 Km/h 87 m + 83 m = 170 mA 100 Km/h 72 m + 70 m = 142 m


Introducción.

InstalaciInstalacióónnUna cámara a cada lado de la vía, enfocando en el mismo sentido de la marcha, para obtener una visión estereoscópica de la vía.Al pretender detectar adelantamientos, el área de visión de las cámaras abarca tanto el carril de los que se acercan como de los que se alejan.La cámara se coloca a una altura de entre 8 y 15 metros del suelo.A tener en cuenta que cuanta más altura de la cámara más afectan las vibraciones (viento, etc.)Cámaras motorizadas para facilitar el ajuste a distancia.Armario con PC industrial único a pie de cámaras.


Visión estereoscópica

Tram

o ba

jo co

ntro

lCentro

de Control

120

Al abarcar con las cámaras los dos carriles se contemplan los adelantamientos por el carril contrario

CRUCE CERCANODISMINUYA LA VELOCIDAD! Tr

amo

bajo

con

trol


Detección 2D

MMéétodo de Deteccitodo de Deteccióón caso 2D.n caso 2D.Se extraen los vehículos Elementos que cambian de unfondo calculado.Se determina la posición del vehículo a través de una matriz de calibración.Se buscan los mismos objetos en diferentes imágenes consecutivas, calculando el movimiento 2D.Gracias a la calibración previa se aproxima la velocidad entre dos “frames consecutivos”.

ComentariosUn problema frecuente son las sombras y cambios de luminosidad provocada por elementos externos a la carretera.

Movimiento de las sombras de nubes.Sombras de otros vehículos. Luces de otros vehículos.Pueden confundirse vehículos muy próximos entre sí.

La falta de una tercera dimensión imposibilita cuantificar la distancia real a elementos que no estén sobre la carretera calibrada (pájaros).Mejor para distancias cortas.

f1

f2t

e1

e2


Detección 3D. Distancia

A partir de dos imágenes del mismo instante temporal, se obtiene la distancia hasta cada objeto sin necesidad que estén en movimiento (vale para vehículos parados)Se añade una dimensión. A las coordenadas “X” e “Y” de cada píxel se añade una coordenada “Z” de profundidad.La coordenada “Z” se calcula como intersección de las líneas discontinuas correspondientes al mismo punto en ambas imágenes.Dado que las líneas no se cortan exactamente, se aplica un algoritmo para determinar el punto C.

d

Y

MMéétodo de Deteccitodo de Deteccióón caso 3D.n caso 3D.

X

Cámara izquierda Cámara derecha

C

Z


Detección 3D. Velocidad

Determinada la distancia Z en cada “frame”, el cálculo de velocidades es inmediato, partiendo del tiempo entre “frames”.

∆ ZVelocidad = ------

∆ tMayor precisión si se puede usar dos frames no consecutivos.Requiere sincronización de las dos cámaras para tratar parejas de imágenes realizadas en el mismo instante.

d

Z

Y

MMéétodo de Deteccitodo de Deteccióón caso 3D.n caso 3D.

X


C


Características

Resumen de CaracterResumen de CaracteríísticassticasCámaras:

Dos cámaras de alta resolución de 1600 x 1200 pixels.Frame rate = 30 fpsÓptica motorizada con control de Iris, Zoom, Enfoque.Conexión con Punto de Control: Gigabit-Ethernet.Carcasas estancas con protección IP 66.Colocación de la cámaras sobre poste, a los laterales de la vía.

Punto de ControlPC industrial. Procesador: Intel Core2Duo.

Comunicaciones con Centro control: Conexión: Ethernet / FO.Protocolos transporte y red: TCP/IP


Calibración

CalibraciCalibracióónnEtapa básica para el buen funcionamientoCalibración óptica (deformaciones de la lente)

Calibración de perspectiva.

Calibración de cámaras entre ellas:Posición relativa.Conjunto de puntos de referencia de la imagen que son el mismo en las dos cámaras.



Ventajas

Ventajas del sistema 3DVentajas del sistema 3DDa mayor robustez al sistemaAumenta la precisión en la medida de la velocidad con respecto a sistemas 2D.Aplicable para distancias más grandes (80-300 m).Posibilita el cálculo de distancias y velocidades de vehículos próximos entre si.Permite calcular:

La distancia entre vehículos.El ancho del vehículo y la altura de gálibo.


Caso práctico

ProyectoProyectoFondo Europeo de Desarrollo Regional y Ministerio de FomentoEstudia nuevas tecnologías para la mejora integral de la Seguridad Vial y el Diseño de InterseccionesPropone que entre la intersección y el inicio de la detección debe haber 185 m para coches circulando a 100 Km/h y 350 metros para vehículos articulados.Propone un sistema de detección y aviso a los conductores tanto al de la vía principal como a los que acceden a ella desde la intersección.


Caso práctico

LugarLugarEn una vía en la que se pueda alcanzar una velocidad importante, antes de acceder a una intersección.

DetecciDeteccióónnSobre la vía principal se detecta:

La posición del vehículo.La velocidad de aproximación.

En el caso de tener control sobre la vía secundariaDetectar si hay un vehículo que se incorpora (con independencia de si ha realizado el stop).


Caso práctico

Avisos a los conductoresAvisos a los conductoresAvisar al conductor que hay un vehículo en la vía secundaria el cual, probablemente, se incorporará avelocidad baja.Avisar a los vehículos que pretenden entrar en el cruce en sentido transversal que se aproxima uno a alta velocidad.

SeSeññalizacializacióón de los Avisosn de los AvisosLos avisos se realizan a través de:

Paneles de mensajes variables en la vía principalPaneles “ocultos” en la vía secundaria


Seguimiento de vehículos con visión artificial estereoscópica

Gracias por su atenciGracias por su atencióónn

HANDS-ON IMAGE PROCESSING 2010 (HOIP’10)


Visión estereoscópica

Tram

o ba

jo co

ntro

lCentro

de Control

120

Al abarcar con las cámaras los dos carriles se contemplan los adelantamientos por el carril contrario

160 Km/h. CRUCE CERCANODISMINUYA LA VELOCIDAD!

Tram

o ba

jo c

ontro

l

Hoip10 presentacion seguimiento de vehículos con visión artificial estereostópica_sice

Technology

Transcript of Hoip10 presentacion seguimiento de vehículos con visión artificial estereostópica_sice