1

Realimentación visual para brazos manipuladores.Un caso práctico

Jesús González Villagómezvillagomez@us.es

Control de Robots Manipuladores. Máster Automática, Robótica y TelemáticaSeptiembre 2012

Resumen—El objetivo del presente trabajo es proporcionaruna implementación para un caso típico en la industria, como esel uso de sistemas de visión por parte de brazos manipuladorespara la realización de tareas de montaje o ensamblado. Para ellose utiliza una arquitectura de realimentación visual que dependetanto del modelo del objeto a seguir como del modelo de lacámara utilizada.

Palabras clave : Visión artificial, control visual.

I. INTRODUCCIÓN

La realización de tareas por parte de sistemas automatizadoso robotizados en entornos estructurados con presencia de obje-tos cuya posición y orientación son conocidas, es un problemaque se ha tratado con profundidad durante las últimas décadas.Sin embargo, si se considera la evolución de los procesos deensamblaje o industriales, donde la configuración del contextopuede cambiar continuamente, se pone de manifiesto lo vitalque es dotar de información sensorial extra al sistema, dadoque un brazo manipulador, por ejemplo, tan solo dispone (apriori) de elementos sensoriales internos (medición de fuerzao posición en las articulaciones).

La utilización de un sistema sensorial externo de visión en larealización de una tarea por parte de un sistema automatizado,tiene la denominación genérica de Control Visual (VisualServoing) [4]. El sistema de visión obtiene información visualde la escena en forma de características de imagen, que sonrealimentadas al lazo de control del sistema.

Los primeros estudios [5] aplicados sobre todo a procesosindustriales ante la presencia de sistemas robotizados, des-acoplaban las acciones de la extracción de imágenes y elcontrol del robot, de tal manera que el controlador, despuésde recibir la información visual y determinar la posición a lacual moverse, ordenaba al robot a moverse a dicha posiciónasumiendo que no se había producido ningún cambio en laescena, esto es, el entorno permanece estático desde que elcomando de movimiento fue ejecutado. La ventaja de este tipode control es su simplicidad, siendo ésta una de las razones(entre otras) por la que tan sólo puede ser aplicable a sistemasen los que la tarea a realizar esté determinada y no varíe (muycomún en entornos industriales).

En contraposición, el control visual permite que el sistemade visión cierre el lazo de control, de manera que en cadaciclo la información visual del entorno o de algún objeto deinterés situado en la escena sea actualizada de forma que elcontrolador corrija el movimiento a una nueva posición de

destino. Esta tarea se realizaría bien de forma indefinida ohasta que el objeto a seguir haya desaparecido de la escena,con lo que se volvería a una posición por defecto. La calidaddel seguimiento y del control dependen del tipo y númerode características de la imagen que se utilicen, donde laredundancia juega un papel muy importante (muy habitual enlas tareas de control visual).

Lo que se propone en el presente trabajo es una imple-mentación práctica del control visual. Se trata de dotar a unsupuesto brazo manipulador de la capacidad de disponer deinformación visual para interaccionar con el entorno. Dichomecanismo no es propio de brazos manipuladores: la mismatécnica puede ser incorporada a la arquitectura de control devehículos aéreos autónomos [8], por ejemplo, para el procesode generación de trayectorias o el seguimiento de las mismas.

La organización del presente documento consta de una pri-mera sección en la que se aporta una descripción de un brazomanipulador común en la industria, junto con las ecuacionesque rigen su cinemática. En la sección III se modela el sensoróptico, y toda la información visual que se puede obtener delmismo, mediante el algoritmo propuesto en la sección IV,donde se expone de forma gráfica la solución propuesta paraeste caso práctico. Por último, en la sección V se planteanalgunas consideraciones y posibles líneas de trabajo.

II. PLATAFORMA ROBÓTICA.

En esta sección se presenta una descripción detallada delmanipulador robótico planteado para su integración en estecaso práctico, el modelo de Mitsubishi Melfa RV-12SDL,mostrado en la figura 1.

II-A. Mitsubishi Melfa RV12SDL

La serie Melfa de Mitsubishi comprende una gran variedadde brazos articulados y robots de tipo SCARA, diseñados parasatisfacer de forma óptima los requerimientos de prácticamen-te todo tipo de aplicaciones industriales, debido a las grandesprestaciones que poseen [1], con un coste estimado por horade trabajo de alrededor de 1, 65C.

La nomenclatura de los distintos modelos de la serie Melfase puede observar en la figura 2, y más concretamente, parael modelo actual, destacan las siguientes características:

RV: Robot de brazo articulado vertical.12: Capacidad de carga en Kg.

2

SD: Se corresponde con la serie SD. La principal dife-rencia entre la serie SD y SQ es que la segunda incluyeuna CPU.L: Ejecución con brazo largo.

Figura 1. Manipulador Mitsubishi Melfa modelo RV-12SDL

Este modelo resulta ideal para la manipulación de piezas enla fabricación industrial o para el ensamblaje de componentesde planta. Posee una configuración de 6 ejes, una velocidadmáxima de 9500mm/s, una repetibilidad de ±0, 05mm, y unpeso total de 98kg. De forma general, todos los modelos de laserie en su conjunto disponen de las siguientes características:

Transmisión de tipo Harmonic Drive de alta precisión,para obtener un alto grado de repetibilidad, con unaprecisión de ±0, 005mm con un tiempo de ciclo de0, 28seg.Proceso de aprendizaje muy rápido, gracias a la combi-nación del toolbox de programación (RT ToolBox2) y elsoftware de simulación MELFA WORKS.Posee además Ethernet y CC-Link, para integración enredes de control industriales e interfaz Profibus.Gracias al controlador multitarea CR2D, permite la cone-xión con multitud de sistemas de procesado de imágenes.

Figura 2. Nomenclatura serie Melfa de Mitsubishi.

II-B. Geometría. Estudio del modelo cinemático

El estudio del modelo cinemático directo, utilizando latécnica extendida sistematizada de Denavit-Hartenberg, esnecesario para que pueda ser incorporado en el esquemade realimentación visual propuesto. En general, el modelodirecto viene dado por una función, la cual permite expresarla posición y orientación del sistema de referencia objetivo enel espacio cartesiano p en términos de las variables articularesq:

p = ϕ(q) (1)

donde ϕ es un conjunto de funciones no lineales, y paraeste caso en particular:

q =[θ1 θ2 θ3 θ4 θ5 θ6

]TEl siguiente paso consiste en la asignación de ejes a las

distintas articulaciones, para la obtención de los parámetrosde Denavit-Hartenberg, que quedan identificados por los si-guientes elementos (junto a la asignación de sistemas decoordenadas, en la figura 3):

αi−1 : Ángulo (rad) de rotación necesario para convertirzi−1 a zi medido sobre el eje xi−1.ai−1 : Traslación (m); distancia entre zi−1 a zi medidosobre el eje xi−1.θi : Ángulo (rad) de rotación necesario para convertirxi−1 a xi medido sobre zi.di : Traslación (m); distancia entre xi−1 a xi sobre zi.

Tal y como se puede observar en las figuras 2 y 3, elconjunto de articulaciones del manipulador y sus principalescaracterísticas quedan recogidas en el Cuadro 1.

Figura 3. Simulación en SolidWorks de la posición y orientación de lossistemas de coordenadas asociados a cada articulación para el estudio delmodelo cinemático directo.

3

Articulación Tipo Rango Operacional Total Vel.Máx.J1-Base Rotación [−170º, 170º] 340º 230º/s

J2-Hombro Rotación [−100º, 130º] 230º 172º/sJ3-Codo Rotación [−130º, 160º] 290º 200º/s

J4-Antebrazo Rotación [−160º, 160º] 320º 352º/sJ5-Muñeca Pitch Rotación [−120º, 120º] 240º 450º/sJ6-Muñeca Roll Rotación [−360º, 360º] 720º 660º/s

Cuadro ICONJUNTO DE ARTICULACIONES

Tras el estudio geométrico del manipulador, se estima quelos parámetros de Denavit Hartenberg necesarios para obtenerel modelo directo del manipulador, son los mostrados en elCuadro 2. El primer sistema de referencia, el consideradocomo universal, se ha establecido coincidente en el mismopunto que el sistema de referencia de la primera articulación.Las medidas mostradas en esta tabla son en mm para lalongitud, y en grados para la rotación.

Elementos G.d.L. ParámetrosRelación αi−1 ai−1 θi di

Referencia J1 1 0 0 θ1 0J1 J2 2 π

2L2 θ2 0

J2 J3 3 0 L3 θ3 0J3 J4 4 π

2L4a θ4 L4d + L5

J4 J5 5 −π2

0 θ5 0J5 J6 6 π

20 θ6 L6

Elementos Long.Brazo Trasl.Sistemas ParámetroJ1 J2 − 150 L2

J2 J3 560 − L3

J3 J4 80 265 L4a , L4d

J4 J5 − 405 L5

J5 J6 − 97 L6Cuadro II

PARÁMETROS DE Denavit-Hartenberg.

Reescribiendo (1) como

p = ϕ(q) =01 T 1

2T23T

34T

45T

56T (2)

para el caso particular de este estudio, se dispone de seisarticulaciones y de un sistema de referencia universal {W},el cual es coincidente con el primer sistema de referenciafísico del robot, el etiquetado como {1} (base). Dados losparámetros anteriores (αi−1,θi,di y ai−1), la obtención delmodelo geométrico directo del robot es inmediata. Suponiendola expresión que liga un sistema de referencia i con unhipotético i− 1, la matriz de transformación homogénea queliga ambos sistemas es la siguiente1:

ii−1T =

cθi −sθi 0 ai−1

sθicαi−1 cθicαi−1 −sαi−1 −sαi−1disθisαi−1 cθisαi−1 cαi−1 cαi−1di

0 0 0 1

(3)

Para obtener la relación entre el sistema de referenciasolidario al efector final y el sistema de referencia de labase (coincidente con el universal), necesario para la posterior

1Donde c y s corresponden respectivamente al cálculo del seno y coseno

fusión con el sistema de la cámara, bastaría con realizar el pro-ducto del conjunto de matrices de transformación homogéneasque ligan a los distintos sistemas articulares:

p =06 T =

[R3x3 t3x101x3 1

]= ϕ(q) =0

1 T 12T

23T

34T

45T

56T

donde R es la matriz de rotación (orientación del efectorfinal) y t es el vector de traslación (posición en coordenadascartesianas del efector final respecto del sistema de la base).Como conclusión, a partir del estudio del modelo cinemáticodirecto del brazo manipulador, se dispone de lo imprescindiblepara, utilizando la unidad de control propia del dispositivo,realizar aplicaciones industriales que requieran de sistemasópticos.

Sin embargo, es posible continuar el estudio para obtenerciertos parámetros relativos a la dinámica del conjunto. Estosincluyen, entre otros, el cálculo de la densidad y el volumendel brazo, así como los momentos de inercia asociados a cadaarticulación por paralepípedos. Dado que en este trabajo lo queinteresa es la disposición entre garra/efector final y cámara yel estudio de la realimentación visual, no se profundizará enel control dinámico del robot, por asumir que es la unidad decontrol la que gestiona dicha tarea.

III. SENSOR ÓPTICO

En la presente sección se introduce el sensor óptico, el cualproporcionará la información visual complementaria (gTo)necesaria para cerrar el lazo de control y posicionar el objetode interés respecto a la base del manipulador. Se introducenlos parámetros internos para modelar el sistema de la cámaraen conjunción con parámetros externos o extrínsecos que liganla relación entre objeto y sensor visual. Por último se presentael posicionamiento tridimensional del objeto de interés.

III-A. Modelado

III-A1. Modelo Pinhole:

La modelización del sistema de la cámara planteado se basaen el modelo pinhole, en el cual se realiza una proyección enperspectiva de un punto espacial M a un punto m en el planode la imagen a través del centro óptico de la cámara {C}. Elpunto espacial M con coordenadas (Xc, Yc, Zc) con referenciaal sistema de coordenadas de la cámara, queda representado enel plano de la imagen por un punto m con coordenadas (u, v),o también denominadas coordenadas centrales, con referenciaal punto central de la imagen (u0, v0)(figura 4), donde el puntoprincipal de la cámara se encuentra en el eje óptico de lamisma a una distancia focal f de su centro (sensor), en el quese verifica

u

Xc=

v

Yc=

f

Zc(4)

La expresión anterior se denomina transformación en pers-pectiva, donde se ha supuesto un modelo libre de distorsiónóptica.

4

III-A2. Parámetros intrínsecos:

El punto m también puede referirse con respecto al bordesuperior izquierdo de la imagen que se da en coordenadas(x, y) en píxeles, o también denominadas como coordenadaslaterales, realizando la siguiente transformación:

x = u0 + fxu (5)y = v0 + fyv (6)

que de forma matricial puede también escribirse como:

xy1

=

fx γ u00 fy v00 0 1

uv1

o

xy1

= K

uv1

(7)

donde la matriz K 2 es la denominada matriz de parámetrosintrínsecos, siendo ésta una matriz de 3x3 que describe tantola geometría como la óptica de la cámara. Se tiene que fx yfy son las denominadas distancias focales3 en las direcciones~x e ~y respectivamente.

Figura 4. Modelo pinhole.

Una forma alternativa de expresar estas distancias focaleses la siguiente:

fx = kxf (8)fy = kyf (9)

donde kx y ky son los factores de escala, que relacionan eltamaño del píxel con la distancia real. Si se asume que f = 1,las coordenadas del punto m se denominan coordenadasnormalizadas (representan coordenadas pertenecientes a unplano imagen ideal ubicado a una distancia del centro ópticoigual a la unidad, y está representado por q), a partir de laecuación (4) se tiene que:

q =1

Zc

Xc

YcZc

= (u, v, 1)T (10)

2El coeficiente γ representa la pérdida de perpendicularidad entre los ejesde la imagen. Se asume cero, puesto que prácticamente no afecta para loscálculos posteriores.

3Se puede considerar como la distancia del sensor hasta el origen delsistema de referencia del plano de la imagen.

donde el símbolo ~ representa que el punto se expresa encoordenadas proyectivas. Las coordenadas normalizadas sepueden conseguir a partir de las coordenadas en píxeles ma través de la matriz de parámetros intrínsecos K despejandoq de la relación m = Kq .

III-A3. Parámetros extrínsecos:

La superficie de los puntos de la escena se correspondecon el sistema de coordenadas, podríamos decir, del mundoreal, con un origen {W}, y un sistema de ejes de la forma(Xw, Yw, Zw). Dado un punto de un objeto, P, éste quedaexpresado en el sistema de coordenadas respecto a {W} de laforma (Pxw, Pyw, P zw). Supongamos ahora que se estableceotro sistema de referencia, por ejemplo, en el origen {C}, ycuyos ejes quedan etiquetados como (Xc, Yc, Zc), situado enel centro del eje óptico de la cámara, tal y como se muestraen la Figura 5. Gracias a esta relación geométrica se puedendefinir cuáles son los parámetros extrínsecos4 del modelo, losque determinarán la posición y orientación del sistema decoordenadas de la cámara respecto del sistema de coordenadasdel mundo real o del objeto5.

Figura 5. Relación geómetrica-espacial entre el sistema de coordenadas dela cámara y el sistema de coordenadas del objeto.

La posición del centro óptico {C} respecto a {W} se damediante el vector de traslación t:

t =

txtytz

(11)

y la orientación de los ejes del sistema de la cámara respectoal sistema de ejes del objeto de referencia viene dada por lamatriz de rotación R (cuadrada de orden 3), la cual puede serobtenida a partir del producto de matrices de las tres rotaciones

4También denominada como técnica de calibración externa.5La definición puede ser al revés, considerando el sistema de referencia de

la cámara como el origen.

5

simples en cada eje. En esta situación, una rotación de φgrados alrededor del eje = se expresará como Rot(=, φ):

Rot(X,φx) =

1 0 00 cosφx −senφx0 senφx −cosφx

(12)

Rot(Y, φy) =

cosφy 0 senφy0 1 0

−senφy 0 cosφy

(13)

Rot(Z, φz) =

cosφz −senφz 0senφz cosφz 0

0 0 1

(14)

Así, cámara y mundo quedan relacionados cumpliendo lasiguiente expresión: Xc

YcZc

= R

Xw

YwZw

+ t (15)

Por lo que usando lo anterior, para un punto cualquiera, P,con componentes (Pxw, Pyw, P zw) respecto al sistema decoordenadas {W}, se puede obtener su representación respectoal sistema de coordenadas {C}, quedando sus componentescomo (Pxc, Pyc, P zc) usando (15) como sigue Pxc

PycPzc

= R

PxwPywPzw

+ t

La ecuación anterior se suele representar también como unaúnica matriz cuadrada de dimensión 4, expresada en forma decoordenadas homogeneas[

Pc

1

]= cTw

[Pw

1

](16)

donde la matriz cTw indica la matriz respecto del sistema decoordenadas de la cámara, teniendo la forma:

T =

[R3x3 t3x101x3 1

](17)

III-A4. Proceso de calibración:

En la calibración de la cámara se estiman los parámetrosintrínsecos y extrínsecos. Su precisión es importante pues apartir de ellos se obtiene información métrica de la escena talcomo dimensiones reales del objeto, profundidad, movimientoa partir de imágenes, posiciones, orientaciones, etc. Tambiénse determinan las distorsiones geométricas producto de lasimperfecciones de la cámara (distorsiones radial y tangencial).

La calibración de la cámara es llevada a cabo al observarun objeto de calibración cuya geometría en el espacio 3D esconocida con muy buena precisión. Usualmente el objeto decalibración consiste en uno o varios planos (si hay variosplanos, suelen establecerse perpendiculares entre sí) en loscuales se ha impreso un determinado patrón de calibración.Los parámetros de la cámara son recuperados a partir dela relación entre las coordenadas tridimensionales del objetocon sus correspondientes proyecciones bidimensionales en laimagen, como por ejemplo en el método de transformación

lineal directa (DLT). Así, el método propuesto hace uso deun objeto con único patrón de calibración impreso, muygeneralizado, denominado tablero de ajedrez, combinando eluso de un método basado en el algoritmo de Zhang, en elcual los parámetros de la cámara son obtenidos a partir de latransformación 2D entre el plano del patrón y el plano de laimagen.

En la bibliografía se puede encontrar referencia [2] a untoolbox de calibración para Matlab muy extendido, el cual,conociendo el ancho de cada uno de los «cuadros» del tablero,para una cámara monocroma de resolución (HxV) 752x480pixels, con sensor CMOS de 1/3” (pixel cuadrado de 6µmde ancho y alto), en concreto el modelo uEye UI-1220-Mde IDS, a la que se le ha acoplado una óptica fija estándarCOSMICAR/PENTAX de 12mm de distancia focal nominal,ha devuelto los valores de calibración interna mostrados en elCuadro 3.

Parámetro Est (px) Comentariosfx 2043.2402 Anchura efectiva del pixel de

6µm (equivalente a 12.259442mm)fy 2044.6518 Altura efectiva del pixel de

6µm (equivalente a 12.267911mm)cx 354.8575 Coord x del punto principal en la imagen.cy 240.4531 Coord y del punto principal en la imagen.p1 −0.3668p2 0.9305 Coeficientes de distorsión radial de la lente.p3 0.00008t1 −0.0005 Coeficientes de distorsión tangencial de la lente.t2 0.0000

Cuadro IIIPARÁMETROS INTRÍNSECOS DE CALIBRACIÓN

El proceso llevado a cabo incluye la toma de multitud deplanos del mismo objeto, en condiciones similares, cambian-do la relación aparente cámara-objeto de calibración. Dichotoolbox permite obtener al mismo tiempo una representacióngráfica de los distintos valores de los parámetros extrínsecosextrapolados, tal y como se puede observar en la figura 6.

Figura 6. Representación de los parámetros extrínsecos del sistema cámara-objeto.

III-B. Posicionamiento 3D mediante el sistema de visión

El sistema completo estará formado por la cámara, cuyosistema de coordenadas ligado se etiqueta como {C}, acoplada

6

rígidamente a una plataforma sobre el brazo manipuladorpróxima al efector final (sistema {G}) y un objeto de controlapropiado para la tarea a realizar. Por otro lado, se proponeque el objeto visualizado por la cámara sea una plantilla planaque se corresponde con el objeto de calibración usado para lacalibración interna, es decir, el denominado tablero de ajedrez.El sistema ligado al mismo se denomina {O}.

En general, tal y como se ha expresado en (17), la posicióny orientación de un sistema cualquiera {B} respecto a otrosistema {A} podría expresarse mediante la matriz de transfor-mación homogénea aTb:

aTb =

[aRb

atb01x3 1

]De manera que planteando la posición y orientación del

objeto {O} respecto de {W} (base del manipulador):

wTo =

[wRo

wto01x3 1

](18)

Para el cálculo de la relación anterior, y recapitulando loselementos de los cuales se dispone, se tiene:

Relación entre el sistema de referencia inercial (coin-cidente con la base, {W}) con el efector final ({G}),gracias al cálculo del modelo cinemático directo: wTGHaciendo uso del sistema de visión, relación entre elsistema de referencia de la cámara ({C}) y el objeto dereferencia ({O}): wTO.Falta el nexo de unión entre la base del manipuladory la cámara. En este caso, la matriz gTc, calculada apartir de un proceso de calibración fuera de línea. Unapropuesta pudiera ser el método conocido como hand-eyecalibration de Tsai y Lenz (figura 7), tradicionalmenteempleado para la calibración entre la cámara y el efectorfinal de un robot manipulador al que está rígidamenteacoplada aquélla, en el cual también se hace uso delmismo objeto de calibración utilizado para la calibraciónde la cámara. El método parte de la captura de variasimágenes desde diversos puntos de vista de dicho objeto,el cual debe permanecer inmóvil, mientras se varían lasposiciones de la cámara haciendo uso del brazo articula-do. Para cada uno de los puntos de vista, debe registrarsela posición del efector final del brazo manipulador yrealizar una estimación de la posición y orientación delobjeto respecto a la cámara.

Una vez que se haya establecido esta relación entre cámara ygarra, será constante, puesto que se establece un acoplamientorígido mecánico entre ambos elementos. Dada esta matriz,es posible obtener la posición y orientación del efector finalrespecto al sistema de coordenadas del objeto:

oTg =o Tc ·g T−1c

Así, aplicando sucesivos cambios de base, se tendrá disponiblela relación entre la base del manipulador y el objeto dereferencia, de manera que si se considera {B} como el sistemade referencia de la base, todo podrá ser interpretado respectoa la misma de la forma:

BTO =B TG ·G TC ·C TO (19)

Figura 7. Esquema gráfico de calibración cámara-garra mediante Tsai Lenz.

para que, en cada momento, haciendo uso del algoritmo delocalización y seguimiento propuesto en la siguiente sección,se puedan realizar las acciones que se consideren oportunasen un entorno industrial.

IV. MECANISMOS DE EXTRACCIÓN DE INFORMACIÓNVISUAL

IV-A. Introducción

El algoritmo de localización y seguimiento presentado enesta sección permite obtener la información visual necesariapara cerrar el lazo de realimentación visual. Se obtendránlos parámetros extrínsecos del sistema, esto es, rotación ytraslación del sistema que liga al objeto de interés y la cámara,para poder integrarlo en la unidad de control del manipulador,indicando así la posición y orientación deseadas respecto delsistema {B}.

Esta técnica se correspondería, si se mantiene o no el tipode realimentación articular, con la técnica de «Mirar y moverdinámico» (figura 8), en la que se establecen dos frecuenciasde operación: lazo interno y más rápido, lazo externo máslento. Si se establece la clasificación en base al espacio decontrol, el lazo de control externo se corresponde con latécnica denominada control visual basado en posición (PBVS- Position Based Visual Servo, figura 9), en la que es necesarioconocer tanto la geometría de la cámara como la del objeto,y en la que el lazo externo realimenta valores en el espaciocartesiano, al tiempo que el lazo interno (unidad de controldel robot) trabaja en el espacio articular.

La implementación aportada en esta sección se ha llevado acabo con una librería de procesamiento digital de imágenes

7

basadas en estándares abiertos, denominada OpenCV [3].Aunque existen multitud de alternativas libres, como Open-TrackingLibrary[6], se propone OpenCV debido al elevadonúmero de métodos y funciones de los que ya dispone, altiempo de diversos manuales y documentación on-line. Sinembargo, existen alternativas bajo licencia muy extendidas enentornos industriales, como la alternativa comercial de MVTecHalcon [7]. Es un software que incluye multitud de algorit-mos, herramientas de calibración, y entornos integrados dedesarrollo, que permite desplegar soluciones de visión artificialen entornos industriales con elevados índices de calidad. Sinembargo, la licencia más básica tiene costes prohibitivos paraentornos de investigación universitarios.

Figura 8. Esquema «Mirar y mover dinamico»

Para exponer la presente sección, en primer lugar se muestrauna descripción del modelado del objeto, el cual se correspon-de con el elemento a seguir en el entorno mediante algoritmosde localización y seguimiento que son ejecutados en tiemporeal. Posteriormente, y una vez localizado el mismo en laescena, se extraen los parámetros extrínsecos para, en últimainstancia, ser reproyectados estos puntos en el plano de laimagen para verificar que la estimación es correcta.

Figura 9. Esquema PBVS

IV-B. Objeto de referencia tridimensionalLa razón principal por la cual se propone el tablero de

ajedrez como objeto de interés es porque su geometría (puntos

por filas y por columnas) es sencilla de implementar. Perodado que si se pretende que la presente propuesta sea factibleen el mundo de la industria, para cada aplicación en la quese requiera control basado en posición, será necesario contarcon un modelo muy preciso del objeto. Dado el modelo, unavez que se hayan calculado la rotación y traslación del objetorespecto de la cámara (o viceversa) en cada escena, estosparámetros serán realimentados al control para cerrar el lazo.Así pues, se supone que se dispone de los siguientes elementosen el entorno:

Cámara: calibrada, o al menos se dispone de los paráme-tros intrínsecos obtenidos fuera de línea. Correctamenteconectada al computador o unidad de control, y transmi-tiendo en modo contínuo.Objeto de interés: Se dispone de la plantilla del tablero deajedrez, conociendo perfectamente su geometría, midien-do el alto y ancho de sus cuadrados con un calibre, porejemplo. Para esta propuesta se requiere la asumpción delque el objeto de interés es plano. En otros casos, tanto laimplementación de los algoritmos de localización comola representación del modelo serían más complejos.

En Algoritmo 1 se recoge la lógica más básica que resumelos pasos a seguir para obtener los parámetros extrínsecos, siel objeto está dentro del espacio de visión de la cámara.

Algoritmo 1 Algoritmo general para la extracción de informa-ción visual para el esquema de control PBVS. Pui2D: Puntossin distorsión imagen; PO3D: Puntos objeto 3D. Matriz K:Matriz de calibración de la cámara. [K1..Kn]: Parámetros dedistorsión de la lente.

Inicio ControlPBVSReservaEstructurasMemoria(...)InicializacionCamara(camara)[K,[K1..Kn]]:= CalibracionInterna(camara)[PO3D]:= DefiniciónGeometriaObjeto(objeto)mientras (cierto):imagen := CapturaImagen(camara)[Pui2D] := LocalizarObjeto(imagen)

[Rot,trasl]:= CalibracionExterna([Pui2D],[PO3D])imgColor := ProyectaPuntos([PO3D],

Rot,trasl,K,[K1..Kn])fin mientrasLiberaRecursosMemoria(..)LiberaCamara(camara)

Fin Algoritmo

IV-C. Representación, localización y seguimientoEs relativamente sencillo localizar los puntos característicos

o corners de un tablero de ajedrez después de consultarla documentación de OpenCV [3]. La función cvFindChess-boardCorners() se utiliza pues para la obtención de las coor-denadas de los puntos característicos en el plano de la imagen.Además, dichos corners de la parrilla interior de puntos deltablero de ajedrez presentan unas propiedades muy buenaspara la localización y seguimiento, no tanto como pudieratener otro objeto de interés. Existen otras alternativas para lalocalización de dichos puntos: detector de corners de Harris;intersección entre rectas interiores al tablero usando algoritmosde detección de bordes, como Canny, etc.

8

En cada toma, para la localización de los puntosinteriores al tablero, se usa la función de OpenCVcvFindChessboardCorners(), cuyo prototipo es el siguiente:

int cvFindChessboardCorners(const void* image,CvSize pattern_size,CvPoint2D32f* corners,int* corner_count = NULL,flags = CV_CALIB_CB_ADAPTIVE_THRESH );

donde:image :

Imagen que contiene al objeto de interés.pattern_size :

Estructura para la definición de tamaño en OpenCV.Se indican el número de filas y columnas, especifi-cados por el número de corners internos a lo anchoy número de corners internos a lo alto del tablero.

corners :Estructura tipo array de OpenCV en la que sealmacenan las coordenadas (del plano de la imagen)correspondientes a los puntos extraídos del tablero.

corner_count :Puntero a entero, en el cual se indica el número decorners del tablero encontrados.

Máscaras de comportamiento :CV_CALIB_CB_ADAPTIVE_THRESH: Se usa-rá un umbral adaptativo para el contraste en laimagen para la localización de los corners.CV_CALIB_CB_FILTER_QUADS: Conjunto derestricciones son aplicadas para rechazar posi-bles falsos corners.

Una limitación que presenta esta función es que si el tablerocompleto no está contenido dentro de la escena, y no sedetecta, por ejemplo, una fila o columna, no devuelve elconjunto de puntos de la parte del tablero visible, dado queno cumple con los parámetros de entrada indicados. Esto dapie a otros métodos para la localización de objetos (basadosen descriptores, como SIFT o SURF), pero no son del ámbitodel presente trabajo.

El siguiente paso consiste en aplicar un proceso derefinamiento sobre el conjunto de coordenadas para precisaraún más la localización de los puntos característicos o cornersobtenidas en el punto anterior. Esta tarea se realiza con lafunción de OpenCV cvFindCornerSubPix(), cuyo prototipo es:

void cvFindCornerSubPix(const CvArr* image,CvPoint2D32f* corners,int count,CvSize win,CvSize zero_zone,CvTermCriteria criteria );

donde:

image, corners y count :Igual que en el caso anterior, salvo que se supone queen image están presentes los corners pasados comoargumento de entrada.

win :Estructura en OpenCV para especificar el tamaño dela ventana de búsqueda del punto característico, enpíxeles. En esta propuesta se considera una ventanade 5x5 de radio desde la posición del punto, conlo que sumando el tamaño del píxel en horizontal yvertical queda una ventana de CvSize(11,11).

zero_zone :No relevante para el caso actual.

criteria :Se establecen el número de iteraciones máximo enel proceso de búsqueda. En este caso:cvTermCriteria(CV _TERMCRI_TPS |CV _TERMCRIT_IER, 30, 0,1).indicando que el algoritmo iterará un númeromáximo de iteraciones que se establece en 30 ócuando se haya alcanzado una precisión del 10 %.

Almacenadas las coordenadas de los puntos en estructuras dememoria intermedias, y obtenidas las coordenadas precisasde la localización de los puntos del tablero, queda realizarla representación de la geometría del objeto, definiendo lospuntos del objeto, y calcular los parámetros extrínsecos delsistema, asumiendo que tanto la cámara como el objeto puedendesplazarse en cualquier momento.

El objeto se puede definir virtualmente como una mallade puntos, ordenados por filas y columnas, cuya distancia deseparación sea dada en milímetros (Algoritmo 2). La terceracoordenada (z) se establece a 0, puesto que se supone queel objeto descansa sobre el plano que contiene al sistema dereferencia propio.

Un último detalle es indicar qué se considera eje X y eje Yrespecto del sistema de coordenadas del objeto. En la figura10 se observa la asumpción del eje horizontal del objeto comoY, el vertical etiquetado como X y apuntando hacia la cámara,el eje Z.

Algoritmo 2 Representación virtual del objeto. Nota: PObj:PuntosObjeto; tCmm: Tamaño del cuadrado en mm.

// Bucle externo a lo largo del eje Xdesde i = 0 hasta i < numCornersEjeX{

paso: i++// Bucle interno a lo largo del eje YnumCorner = i*numCornersEjeY;desde j = 0 hasta j < numCornersEjeY{paso: j++, numCorner++Obj.PObj[numCorner, 0] = i*tCmm;Obj.PObj[numCorner, 1] = j*tCmm;Obj.PObj[numCorner, 2] = 0.0f;

}}

9

IV-D. Cálculo de los parámetros extrínsecos

En OpenCV existe una función que permite calcular losparámetros extrínsecos, denominada cvFindExtrinsicCamera-Param2(), la cual se detalla a continuación:

void cvFindExtrinsicCameraParams2(const CvMat* object_points,const CvMat* image_points,const CvMat* intrinsic_matrix,const CvMat* distortion_coeffs,CvMat* rotation_vector,CvMat* translation_vector );

La descripción de los parámetros es la siguiente:object_points :

Representación virtual de la geometría del objeto.Presentada en el Algoritmo 2. Coordenadas tridimen-sionales respecto al sistema del objeto.

image_points :Coordenadas bidimensionales respecto al plano dela imagen de los puntos extraídos con la funcióncvFindChessboardCorners().

intrinsic_matrix :Función de parámetros intrínsecos de la cámara K .

distortion_coeffs :Vector de coeficientes de distorsión radial y tan-gencial. Expresado de la forma: k1,k2,p1,p2 yk3(donde kiindican coeficientes de distorsión radialy picoeficientes de distorsión tangencial).6

rotation_vector :Vector de rotación, en el que se devuelve, por cadaeje, el vector unitario asociado y el ángulo de girosobre el mismo. Para obtener la matriz de orden 3necesaria para la aplicación, se puede usar la funciónde OpenCV cvRodrigues2().

translation_vector :Vector de traslación del sistema. Los valores devuel-tos están expresados en mm.

Figura 10. Representación de los ejes del sistema de coordenadas del objeto.

6De forma muy resumida, la distorsión radial está asociada a la curvatura dela lente, mientras que la distorsión tangencial queda asociada a la disposiciónexistente entre el sensor (CMOS, por ejemplo) de la cámara y la óptica.

IV-E. Proyección tridimensional

En este punto se puede verificar:

Si la calibración interna de la cámara se ha realizadocorrectamente.Si se ha definido correctamente el objeto tridimensional.Si se ha realizado correctamente la extracción de losparámetros extrínsecos del sistema.

Si alguna de las tres etapas anteriores se ha superado conalgún tipo de error, la reproyección de la estimación delos puntos del objeto no será adecuada, y por lo tanto, lareconstrucción 3D del mismo contendrá errores. Esto es, dadauna localización en el espacio tridimensional respecto delsistema de coordenadas de la cámara, es posible reconstruirde forma unívoca donde debería aparecer en el plano dela imagen en coordenadas expresadas en píxeles, el puntoexterno tridimensional. Dicha transformación se realiza usandola función de OpenCV denominada cvProjectPoints2(), cuyoprototipo se expone a continuación:

void cvProjectPoints2(const CvMat* object_points,const CvMat* rotation_vector,const CvMat* translation_vector,const CvMat* intrinsic_matrix,const CvMat* distortion_coeffs,CvMat* image_points,..);

donde:

object_points :Representación virtual (Algoritmo 2) de la geometríadel objeto. Coordenadas tridimensionales respecto alsistema del objeto.

rotation_vector :Vector de rotación, representado como rotación res-pecto a cada eje.

translation_vector :Vector de traslación del sistema. Los valores devuel-tos están expresados en mm.

intrinsic_matrix :Función de parámetros intrínsecos de la cámara, K.Junto con los coeficientes de distorsión, es usada paracorregir geométricamente la imagen.

distortion_coeffs :Vector de coeficientes de distorsión.

image_points :Parámetro de salida; contendrá las coordenadas tri-dimensionales de la localización del objeto, res-pecto del sistema de coordenadas de la imagen.Posteriormente será usado para dibujar los puntosreproyectados.

Tras la ejecución de la anterior función, es posible dibujar lareproyección de los puntos calculados sobre el tablero, con unaprecisión que depende directamente tanto de la óptica comode las características de la cámara.

10

Figura 11. Disposición brazo manipulador-cámara-objeto de interés. Transformación entre sistemas de referencia.

El último paso consiste en dibujar el eje Z sobre el table-ro (profundidad), y para conseguir la reconstrucción parcialcompleta es necesario dividir esa pequeña cantidad por lareproyección del eje Z, haciendo uso de la expresión (4). Losresultados obtenidos se muestran en la figura 12, donde una“reproyección tridimensional” del objeto de interés a partir delos parámetros extrínsecos del sistema es llevada a cabo.

Como conclusión, tras realizar el conjunto de pasos ante-riores, ya se dispone de los parámetros extrínsecos, con unaresolución del orden de mm, para poder ser integrados en launidad de control del manipulador e indicar referencias asocia-das al campo visual, para tareas propias del entorno industrial.Aplicando el producto de matrices recogido en la expresión(19), es posible indicar movimiento a coordenadas del entornodel objeto, referenciadas desde la base del manipulador, {W},siguiendo el esquema de la figura 11.

Figura 12. Reconstrucción 3D del objeto de interés.

IV-F. Otras alternativas

Existen otras técnicas, no expuestas en este trabajo, para laobtención de la relación entre la cámara asociada al efectorfinal y algún objeto de interés, y para la localización del mismo(Surf, Sift, flujo óptico, etc). De hecho serían muy beneficiosaspara entornos industriales, dado que son independientes delmodelo del objeto de referencia (en este tipo de técnicas nose considera la estructura tridimensional del objeto, sino quese asume que el mismo es plano).

Ya no se calculan los parámetros extrínsecos del sistema,tal cual; en este tipo de alternativas tan solo existe el planode la imagen, y el conjunto de puntos extraídos del mismoes lo que se intenta seguir en una secuencia de imágenes. Seplantea una relación de transformación proyectiva, en la quese toma la primera imagen del objeto (imagen de referencia) yse calcula en cada toma sucesiva la matriz de homografía conla nueva imagen del objeto capturada, de forma que en cadainstante de tiempo tenemos una matriz H, cuyos coeficientestransformarían la posición actual del objeto a la posición dereferencia.

Una vez calculada dicha matriz entre cada par de imágenes(referencia y actual), se pueden plantear diversas técnicas parala extracción de la rotación y traslación, entre las cuales desta-can las de descomposición analítica y numérica. Sin embargo,aunque la rotación no se vea afectada, el vector de traslaciónno viene dado en unidades métricas como en la primerapropuesta, sino que viene escalado y determinado por un factorα desconocido. Por ello, propuestas que utilizan este tipo detécnicas para el control visual basado en posición incluyentambién medidas de sensores de distancia, que aportan lacomponente de profundidad necesaria para poder extrapolarlos parámetros extrínsecos reales.

V. CONCLUSIÓN

El presente trabajo ha presentado una propuesta para un casopráctico de implementación de un esquema de realimentaciónvisual basado en posición, alternativa la cual requiere demúltiples modelos: modelo de parámetros intrínsecos de la

11

cámara, especificación tridimensional del objeto de interés,etc. No se ha presentado ninguna referencia a controladoresarticulares bajo la asumpción de que es la unidad de controldel brazo manipulador quien, indicando referencias externasen espacio cartesiano, se encarga del control cinemático ydinámico del manipulador. Sin embargo, sí ha sido necesarioel presentar las ecuaciones del modelo cinemático directo parapoder calcular la matriz de transformación homogénea que ligabase y efector final, para poder relacionarlo del mismo modocon el objeto de interés capturado por el sensor óptico.

La técnica de extracción de información visual no es ca-racterística de este tipo de aplicaciones. De hecho, es posibleintegrarla en equipos robóticos terrestres o aéreos, comple-mentando así la carga sensorial de los mismos, pudiendoser alternativas en situaciones en las que, por ejemplo, parafunciones de navegación no se disponga de cobertura GPS,sensor muy utilizado en la navegación autónoma. Simplementecon tomar diversas asumpciones sobre el o los objetos a tomarcomo referencias, el control visual para navegación es factible.

En la literatura existen diversos métodos para la localizacióny seguimiento de objetos: algunos de ellos presentan mejorespropiedades ante oclusiones parciales o condiciones lumínicaspobres (es el caso de SURF o SIFT). El motivo por el cualno se han presentado en este trabajo es porque en entornosindustriales todo en el área o celda de trabajo se prepara de lamejor forma posible para que las condiciones de trabajo seanlas mejores; incluyendo (si existen sensores ópticos) el mejoracondicionamiento para la extracción de información visual.

REFERENCIAS

[1] Especificaciones Serie Melfa Mitsubishi. Sitio web de Mitsubishi Corpo-ration. http://www.mitsubishi.com

[2] J.-Y. Bouguet, ”Camera Calibration Toolbox for Matlab”, Junio 2008.http://www.vision.caltech.edu/bouguetj/calibdoc/index.html.

[3] G. Bradsky and A. Kaelher, ”Learning OpenCV. Computer Vision withthe OpenCV Library”, O’Reilly, 2008.

[4] Tarek Hamel, Robert Mahony. Image based visual servo control for aclass of aerial robotic systems.

[5] Hill, J., and Park, W.T. Real Time Control of a Robot with a MobileCamera. Proceedings of the 9th ISIR , Washingtong DC, March, pp.233-246, 1979.

[6] Open Tracking Library. http://www.opentl.org/[7] MVTec Software GmbH Halcon. http://www.mvtec.com/halcon/[8] Realimentación visual para el control de un vehículo aéreo cuatrimotor

no tripulado. Proyecto Final de Carrera. Jesús G. Villagómez. Septiembre2010.