Post on 09-Apr-2017
José Angel Gutiérrez Olabarria joseangel.gutierrez@tecnalia.com http://lnkd.in/3CVgjc http://www.computervisionbytecnalia.com TECNALIA
Visión Artificial y su aplicación industrial
Miramon - 30 de junio de 2016
Esquema
Día 30/06/16: Lugar: Parque Tecnológico de Gipuzkoa. PaseoMikeletegi,53 Horario: 0900-1300 1. Presentación 2. Introducción
� Que es la visión artificial y el procesamiento de imagen � Definiciones y términos � Aspectos a tener en cuenta en sistemas de visión artificial
3. Elementos en visión artificial 4. HW
� Iluminación I - Tipos de iluminaciones empleadas I � Óptica - Tipos de ópticas I � Cámara / Sensor I - Tipos de sensor I � Digitalización / procesadores
Esquema
5. SW
� Esquema habitual de proceso � SW bajo nivel: Umbralizados, filtros, operadores � Características � Segmentación � clasificación
6. Aplicaciones / ejemplos prácticos de Visión artificial
7. Conclusiones
4
¿Que hace Tecnalia en Visión Artificial? • Casi 30 años diseñando, desarrollando, instalando y manteniendo
aplicaciones • 200 proyectos desarrollados e instalados en distintos ámbitos • I+D APLICADA, en el limite del estado del arte, pero también 20
patentes ¿Y quien este señor? • 25 años de experiencia en el sector • 6 años profesor de estas tecnologías en Ingeniería de Deusto
5
2. Introducción ¿Queeslavisiónar7ficialyelprocesamientodeimagen?“Procesoautomá7cooasis7dodeinformacióncaptadapormediosasimilablesanuestravisión”1.Captaciónpormediosvisuales:Herramientashardware,obtencióndeimagen.
2.Procesamiento:SoMware.
ESCENA ILUMINACION
OPTICA HARDWARE
IMAGEN EN
MEMORIA PROCESAMIENTO IMAGEN
INFORMACIÓN RESULTADO ANÁLISIS
6
2. Introducción: Términos de interés
Píxeles:– Elementosdeimagen.– Discre7zaciónimagenrealenmemoria,pantalla(PIX).
• Niveldegris:– Discre7zaciónintensidaddeluz256(1byte).
– Paraniveldecolor3bytes.• Resolución:Máximateórica
– Divisióndemedidaenespaciorealentrevariaciónmedidaenpíxeles
– Usual:Resolucióna2píxeles.
X
Y
7
2. Introducción: Aspectos a tener en cuenta Tópicos
– “Lavisiónar7ficialesinteligenciaar7ficial”– “...Soncosasdelaboratorio,noaplicacionesreales”– "Losquehayquedetectaresmásomenosasí…“– “Siseveasimplevista,sepuederesolverporvisión”– “…Seponeunaluzcualquieraylisto”– “Laprecisióndelsistemaes…”– “Misistemagaran7zacerodefectos”– “Configuremosamáximasensibilidad”– “Elsistema7enequeresolvertodosmisdefectos”
Caracterís7cassistemasV.A.– Repe77vidadmuchomayorquecontrolhumano– Velocidad– Enningúncasoalcanzanlaflexibilidaddelavisión
humana
8
2. Introducción: Aspectos a tener en cuenta Tópicos
– “Lavisiónar7ficialesinteligenciaar7ficial”– “...Soncosasdelaboratorio,noaplicacionesreales”– "Losquehayquedetectaresmásomenosasí…“– “Siseveasimplevista,sepuederesolverporvisión”– “…Seponeunaluzcualquieraylisto”– “Laprecisióndelsistemaes…”– “Misistemagaran7zacerodefectos”– “Configuremosamáximasensibilidad”– “Elsistema7enequeresolvertodosmisdefectos”
Caracterís7cassistemasV.A.– Repe77vidadmuchomayorquecontrolhumano– Velocidad– Enningúncasoalcanzanlaflexibilidaddelavisión
humana
9
2. Introducción: Aspectos a tener en cuenta Tópicos
– “Lavisiónar7ficialesinteligenciaar7ficial”– “...Soncosasdelaboratorio,noaplicacionesreales”– "Losquehayquedetectaresmásomenosasí…“– “Siseveasimplevista,sepuederesolverporvisión”– “…Seponeunaluzcualquieraylisto”– “Laprecisióndelsistemaes…”– “Misistemagaran7zacerodefectos”– “Configuremosamáximasensibilidad”– “Elsistema7enequeresolvertodosmisdefectos”
Caracterís7cassistemasV.A.– Repe77vidadmuchomayorquecontrolhumano– Velocidad– Enningúncasoalcanzanlaflexibilidaddelavisión
humana
10
Tópicos– “Lavisiónar7ficialesinteligenciaar7ficial”– “...Soncosasdelaboratorio,noaplicacionesreales”– "Losquehayquedetectaresmásomenosasí…“– “Siseveasimplevista,sepuederesolverporvisión”– “…Seponeunaluzcualquieraylisto”– “Laprecisióndelsistemaes…”– “Misistemagaran7zacerodefectos”– “Configuremosamáximasensibilidad”– “Elsistema7enequeresolvertodosmisdefectos”
Caracterís7cassistemasV.A.– Repe77vidadmuchomayorquecontrolhumano– Velocidad– Enningúncasoalcanzanlaflexibilidaddelavisión
humana
3. Aspectos a tener en cuenta
11
3. Elementos en V.A.
“Materiainterdisciplinar”– Hardware:Filtradoinicialdeinformación.
• Luz,cámaras,digitalización.
– SoMware:• Preproceso:umbral,histograma,filtros...
• Proceso:algoritmos,información...
• (Postproceso)• Comunicaciónderesultados
1
2 3 45
6
7
8
9
12
4 HW: Iluminación
• Importanesima:maldiseñada,posiblefracaso• Técnicasfotográficas.• Granvariedadobjetos/fondos:
Rayos en superficie especular
Rayos en superficie no especular
Rayos en superficie semiespecular
13
4 HW: Iluminación
Diferentesnaturalezas– Incandescentes– Fluorescentes:Atenciónalafrecuencia– LED:vidamuylarga,monocromá7cos– Láser– UsoEstroboscópico– Entre500–3000€
14
4.HW: Ópticas • Variablesadeterminarenla
selección– Focal,FOV,STDOff– Luminosidad.Relacióncon
enfoque– Tipodemontura– Calidad/resolución
• Tipoenfunciónaplicación– Masfocal– Menosfocal
• Lentesespeciales– Varifocal– Telecéntricas– Electroadapta7vas
• Entre300–3000€
Foco
PlanoFocal PlanoPrincipal
RayosParalelos(infinito)
Lente
Foco
Lente
Objeto
Imagen
15
4.HW: Ópticas
Filtrosóp7cos:• Polarizadores.permitenpasoluz
enunúnicoplanodepolarización
• Pasa-banda.Sepermiteelpaso
deciertaslongitudesdeonda.• 50–300€
16
4.HW. Cámaras
• Cámaras:– (Vidicón.Tubodeimagen.Obsoleto.)– CCD.CIfotosensible.Cargaproporcionalalalúzquereciben.1D(lineales),2D(matriciales).
– CMOS.Massencilloybarato.Inicialmentelimitacionescadadíamenos.CometerrenoaCCD
Ópticas
CCD - 1D CMOS 2D
Electrónica
Señal de vídeo
17
4. HW: Cámaras
• Lineal/Matricial• Color/B&W• CCD/CMOS• Entrelazada/progresiva
– Fullframe,globalshuter…• Sensibilidad• Resoluciónmedidaenpixeles(hasta70Mpix)
• Velocidaddedisparo• Espectroexpandido/mul7espectral
• Entre300–3500€
18
4. HW: Digitalización y procesadores
• Estándaresdigitales.Lacámaratransmitedirectamenteendigital.– Cameralink:muyhabitual,notanestandar
– Firewire– USB– Gig-e:Sehaimpuesto
• PC/sistemascompactos• Preciosentre500–4000€
19
Preproceso Extracción de características
Segmentacion
Classification - Umbralizado - morfologia - Mejora de
imagen - ruido - Normalizacion
- Blobs - Contorno - Textura - Color - Bag of words
- Region - Borders - Active contorrs - Guided filtering
- Statistical analysis - Machine learning - Meta-classifiers - Distance based
metrics
5. SW: Esquema clásico de proceso
20
5. SW. Bajo nivel
Histograma:TablanúmerodePIXenniveldegris.
A B C
D P E
F G H
Vecindaddepix(3x3)
Umbralización:Separarobjetosinterésdelfondo.
– Fijo.– Viariable:problemaobjetospequeños.
– Porzonas.
21
5. SW. Bajo nivel
• Histograma.– Ecualización.Usadopararealcedeimagen
– Seu7lizaparaelcálculodelumbralautomá7co.
22
5. SW. Bajo nivel
• Filtrospasabajos.A)Media:eliminacióndelruido,suavizacontornos 1/91/91/9
– máscara 1/91/91/9 1/91/91/9
B)Mediana:valorcentraldelistaordenada.
C)Mediadeimágenessucesivas.
23
5. SW. Bajo nivel
• Filtrospasaaltos.A)Sobel-1-2-1-101000-202121-101B)Laplaciano. 010amplifica 1-41elruido 010
24
5. SW. Bajo nivel
• Erosiónydilatación.A)Erosión:eliminacióndepíxelesdecontornoofrontera.
B)Dilatación:adicióndepíxelesdefrontera.
C)Combinaciones(opening,closing,...)
Obje7vo:conectarelementos,eliminarruidosumbralizaciones.
25
5. SW. Extracción de características
– Bordes• FiltradosdeFrecuencia• Líneas• Formassencillas,Hough,Canny
– Esquinas– Blobsuobjetos– Texturas– Color
26
Proceso por el cual aislamos, mediante diversos métodos, zonas de la imagen que tengan similares características
� Características generales � Color � Textura � Forma
� Características particulares � Características que son específicas del objeto o zona a segmentar:
� Una cara tiene ojos nariz y boca � Un coche tiene objetos redondos y negros llamados ruedas
5. SW. Segmentación
27
5. SW. Clasificación
• Pertenencia• SVM• learning
28
Image preprocessing Features extraction
Segmentation
Classification
- Restoration - Enhancement - Mapping - Noise reduction - Normalization
- Color - Texture - Binary blobs - Shape - Dictionary based
(bag of visual words)
- Region - Borders - Classifiers - Active contorurs - Guided filtering
- Statistical analysis - Machine learning - Meta-classifiers - Distance based
metrics
5. SW: Esquema futuro
DEEP LEARNING
29
EntornosdeprogramaciónindustrialLabview
LabWindows3000€VisualStudio(C#,C++)
Smartindustrialcameras&compactcomputervisionsystems
Entornosdeprogramación
Proto4padorápido/inves4gación
PythonMatlab
Libreríasindustriales
Halcon3000€NiVisionSherlock
CommonVisionBlox
Libreríascien;ficasScikitLearn/Image
Opencv(portsapythonc#...)PclCimg
Herramientasparavisiónar4ficial
CopyrightTecnalia,2015
30
Visión Artificial Convencional
Iluminación clave Adquisición a medida Procesamiento eficaz
Aplicaciones § Control superficial § Automatización § Trazabilidad § Posicionamiento § Interacción § 3D Pick &Place § Localización Indoor
6. Aplicaciones
31
Sistema de Visión para la detección y control de la marca de posición de los envases. Los tres sistemas instalados en diferentes plantas aseguran al 100% el correcto marcado de los envases.
Control automático de envases tubulares
El sistema realiza la lectura de los caudales de ensayo mediante el reconocimiento automático de los dígitos y agujas del contador. Dichos valores son grabados en una memoria inductiva. Las cuatro líneas de inspección constan de:
• Pórtico motorizado. • Sistema de visión. • Sistema de lectura y grabación inductiva • Armario de control.
Sistema de verificación automática de Contadores
32
Sistema de Visión Artificial para la inspección automática de agujas de rodamiento. El equipo permite detectar fallos dimensionales, mal rectificado y muescas y poros de las agujas.
Control de calidad de agujas de rodamiento por visión artificial
n Verificación del montaje del anillo retenedor de rodamiento en el palier del automóvil:
! control de presencia ! control de expansión
n Integración del sistema en la máquina de montaje sin afectar al tiempo de ciclo, controlando el 100% de la producción.
Verificación del montaje de elementos de seguridad
33
Verificación del correcto llenado de las cubetas: Horizontalidad. Nivel de llenado. Ausencia de masa sobrante.
Control automático de negativo en acumuladores
El sistema realiza la inspección del acabado de vasos de plástico apilados, verificando el borde y su correcto doblado y apariencia estética.
Control de calidad de vasos de plástico
34
INSPECCION SUPERFICIAL DE DEFECTOS DE LAMINACION
Inspección superficial de defectos en el tren de laminación.
• cámara lineal (1D). • tipología de defectos compleja • entorno agresivo.
CONTROL DIMENSIONAL DE CASQUILLOS DE AUTOMOCION
Verificación y trazabilidad de la producción mediante la incorporación de visión artificial en la medida y calculo de diversos parámetros dimensionales, grado de concentricidad, espesor y diámetros.
35
Análisisdetexturasdeespumasde
poliuretanoIluminaciónDarkfieldEstadís7cosdetextura
© ROBOTIKER CopyrightTecnalia,2015
36
Visión artificial “especialista”
Iluminación directa especial Filtrado óptico Adquisición Protección / limpieza Procesamiento “inteligente” Trazabilidad completa
Aplicaciones § Calidad superficial § Medida sencilla § Presencia / ausencia
37
38
Visión 3D
Triangulación óptica láser Estereo Vision
Aplicaciones § Medida 3D § posicionamiento
Triangulación Óptica On-line
Estéreo Visión activa Robotizada
39
HOT3D
Some Key projects:
Medida 3D de perfil estructural en caliente a 7 m/s basado en escáner laser
• 4 bloques sensores proporcionan todo un perfil completo.
• Control dimensional online basado en algoritmos inteligentes
40
Visión Térmica - termográfica
Tratamiento de imagen térmica como imagen convencional
Aplicaciones § Control Térmico avanzado § Controles adicionales sobre imagen
térmica
Control termográfico por Visión Artificial Software a medida
41
Visión multibanda / hiperespectral
Información de color objetiva y exhaustiva
Aplicaciones § Caracterización de elementos
químicos § Detección de estado de proceso § Valorización de residuos § Separación de mezclas
Separación y valorización de materiales por Visión artificial “especial”
42
• Visión artificial funcionando en las plantas • Los sistemas de V.A. consiguen:
• Reducir y/o evitar rechazos de calidad • No procesando operaciones de valor añadido a material defectuoso • Mantenimiento preventivo: algunos defectos advierten de posibles
averías costosas e indeterminadas • Interdisciplinar:
• co-creación como una clave para las mejores soluciones • La colaboración con los agentes clave del mercado permiten un
buen diseño y servicio • La flexibilidad del diseño y la solución favorecen la instalacion del
sistema
7. Conclusiones
TECNALIA FUNDACIÓN TECNALIA RESEARCH & INNOVATION Parque Científico y Tecnológico de Bizkaia C/ Geldo, Edificio 700 E-48160 Derio-Bizkaia (Spain) T 902 760 000 T +34 946 430 850 (International calls) www.tecnalia.com http://www.computervisionbytecnalia.com División: Industria y Transporte Área de Negocio: Máquinas Especiales Contacto Técnico: José Angel. Gutiérrez Olabarria Correo electrónico: joseangel.gutierrez@tecnalia.com