Post on 03-Nov-2018
1/43
Curso Procesamiento y Análisis de Imágenes – Jorge Márquez Flores - CCADET-UNAM 2008
Procesamiento y Análisis Digital de Imágenes
Campo multi-disciplinario: Matemáticas, Ingeniería eléctrica (señales), Ciencias de la Computación (informática) y Física
• Estudio, representación, manipulación y análisis de información
multidimensional (especialmente imágenes) mediante computadoras. • Mejorar información pictórica (o representar cualquier tipo de información
mediante imágenes) para interpretación humana. • Procesamiento de información (imágenes, escenas) para percepción
autónoma robótica (machine perception).
Por simplicidad nos referiremos a Digital Image Proceesing (DIP o PDI)
2/43
urso C Procesamiento y Análisis de Imágenes – Jorge Márquez Flores - CCADET-UNAM 2008
• Significado de acuerdo a problemas de estudio (sobre objetos reconocidos, mediciones y efecto de una etapa del procesamiento, etc.).
Tareas fundamentales de DIP
Formación y adquisición de imágenes (sensores de imagen) Digitalización, cuantización y compresión (+ codificación) • Conversión de imágenes a forma discreta (digital) Representación. • Aproximación eficiente y codificación para almacenamiento compacto o dentro de la
capacidad del canal de información. Realce y Restauración • Mejora y correcciones (degradaciones: bajo contraste, ruido, desenfoque (blur)). • En base a modelos, intentar recuperar imagen original.
Segmentación - detección • Identificación y partición (separación) en componentes de interés ( conectividad,
objetos). Por bordes (contornos o fronteras) o por regiones. Selección y extracción de rasgos o características (features). • Objetivo: diferenciar clases u objetos y establecer qué se va a medir.
Reconocimiento • Proceso para asignar una etiqueta de acuerdo a descriptores.
Interpretación
3/43
Curso Procesamiento y Análisis de Imágenes – Jorge Márquez Flores - CCADET-UNAM 2008
Sensores • Cámaras (técnicas ópticas): fotografía, video sobre
escena, microscopio, etc. • Scaners (película negativos, placas astronómicas,
documentos, objetos). • Infrarrojos (sensar cambios en calor radiante) • Ondas de radio sensores activos (“iluminación”)
(Synthetic Aperture Radar – SAR) • De rayos X (CCD - radiografía digital) • Magnéticos (MRI, arreglos de sensores efecto Hall, etc.) • . . .
4/43
Curso Procesamiento y Análisis de Imágenes – Jo
Ejemplos de imágenes y problemas de estudio típicos
rge Márquez Flores - CCADET-UNAM 2008
5/43
Curso Procesamiento y Análisis de Imágenes – Jorge Márquez Flores - CCADET-UNAM 2008
Ejemplo de Realce de Contraste (Contrast Stretching)
6/43
Curso Procesamiento y Análisis de Imágenes – Jorge Márquez Flores - CCADET-UNAM 2008
Distribuciones de niveles de gris (histogramas)
“Gatito”, izquierda: bajo contraste (grises), derecha: alto contraste (mayor intervalo dinámico).
7/43
Curso Procesamiento y Análisis de Imágenes – Jorge Márquez Flores - CCADET-UNAM 2008
Ejemplo de restauración (interpolación, filtrado y realce de contraste)
8/43
Curso Procesamiento y Análisis de Imágenes – Jorge Márquez Flores - CCADET-UNAM 2008
Segmentación de Imágenes y Etiquetado (Clasificación) Separación (o extracción) en partes mutuamente excluyentes para procesamiento o análisis posterior.
Especimen metalográfico pulido, las tres fases
tienen un valor de gris promedio distinto. Después de la segmentación (o durante dicho
proceso, en la muchos algoritmos), las tres fases se identifican por una etiqueta en color.
Segmentación binaria por umbralaje:
0 if ( ) < 255 if ( )
( ) = umbral
umbral
I x, y uI x, y u
I x, y≥
⎧⎨⎩
usualmente 0 ⇔ negro, 255 ⇔ blanco
Segmentación en n clases:
0 1
1 2
1
0 if ( ) [ ,1 if ( ) [ ,
1 if ( ) [ ,
))
( ) =
)n n
I x, y u uI x, y u u
n I x, y u
I x, y
−
∈∈
− ∈
⎧⎪⎪⎨⎪⎪⎩ u
9/43
Curso Procesamiento y Análisis de Imágenes – Jorge Márquez Flores - CCADET-UNAM 2008
Selección y extracción de rasgos y parámetros • Caracterización geométrica, topológica, morfológica, relacional,
estadística o mediante análisis espectral (a través de la Transformada de Fourier, de Haar, Ondeletas, Transformada de Distancia, momentos, longitud de contorno, etc.).
• La morfometría o medición de formas puede ser mediante Morfología Matemática, análisis fractal.
• Propiedades globales (Gestald, enfoque holístico) se estudian mediante modelos del Sistema Visual Humano (HVS) tales como la Transformada de Hermite, de Gabor y el análisis piramidal o en espacios de escala (scalespaces). → Reconocimiento de Patrones.
10/43
Curso Procesamiento y Análisis de Imágenes – Jorge Márquez Flores - CCADET-UNAM 2008
Niveles de Procesamiento, Análisis y Entendimiento de Imágenes
Nivel 0: Representación de imagen (formación, adquisición, digitalización, cuantización, compresión, primitivas de representación).
Nivel 1: Transformaciones imagen-a-imagen (realce, restauración y filtrado, segmentación y clasificación).
Nivel 2: Transformaciones imagen-a-parámetros (reducción de datos - selección y extracción de parámetros, morfometría o medición de formas).
Nivel 3: Transformaciones de parámetros-a-decisiones (reconocimiento e interpretación).
“Nivel 2.5” (en promedio): Visualización científica: imágenes paramétricas, abstracción.
“Nivel 1.5 - 2.5” (en promedio): Reconstrucción 3D, video, seguimiento (tracking).
Procesamiento de Imágenes = Nivel 0 + Nivel 1 Análisis de Imágenes = Nivel 1 + Nivel 2 Visión por Computadora = Nivel 2 + Nivel 3
11/43
Curso Procesamiento y Análisis de Imágenes – Jorge Márquez Flores - CCADET-UNAM 2008
SOFTWARE básico de Procesamiento, Análisis y Visualización de Imágenes
ImageJ (dominio público, imágenes biología) http://rsb.info.nih.gov/ij/ Matlab Image Toolbox http://www.mathworks.com/ ImagePro (comercial, Media Cybernetics, biomedicina, metalurgia, microscopia)
http://www.mediacy.com/ ImageMagik (dominio público, visualizador, procesamiento realce, conversion)
http://www.imagemagik.com/ Eikona (comercial/prueba, procesamiento – general)
http://www.alphatecltd.com/eikona/imageprocessing2d.html MriCro (freeware medical image viewer, 2d/3D)
http://www.sph.sc.edu/comd/rorden/mricro.html Photoshop (Adobe) Photosudio (procesamiento realce/edición fotografía) http://www.arcsoft.com/ GIMP (GNU Image Manipulation Program) http://www.gimp.org/ Xfig (gráficos X-Window, UNIX) http://www.xfig.org/ 3D Slicer (free open visualizador 3D) http://www.slicer.org/ DIP Gonzalez (tutorials, Matlab, image databases, links)
http://www.imageprocessingplace.com/DIPUM-1E/dipum1e_main_page.htm Open CV (Libs dominio público Computer Vision) http://www.opencv.org/
12/43
Curso Procesamiento y Análisis de Imágenes – Jorge Márquez Flores - CCADET-UNAM 2008
The Human Visual System (HSV)
• Retinal photoreceptors are distributed in a hexagonal array of cones with the intermediate space filled by the smaller rods.
• Rods (about 75 – 150 million) are responsible for scotopic vision (dimlight vision). Not
sensitive to color. Give a general overall picture of the field of view. • Cones (about 6 – 7 million) are responsible for photopic vision (brightlight vision) and
are highly sensitive to color. • The sampling frequency in the retina is greater near the fovea and falls off towards the
periphery. • Photoreceptors around the fovea are responsible for spatial vision (still images). • Photoreceptors around the periphery are responsible for detecting motion. • The photoreceptors’ activity is electrochemical. After the photoreceptors, all subsequent
stages of processing are electrical in nature.
13/43
Curso Procesamiento y Análisis de Imágenes – Jorge Márquez Flores - CCADET-UNAM 2008
The Visual Pathway
14/43
Curso Procesamiento y Análisis de Imágenes – Jorge Márquez Flores - CCADET-UNAM 2008
*Representación Matemática de Información Estructurada { } { }{ } { }
{ } { }{ }
22
1 1
2 2
11
1 1
1 1 2 2
1
Definimos: 1, 2,..., ,y en general , 1,..., 1,
donde . Otras definiciones (obvias) : , ( )
sea la ( en 3D): | ( , , )
NNn
nnn n
n n1 2 n n nn n
Nn n n n n n
N nn n n n n
n < n X f n
lista de nodos puntos x y z
=
==
=
=+ − =
= =p pL,
( )
{ }
{ } { } { }{ } { }
1 11 1
31 2 31 1nodos indices
nodos 1 nodos indices1
, :,..., ,
( , , ) , :,
| ( ,..., ) , ( , ) :
MM
T
NM k
i i
n j jK
k k Nk
kN
polilíneas o polígonos yn i i i contornos si
n n n triángulos mallados
n n retículas grafos=
=
∈
⎧ ∈ ∈ ≡⎪⎪⎪ ← =⎨⎪
∈ ←⎪⎪⎩
∀ p p
p
p p
T TL L
L LR G R
Ciertos mallados { }1
T
j j
NT
= forman “objetos”
Retícula ortogonal discreta unitaria: 2 = ×
Retícula atribuida (ejemplo: atributo escalar): ( ){ }2, | ,u u∈ ∀ ∈p p ,
15/43
Curso Procesamiento y Análisis de Imágenes – Jorge Márquez Flores - CCADET-UNAM 2008
Imagen escalar discreta (señal bidimensional discreta, definición funcional): 2,D C⊆ ⊆sean (dominio y codominio finitos),
:" ( )" indica I D Cu Iu
→⎧= ⎨ →⎩p
p
Usualmente D es un intervalo bidimensional (rectángulo): 1 1
0 0 [0, 1] [0, 1]N MD N M− −= × = − × −
Imagen escalar contínua isomorfa con funciones bidimensionales: z = f (x,y) Notar el isomorfismo entre las imágenes discretas (atributo escalar) de N por M dimensiones y los arreglos o matrices MM×N :
{ }1 1
11 12 1,
21 22 21,1
1 2
: ,M N
NM N
NM N i j i ji j
M M MN
u u uu u u
u u
u u u× ∈ ∈
⎡ ⎤⎢ ⎥
∈ = = ∈⎢ ⎥⎢ ⎥⎢ ⎥⎣ ⎦
∀ ∀I IM
El atributo u puede ser un vector (v.g. color RGB), otras coordenadas, etc. Cuando el atributo escalar u es una intensidad luminosa en L niveles de gris (graylevel), también llamado valor o amplitud, I es lo que realmente lo que llamamos una imagen (en “blanco y negro”, o monocromática), con valores de gris entre blanco como umin =0 y negro como umax =L-1.
16/43
Curso Procesamiento y Análisis de Imágenes – Jorge Márquez Flores - CCADET-UNAM 2008
Muestreo o Digitalización de Imágenes Cuando una imagen contínua f(x,y) es muestreada uniformemente, cada nodo de una retícula ortogonal discreta corresponde a un pixel con un atributo también muestreado; en las coordenadas (x,y) (i,j) a enteros hablamos de discretización espacial, en la amplitud o intensidad hablamos de cuantización:
(0, 0) (0,1) (0, 1)
(1, 0) (1,1) (1, 1)
( 1, 0) ( 1,1) ( 1, 1)
( , )
f f f N
f f f N
f M f M f M N
f x y
−
−
− − −
≈
−
⎡ ⎤⎢ ⎥⎢ ⎥⎢ ⎥⎢ ⎥⎣ ⎦
En la práctica (computadoras) se usa la matriz transpuesta, con x (coordenada horizontal) las columnas y y (coordenadas verticales) los renglones. En código de un programa en lenguaje C el arreglo bidimensional I[y][x] permite representar y procesar una imagen (el valor u= I[y][x] almacenado en el arreglo es el atributo). Si u es un número representado en 64 bits (8 bytes) y la imagen es de 480×640, la imagen ocupa 2457600 bytes.
17/43
Curso Procesamiento y Análisis de Imágenes – Jorge Márquez Flores - CCADET-UNAM 2008
Orden de coordenadas de una Imagen en la Pantalla (CRT) de una Computadora
18/43
Curso Procesamiento y Análisis de Imágenes – Jorge Márquez Flores - CCADET-UNAM 2008
Efectos de la Reducción de Resolución en la Retícula de Muestreo (= aumento en el paso de discretización)
19/43
Curso Procesamiento y Análisis de Imágenes – Jorge Márquez Flores - CCADET-UNAM 2008
Efectos de la Reducción de Resolución en Intensidad (Cuantización)
20/43
Curso Procesamiento y Análisis de Imágenes – Jorge Márquez Flores - CCADET-UNAM 2008
Imágenes: binaria (L=2) y monocromática (L=256)
21/43
Curso Procesamiento y Análisis de Imágenes – Jorge Márquez Flores - CCADET-UNAM 2008
Imágenes en color (LR+LG+ LB = 3×256)
22/43
Curso Procesamiento y Análisis de Imágenes – Jorge Márquez Flores - CCADET-UNAM 2008
Formatos de Archivos de Imágenes Digitales .bmp Bitmap File Format - Graphics Interchange Format - .gif (limitado a 8-bits por pixel, permite
compresiónLempel-Ziv-Welch – LZW). Color mediante LUTs, versiones a 24-bits (canales RGB). .tif .tiff Tagged Image File Format - (más sofisticado que .gif permite hasta 24-bits por pixel y soporta
cinco tipos de compresión, incluyendo codificación run-length RLE, LZW, y JPEG). .jpg .jpeg JPEG File Format - (estándar comercial, permite compresión con estándar JPEG en muchas
plataforma - compresión con pérdida, baja calidad para procesamiento y análisis científico).
- (RAW) arreglo “crudo, sin formato” - Las dimensiones y canales se especifican aparte. .ras Sun Raster Format - .ps .eps PostScript y Encapsulated PostScript File Format -
.png Portable Network Graphics - Reciente, mejor que JPEG
.tif
.dic DICOM Modificaciones de TIF para archivos de imagenología médica con información de paciente, técncias, procesamiento efectuado, registro a nivel mundial (certificación).
.gif Bitmap File Format - Graphics Interchange Format - (limitado a 8-bits por pixel, permite compresiónLempel-Ziv-Welch – LZW). Color mediante LUTs, versiones a 24-bits (canales RGB).
Utiles de conversión (importación): convert de ImageMagik, “readers* ” de librería de ITK (Image Tool Kit).
23/43
Curso Procesamiento y Análisis de Imágenes – Jorge Márquez Flores - CCADET-UNAM 2008
Fourier Transform (magnitud) of some images
24/43
Curso Procesamiento y Análisis de Imágenes – Jorge Márquez Flores - CCADET-UNAM 2008
Fast-Fourier Transform (FFT) Filtering
1. Before processing the original image is marred by "noise".
2. An FFT of the image is displayed. Due to its regularity, the noise pattern stands out as four spikes. One of the spikes has been marked
inside an AOI (Area of Interest) preparatory to its deletion.
25/43
Curso Procesamiento y Análisis de Imágenes – Jorge Márquez Flores - CCADET-UNAM 2008
3. The four noise spikes, which corresponded to the regular noise patterns, have been deleted from the FFT.
4. Inverse FFT (from #3): the image is clean.
26/43
Las coordenadas de los pixeles de una imagen, sin considerar el atributo (intensidad por ejemplo) forman el soporte (o dominio) de una imagen discreta de N×M pixeles:
{ }2arg( ) [0, 1] [0, 1] ( , ) 0 1, 0 1I M N m n m M n N= − × − = ∈ ≤ ≤ − ≤ ≤ −|
Ejemplo: Valor promedio en una ventana rectangular de N×M: 1 1
0 0
1 ( , )M N
m nf f m n
MN
− −
= =
= ∑∑
Curso Procesamiento y Análisis de Imágenes – Jorge Márquez Flores - CCADET-UNAM 2008
27/43
Curso Procesamiento y Análisis de Imágenes – Jorge Márquez Flores - CCADET-UNAM 2008
28/43
The Nyquist Criterion for Spatial Resolution
To detect a feature, the spatial resolution of the sensor system (1/f ) should be less than ½ the size (L) of the feature measured in its smallest dimension. Equivalently, in frequency domain:
samplingdetails
2fL
>
The sampling frequency has to be twice the highest frequency present in the signal or, equivalently, the resolution length has to be half the length of details “(peak width”) in the signal. Curso Procesamiento y Análisis de Imágenes – Jorge Márquez Flores - CCADET-UNAM 2008
29/43
A general practical standard is as follows:
• For a unique feature to be detected it should be made up of at least 3-5 pure pixels.
• For a unique feature to be reliably identified requires a threefold increase in resolution, or 10-15 pure pixels (20-50 if boundary pixels are included).
• For a unique feature to be analysed may require a tenfold or greater improvement in resolution (100-200 pixels).
(Wilkie & Finn 1996 ). From a technical point of view, there is always a trade-off between resolution (spatial & spectral) and the cost of image acquisition and processing. Increasing resolution causes a parallel and multiplicative increase in the quantity of data that has to be obtained, stored and analysed. In light of this trade-off between cost and resolution, it is of prior importance that the choice of image resolutions be problem driven.
Curso Procesamiento y Análisis de Imágenes – Jorge Márquez Flores - CCADET-UNAM 2008
30/43
Efectos del muestreo:
100 muestras
Curso Procesamiento y Análisis de Imágenes – Jorge Márquez Flores - CCADET-UNAM 2008
31/43
Curso Procesamiento y Análisis de Imágenes – Jorge Márquez Flores - CCADET-UNAM 2008
32/43
Curso Procesamiento y Análisis de Imágenes – Jorge Márquez Flores - CCADET-UNAM 2008
33/43
Curso Procesamiento y Análisis de Imágenes – Jorge Márquez Flores - CCADET-UNAM 2008
34/43
Curso Procesamiento y Análisis de Imágenes – Jorge Márquez Flores - CCADET-UNAM 2008
35/43
Negativo de una imagen: LUT anti-unitaria
Curso Procesamiento y Análisis de Imágenes – Jorge Márquez Flores - CCADET-UNAM 2008
36/43
Substracción en Color 2 Cortes Adyacentes (pulmones)
Curso Procesamiento y Análisis de Imágenes – Jorge Márquez Flores - CCADET-UNAM 2008
37/43
*Cadenas de Markov en 2D – dependencia vecinos espaciales inmediatos
Atributo de sitio uij en estado k
8-vecindad Vs de uij en estado (k − 1)
. . . Otros estados k−2, …0
Curso Procesamiento y Análisis de Imágenes – Jorge Márquez Flores - CCADET-UNAM 2008
38/43
Vecindades 2D y 3D (cliques o pandillas “completos”) como elementos estructurantes de Morfología Matemática. Diversas configuraciones de pixeles o voxeles se denominan poliominos (de dos: dominó).
Curso Procesamiento y Análisis de Imágenes – Jorge Márquez Flores - CCADET-UNAM 2008
39/43
Curso Procesamiento y Análisis de Imágenes – Jorge Márquez Flores - CCADET-UNAM 2008
El número de componentes conexas (objetos) depende de la conectividad (o tipo de apandillamiento o cliques). La conectividad no necesariamente es sinónimo de “contacto” (figura de puntos a la derecha) y se define por una distancia mínima (diversas métricas: principalmente de checkerboard (incluye vecinos en diagonal, o sea 8-adyacencia) y Manhattan (sólo en direcciones ortogonales, o sea 4-adyacencia)). En 3D (izquierda) tenemos ya sea:
• 1 objeto (y un contorno 3D cerrado, No. Euler=1) en 26-conectividad (por vértice; el objeto es 26-conexo).
• 3 objetos (y no hay contorno cerrado, No. Euler=0) en 18-conectividad (por arista (=bordes); cada objeto (o componente) es 18-conexo.
• 11 objetos (No. Euler=0) en 6-conectividad (por cara (=faceta); cada objeto (o componente) es 6-conexo.
40/43
Ruido Gaussiano
Curso Procesamiento y Análisis de Imágenes – Jorge Márquez Flores - CCADET-UNAM 2008
41/43
Curso Procesamiento y Análisis de Imágenes – Jorge Márquez Flores - CCADET-UNAM 2008
Representación de formas
Atributos regenerativos Atributos cuantitativos (Morfometría)
Geometría Momentos• Fronteras• Regiones• Esqueleto
(Medial Axis Transform)• Momentos• Descriptores estructurales y sintácticos• Descriptores de Fourier
• Perímetro• Area• Factor de forma• Radios max/min
y eccentricidad• Círculo equivalente• Esquinas• Redondez• Energía de pliegue• Simetría
• Centro de masa• Orientación• Rectángulo
delimitador• Elipse mejor ajuste• Eccentricidad
Topología
• Hoyos• Número de Euler• Nodos • Cuellos • Zonas críticas
Mixtos• Descriptores morfológicos• Decomposición/aproximación
mediante primitivas• Grafo descriptor• Concavidades• Granulometría (Morfo-Mat)
42/43
Gaussian Kernels
Isotropic Gaussian Kernel 1D Centered at x0
( )2 20
2
21 /( )2
- x xG x eσσ
πσ−
Isotropic Gaussian Kernel 2D Centered at (0,0)
2 2 2
2( ) 21( , )
2- x yG x y eσ
σ
πσ+ /
Isotropic Gaussian Kernel 3D Centered at (0,0,0) ( )3 / 2
2 2 2 2
2
( ) 21
2( , , ) - x y zG x y z eσ
σ
πσ
+ + /
Anisotropic Gaussian Kernel, diagonal covariance σ=Σ 2, center at 0x
( )
2 2 20 0 0
3 / 2 2 2 2,1 ( ) ( ) ( )
2 2 22( ) exp
x y zx y z
x x x y x zGσ σ σ σ σ σπ
− − −+ +
⎡ ⎤⎛ ⎞−⎢ ⎥⎜ ⎟⎢ ⎥⎝ ⎠⎣ ⎦
0σ x x
Generalized nD Anisotropic Gaussian Kernel, diag. covariance σ=Σ 2, center at 0x
( ) ( )0
1, 0 01/ 2/ 2
1 1( ) exp2(2 )
T
nGπ
−⎧ ⎫− − −⎨ ⎬⎩ ⎭
Σ x x x x Σ x xΣ
Note: 2 2 2( , , )x y zσ σ σ=σ
Curso Procesamiento y Análisis de Imágenes – Jorge Márquez Flores - CCADET-UNAM 2008
43/43
Curso Procesamiento y Análisis de Imágenes – Jorge Márquez Flores - CCADET-UNAM 2008