Classe 6 Visió
-
Upload
universitat-de-barcelona -
Category
Business
-
view
350 -
download
2
Transcript of Classe 6 Visió
20391: Visió per ComputadorApunts de l’assignaturaMoviment
Jordi Vitrià 20391: Visió per Computador 1
Classe 6
Moviment
20391: Visió per ComputadorApunts de l’assignaturaMoviment
El món és dinàmic .
I per tant les imatges tenen una component dinàmica.
En l’anàlisi de la informació
Moviment
Jordi Vitrià 20391: Visió per Computador 2
En l’anàlisi de la informació dinàmica hi podem trobar tres nivells:
• Perifèric : detecció d’activitat• Atentiu : anàlisi de les parts dinàmiques de l’escena.• Cognitiu: Comprensió de l’escena.
20391: Visió per ComputadorApunts de l’assignaturaMoviment
Cognitiu : Reconeix accions complexes.
Atentiu : obté informació útil per reconéixer objectes o actuar.
Perifèric : robust, ràpid...
Moviment
Jordi Vitrià 20391: Visió per Computador 3
20391: Visió per ComputadorApunts de l’assignaturaMoviment
Y
y
Centre de la
càmaraEl moviment
Camp de moviment ↔ Flux òptic
El moviment aparent dels pixels a la imatge genera
un FLUX ÒPTIX a la imatge.
Jordi Vitrià 20391: Visió per Computador 4
X
Z
x
y
Pla imatge
El moviment d’un punt 3D
genera un CAMP DE
MOVIMENT al món.
Sempre es compleix que Camp de moviment ↔ Flux òptic ?
20391: Visió per ComputadorApunts de l’assignaturaMoviment
Camp de moviment ↔ Flux òptic
Sempre es compleix que Camp de moviment ↔↔↔↔ Flux òptic ?
Jordi Vitrià 20391: Visió per Computador 5
3D3D ImatgeImatge
3D3D Imatge1Imatge1 Imatge2Imatge2
20391: Visió per ComputadorApunts de l’assignaturaMoviment
Càlcul del Flux òptic
Concepte necessari: Línies isòfotes
Jordi Vitrià 20391: Visió per Computador 6
20391: Visió per ComputadorApunts de l’assignaturaMoviment
Càlcul del Flux òptic
Assumpció I (Conservació del valor): Un punt Pque es mou al món, quedarà projectat a la imatge en un temps t amb un valor I(x,y,t).Si prenen una altra imatge en un temps t+∂ t , amb ∂ t prou petit, llavors el seu valor no haurà canviat:
Jordi Vitrià 20391: Visió per Computador 7
∂ t prou petit, llavors el seu valor no haurà canviat:
Les components del flux òptic són (u,v) :
),,(),,( ttyyxxItyxI δδδ +++=
tvy
tux
δδδδ
==
20391: Visió per ComputadorApunts de l’assignaturaMoviment
Càlcul del Flux òptic
La Assumpció I (Conservació del valor) es pot interpretar com la recerca del punt en la mateixa línia isòfota de la imatge a l’instant t+∂ t .
),,(),,( ttyyxxItyxI δδδ +++=
Jordi Vitrià 20391: Visió per Computador 8
),,(),,( ttyyxxItyxI δδδ +++=
20391: Visió per ComputadorApunts de l’assignaturaMoviment
Càlcul del Flux òptic
Si I varia suaument respecte (x,y,t) podem expandir en sèrie de Taylor el factor dret de l’equació:
),,(),,( ttyyxxItyxI δδδ +++=
Jordi Vitrià 20391: Visió per Computador 9
en sèrie de Taylor el factor dret de l’equació:
et
It
y
Iy
x
IxtyxIttyyxxI +
∂∂+
∂∂+
∂∂+=+++ δδδδδδ ),,(),,(
20391: Visió per ComputadorApunts de l’assignaturaMoviment
Càlcul del Flux òptic
et
It
y
Iy
x
IxtyxIttyyxxI +
∂∂+
∂∂+
∂∂+=+++ δδδδδδ ),,(),,(
Si dividim per δt i fem tendir t a zero, ens queda:
0=∂+∂+∂ IIyIx δδ
Jordi Vitrià 20391: Visió per Computador 10
0=∂
+∂
+∂ tytxt δδ
O el que és el mateix:
tyx IvIuI −=+
20391: Visió per ComputadorApunts de l’assignaturaMoviment
Càlcul del Flux òptic
El Problema de l’obertura .
Amb això tenim NOMÉS una equació amb dues incògnites! (i només podem calcular el flux normal)
Jordi Vitrià 20391: Visió per Computador 11
Cal imposar una altra solució per a determinar (u,v)!!
Assumpció II (Suavitat): es i ee han de ser petits!
yxvvuue yxyxs ∂∂+++= ∫∫ )()( 2222
yxIvIuIe tyxe ∂∂++= ∫∫ )(
20391: Visió per ComputadorApunts de l’assignaturaMoviment
Càlcul del Flux òptic
Amb això ja tenim dues equacions amb duesincògnites!
Aquest sistema es resol amb càlcul de variacions , i dóna:
Jordi Vitrià 20391: Visió per Computador 12
On són promitjos locals.
)(
)(222
1
yx
t
n
y
n
x
x
nn
II
IvIuIIuu
++++
+=+
λ )(
)(222
1
yx
t
n
y
n
x
y
nn
II
IvIuIIvv
++++
+=+
λ
( )nn vu ,
20391: Visió per ComputadorApunts de l’assignaturaMoviment
Càlcul del Flux òptic
Jordi Vitrià 20391: Visió per Computador 13
20391: Visió per ComputadorApunts de l’assignaturaMoviment
Càlcul del Flux òptic
Jordi Vitrià 20391: Visió per Computador 14
20391: Visió per ComputadorApunts de l’assignaturaMoviment
Càlcul del Flux òptic
Jordi Vitrià 20391: Visió per Computador 15
20391: Visió per ComputadorApunts de l’assignaturaMoviment
Càlcul del Flux òptic
Jordi Vitrià 20391: Visió per Computador 16
20391: Visió per ComputadorApunts de l’assignaturaMoviment
Càlcul del Flux òptic
Jordi Vitrià 20391: Visió per Computador 17
20391: Visió per ComputadorApunts de l’assignaturaMoviment
http://psylux.psych.tu-dresden.de/i1/kaw/diverses%20Material/www.illusionworks.com/html/barber_pole.html
Càlcul del Flux òptic:
Barber Pole : Demostració a Internet.
Jordi Vitrià 20391: Visió per Computador 18
20391: Visió per ComputadorApunts de l’assignaturaMoviment
Càlcul del Flux òptic:
Barber Pole : Demostració a Internet.
Jordi Vitrià 20391: Visió per Computador 19
20391: Visió per ComputadorApunts de l’assignaturaMoviment
Càlcul del Flux òptic:
Barber Pole : Demostració a Internet.
Jordi Vitrià 20391: Visió per Computador 20
20391: Visió per ComputadorApunts de l’assignaturaMoviment
Moviment a partir del seguiment de característiques
Jordi Vitrià 20391: Visió per Computador 21
20391: Visió per ComputadorApunts de l’assignaturaMoviment
Moviment a partir del seguiment de característiques
• Més lent degut al pre-procés.• Alta precisió.• Intervals temporals més grans.
Jordi Vitrià 20391: Visió per Computador 22
• Intervals temporals més grans.• Com més complexa la característica, millor.• Suporta una família limitada de deformacions.
20391: Visió per ComputadorApunts de l’assignaturaMoviment
Detecció d’activitat.Aproximació I: imatge de diferències binàries.
Aproximació II: descriptors estadístics.Fem un test estadístic sobre el valor λ:
<−
=sinó0
|),,(),,(| si1),(
τryxItyxIyxDB jk
Jordi Vitrià 20391: Visió per Computador 23
Fem un test estadístic sobre el valor λ: Si λ és petit, Ho : les finestres corresponen a la mateixa regió ; Si λλλλ és gran, H1 : les finestres no corresponen a la mateixa regió ;
),( 00 σµ
),(),,( 2211 σµσµ
21
22
2121
22
σσ
µµσσ
λ
+++
=
20391: Visió per ComputadorApunts de l’assignaturaMoviment
Tracking
Restriccions (de coherència del pas):
• Els objectes no poden canviar bruscament de trajectòria.• La projecció d’una corba suau en 3D és una corba suau.
Altres restriccions:
Jordi Vitrià 20391: Visió per Computador 24
Altres restriccions:
• Entre una imatge i la següent la localització d’un punt serà propera.• La seva velocitat escalar serà semblant.• La direcció del moviment també.
20391: Visió per ComputadorApunts de l’assignaturaMoviment
Tracking
Jordi Vitrià 20391: Visió per Computador 25
20391: Visió per ComputadorApunts de l’assignaturaMoviment
Tracking
Jordi Vitrià 20391: Visió per Computador 26
20391: Visió per ComputadorApunts de l’assignaturaMoviment
Tasques visuals relacionades amb el moviment.
• Detecció; Alerta.• Segmentació.• Determinació translacions i rotacions (anàlisi).• Navegació (docking; detecció obstacles; conducció)
Jordi Vitrià 20391: Visió per Computador 27
• Navegació (docking; detecció obstacles; conducció)• Profunditat a partir de moviment.• Forma• Reconeixement.
20391: Visió per ComputadorApunts de l’assignaturaMoviment
Processament visual del moviment: Mètodes
Seqüència d’imatges
Jordi Vitrià 20391: Visió per Computador 28
Extracció de característiques
Gradient Correlació Diferències
Flux òpticImatge de diferències
20391: Visió per ComputadorApunts de l’assignaturaMoviment
Processament visual del moviment: Usos
Processamentpreatentiu
Detecció demoviment
Jordi Vitrià 20391: Visió per Computador 29
SegmentacióEstimació
del movimentForma/Distància
Reconeixementhttp://www.biols.susx.ac.uk/home/George_Mather/Motion/KDE.HTMLhttp://astro.temple.edu/~tshipley/movies/upRunMov.movhttp://astro.temple.edu/~tshipley/movies/upWalk.movhttp://www.michaelbach.de/ot/mot_spoke-illusion/index.htmlhttp://www.michaelbach.de/ot/mot_adapt/index.htmlhttp://www.brl.ntt.co.jp/IllusionForum/basics/visual/english/aftereff.html
20391: Visió per ComputadorApunts de l’assignaturaMoviment
Processament visual del moviment: Usos
Jordi Vitrià 20391: Visió per Computador 30