Sesión 12: Redes Bayesianas: extensiones y aplicaciones
description
Transcript of Sesión 12: Redes Bayesianas: extensiones y aplicaciones
![Page 1: Sesión 12: Redes Bayesianas: extensiones y aplicaciones](https://reader030.fdocumento.com/reader030/viewer/2022033022/5681542a550346895dc22b97/html5/thumbnails/1.jpg)
Sesión 12: Redes Bayesianas:
extensiones y aplicaciones
![Page 2: Sesión 12: Redes Bayesianas: extensiones y aplicaciones](https://reader030.fdocumento.com/reader030/viewer/2022033022/5681542a550346895dc22b97/html5/thumbnails/2.jpg)
Incertidumbre - E y A, L.E. Sucar 2
RB – Extensiones y Aplicaciones
• Extensiones
- Redes dinámicas
- Redes temporales
- Variables continuas
• Ejemplos de aplicaciones
- Diagnóstico en plantas eléctricas
- Endoscopía
- Reconocimiento actividades y gestos
![Page 3: Sesión 12: Redes Bayesianas: extensiones y aplicaciones](https://reader030.fdocumento.com/reader030/viewer/2022033022/5681542a550346895dc22b97/html5/thumbnails/3.jpg)
Incertidumbre - E y A, L.E. Sucar 3
Redes Bayesianas Dinámicas(RBD)
• Representan procesos dinámicos
• Consisten en una representación de los estados del proceso en un tiempo (red estática) y las relaciones temporales entre dichos procesos (red de transición)
• Se pueden ver como una generalización de las cadenas (ocultas) de Markov
![Page 4: Sesión 12: Redes Bayesianas: extensiones y aplicaciones](https://reader030.fdocumento.com/reader030/viewer/2022033022/5681542a550346895dc22b97/html5/thumbnails/4.jpg)
Incertidumbre - E y A, L.E. Sucar 4
Ejemplo de RBD (equiv. HMM)
EE E E
T T + 1 T + 2 T + 3
St St+3St+2St+1
Parámetros:
• Probabilidades iniciales: P(St)
• Probabilidades de transición: P(St+1|St)
• Probabilidades de observación: P(E|St)
![Page 5: Sesión 12: Redes Bayesianas: extensiones y aplicaciones](https://reader030.fdocumento.com/reader030/viewer/2022033022/5681542a550346895dc22b97/html5/thumbnails/5.jpg)
Incertidumbre - E y A, L.E. Sucar 5
Otro ejemplo
St
Xt+3
St+3
Xt Xt+1 Xt+2
St+2St+1
T T + 1 T + 2 T + 3
EE E E
![Page 6: Sesión 12: Redes Bayesianas: extensiones y aplicaciones](https://reader030.fdocumento.com/reader030/viewer/2022033022/5681542a550346895dc22b97/html5/thumbnails/6.jpg)
Incertidumbre - E y A, L.E. Sucar 6
Suposiciones Básicas
• Proceso markoviano - el estado actual sólo depende del estado anterior (sólo hay arcos entre tiempos consecutivos)
• Proceso Estacionario en el tiempo - las probabilidades de transición, P(St+1 | St), no cambian en el tiempo
![Page 7: Sesión 12: Redes Bayesianas: extensiones y aplicaciones](https://reader030.fdocumento.com/reader030/viewer/2022033022/5681542a550346895dc22b97/html5/thumbnails/7.jpg)
Incertidumbre - E y A, L.E. Sucar 7
Algoritmos• Propagación
- Aplican los mismos algoritmos de propagación de redes estáticas- Se incremento el problema de complejidad computacional, utilizándose técnicas de simulación como los filtros de partículas
• Aprendizaje
- Existen extensiones de las técnicas de aprendizaje paramétrico y estructural para RBD- Se puede dividir en dos partes: aprender la red estática y aprender la red de transición
![Page 8: Sesión 12: Redes Bayesianas: extensiones y aplicaciones](https://reader030.fdocumento.com/reader030/viewer/2022033022/5681542a550346895dc22b97/html5/thumbnails/8.jpg)
Incertidumbre - E y A, L.E. Sucar 8
RBD – Aprendizaje• El aprendizaje se divide en 2 partes:
– Aprender la estructura “estática”– Aprender la estructura de “transición”
T
St
E
Xt
St+1
E
T+1
Xt+1
St
E
T
Xt
![Page 9: Sesión 12: Redes Bayesianas: extensiones y aplicaciones](https://reader030.fdocumento.com/reader030/viewer/2022033022/5681542a550346895dc22b97/html5/thumbnails/9.jpg)
Incertidumbre - E y A, L.E. Sucar 9
Redes Temporales
• Representaciones alternativas a RBD que incorporan aspectos temporales
• Se orientan a representar intervalos de tiempo o eventos en el tiempo vs estados
• Existen diferentes propuestas, dos ejemplos representativos son:
- Redes de tiempo (time net) [Kanazawa]- Redes de nodos temporales (TNBN) [Arroyo]
![Page 10: Sesión 12: Redes Bayesianas: extensiones y aplicaciones](https://reader030.fdocumento.com/reader030/viewer/2022033022/5681542a550346895dc22b97/html5/thumbnails/10.jpg)
Incertidumbre - E y A, L.E. Sucar 10
Red de tiempo
• La representación se basa en 2 tipos de eventos (nodos):
- Eventos: un hecho que ocurre de manera instantánea
- Hechos: una situación que es verdadera durante cierto intervalo de tiempo
• Cada hecho tiene asociado un evento de inicio y un evento de terminación
![Page 11: Sesión 12: Redes Bayesianas: extensiones y aplicaciones](https://reader030.fdocumento.com/reader030/viewer/2022033022/5681542a550346895dc22b97/html5/thumbnails/11.jpg)
Incertidumbre - E y A, L.E. Sucar 11
Ejemplo de redes de tiempo
Arrive (Sally) Load Leave (Sally)
Beg(here(Sally)) And(here(Sally))
Here (Sally)
![Page 12: Sesión 12: Redes Bayesianas: extensiones y aplicaciones](https://reader030.fdocumento.com/reader030/viewer/2022033022/5681542a550346895dc22b97/html5/thumbnails/12.jpg)
Incertidumbre - E y A, L.E. Sucar 12
Redes de tiempo
• Para poder representar alternativas se utilizan nodos virtuales (potencial events)
• Cada nodo tiene asociados como valores "tiempos" de ocurrencia, por ejemplo: Arrive(sally): [2 - 6]
• Se asocian a cada nodo una tabla de probabilidades dados sus padres
• Las propagación se realiza mediante técnicas de simulación estocástica
![Page 13: Sesión 12: Redes Bayesianas: extensiones y aplicaciones](https://reader030.fdocumento.com/reader030/viewer/2022033022/5681542a550346895dc22b97/html5/thumbnails/13.jpg)
Incertidumbre - E y A, L.E. Sucar 13
Ejemplo de redes de tiempo Load
beg (load)
End (load)Po-load
Leave (Sally)Leave/load (Sally)Po-leave/load (Sally)
Arrive (Sally)
beg(here(Sally)) and(here(Sally))
Here (Sally)
![Page 14: Sesión 12: Redes Bayesianas: extensiones y aplicaciones](https://reader030.fdocumento.com/reader030/viewer/2022033022/5681542a550346895dc22b97/html5/thumbnails/14.jpg)
Incertidumbre - E y A, L.E. Sucar 14
Redes de Nodos Temporales
• Representan cambios de estado (eventos) de las variables
• Tienen dos tipos de nodos:
- Nodos de estado - representan variables de estado como en las RBD
- Nodos temporales - representan cambios de estado de una variable
![Page 15: Sesión 12: Redes Bayesianas: extensiones y aplicaciones](https://reader030.fdocumento.com/reader030/viewer/2022033022/5681542a550346895dc22b97/html5/thumbnails/15.jpg)
Incertidumbre - E y A, L.E. Sucar 15
Nodo Temporal
• Nodo que representa un "evento" o cambio de estado de una variable de estado
• Sus valores corresponden a diferentes intervalos de tiempo en que ocurre el cambio
• Ejemplo: incremento de nivel- Valores (3): * Cambio 0 - 1 0
* Cambio 10 - 50* No Cambio
![Page 16: Sesión 12: Redes Bayesianas: extensiones y aplicaciones](https://reader030.fdocumento.com/reader030/viewer/2022033022/5681542a550346895dc22b97/html5/thumbnails/16.jpg)
Incertidumbre - E y A, L.E. Sucar 16
Redes con Nodos Temporales
• Permiten una representación más compacta de ciertos dominios que las redes dinámicas
• Ejemplo:
Pupils dilated (PD)
Head injury (HI)
Vital signs unstable (VS)
Internal bleeding (IB) gross
Internal bleeding (IB) slight
(0-10)
(0-10)
(10-30)(30-60)
![Page 17: Sesión 12: Redes Bayesianas: extensiones y aplicaciones](https://reader030.fdocumento.com/reader030/viewer/2022033022/5681542a550346895dc22b97/html5/thumbnails/17.jpg)
Incertidumbre - E y A, L.E. Sucar 17
RB temporal para el ejemplo
HI
VS
IB
PD
C
HI1=trueHI2=false
C1=severeC2=moderateC3=mild
IB1=grossIB2=salightIB3=false
VS1 =unstables, [0-10]VS2 =unstables, [10-30]VS3=unstable, [30-60]VS4=normal, [0-60]
PD1 =dilated, [0-3]PD2 = dilated, [3-5]PD3=normal, [0-5]
![Page 18: Sesión 12: Redes Bayesianas: extensiones y aplicaciones](https://reader030.fdocumento.com/reader030/viewer/2022033022/5681542a550346895dc22b97/html5/thumbnails/18.jpg)
Incertidumbre - E y A, L.E. Sucar 18
TNBN
• Para cada nodo temporal se definen un conjunto de valores que corresponden a intervalos de tiempo y las probabilidades asociadas
• La propagación se hace de la misma manera que en redes estáticas
![Page 19: Sesión 12: Redes Bayesianas: extensiones y aplicaciones](https://reader030.fdocumento.com/reader030/viewer/2022033022/5681542a550346895dc22b97/html5/thumbnails/19.jpg)
Incertidumbre - E y A, L.E. Sucar 19
Variables Continuas
• Las redes bayesianas normalmente manejan variables multivaluadas discretas.
• Cuando se presentan variables continuas (temperatura, estatura, etc.), éstas se discretizan en un número de intervalos y se manejan como si fueran discretas.
• Este enfoque presenta desventajas:- Si el número de intervalos es pequeño, se pierde precisión.- Si el número de intervalos es grande, el modelo se vuelve demasiado complejo y se requiere gran cantidad de datos para estimar las probabilidades
![Page 20: Sesión 12: Redes Bayesianas: extensiones y aplicaciones](https://reader030.fdocumento.com/reader030/viewer/2022033022/5681542a550346895dc22b97/html5/thumbnails/20.jpg)
Incertidumbre - E y A, L.E. Sucar 20
Variables Continuas
• Otra alternativa es manejar directamente distribuciones continuas.
• Se han realizado pocos desarrollos en este sentido y la mayoría están limitados al manejo de distribuciones gaussianas:
2
2
2
22
1
x
exf
Donde es el promedio y 2 es la varianza ( es la desviación estándar). Esta se representa como N( ,)
![Page 21: Sesión 12: Redes Bayesianas: extensiones y aplicaciones](https://reader030.fdocumento.com/reader030/viewer/2022033022/5681542a550346895dc22b97/html5/thumbnails/21.jpg)
Incertidumbre - E y A, L.E. Sucar 21
Propagación con variables gaussianas
Suposiciones:
1. La estructura de la red es un poliárbol.
2. Todas las fuentes de incertidumbre no están correlacionadas y siguen el modelo gausslano.
3. Existe una relación lineal entre variables (entre un nodo y sus padres):
X=b1U1 + b2U2 +... + bnUn + Wx
Donde X es una variable, las U¡ son los padres de X, las b son coeficientes constantes y w representa el "ruido" (gaussiano con media 0)
![Page 22: Sesión 12: Redes Bayesianas: extensiones y aplicaciones](https://reader030.fdocumento.com/reader030/viewer/2022033022/5681542a550346895dc22b97/html5/thumbnails/22.jpg)
Incertidumbre - E y A, L.E. Sucar 22
RB con variables continuas
X
U1
U2U3
W
![Page 23: Sesión 12: Redes Bayesianas: extensiones y aplicaciones](https://reader030.fdocumento.com/reader030/viewer/2022033022/5681542a550346895dc22b97/html5/thumbnails/23.jpg)
Incertidumbre - E y A, L.E. Sucar 23
Propagación con variables gaussianas
• El método de propagación es análogo al de poliárboles con variables discretas.
• Se establece que en este caso las distribuciones marginales de todas las variables son también gaussianas:
• El producto de gaussianas es una gaussiana (esto no aplica a otras distribuciones)
xxNxxEXP ,|
![Page 24: Sesión 12: Redes Bayesianas: extensiones y aplicaciones](https://reader030.fdocumento.com/reader030/viewer/2022033022/5681542a550346895dc22b97/html5/thumbnails/24.jpg)
Incertidumbre - E y A, L.E. Sucar 24
Propagación con variables gaussianas
• Los parámetros, y , se obtienen de los parámetros que envían los nodos padre e hijos con las siguientes expresiones:
x
x
1
2
1
jj
j
jj
ixii
iii
b
b
![Page 25: Sesión 12: Redes Bayesianas: extensiones y aplicaciones](https://reader030.fdocumento.com/reader030/viewer/2022033022/5681542a550346895dc22b97/html5/thumbnails/25.jpg)
Incertidumbre - E y A, L.E. Sucar 25
Los mensajes que envían los nodos a sus padres e hijos se calculan de la siguiente manera:
kkikii
kkikii
bb
bb
221
1
111
1
kjkj
kjk
k
kjk
j
Mensaje que envía el nodo X a su padre i:
Mensaje que envía el nodo X a su hijo j:
![Page 26: Sesión 12: Redes Bayesianas: extensiones y aplicaciones](https://reader030.fdocumento.com/reader030/viewer/2022033022/5681542a550346895dc22b97/html5/thumbnails/26.jpg)
Incertidumbre - E y A, L.E. Sucar 26
Ejemplo - RB con Variables Continuas
X
Y1 Y2
Z1 Z2
![Page 27: Sesión 12: Redes Bayesianas: extensiones y aplicaciones](https://reader030.fdocumento.com/reader030/viewer/2022033022/5681542a550346895dc22b97/html5/thumbnails/27.jpg)
Incertidumbre - E y A, L.E. Sucar 27
Ejemplo - propagación
• Dado:- y1=8000, y2=10,000, z1=z2=1000- ds(y1)=300, ds(y2)=1000
• Aplicando las ecuaciones para “diagnóstico”:
x = [(8-1)(1)2+(10-1)(0.3)2]/[(1)2+(0.3)2] = 7.165
x = [ (0.3)2(1)2]/[(1)2+(0.3)2] = 0.0826, ds(x)= 287
![Page 28: Sesión 12: Redes Bayesianas: extensiones y aplicaciones](https://reader030.fdocumento.com/reader030/viewer/2022033022/5681542a550346895dc22b97/html5/thumbnails/28.jpg)
Incertidumbre - E y A, L.E. Sucar 28
Aplicaciones
• Diagnóstico plantas eléctricas– Red temporal
• Endoscopía– RB (mejora estructural)
• Reconocimiento actividades– RB (simulación estocástica)
• Reconocimiento de gestos– RBD (clasificador bayesiano dinámico)
![Page 29: Sesión 12: Redes Bayesianas: extensiones y aplicaciones](https://reader030.fdocumento.com/reader030/viewer/2022033022/5681542a550346895dc22b97/html5/thumbnails/29.jpg)
Red Temporal
para Diagnóstico de Plantas Eléctricas
Red Temporal
para Diagnóstico de Plantas Eléctricas
![Page 30: Sesión 12: Redes Bayesianas: extensiones y aplicaciones](https://reader030.fdocumento.com/reader030/viewer/2022033022/5681542a550346895dc22b97/html5/thumbnails/30.jpg)
Subsistema de una Planta Eléctrica
DRUM
S U P E R H E A T E R S T E A M S Y S T E M
F E E D W A T E R S Y S T E M C O N D E N S E R S Y S T E M
W A T E R - S T E A MG E N E R A T O RS Y S T E M
S T E A M - T U R B I N E S Y S T E M
R E H E A T E RS T E A M S Y S T E M
F E E D A T E R P U M P
F E E D A T E R V A L V E
S P R A Y V A L V E P S T E A M V A L V E
T R U B I N E
S T F
S T T
D R PF
S W F
![Page 31: Sesión 12: Redes Bayesianas: extensiones y aplicaciones](https://reader030.fdocumento.com/reader030/viewer/2022033022/5681542a550346895dc22b97/html5/thumbnails/31.jpg)
Incertidumbre - E y A, L.E. Sucar 31
Diagnóstico y Predicción
• Se desea encontrar las posibles causas de una falla (diagnóstico) o predecir cuando podría presentarse una situación anormal o falla (diagnóstico)
• El tiempo que transcurre entre los diferentes eventos en el proceso es crucial para la predicción y diagnóstico
• Parte del proceso de modela como una red temporal de eventos (nodos temporales)
![Page 32: Sesión 12: Redes Bayesianas: extensiones y aplicaciones](https://reader030.fdocumento.com/reader030/viewer/2022033022/5681542a550346895dc22b97/html5/thumbnails/32.jpg)
Red bayesiana con nodos temporales
FWF
FWPF LI
SWVF
SWV
SWF
FWVF
FWV FWP STV
STF
DRL
DRP
STT
FWPFOccur 0.58¬Occur 0.42
LIOccur 0.88¬Occur 0.12
FWVFOccur 0.57¬Occur 0.43
SWVFOccur 0.18¬Occur 0.82
FWPtrue, [10-29] = 0.36true, [29-107] = 0.57false, [10-107] = 0.07
STVTrue, [0-18] = 0.69True, [18-29] = 0.20False, [0-29] = 0.11
STFTrue, [52-72] = 0.65True, [72-105] = 0.24False, [52-105] = 0.11
FWVTrue, [28-41] = 0.30True, [41-66] = 0.27False, [28-66] = 0.43
SWVTrue, [20-33] = 0.11True, [33-58] = 0.13False, [20-58] = 0.76
FWFTrue, [25-114] = 0.77True, [114-248] = 0.18False, [25-248] = 0.05
SWFTrue, [108-170] = 0.75True, [170-232] = 0.21False, [108-232] = 0.04
STTDecrement, [10-42] = 0.37Decrement, [42-100] = 0.14Decrement, [100-272] = 0.47False, [10-272] = 0.02
DRPTrue, [30-70] = 0.58True, [70-96] = 0.40False, [30-96] = 0.02
DRLIncrement, [10-27] = 0.49Increment, [27-135] = 0.09Decrement, [22-37] = 0.28Decrement [37-44] = 0.12False, [10-135] = 0.02
Variables
LI=Load increment
FWPF=FW pump failure
FWVF=FW valve failure
SWVF=SW valve failure
STV=Steam valve
FWP=FW pump
FWV=FW valve
SWV=SW valve
STF=Steam flow
FWF=FW flow
SWF=SW flow
DRL=Drum level
DRP=Drum pressure
STT=Steam temperature
![Page 33: Sesión 12: Redes Bayesianas: extensiones y aplicaciones](https://reader030.fdocumento.com/reader030/viewer/2022033022/5681542a550346895dc22b97/html5/thumbnails/33.jpg)
Incertidumbre - E y A, L.E. Sucar 33
Resultados Experimentales
Prueba
Predicción% RBS 87.37 9.19% Exactitud 84.48 14.98
Diagnóstico% RBS 84.25 8.09% Exactitud 80.00. 11.85
Diagnóstico yPredicción
% RBS 95.85 4 .71% Exactitud 94.92 . 8.59
![Page 34: Sesión 12: Redes Bayesianas: extensiones y aplicaciones](https://reader030.fdocumento.com/reader030/viewer/2022033022/5681542a550346895dc22b97/html5/thumbnails/34.jpg)
Incertidumbre - E y A, L.E. Sucar 34
Endoscopía
• Endoscopy is a tool for direct observation of the human digestive system
• Recognize “objects” in endoscopy images of the colon for semi-automatic navigation
• Main feature – dark regions
• Main objects – “lumen” & “diverticula”
![Page 35: Sesión 12: Redes Bayesianas: extensiones y aplicaciones](https://reader030.fdocumento.com/reader030/viewer/2022033022/5681542a550346895dc22b97/html5/thumbnails/35.jpg)
Incertidumbre - E y A, L.E. Sucar 35
Colon Image
![Page 36: Sesión 12: Redes Bayesianas: extensiones y aplicaciones](https://reader030.fdocumento.com/reader030/viewer/2022033022/5681542a550346895dc22b97/html5/thumbnails/36.jpg)
Incertidumbre - E y A, L.E. Sucar 36
Segmentation – dark region
![Page 37: Sesión 12: Redes Bayesianas: extensiones y aplicaciones](https://reader030.fdocumento.com/reader030/viewer/2022033022/5681542a550346895dc22b97/html5/thumbnails/37.jpg)
Incertidumbre - E y A, L.E. Sucar 37
Features – pq
histogram
![Page 38: Sesión 12: Redes Bayesianas: extensiones y aplicaciones](https://reader030.fdocumento.com/reader030/viewer/2022033022/5681542a550346895dc22b97/html5/thumbnails/38.jpg)
Incertidumbre - E y A, L.E. Sucar 38
BN for endoscopy (partial)
![Page 39: Sesión 12: Redes Bayesianas: extensiones y aplicaciones](https://reader030.fdocumento.com/reader030/viewer/2022033022/5681542a550346895dc22b97/html5/thumbnails/39.jpg)
Incertidumbre - E y A, L.E. Sucar 39
Structural Improvement
• Start from a subjective structure and improve with data
• Verify conditional independencies:
– Node elimination
– Node combination
– Node insertion
![Page 40: Sesión 12: Redes Bayesianas: extensiones y aplicaciones](https://reader030.fdocumento.com/reader030/viewer/2022033022/5681542a550346895dc22b97/html5/thumbnails/40.jpg)
Incertidumbre - E y A, L.E. Sucar 40
Structural improvement
YX
Z
X
Z
XY
Z W
Z
YX
![Page 41: Sesión 12: Redes Bayesianas: extensiones y aplicaciones](https://reader030.fdocumento.com/reader030/viewer/2022033022/5681542a550346895dc22b97/html5/thumbnails/41.jpg)
Incertidumbre - E y A, L.E. Sucar 41
Semi-automatic Endoscope
![Page 42: Sesión 12: Redes Bayesianas: extensiones y aplicaciones](https://reader030.fdocumento.com/reader030/viewer/2022033022/5681542a550346895dc22b97/html5/thumbnails/42.jpg)
Incertidumbre - E y A, L.E. Sucar 42
Endoscopy navegation system
![Page 43: Sesión 12: Redes Bayesianas: extensiones y aplicaciones](https://reader030.fdocumento.com/reader030/viewer/2022033022/5681542a550346895dc22b97/html5/thumbnails/43.jpg)
Incertidumbre - E y A, L.E. Sucar 43
Endoscopy navegation system
![Page 44: Sesión 12: Redes Bayesianas: extensiones y aplicaciones](https://reader030.fdocumento.com/reader030/viewer/2022033022/5681542a550346895dc22b97/html5/thumbnails/44.jpg)
Incertidumbre - E y A, L.E. Sucar 44
Human activity recognition
• Recognize different human activities based on videos (walk, run, goodbye, attention, etc.)
• Consider the movement of several limbs (arms, legs)
• The movements can differ for different persons or even for the same person
• Several activities can be performed at the same time
• Consider continuos activities
![Page 45: Sesión 12: Redes Bayesianas: extensiones y aplicaciones](https://reader030.fdocumento.com/reader030/viewer/2022033022/5681542a550346895dc22b97/html5/thumbnails/45.jpg)
Incertidumbre - E y A, L.E. Sucar 45
Activities
• Good-bye
• Right
• Attention
• Walk
• Jump
• Aerobics
![Page 46: Sesión 12: Redes Bayesianas: extensiones y aplicaciones](https://reader030.fdocumento.com/reader030/viewer/2022033022/5681542a550346895dc22b97/html5/thumbnails/46.jpg)
Incertidumbre - E y A, L.E. Sucar 46
Goodbye – Right - Attention
![Page 47: Sesión 12: Redes Bayesianas: extensiones y aplicaciones](https://reader030.fdocumento.com/reader030/viewer/2022033022/5681542a550346895dc22b97/html5/thumbnails/47.jpg)
Incertidumbre - E y A, L.E. Sucar 47
Simultaneous activities: jump and attract attention
![Page 48: Sesión 12: Redes Bayesianas: extensiones y aplicaciones](https://reader030.fdocumento.com/reader030/viewer/2022033022/5681542a550346895dc22b97/html5/thumbnails/48.jpg)
Incertidumbre - E y A, L.E. Sucar 48
Feature Extraction
• Limb segmentation (color marks)
• Tracking
• Motion parameters
![Page 49: Sesión 12: Redes Bayesianas: extensiones y aplicaciones](https://reader030.fdocumento.com/reader030/viewer/2022033022/5681542a550346895dc22b97/html5/thumbnails/49.jpg)
Incertidumbre - E y A, L.E. Sucar 49
Feature extraction
• The color marks (for each limb) are segmented, with its position in each frame
• The directions of movement (discretized in 8 direction) are obtained for each image pair
• A window is used to obtain each sequence of changes (6), which are the observations for the recognition model – a Bayesian network
![Page 50: Sesión 12: Redes Bayesianas: extensiones y aplicaciones](https://reader030.fdocumento.com/reader030/viewer/2022033022/5681542a550346895dc22b97/html5/thumbnails/50.jpg)
Incertidumbre - E y A, L.E. Sucar 50
Segmentation
![Page 51: Sesión 12: Redes Bayesianas: extensiones y aplicaciones](https://reader030.fdocumento.com/reader030/viewer/2022033022/5681542a550346895dc22b97/html5/thumbnails/51.jpg)
Incertidumbre - E y A, L.E. Sucar 51
Tracking
![Page 52: Sesión 12: Redes Bayesianas: extensiones y aplicaciones](https://reader030.fdocumento.com/reader030/viewer/2022033022/5681542a550346895dc22b97/html5/thumbnails/52.jpg)
Incertidumbre - E y A, L.E. Sucar 52
Parameters
• Motion information is obtained for each limb (color marks):– Obtain the centriod (x,y) of the mark– Estimate the direction change bewteen frames,
discretized in 8 values– Experimentally we found that 5 to 7 direction
changes are enough to characterize the motion of a limb performing an activity
![Page 53: Sesión 12: Redes Bayesianas: extensiones y aplicaciones](https://reader030.fdocumento.com/reader030/viewer/2022033022/5681542a550346895dc22b97/html5/thumbnails/53.jpg)
Incertidumbre - E y A, L.E. Sucar 53
Recognition Model
• Based on a single Bayesian classifier– Node for each activity– Node for each limb– Nodes for 5 direction changes of each limb
• Can recognize simultaneous activities
• Continuos recognition
![Page 54: Sesión 12: Redes Bayesianas: extensiones y aplicaciones](https://reader030.fdocumento.com/reader030/viewer/2022033022/5681542a550346895dc22b97/html5/thumbnails/54.jpg)
Incertidumbre - E y A, L.E. Sucar 54
Continuos recognition
15 frames15 frames
15 frames15 frames
15 frames
time
Directionchanges
to recognitionnetwork
![Page 55: Sesión 12: Redes Bayesianas: extensiones y aplicaciones](https://reader030.fdocumento.com/reader030/viewer/2022033022/5681542a550346895dc22b97/html5/thumbnails/55.jpg)
Incertidumbre - E y A, L.E. Sucar 55
General Model
Act-1
R-footL-footL-hand R-hand
Act-2 Act-3
p1 p2 p3 p1 p2 p3 p1 p2 p3 p1 p2 p3
![Page 56: Sesión 12: Redes Bayesianas: extensiones y aplicaciones](https://reader030.fdocumento.com/reader030/viewer/2022033022/5681542a550346895dc22b97/html5/thumbnails/56.jpg)
Incertidumbre - E y A, L.E. Sucar 56
Recognition Network – arms and legs
![Page 57: Sesión 12: Redes Bayesianas: extensiones y aplicaciones](https://reader030.fdocumento.com/reader030/viewer/2022033022/5681542a550346895dc22b97/html5/thumbnails/57.jpg)
Incertidumbre - E y A, L.E. Sucar 57
Preliminary Results
• The model was trained with more than 150 examples of the 6 activities
• Initial tests give promising results:
50 tests sequences
39 correct
9 indecisive or other
2 wrong
![Page 58: Sesión 12: Redes Bayesianas: extensiones y aplicaciones](https://reader030.fdocumento.com/reader030/viewer/2022033022/5681542a550346895dc22b97/html5/thumbnails/58.jpg)
Incertidumbre - E y A, L.E. Sucar 58
Confusion matrix
Goodbye
Right
Walk
Attention
Jump
Aerobics
Other
Indecisive
Goodbye 3 1 2 1
Right 5 1 1 2
Walk 7 1 1
Attention 4
Jump 6
Aerobics 7
Other 1
Walk and Attention
4 5 1
Jump and Attention
2 2
![Page 59: Sesión 12: Redes Bayesianas: extensiones y aplicaciones](https://reader030.fdocumento.com/reader030/viewer/2022033022/5681542a550346895dc22b97/html5/thumbnails/59.jpg)
Incertidumbre - E y A, L.E. Sucar 59
Reconocimiento de gestos• Reconocimiento de gestos orientados a
comandar robots
• Inicialmente 5 gestos
• Reconocimiento con RBD
![Page 60: Sesión 12: Redes Bayesianas: extensiones y aplicaciones](https://reader030.fdocumento.com/reader030/viewer/2022033022/5681542a550346895dc22b97/html5/thumbnails/60.jpg)
Incertidumbre - E y A, L.E. Sucar 60
Come
attention
go-right
go-left
stop
![Page 61: Sesión 12: Redes Bayesianas: extensiones y aplicaciones](https://reader030.fdocumento.com/reader030/viewer/2022033022/5681542a550346895dc22b97/html5/thumbnails/61.jpg)
Incertidumbre - E y A, L.E. Sucar 61
Extracción de características
• Detección de piel
• Segmentación de cara y mano
• Seguimiento de la mano
• Características de movimiento
![Page 62: Sesión 12: Redes Bayesianas: extensiones y aplicaciones](https://reader030.fdocumento.com/reader030/viewer/2022033022/5681542a550346895dc22b97/html5/thumbnails/62.jpg)
Incertidumbre - E y A, L.E. Sucar 62
Segmentación
Agrupamiento de pixels depiel en muestreo radial
![Page 63: Sesión 12: Redes Bayesianas: extensiones y aplicaciones](https://reader030.fdocumento.com/reader030/viewer/2022033022/5681542a550346895dc22b97/html5/thumbnails/63.jpg)
Incertidumbre - E y A, L.E. Sucar 63
Seguimiento
![Page 64: Sesión 12: Redes Bayesianas: extensiones y aplicaciones](https://reader030.fdocumento.com/reader030/viewer/2022033022/5681542a550346895dc22b97/html5/thumbnails/64.jpg)
Incertidumbre - E y A, L.E. Sucar 64
Seguimiento
![Page 65: Sesión 12: Redes Bayesianas: extensiones y aplicaciones](https://reader030.fdocumento.com/reader030/viewer/2022033022/5681542a550346895dc22b97/html5/thumbnails/65.jpg)
Incertidumbre - E y A, L.E. Sucar 65
Training and Recognition• The parameters (conditional probabilities)
for the DBN are obtained from examples of each gesture using the EM algorithm (similar to Baum-Welch used in HMM)
• For recognition, the posterior probability of each model is obtained by probability propagation (forward)
![Page 66: Sesión 12: Redes Bayesianas: extensiones y aplicaciones](https://reader030.fdocumento.com/reader030/viewer/2022033022/5681542a550346895dc22b97/html5/thumbnails/66.jpg)
Incertidumbre - E y A, L.E. Sucar 66
Motion Features
Example of feature extraction based on image-centered Example of feature extraction based on image-centered coordinate systemcoordinate system
(0,0)x
y
Image t
..
y'
x'
a = 0
x = +
y = –
form = +
Image t+1
![Page 67: Sesión 12: Redes Bayesianas: extensiones y aplicaciones](https://reader030.fdocumento.com/reader030/viewer/2022033022/5681542a550346895dc22b97/html5/thumbnails/67.jpg)
Incertidumbre - E y A, L.E. Sucar 67
Posture features are simple spatial relations between the user’s right hand and other body parts:– Right– Above– Torso
Each one can take one of 2 values: (yes, no)
Above
Right
Torso
Posture features
![Page 68: Sesión 12: Redes Bayesianas: extensiones y aplicaciones](https://reader030.fdocumento.com/reader030/viewer/2022033022/5681542a550346895dc22b97/html5/thumbnails/68.jpg)
Incertidumbre - E y A, L.E. Sucar 68
Dynamic naive Bayesian ClassifierDynamic naive Bayesian Classifier with posture informationwith posture information
St
x, y a form
t
above right torso
…
![Page 69: Sesión 12: Redes Bayesianas: extensiones y aplicaciones](https://reader030.fdocumento.com/reader030/viewer/2022033022/5681542a550346895dc22b97/html5/thumbnails/69.jpg)
Incertidumbre - E y A, L.E. Sucar 69
• 150 samples of each gesture taken from one user
• Laboratory environment with different lighting conditions
• Distance from the user to the camera varied between 3.0 m and 5.0 m
• The number of training samples varied between 5% to 100% of the training set
ExperimentsExperiments
![Page 70: Sesión 12: Redes Bayesianas: extensiones y aplicaciones](https://reader030.fdocumento.com/reader030/viewer/2022033022/5681542a550346895dc22b97/html5/thumbnails/70.jpg)
Incertidumbre - E y A, L.E. Sucar 70
Confusion matrix: DNBCs without posture information
The average recognition rate is 87.75 %The average recognition rate is 87.75 %
come attention go-right go-left stop
come 98 % 2 %
attention 3 % 87 % 10 %
go-right 100 %
go-left 100 %
stop 4 % 39 % 1 % 56 %
![Page 71: Sesión 12: Redes Bayesianas: extensiones y aplicaciones](https://reader030.fdocumento.com/reader030/viewer/2022033022/5681542a550346895dc22b97/html5/thumbnails/71.jpg)
Incertidumbre - E y A, L.E. Sucar 71
Confusion matrix: DNBCs with posture information
The average recognition rate is 96.75 %The average recognition rate is 96.75 %
come attention go-right go-left stop
come 100 %
attention 100 %
go-right 100 %
go-left 100 %
stop 11 % 6 % 83 %
![Page 72: Sesión 12: Redes Bayesianas: extensiones y aplicaciones](https://reader030.fdocumento.com/reader030/viewer/2022033022/5681542a550346895dc22b97/html5/thumbnails/72.jpg)
Incertidumbre - E y A, L.E. Sucar 72
come attention go-right go-left stop
come 100 %
attention 100 %
go-right 100 %
go-left 100 %
stop 8 % 92 %
Confusion matrix: HMMs with posture information
The average recognition rate is 98.47 %The average recognition rate is 98.47 %
![Page 73: Sesión 12: Redes Bayesianas: extensiones y aplicaciones](https://reader030.fdocumento.com/reader030/viewer/2022033022/5681542a550346895dc22b97/html5/thumbnails/73.jpg)
Incertidumbre - E y A, L.E. Sucar 73
Accuracy vs Training Size
Average recognition results of five repetitions of the experimentAverage recognition results of five repetitions of the experiment
![Page 74: Sesión 12: Redes Bayesianas: extensiones y aplicaciones](https://reader030.fdocumento.com/reader030/viewer/2022033022/5681542a550346895dc22b97/html5/thumbnails/74.jpg)
Incertidumbre - E y A, L.E. Sucar 74
Otras aplicaciones
• Predicción del precio del petróleo • Modelado de riesgo en accidentes de automóviles• Diagnóstico médico• Validación de sensores• Modelado de usuarios (ayudantes Microsoft Office)• Modelado del estudiante (tutores inteligentes)• Diagnóstico de turbinas (General Electric)• Reconocimiento de objetos en imágenes • Reconocimiento de voz• ...
![Page 75: Sesión 12: Redes Bayesianas: extensiones y aplicaciones](https://reader030.fdocumento.com/reader030/viewer/2022033022/5681542a550346895dc22b97/html5/thumbnails/75.jpg)
Incertidumbre - E y A, L.E. Sucar 75
Referencias
• Variables continuas - Pearl cap. 7- G. Torres Toledano, E. Sucar, Iberamia 1998
• RB dinámicas- U. Kjaerulff, A computational scheme for reasoning in dynamic belief networks, UAI´92
• RB temporales- K. Kanazawa, A logic and time nets for probabilistic inference, AAAI´91- G. Arroyo, E Sucar, A temporal bayesian networks for diagnisis and predictatión, UAI´99
![Page 76: Sesión 12: Redes Bayesianas: extensiones y aplicaciones](https://reader030.fdocumento.com/reader030/viewer/2022033022/5681542a550346895dc22b97/html5/thumbnails/76.jpg)
Incertidumbre - E y A, L.E. Sucar 76
Actividades• Corregir y ampliar la propuesta del proyecto,
tomando en cuentas los comentarios• Ampliar en particular los aspectos de: metodología
(como), los datos a usar (si se tienen), la relación a las técnicas de la clase, y los aspectos de implementación y pruebas
• Hacer una BREVE presentación (máximo 5 minutos la próxima clase). ENVIAR material de apoyo a más tardar el lunes 11 a las 24 hrs por e-mail
• Entregar nueva versión (impresa) de la propuesta, corregida y aumentada