Fronteras)de)decisión) - Luca Martino Home Page · Función)de)Verosimilitud) •...
Transcript of Fronteras)de)decisión) - Luca Martino Home Page · Función)de)Verosimilitud) •...
Fronteras de decisión
Luca Mar1no Apuntes no revisados
Cuidado!
Función de Verosimilitud
• Supongamos que, después de demodular, tenemos un vector (un punto)
• Dado que sabemos que para cada componente podemos escribir:
• Así sabiendo que el ruido es Gaussiano podemos escribir:
€
p(q j | sij ) =1πN0
exp −(q j − sij )
2
N0
⎧ ⎨ ⎩
⎫ ⎬ ⎭
€
q = [q1,q2,...,qN ]
€
q j = sij + n j
€
s i = [si1,si2,...,siN ]Recodamos que un símbolo lo indicamos así
Función de Verosimilitud
• La función de Verosimilitud de una sola componente es
• Recordamos que la función de verosimilitud es función de la componente …no es una densidad…..(en este caso, es un numero, un escalar conocido).
• Por la independencia de las componentes del ruido podemos escribir también:
€
p(q j | sij ) =1πN0
exp −(q j − sij )
2
N0
⎧ ⎨ ⎩
⎫ ⎬ ⎭
€
sij
€
q j
€
p( q | s i) = p(q1 | si1)p(q2 | si2)⋅ ⋅ ⋅ p(qN | siN )
p( q | s i) = p(q j | sij )j =1
N
∏
Función de Verosimilitud
• La función de Verosimilitud ‘’total’’ será
• Es decir
€
p( q | s i) = p(q j | sij )j =1
N
∏
€
p( q | s i) =1
(πN0)N / 2 exp −
(q1 − si1)2 + (q2 − si2)
2 + ...+ (qN − siN )2
N0
⎧ ⎨ ⎩
⎫ ⎬ ⎭
€
p( q | s i) =1
(πN0)N / 2 exp −
(q j − sij )2
j =1
N
∑
N0
⎧
⎨
⎪ ⎪
⎩
⎪ ⎪
⎫
⎬
⎪ ⎪
⎭
⎪ ⎪
Función de Verosimilitud
• Es importante notar como esta verosimilitud ‘’induce’’ una distancia euclídeas
• donde
€
p( q | s i) =1
(πN0)N / 2 exp −
d( q , s i)2
N0
⎧ ⎨ ⎩
⎫ ⎬ ⎭
€
d( q , s i)2 = (q j − sij )
2
j =1
N
∑
Probabilidad a posteriori
• La probabilidad a posteriori se define como (usando la regla de Bayes)
• Realmente para decidir un símbolo nos interesa solo el numerador, es decir
• El termino resulta ser una constante (no depende de los símbolos ).
€
p( s i | q ) =
p( q | s i)p( s i)
p( q )
€
p( s i | q )∝ p( s i,
q ) = p( q | s i)p( s i)
€
p( q )
€
s i
Criterio MAP
• El criterio MAP (máximo a posteriori) consiste en maximizar esta función
• La probabilidad a posteriori es proporcional a la probabilidad conjunta.
€
p( s i | q )∝ p( s i,
q ) = p( q | s i)p( s i)
Probabilidad a posteriori
Probabilidad conjunta
Criterio MAP
• Supongamos de tener solo dos símbolos
• Vamos a elegir si
• Vamos a elegir si
€
p( q | s 1)p( s 1) > p( q | s 2)p(
s 2)
€
N = 2
€
s 1
€
s 2
€
s 1
€
s 2
€
p( q | s 2)p( s 2) > p( q | s 1)p(
s 1)
Criterio ML
• Si los símbolos son equiprobables el criterio se reduce a una comparación entre verosimilitudes (“Maximum Likelihood ” ML)
€
p( q | s 1) > p( q | s 2)
€
p( q | s 2) > p( q | s 1)
Umbrales (fronteras) de decisión • Los umbrales se logran con la ecuación
• En el caso unidimensional se puede ver que el umbral es un valor mas cerca del símbolo más probable.
€
p( q u | s 1)p( s 1) = p( q u |
s 2)p( s 2)
€
s 1
€
s 2
€
q u
€
p( s 1) > p( s 2)
€
s 1
€
s 2
€
q u
€
p( s 1) < p( s 2)
€
N = 2
Umbrales (fronteras) de decisión • En el caso de símbolos equiprobables tenemos
• El umbral será la media aritmé1ca (en el caso unidimesional)
€
p( q u | s 1) = p( q u |
s 2)
€
s 1
€
s 2
€
q u
€
p( s 1) = p( s 2)
€
qu =s1 + s22
€
N = 2
Calculo del umbral (caso unidimensional)
• Tenemos en el caso monodimensional (entre dos símbolos)
• Subs1tuyendo las verosimilitudes
€
p(qu | s1)p(s1) = p(qu | s2)p(s2)
€
1πN0exp − (qu −s1 )
2
N0{ }p(s1) = 1πN0exp − (qu −s2 )
2
N0{ }p(s2)
€
exp − (qu −s1 )2
N0{ }p(s1) = exp − (qu −s2 )2
N0{ }p(s2)
€
− (qu −s1 )2
N0+ ln p(s1)[ ] = − (qu −s2 )
2
N0+ ln p(s2)[ ]
Calculo del umbral (caso unidimensional)
• Siguiendo con los cálculos
€
−(qu − s1)2 + (qu − s2)
2 = +N0 ln p(s2) / p(s1)[ ]−qu
2 − s12 + 2qus1 + qu
2 + s22 − 2qus2 = +N0 ln p(s2) / p(s1)[ ]
€
−s12 + 2qus1 + s2
2 − 2qus2 = N0 lnp(s2 )p(s1 )[ ]
2(s1 − s2)qu − s12 + s2
2 = N0 lnp(s2 )p(s1 )[ ]
Calculo del umbral (caso unidimensional)
• Finalmente llegamos a
• Si los símbolos son equiprobables
• que es justamente la media aritmé1ca.
€
qu =N0 ln
p(s2 )p(s1 )[ ] + s1
2 − s22
2(s1 − s2)
€
qu =0 + s1
2 − s22
2(s1 − s2)=(s1 − s2 )(s1 + s2)2(s1 − s2)
=(s1 + s2)2
Calculo del umbral (caso unidimensional)
• Lo podemos en general expresar así
€
qu =N0 ln
p(s2 )p(s1 )[ ]
2(s1 − s2)+s1 + s22
Frontera de decisión (caso bidimensional)
• Tenemos en el caso bidimensional (entre dos símbolos)
• Subs1tuyendo las verosimilitudes
€
p( q u | s 1)p( s 1) = p( q u |
s 2)p( s 2)
€
1πN0exp − (qu1 −s11 )
2 +(qu 2 −s12 )2
N0{ }p(s1) = 1πN0exp − (qu1 −s21 )
2 +(qu 2 −s22 )2
N0{ }p(s2)
€
− (qu1 −s11 )2 +(qu 2 −s12 )
2
N0+ ln p(s1)[ ] = − (qu1 −s21 )
2 +(qu 2 −s22 )2
N0+ ln p(s2)[ ]
Frontera de decisión (caso bidimensional)
• Desarrollando los cálculos
€
− (qu1 −s11 )2 +(qu 2 −s12 )
2
N0+ ln p(s1)[ ] = − (qu1 −s21 )
2 +(qu 2 −s22 )2
N0+ ln p(s2)[ ]
€
−(qu1 − s11)2 − (qu2 − s12)
2 + (qu1 − s21)2 + (qu2 − s22)
2 = N0 lnp(s2 )p(s1 )[ ]
−qu12 − s11
2 + 2qu1s11 − qu22 − s12
2 + 2qu2s12 + qu12 + s21
2 − 2qu1s21 +
+qu22 + s22
2 − 2qu2s22 = N0 lnp(s2 )p(s1 )[ ]
€
−s112 + 2qu1s11 − s12
2 + 2qu2s12 + s212 − 2qu1s21 + s22
2 − 2qu2s22 = N0 lnp(s2 )p(s1 )[ ]
2(s11 − s21)qu1 + 2(s12 − s22)qu2 − s112 − s12
2 + s212 + s22
2 = N0 lnp(s2 )p(s1 )[ ]
Frontera de decisión (caso bidimensional)
• Hemos llegado a una recta
• De la forma
• Con pendiente
€
2(s11 − s21)qu1 + 2(s12 − s22)qu2 − s112 − s12
2 + s212 + s22
2 − N0 lnp(s2 )p(s1 )[ ] = 0
€
a
€
b
€
c
€
aqu1 + bqu2 + c = 0→qu2 = −abqu1 −
cb
€
m = −ab
= −s11 − s21s12 − s22
Frontera de decisión (caso bidimensional)
• Esto significa
• que es ortogonal a la recta pasante por los 2 símbolos.
€
m = −ab
= −s11 − s21s12 − s22
= −1m *
m* =s12 − s22s11 − s21
€
s 1
€
s 2
€
p( s 2) > p( s 1)En esta figura
€
m *€
m€
q2
€
q1
€
s 1 = [s11,s12] s 2 = [s21,s22]
Frontera de decisión (criterio ML) • En el caso de símbolos equiprobables la frontera de decisión es
una recta equidistante respecto a los 2 símbolos.
€
s 1
€
s 2
€
p( s 2) = p( s 1)En esta figura
€
q2
€
q1€
d'
€
d' '
€
d'= d' '
Importante observación • Realmente se puede demostrar que, en el caso que los ruidos
sea Gaussianos e independientes entre si, podríamos estudiar el caso unidimensional… considerando solo la recta pasante por los dos símbolos.
€
s 1
€
s 2€
q2
€
q1
€
q u
€
p( s 2) > p( s 1)En esta figura
Importante observación 2 • La fronteras de decisión resultan ser funciones lineales (rectas,
hiperplanos) porque los ruidos que afectan a cada componente son GAUSSIANOS E INDEPENDIENTES.
• Con otro 1po de ruidos encontraríamos fronteras no lineales (basta añadir correlación para verlo).