PROCESOS DE MARKOV

Principio de Markov:Cuando una probabilidad condicional depende nicamente del suceso inmediatamente anterior, cumple con el Principio de Markov de Primer Orden, es decir.

ijpitXjtXPitXKXKXjtXP ===+=====+ ))()1(())(,.....,)1(,)0()1(( 10

Definiciones en los Procesos de Markov de Primer Orden:

Estados: Las condiciones en las cuales se encuentra un ente sucesos posibles.Ensayos: Las ocurrencias repetidas de un evento que se estudia.Probabilidad de Transicin: La probabilidad de pasar de un estado actual al siguiente en un perodo tiempo, y se denota por pij ( la probabilidad de pasar del estado i al estado j en una transicin perodo)

Caractersticas de los Procesos de Markov de Primer Orden:Se pueden usar como modelo de un proceso fsico econmico que tenga las siguientes propiedades:a) Que la probabilidad cumpla con el principio de Markov.b) Existencia de un nmero finito de estados.c) Las pij son constante con respecto al tiempo perodo.d) Ensayos en perodos iguales.

Si un suceso depende de otro adems del inmediatamente anterior, este es un proceso de Markov de mayor orden. Por ejemplo, Un proceso de segundo orden describe un proceso en el cual el suceso depende de los dos sucesos anteriores.Los procesos de Markov tambin se les llama Cadenas de Markov.

Notaciones que utilizaremos:

pij = probabilidad de transicin en un perodo.P = [pij]nxn matriz de transicin formada por los valores de pij , donde cada fila representa el estado inicial donde se parte y las columna el estado al que se ira en un perodo.

))0()(()( iXjkXPp kij === representa la probabilidad de ir del estado i al estado j en k perodos.P(k)=[ )(kijp ]nxn la matriz de transicin de k perodos.Si(t) = probabilidad de encontrarse en el estado i en el perodo t.S(t) =(S1(t) , S2(t) , . . . . , Sn(t)) vector de probabilidad de estado en el perodo t. Para n estados.

Los sucesos que cumplan con un proceso de Markov, se pueden representar por medio de un esquema donde los nodos indique los estados y arcos dirigidos de nodo a nodo con un nmero que representa la probabilidad de transicin de ir de un estado a otro, por medio de una matriz de transicin.Ejemplo:

=

4.04.02.03.04.03.05.03.02.0

P

Para calcular:)1)0(1)2(()2(11 === XXPp = p11.p11+ p12.p21+ p13.p31

= 0,2.0,2+0,3.0,3+0,5.0,2 = 0,23

)1)0(2)2(()2(12 === XXPp = p11.p12+ p12.p22+ p13.p32 = 0,2.0,3+0,3.0,4+0,5.0,4 = 0,38

)1)0(3)2(()2(13 === XXPp = p11.p13+ p12.p23+ p13.p33 = 0,2.0,5+0,3.0,3+0,5.0,4 = 0,39

luego )2(11p + )2(12p + )2(13p =1

Otra forma es usando el vector de probabilidades y la matriz de transicin, es decir:S(0) = (1, 0, 0) S(1) = S(0).P = (0,2; 0,3; 0,5)

S(2) =S(1).P =(0,23; 0,38; 0,39)

Cadenas de Markov Ergdicas cadenas irreductibles. Describen matemticamente un proceso en el cual es posible avanzar desde un estado hasta cualquier otro estado. No es necesario que esto sea posible en un paso.

Una cadena ergdica es regular: Si para alguna potencia de la matriz de transicin tiene nicamente elementos positivos de probabilidad (diferente de cero)

Ejemplo 1:

=

6.04.007.003.0

05.05.0P

=

64.024.012.042.043.015.035.025.040.0

2P

luego es regular (y por lo tanto ergdica)

Ejemplo 2:

=

5.005.0004.006.07.003.00

06.004.0

P

=

60.0040.00052.0048.056.0044.00048.0052.0

2P

=

hhrr

qqpp

P

100010

100010

4

Esta matriz repite continuamente este patrn para todas las potencias de P; por consiguiente no es regular ni tampoco ergdica.

Propiedades de las Cadenas de Markov.1.- Las probabilidades de estados deben ser igual a uno, es decir. S1(t)+S2(t)+ . . . . ,+Sn(t) = 1 para n estados.2.- Para cada fila de la matriz P se cumple: pi1+pi2+...... +pin = 1 para todo i = 1, 2, ..., n3.- Las transiciones de un perodo al siguiente se obtienen de la siguiente ecuacin: S(t) = S(t-1).P por lo tanto S(t) = S(0).Pt 4.- Si S(t+1) = S(t) para t K, Entonces se dice que el sistema se estabiliza que los estados son estacionarios estables. Esto implica que S = S.P , es decir. El vector de estado estacionario sigue siendo igual despus de la transicin t.

Ejemplo para calcular el vector de equilibrio o de estado estacionario.Sea :

=

5/15/45/25/3

P

=

25/925/1625/825/172P

=

125/41125/84125/42125/833P

=

625/209625/416625/208625/4174P

=

3125/10413125/20843125/10423125/20835P

=

3/13/23/13/26P

=

3/13/23/13/27P El proceso se

estabiliza en el perodo 6

Otra forma:

Se calcula el siguiente sistema

=

=

1.

iSPSS

en este caso

=+

+=

+=

12,04,08,06,0

21

212

21

SSSSSSSS

y

queda

=+

=

108,04,0

21

21

SSSS

cuya solucin es: S1 = 2/3 y S2 = 1/3

Observacin: Las ecuaciones que se obtienen del desarrollo de S =S.P Siempre hay una ecuacin que es combinacin lineal de las dems ecuaciones, por lo tanto se omite para que el sistema quede con n ecuaciones y n variables.

Estados Absorbentes:Es aquel estado que tiene una probabilidad de ser abandonado igual a cero, es decir. Una vez en l es imposible dejarlo. Esto quiere decir: Si i es un estado absorbente si se cumple que pij =0 si i j y pii =1.

Una cadena de Markov es Absorbente:Si se cumple:

a) Tiene por lo menos un estado Absorbente.b) Es posible ir de cada estado no absorbente hasta por lo menos un estado

absorbente. No es necesario efectuar esta transicin en un paso; ni es necesario tener la posibilidad de alcanzar cada estado absorbente a partir de cualquier estado no absorbente.

Anlisis de las cadenas de Markov Absorbentes.A partir del anlisis de estas cadenas, es posible determinar los siguientes datos:

1) El nmero esperado de pasos antes de que el proceso sea absorbido.2) El nmero esperado de veces que el proceso est en cualquier estado dado no

absorbente.3) La probabilidad de absorcin por cualquier estado absorbente dado.

El primer paso del anlisis es construir una submatriz H de P formada de estados no absorbentes a estados no absorbentes. Luego H da las probabilidades de ir desde cualquier estado no absorbente hasta otro estado no absorbente en un paso exactamente, H2 da las probabilidades de ir desde cualquier estado no absorbente hasta otro estado no absorbente en dos pasos exactamente. H3 da informacin similar para tres pasos, etc. Por lo tanto, Hn da esta misma informacin para n pasos.Para hallar el nmero esperado de pasos antes que el proceso sea absorbido, consiste en calcular el nmero esperado de veces que el proceso puede estar en cada estado no absorbente y sumarlos. Esto totalizara el nmero de pasos antes de que el proceso fuera absorbido y por consiguiente el nmero esperado de pasos hacia la absorcin. Luego:I+H+H2+H3+ .. = (I-H)-1 =Q Por consiguiente Q representa el nmero esperado de perodos que el sistema estar en cada estado no absorbente antes de la absorcin, por lo tanto la suma de cada fila de Q representa el promedio de perodos que transcurren antes de ir a un estado absorbente.

Para hallar la probabilidad de absorcin por cualquier estado absorbente dado, se emplea una lgica similar en el anlisis. Se construye una submatriz G de P formada de estados no absorbente a estados absorbentes y representa la probabilidad de ir de un estado no absorbente a un estado absorbente en un paso exactamente, H.G representa la probabilidad de ir de un estado no absorbente a un estado absorbente en dos pasos exactamente y as sucesivamente. Por lo tanto G+H.G+H2.G+..... =( I+H+H2+H3+ ..).G =(I-H)-1.G = Q.G =R, Y esta matriz representa la proporcin probabilidad en que un estado no absorbente pasa a un estado absorbente.

Nmero de pasos para alcanzar por primera vez un estado determinado en cadenas no absorbentes ( Tiempo de la primera transicin)

Si definimos a fij como el promedio de perodos que transcurre antes de cambiar de un

estado i al estado j por primera vez. Se tiene que

+=jk

kjikij fpf .1 y adems i

ii Sf 1=

Otro mtodo: Consiste en transformar en estado absorbente el estado al cual queremos ir por primera vez, por ejemplo si j es el estado que queremos llegar por primera vez, para ello la matriz P se modifica de manera que el estado j aparezca como estado absorbente y obtener la matriz Q de esta transformacin y por lo tanto = iAiA qf donde A representa el estado absorbente.

Valor Econmico Esperado en un Proceso cadena de Markov.En un proceso de Markov estar en cada estado genera un costo beneficio, por lo tanto el valor econmico esperado se define:

== iiii

i Scfc

CE .)( ,es decir, el valor econmico por la probabilidad del sistema

estabilizado.

PROCESOS DE MARKOVCaractersticas de los Procesos de Markov de Primer Orden:Cadenas de Markov Ergdicas cadenas irreductibles. Propiedades de las Cadenas de Markov.Estados Absorbentes:Anlisis de las cadenas de Markov Absorbentes.