PROCESO ESTOCASTICOS CAPITULO IV

CAPITULO IV

CADENAS DE MARKOV

Una cadena de Markov es una serie de eventos estadsticamente determinados, en la cual la

probabilidad de que ocurra un evento depende del evento inmediato anterior. Estas se dice que

tienen memoria. Es decir, recuerdan el ltimo evento y al mismo tiempo condiciona las

posibilidades de los eventos futuros subsecuentes. sta dependencia del evento anterior distingue

a las cadenas de Markov de las series de eventos independientes.

En 1907, A. A. Markov comenz el estudio de un importante nuevo tipo de cambio de proceso. En

este proceso, el resultado de un experimento dado puede afectar el resultado del prximo

experimento o evento. A este tipo de proceso es llamado Cadena de Markov.

Un sistema de Markov (o proceso de Markov o cadena de Markov) es un sistema que puede ser

en uno de algunos estados (enumerados), y que puede pasar de un estado a otro durante cada

instante de acuerdo a probabilidades determinadas. Si un sistema de Markov est en estado i,

Hay una determinada probabilidad, pij, de ir a estado j el prximo paso, y pij es llamado la

probabilidad de transicin.

Un sistema de Markov puede ser ilustrado por significados de un diagrama de transicin de

estados, que muestra todos los estados y las probabilidades de transicin. La matriz P cuya ijo

entrada pij se llama la matriz de transicin asociada con el sistema. Las entradas en cada rengln

suman en total 1. Por lo tanto, para este caso, una a 2 matriz de transicin P podra ser

representado en la siguiente figura.

PROCESO ESTOCASTICOS CAPITULO IV

Ejemplo

Diagrama de transicin: (Falta de flechas indican la probabilidad cero.)

Matriz de transicin:

Uno de los mtodos usuales para exhibir las probabilidades de transicin de un evento o Estado es

usar una Matriz de Transicin. La cual debe cumplir con las siguientes condiciones:

1. La Matriz de Transicin debe sr Cuadrara, es decir debe tener el mismo nmero de columnas

como de filas.

2. En ella deben estar contenidos tanto en las filas como en las columnas los mismos Estados o

Eventos transitorios.

3. La Suma de los elementos de cada fila debe ser siempre igual a 1, cumpliendo con la teora de

Probabilidades.

4. Cada elemento de la matriz P debe ser un nmero entre cero y 1.

PROCESO ESTOCASTICOS CAPITULO IV

Las aplicaciones de las Cadenas de Markov son muy variadas, ya que describen satisfactoriamente

cualquier tipo de evento estocstico, por lo cual estas son llamadas tambin Estudios de

Comportamiento de un Sistema. Estos durante un perodo dado suele ser llevar al anlisis de un

proceso estocstico con la siguiente estructura. En puntos especficos del tiempo , el sistema se

encuentra exactamente en una de un nmero finito de estados mutuamente excluyentes y

exhaustivos, etiquetados .

Los periodos en el tiempo pueden encontrarse a intervalos iguales o su esparcimiento puede

depender del comportamiento general del sistema en el que se encuentra sumergido el proceso

estocstico. Aunque los estados pueden constituir una caracterizacin tanto cualitativa como

cuantitativa del sistema, no hay prdida de generalidad con las etiquetas numricas

que se usarn en adelante para denotar los estados posibles del sistema. As la representacin

matemtica del sistema fsico es la de un proceso estocstico {Xi}, en donde las variables aleatorias

se observan en y en donde cada variable aleatoria puede tomar el valor de

cualquiera de los enteros . Estos enteros son una caracterizacin de los

estados del proceso.

Ejemplo: (Tierra de Oz).

Acorde a Kennedy, Snell y Thompson, la Tierra de Oz es bendecida por muchas cosas pero no por

un buen clima. Ellos nunca tienes dos buenos das seguidos. Si ellos tienen un buen da,

probablemente tendrn nieve o lluvia al siguiente. Si hay un cambio de lluvia o nieve, solamente la

mitad de las veces es para cambiar a un buen da. Con esta informacin formamos una Cadena de

Markov como la que sigue. Tomando como estados los diferentes tipos de clima R (lluvia), S

(Snow) y N (normal). Con lo anterior se determina la matriz de transicin de probabilidades.

PROCESO ESTOCASTICOS CAPITULO IV

Distribucin de vectores:

Un vector distribucin es un vector regln no negativa con una entrada para cada estado de la

sistema. Las entradas pueden representar el nmero de individuos en cada estado del sistema.

Una vector probabilidad es un vector en la que las entradas son no negativas y agregar hasta 1.

Las entradas en un vector probabilidad pueden representar las probabilidades de encontrar un

sistema de cada uno de los estados.

Si es el vector distribucon inicial y es la matriz de transicon de un sistema de Markov,

entonces la distribucon de vectores a partir del paso 1 es el producto matriz, . La distribucin

un paso ms adelante, obtenido de nuevo a travs de multiplicacin por P, es dado por

. Del mismo, la distribucin despus del paso se puede obtener multiplicando

al derecho por veces, o multiplicando .

Teorema 1. Sea P la matriz de transicin de una Cadena de Markov. La ij-simo entrada de la

matriz da la probabilidad que la Cadena de Markov, comenzando en un estado inicial est

en otro despus de pasos.

Considerando de nuevo el ejemplo anterior de la Tierra de Oz, sabemos que el poder de la matriz

de transicin nos brinda informacin de inters acerca del proceso. Estaremos particularmente

interesados en el estado de la cadena despus de un largo nmero de pasos. Para ello es de gran

utilidad utilizar cualquier programa que permita estos clculos iterativos, entre ellos la hoja de

clculo EXCEL.

Tendremos por ejemplo despus de 6 pasos lo siguiente:

PROCESO ESTOCASTICOS CAPITULO IV

Teorema 2. Sea P la matriz de transicin de una Cadena de Markov y sea u el vector probabilidad

el cual representa la distribucin inicial de cada uno de los estados. Entonces la probabilidad de

que la cadena est en el estado i despus de n pasos es la i-sima en el vector:

Adems de ello, notamos que si queremos examinar el comportamiento de la cadena bajo el

supuesto que comienza en un estado inicial i, simplemente se escoge u siendo este el vector de

probabilidad con la i-sima entrada igual a 1 y todas las otras igual a cero.

PROCESO ESTOCASTICOS CAPITULO IV

Ejemplo:

Sea

P =

0.2 0.8 0

0.4 0 0.6

0.5 0.5 0

y sea una distribucin inicial. A continuacin, la distrubucin despus de un paso se expresa por

vP = [ 100 200 300 ]

0.2 0.8 0

0.4 0 0.6

0.5 0.5 0

= [ 250 230 120 ]

La distribucin un paso ms adelante se expresa por

vP2 = (vP)P

= [ 250 230 120 ]

0.2 0.8 0

0.4 0 0.6

0.5 0.5 0

= [ 202 260 138 ].

Para obtener la matriz 2-pasos de transicin, calculamos

P2 =

0.2 0.8 0

0.2 0.8 0

0.4 0 0.6 0.4 0 0.6

0.5 0.5 0 0.5 0.5 0

=

0.36 0.16 0.48

0.38 0.62 0

0.3 0.4 0.3

As, por ejemplo, la probabilidad de pasar del estado 3 al estado 1 en dos pasos viene dada por la 3,1-entrada en P2, es decir, 0.3.

PROCESO ESTOCASTICOS CAPITULO IV

Ejemplo.

Siguiendo con el ejemplo de la Tierra de Oz, hacer el vector probabilidad inicial u igual

(1/3,1/3,1/3). Entonces podremos calcular la distribucin de los estados despus de tres das

usando el teorema 2 y nuestro clculo previo de P^3, con lo cual obtenemos:

Visualicemos otro claro ejemplo de las aplicaciones de las cadenas de Markov: Teniendo en

cuenta el vector de Estados iniciales que describen el comportamiento de los abonados a las

marcas de telefona celular Movistar, Tigo y Comcel, y la matriz de transicin dada, determine el

estado estable para este sistema, modelando el problema como una cadena de Markov.

Donde:

M: Movistar

T: Tigo

C: Comcel

P0: Perodo inicial

Se establecen los estados en los diferentes cambios de perodo, para ello se utilizar la hoja de

clculo de Excel que facilitar el desarrollo del ejercicio por iteraciones.

PROCESO ESTOCASTICOS CAPITULO IV

Sabemos que el cambio de perodo se determina multiplicando el vector de estado con la matriz

de transicin as:

Tendremos entonces que:

Como podemos apreciar en Estado estable no hay cambios significativos en los resultados entre

perodos, por lo cual siempre permanecern en dicho estado.

Comportamiento a largo plazo de los sistemas de Markov

Si P es una matriz de transicin de un sistema de Markov, y si v es un vector de distribucin con la

propiedad que , entonces nos referimos a v como un vector (distribucin) de estado de

estable.

Para encontrar un vector de estado de equilibrio para un sistema de Markov con matriz de

transicin P, resolvemos el sistema de ecuaciones dados por:

x + y + z + . . . = 1

[x y z . . . ]P =

[x y z . . .]

Donde su uso como muchas incgnitas, ya que hay estados en el sistema de Markov. Una costante

vectorial de estado de probabilidades se da entonces por

v = [x y z . . . ]

PROCESO ESTOCASTICOS CAPITULO IV

Tendremos a partir del vector de perodos como incgnitas y la matriz de transicin dada que:

Multiplicando ambas matrices nos quedar el siguiente sistema:

Sumado a estas se consigna la sumatoria de las 3 incgnitas a partir de la teora de la probabilidad,

esto es:

Tendremos entonces un sistema de ecuaciones 4x3 que puede ser resuelto por cualquier mtodo.

Utilizando Excel tendremos que:

Como podemos apreciar se ha conseguido el estado estable directamente sin iterar. Este es otro

mtodo para hallar dicho estado.

PROCESO ESTOCASTICOS CAPITULO IV

Sistemas absorbentes de Markov

Un estado absorbente en un sistema de Markov es un estado a partir de la cual existe cero

probabilidades de salir. Un sistema absorbente de Markov es un sistema de Markov que contiene

al menos un estado absorbente, tal que es posible llegar a un estado absorbente despus de algn

nmero de etapas comenzando en cualquier estado no absorbente.

En el anlisis de los sistemas absorbentes, enumeramos los estados en tal manera que los estados

absorbentes son los ltimos. La matriz de transicin de un sistema absorbente entonces se ve

como sigue:

P =

N

R

0

I

Aqu I est la matriz unidad m m (m = nmero de estados absorbentes), N es una matriz cuadrada

(n-m) (n-m) (n = nmero total de estados, de modo n-m = el nmero de estados absorbentes), 0

es un matriz cero y R es un matriz (n-m) m.

La matriz N es la matriz de transicin para la circulacin entre los estados de absorcin. La matriz

fundamental para el sistema absorbente es

Q = (I-N)-1.

Entre los conceptos ms importantes tenemos lo que se conoce como estados Recurrentes que

son aquellos que si despus de haber entrado, el proceso definitivamente regresar a este. Por

consiguiente un Estado es Recurrente si y slo si no es transitorio. Adems, ya que un estado

Recurrente ser visitado de nuevo de cada visita, podra ser visitado un nmero infinito de veces si

el proceso contina por siempre. Si el proceso entra a cierto estado y permanece en este estado al

siguiente paso, se considera un regreso a este estado. Entonces, el siguiente tipo de estado se

considera un tipo especial de estado recurrente, el Estado Absorbente.

Un estado se llama Absorbente, si despus de haber estado en l, el proceso nunca saldr de este.

Por consiguiente, el estado i es un estado absorbente si y slo si Pij=1.

PROCESO ESTOCASTICOS CAPITULO IV

Ejemplo:

Almacenes Juanchis vende partes de automviles y camiones a empresas que cuentan con flotas.

Cuan las empresas compran a Juanchis se le dan 3 meses para pagar si las cuentas no se saldan en

ese perodo, Juanchis cancela la cuenta, la remite a una agencia de cobranzas y da por terminadas

las transacciones. Por lo tanto Juanchis clasifica sus cuentas en nuevas, de un mes de retraso, de

dos meses de retraso, de tres meses de retraso, pagadas e incobrables. Juanchis investig sus

antiguos recursos y descubri que:

a) 70% de las cuentas nuevas se pagan en un mes.

b) 60% de las cuentas de 1 mes de retraso se liquidan al final de mes.

c) 50% de las cuentas con 2 meses de retraso se pagan al final de ese ltimo mes.

d) 60% con 3 meses de retraso se remiten a una agencia de cobranza.

1. Forme la matriz de transicin con estos datos.

2. Cul es la probabilidad de una que una cuenta nueva se liquide?

3. Cul es la probabilidad de que una cuenta con 1 mes de retraso se convierta en incobrable?

4. En cuntos meses debe esperar Juanchis para que un cliente nuevo promedio liquidara su

cuenta?

5. Si las ventas de Juanchis son en promedio US$125000/mes, cunto dinero se aceptara como

deuda incobrable al mes y cada ao?

En primera instancia se plantea a continuacin la matriz:

Se debe ahora considerar las matrices absorbente y no absorbe, as como la identidad

Adems de ello, se debe tener en cuenta, que la matriz (I N)

PROCESO ESTOCASTICOS CAPITULO IV

A partir de la anterior matriz podemos hallar la matriz fundamental para conseguir las

probabilidades, para esto hallamos la matriz inversa de (I - N)-1 por la matriz absorbente,

obteniendo las probabilidades de ocurrencia de cada estado contenido en la matriz de no

absorbente.

Ahora multiplicamos por la matriz absorbente as:

Con lo cual obtenemos las probabilidades para cada uno de los estados para llegar a cada uno de

los estados absorbentes:

2. La probabilidad de que una cuenta nueva se liquide es 96%.

3. La probabilidad de que una cuenta de 1 mes de retraso se convierta en incobrable es 12%.

4. El tiempo que se espera para que un cliente nuevo promedio liquidara su cuenta est dado por

la suma de las probabilidades de la matriz (N - I) inversa, correspondiente a la primera fila. Esto es:

PROCESO ESTOCASTICOS CAPITULO IV

Sumando tendremos que este tiempo en meses es 1+ 0.3 + 0.12 + 0.06 = 1.48 meses.

5. El dinero que se aceptar como deuda incobrable es de:

Calcular el valor esperado del nmero de pasos hasta la absorcin: Para obtener informacin

sobre el tiempo de absorcin en un sistema absorbente de Markov, en primer lugar se calcula la

matriz fundamental Q. El nmero de veces, a partir del estado i, que se espera visitar el estado j

antes de absorcin es la ijo entrada de Q.

El nmero esperado total de pasos antes la absorcin es igual a la suma de los nmeros de visitas

que se espera a hacer a todos los estados no absorbentes. Esta es la suma de todas las entradas

del io regln de Q.

El producto QT da las probabilidades de terminar en los distintos estados absorbentes. Por

ejemplo, si el io regln de QT es [x y z t], entonces, a partir de estado i, hay una probabilidad de

x en terminar en el primer estado de absorcin, y una probabilidad de y en terminar en el segundo

estado de absorcin, y as sucesivamente.

Ejemplo

Diagrama de transicin: (Estados 3 y 4 estn absorbiendo. Desapareciendo flechas indican la probabilidad cero.)

PROCESO ESTOCASTICOS CAPITULO IV

Matriz:

[

]

Q = (I-S)-1 =

0.75 0

-1

-0.2 0.8

=

4/3 0

1/3 5/4

As, por ejemplo, el nmero de veces, a partir del estado 2, que se espera visita estado 1 antes de

la absorcin es el entrada (2,1) de Q. Pues es igual a 1/3 aquel entrada, si se inicia en el estado 2,

se puede esperar visitar estado1 1/3 veces antes de la absorcin.

El producto QT es

QT =

2/3 1/3

1/6 5/6

Pues la segunda fila es [1/6 5/6], significa que, a partir del estado 2, hay una probabilidad de 1/6

de llegar en el primero estado de absorcin (Estado 5), y en una probabilidad de 5/6 de llegar en el

segundo estado de absorcin (Estado 6).

N R

0 I

PROCESO ESTOCASTICOS CAPITULO IV

PROBLEMAS PROPUESTOS:

1. El departamento de estudios de mercado de una fbrica estima que el 20% de la gente que

compra un producto un mes, no lo comprar el mes siguiente. Adems, el 30% de quienes no

lo compren un mes lo adquirir al mes siguiente. En una poblacin de 1000 individuos, 100

compraron el producto el primer mes. Cuntos lo comprarn al mes prximo? Y dentro de

dos meses?

2. En una poblacin de 10,000 habitantes, 5000 no fuman, 2500 fuman uno o menos de un

paquete diario y 2500 fuman ms de un paquete diario. En un mes hay un 5% de probabilidad

de que un no fumador comience a fumar un paquete diario, o menos, y un 2% de que un no

fumador pase a fumar ms de un paquete diario. Para los que fuman un paquete, o menos,

hay un 10% de probabilidad de que dejen el tabaco, y un 10% de que pasen a fumar ms de

un paquete diario. Entre los que fuman ms de un paquete, hay un 5% de probabilidad de

que dejen el tabaco y un 10% de que pasen a fumar un paquete, o menos. Cuntos

individuos habr de cada clase el prximo mes?

3. En un pueblo, al 90% de los das soleados le siguen das soleados, y al 80% de los das nublados le

siguen das nublados. Con esta informacin modelar el clima del pueblo como una cadena de Markov.

4. El ascensor de un edificio con bajo y dos pisos realiza viajes de uno a otro piso. El piso en el que finaliza

el viaje n-simo del ascensor sigue una cadena de Markov. Se sabe que la mitad de los viajes que

parten del bajo se dirigen a cada uno de los otros dos pisos, mientras que si un viaje comienza en el

primer piso, slo el 25% de las veces finaliza en el segundo. Por ltimo, si un trayecto comienza en el

segundo piso, siempre finaliza en el bajo. Se pide:

a. Calcular la matriz de probabilidades de transicin de la cadena

b. Dibujar el grfico asociado.

c. Cul es la probabilidad de que, a largo plazo, el ascensor se encuentre en cada uno de los tres

pisos?.

5.