Introducción

Las cadenas de markov son modelos probabilísticos que se usan para predecir la evolución y el comportamiento a corto y a largo plazo de determinados sistemas.

Ejemplos: reparto del mercado entre marcas; dinámica de las averías de máquinas para decidir política de mantenimiento; evolución de una enfermedad,…

1. Definición de Cadena de Markov

• Una Cadena de Markov (CM) es:

• Un proceso estocástico

• Con un número finito de estados (M)

• Con probabilidades de transición estacionarias

• Que tiene la propiedad markoviana

1

Un conjunto finito de M estados, exhaustivos y mutuamente excluyentes (ejemplo: estados de la enfermedad)

Ciclo de markov (“paso”) : periodo de tiempo que sirve de base para examinar las transiciones entre estados (ejemplo, un mes)

Probabilidades de transición entre estados, en un ciclo (matriz P)

Distribución inicial del sistema entre los M estados posibles

ELEMENTOS DE UNA CADENA DE MARKOV

2

CONCEPTO DE CADENAS CONCEPTO DE CADENAS ABSORBENTESABSORBENTES

Cadenas absorbentes• Una cadena de Markov con espacio de estados finito se dice

absorbente si se cumplen las dos condiciones siguientes:

1. La cadena tiene al menos un estado absorbente.2. De cualquier estado no absorbente se accede a algún estado absorbente.

• Si denotamos como A al conjunto de todos los estados absorbentes y a su complemento como D, tenemos los siguientes resultados:

• Su matriz de transición siempre se puede llevar a una de la forma donde la submatriz Q corresponde a los estados del conjunto D, I es la matriz identidad, 0 es la matriz nula y R alguna submatriz.

no importa en donde se encuentre la cadena, eventualmente terminará en un estado absorbente.

3

Comportamiento a largo plazo de las Cadenas de Markov: el caso de las cadenas absorbentes

4

• CM absorbente:CM absorbente:– Tiene al menos un estado absorbenteTiene al menos un estado absorbente– Desde cualquier estado no absorbente se puede Desde cualquier estado no absorbente se puede

acceder a algún estado absorbenteacceder a algún estado absorbente

• A largo plazo, termina en absorción con A largo plazo, termina en absorción con probabilidad 1probabilidad 1

• Interesa calcular:Interesa calcular:– Probabilidad de absorción por cada estado Probabilidad de absorción por cada estado

absorbenteabsorbente– Numero esperado de pasos antes de la absorciónNumero esperado de pasos antes de la absorción

Comportamiento a largo plazo de las Cadenas de Markov: el caso de las cadenas absorbentes

5

(n)

(n)

Podemos considerar fij(n) para (n=1,2,..) como la función de

probabilidad de la variable aleatoria tiempo de primera pasada

Una vez que el proceso se encuentra en el estado i no lo abandona

Una vez que el proceso se encuentra en el estado i existe una prob.>0 de no regresar

Tipos de estados y Cadenas de Markov6

CADENAS CADENAS ABSORBENTESABSORBENTES

• VEAMOS UNA CADENA ABSORBENTE DE VEAMOS UNA CADENA ABSORBENTE DE MARKOV: MARKOV:

• SI COMENZAMOS EN UN ESTADO SI COMENZAMOS EN UN ESTADO TRANSITORIO ENTONCES AL FINAL TRANSITORIO ENTONCES AL FINAL TENDREMOS LA SEGURIDAD DE DEJAR TENDREMOS LA SEGURIDAD DE DEJAR EL ESTADO TRANSITORIO Y TERMINAR EL ESTADO TRANSITORIO Y TERMINAR EN UNO DE LOS ESTADOS EN UNO DE LOS ESTADOS ABSORBENTES. ABSORBENTES.

• PARA VER POR QUE NOS INTERESAN PARA VER POR QUE NOS INTERESAN LAS CADENAS ABSORBENTES, LAS CADENAS ABSORBENTES, DESCRIBIREMOS LAS SOGUIENTES DOS:DESCRIBIREMOS LAS SOGUIENTES DOS:

7

EJEMPLO:EJEMPLO:Cuenta por cobrar. El estado cuenta por cobrar en una empresa se modela con frecuencia como cadena de markov. Suponga que una empresa supone que una cuenta es incobrable si se ha pasado mas de tres meses de su fecha de vencimiento. Entonces al principio de cada mes, se puede clasificar cada cuenta en uno de los siguientes estados específicos.Estado 1. cuenta nuevas.

Estado 2. Los pagos e la cuenta están retraso un mes.

Estado 3.Los pago de la cuenta están retrasado por dos meses.

Estado 4.Los pago de la cuenta están retrasado por tres meses.

Estado 5.Se ha saldado la cuenta.

Estado 6. SE ha cancelado la cuenta por ser mal pagador.

Supóngase que los últimos gastos indican que la siguiente cadena de markov describe como cambia el estado de una cuenta de un mes al siguiente.

Nueva 1 mes 2 meses 3 meses pagada incobralesnuevas 0 0.6 0 0 0.4 01 mes 0 0 0.5 0 0.5 02 meses 0 0 0 0.4 0.6 03 meses 0 0 0 0 0.7 0.3pagada 0 0 0 0 1 0incobrable 0 0 0 0 0 1

Por ejemplo , si al principio de un mes una cuenta lleva dos meses de vencida hay 40% de probabilidad de que no se page al principio del mes siguiente y , por lo tanto, que tenga tresmeses de retraso y una probabilidad de 60% de que paguen.

Nueva 1 mes 2 meses 3 meses pagada incobralesnuevas 0 0.6 0 0 0.4 01 mes 0 0 0.5 0 0.5 02 meses 0 0 0 0.4 0.6 03 meses 0 0 0 0 0.7 0.3pagada 0 0 0 0 1 0incobrable 0 0 0 0 0 1

0 0.6 0 0 0.4 0Q = 0 0 0.5 0 R= 0.5 0

0 0 0 0.4 0.6 00 0 0 0 0.7 0.3

0 -0.6 0 00 0 -0.5 0

I -Q = 0 0 0 -0.40 0 0 0

1 -0.6 0 0 1 0 0

0 1 -0.5 0 0 1 0 R1+R4 I- Q 1

0 0 1 -0.4 1 0 00 0 0 1 0 0 1

1 -0.6 0 0 1 0

0

0 1 -0.5 0 0 1 0 (-1)R20 0 1 -0.4 1 0 01 -0.6 0 1 1 0 1

1 -0.6 0 0 1 0 00 -1 0.5 0 0 -1 0 (.6)R2+R10 0 1 -0.4 1 0 01 -0.6 0 1 1 0 1 (-1)R3+R4

1 -1.2 0.3 0 1 -0.6 00 -1 0.5 0 0 -1 0 (-1/4)R40 0 1 -0.4 1 0 01 -0.6 -1 1.4 0 0 1

1 -1.2 0.3 0 1 -0.6 00 -1 0.5 0 0 -1 00 0 1 -0.4 1 0 0 R4+R1

0.25 -0.15 - 1/4 0.35 0 0 1/4 (-1)R3+R2R3/.35

1 0.6 0.55 0.35 1 0.06 1/40 1 0.7 4 0 1 1/40 0 1 0.4 1 0 10 0.42 0.71 1 0 0 1/4

Para contestar las pregunta 1 a 3 necesitamos calcular.

1 0.6 0.55 0.35 0.4 0

0 1 0.7 4 R= 0.5 0 I - Q-1 R = 0 0 1 0.4 0.6 0 =

0 0.42 0.71 1 0.7 0.3

0.964 0.36(I-Q)-1 R = 0.94 0.6

0.88 0.120.7 0.3

1. t1 = Nueva a1 pagada probabilidad de una cuenta nueva se pague es el elemento 1,1 de (I-Q)-1 R = .9642. t2 = 1 mes a2 incobrable la probabilidad que una cuenta atrasada un mes vuelva incobrable es el elemento 2,2 de (I-Q)-1 =0.603. de la respuesta 1 solo el 3.6% de toda las deuda son incobrablecomo las deuda totales del año son 1200 000 dólares en promedio

-0.33(1200000) = 43,200 dolares seran inpagable al año