CADENAS DE MARKOV

PROF: ALEJANDRO DE JESUS GOVEA ARIZMENDI

ALUMNO: B ALICIA MARTINEZ QUINONES

ANALISIS DE DECISIONES

CADENAS DE MARKOVCADENAS DE MARKOV

INTRODUCCION :Las cadenas de markov son modelos probabilisticos que se usan para predecir la evolucion y el comportamiento de deteminados sistemas. en el que la probabilidad de que ocurra un evento depende del evento inmediato anterior, se puede decir que estas tienen memoria, recuerdan el ultimo evento y esto condiciona los eventos futurosreciben el nombre del matematico ruso andrei andreevitch markov, que las introdujo en 1907.han llegado a tener tal importancia que se utilizan en muchas aplicaciones

En lo que nos interesa, se ha aplicado para analizar patrones de morosidad, necesidades de personal, preever defectos en maquinaria, etc…

Las cadenas de Markov son herramientas para analizar el comportamiento y gobierno de determinados tipos de procesos estocásticos, esto es, procesos que evolucionan en forma no determinista a lo largo del tiempo en torno a un conjunto de estados. Entonces podemos decir que una cadena de Markov, representa un sistema que varía su estado a lo largo del tiempo y es cada cambio una transición del sistema. Los cambios no están predeterminados aunque si lo está la probabilidad del próximo estado en función de los estados anteriores, a esta probabilidad es constante a lo largo del tiempo. Hablando en particular de las cadenas de Markov finitas, las cuales se caracterizan por tener un número de estados del sistema finitos.

CADENAS DE MARKOV

PROCESO ESTOCASTICO:

En estadística, y en concreto teoría de la probabilidad, un proceso aleatorio o proceso estocástico es un concepto matemático que sirve para caracterizar y estudiar todo tipo de fenómenos aleatorios (estocásticos) que evolucionan, generalmente, con el tiempo.

CONJUNTO DE ESTADOS

DEFINICION DE TRANSICION

PROBABILIDAD CONDICIONAL

ELEMENTOS DE LA CADENA DE MARKOV FINITA

ESTADOS: Caracterización de la situación en que se encuentra el sistema en un instante dado. Formalmente el estado de un sistema en un instante “t” es una variable cuyos valores solo pueden pertenecer al conjunto del sistema.

TRANSICIÓN: El sistema modelizado por una cadena por lo tanto es una variable, que cambia de valor en el tiempo, a este cambio lo llamamos transición.

PROBABILIDAD CONDICIONAL: Por ser el sistema estocástico no se podrá conocer con certeza el estado del sistema en un determinado instante, sino solamente la probabilidad asociada a cada uno de los estados.

Entonces decimos que en la teoría de la probabilidad, se conoce como cadena de Márkov a un tipo especial de proceso estocástico discreto en el que la probabilidad de que ocurra un evento depende del evento inmediatamente anterior.

Cada variable o conjunto de variables sometidas a influencias o impactos aleatorios constituye un proceso estocástico.

Cada una de las variables aleatorias del proceso tiene su propia función de distribución de probabilidad y, entre ellas, pueden estar correlacionadas o no.

Esta dependencia del evento anterior distingue a las cadenas de Márkov de las series de eventos independientes, como tirar una moneda al aire o un dado.

Reciben su nombre del matemático ruso Andrei Andreevitch Markov (1856-1922), que las introdujo en 1907.

EJEMPLOS DE PROCESOS ESTOCASTICOS

SERIE MENSUAL DE VENTAS DE UN PRODUCTO

ESTADO DE UNA MAQUINA AL

FINAL DE C/SEMANA

NO DE CLIENTES ESPERANDO EN

UNA FILA

MARCA DE DETERGENTE QUE

COMPRA EL CONSUMIDOR C/VEZ

QUE COMPRA

NO DE UNIDADES EN

ALMACEN C/SEMANA

Una cadena de Márkov es una secuencia X1, X2, X3,... de variables aleatorias. El rango de estas variables, es llamado espacio estado, el valor de Xn es el estado del proceso en el tiempo n. Si la distribución de probabilidad condicional de Xn+1

en estados pasados es una función de Xn por sí sola, entonces:

Donde xi es el estado del proceso en el instante i. La identidad mostrada es la propiedad de Márkov.

MATRIZ DE TRANSICIONLa forma más cómoda de expresar la ley de probabilidad condicional de una cadena de Markov es mediante la llamada matriz de probabilidades de transición P, o más sencillamente, matriz de la cadena.Dicha matriz es cuadrada con tantas filas y columnas como estados tiene el sistema, y los elementos de la matriz representan la probabilidad de que el estado próximo sea el correspondiente a la columna si el estado actual es el correspondiente a la fila. Como el sistema debe evolucionar de t a alguno de los n estados posibles, las probabilidades de transición cumplirán con la propiedad siguiente:

La Matriz de Transición debe cumplir con las siguientes condiciones:1. La Matriz de Transición debe ser Cuadrara, es decir debe tener el mismo número de columnas como de filas.

2. En ella deben estar contenidos tanto en las filas como en las columnas los mismos Estados o Eventos transitorios.

3. La Suma de los elementos de cada fila debe ser siempre igual a 1, cumpliendo con la teoría de Probabilidades.

4. Cada elemento de la matriz debe ser un número entre 0 y 1.

Además, por definición de probabilidad, cada una de ellas ha de ser no negativa:

Consideremos una población distribuida entre n = 3 estados, que llamaremos estado 1, estado 2 y estado 3. Se supone que conocemos la proporción tij de la población del estado i, que se mueve al estado j en determinado período de tiempo fijo. La matriz T = (tij) se llama matriz de transición.

Supongamos que la población de un país, está clasificada de acuerdo con los ingresos en

 Estado 1:  Pobre   Estado 2: Ingresos medios  Estado 3:  Rico

 Supongamos que en cada período de 20 años tenemos los siguientes datos para la población y su descendencia:

De la gente pobre, el 19% pasó a ingresos medios, y el 1% a rica;De la gente con ingresos medios, el 15% pasó a pobre, y el 10% a rica; De la gente rica, el 5% paso a pobre, y el 30%, a ingresos medios.Podemos armar una matriz de transición de la siguiente manera:

  Estado final: pasa a nuevo estado en 20 años

Estado inicial:   Pobre Medio Rico

Pobre .80 .19 .01

Medio .15 .75 .10

Rico .05 .30 .65

Pobre medio ricoT = Pobre .08 .19 .01 Medio .15 .75 .10 Rico .05 .30 .65Obsérvese que:1) las entradas de la diagonal de la matriz representa la proporción de la población que no cambia de estado en un período de 20 años; 2) un registro de la matriz da la proporción de la población del estado izquierdo del registro que pasa al estado derecho del registro en un período de 20 años. 3) la suma de los registros de cada fila de la matriz T es 1, pues la suma refleja el movimiento de toda la población para el estado relacionado en la parte izquierda de la fila.

OTRA FORMA DE PRESENTAR UN PROCESO Y SU MATRIZ DE TRANSICION

Donde la i representa el estado inicial de una transición, j representa el estado final de una transición, Pij representa la probabilidad de que el sistema estando en un estado i pase a un estado j.

En un país como Colombia existen 3 operadores principales de telefonía móvil como lo son Tigo, Comcel y Movistar (estados).Los porcentajes actuales que tiene cada operador en el mercado actual son para tigo 0.4 para Comcel 0.25 y para movistar 0.35. (Estado inicial)Se tiene la siguiente información un usuario actualmente de tigo tiene una probabilidad de permanecer en tigo de 0.60, de pasar a Comcel 0.2 y de pasarse a movistar de 0.2; si en la actualidad el usuario es cliente de Comcel tiene una probabilidad de mantenerse en Comcel del 0.5 de que esta persona se cambie a tigo 0.3 y que se pase a movistar de 0.2; si el usuario es cliente en la actualidad de movistar la probabilidad que permanezca en movistar es de 0.4 de que se cambie a tigo de 0.3 y a Comcel de 0.3.

PROBALIDAD DE ESTAR EN UN ESTADO DESPUES DE “T”

LA MATRIZ DE TRANSICION SERIA

La suma de las probabilidades de cada estado en este caso operador deben ser iguales a 1

Po= (0.4 0.25 0.35) → estado inicial

METODO GRAFICO :

Ahora procedemos a encontrar los estados en los siguientes pasos o tiempos, esto se realiza multiplicando la matriz de transición por el estado inicial y así sucesivamente pero multiplicando por el estado inmediatamente anterior.

Como podemos ver la variación en el periodo 4 al 5 es muy mínima casi insignificante .Podemos decir que ya se ha llegado al vector o estado estable. http://www.youtube.com/watch?v=rdEVQUv4T3c

APLICACIONES DE LAS CADENAS DE MARKOV:FísicaLas cadenas de Markov son usadas en muchos problemas de la termodinámica y la física estadística. Ejemplos importantes se pueden encontrar en la Cadena de Ehrenfest o el modelo de difusión de Laplace.MeteorologíaSi consideramos el clima de una región a través de distintos días, es claro que el estado actual solo depende del último estado y no de toda la historia en sí, de modo que se pueden usar cadenas de Markov para formular modelos climatológicos básicos.Modelos epidemiológicosUna importante aplicación de las cadenas de Markov se encuentra en el proceso Galton-Watson. Éste es un proceso de ramificación que se puede usar, entre otras cosas, para modelar el desarrollo de una epidemia (véase modelaje matemático de epidemias)..

Internet El pagerank de una página web (usado por Google en sus motores de búsqueda) se define a través de una cadena de Markov, donde la posición que tendrá una página en el buscador será determinada por su peso en la distribución estacionaria de la cadena

SimulaciónLas cadenas de Markov son utilizadas para proveer una solución analítica a ciertos problemas de simulación tales como el Modelo M/M/1.Juegos de azarSon muchos los juegos de azar que se pueden modelar a través de una cadena de Markov. El modelo de la ruina del jugador, que establece la probabilidad de que una persona que apuesta en un juego de azar finalmente termine sin dinero, es una de las aplicaciones de las cadenas de Markov en este rubro.

Economía y Finanzas

Se pueden utilizar en modelos simples de valuación de opciones para determinar cuándo existe oportunidad de arbitraje, así como en el modelo de colapsos de una bolsa de valores o para determinar la volatilidad de precios.

En los negocios, las cadenas de Márkov se han utilizado para analizar los patrones de compra de los deudores morosos, para planear las necesidades de personal y para analizar el reemplazo de equipo.

APLICACIONES ESPECÍFICAS:Dentro de las alternativas de modelización dinámica de las migraciones se encuentran las cadenas de Markov, a partir del trabajo Blumen, Kogan y McCarthy (1955), precursores en la aplicación de cadenas de Markov discretas al estudio de la movilidad social, a lo largo de las décadas 60’s, 70’s y 80’s se produjeron importantes aportaciones, tanto metodológicas como empíricas, en la utilización de cadenas de Markov a fenómenos muy diversos, entre ellos la movilidad ocupacional 1955; cambios en las preferencias de consumidores en 1966, la movilidad geográfica en 1962. Recientemente, ha sido destacada la divulgación de cadenas de Markov en estudios sobre la distribución regional de la renta y la pobreza 1996 y 1999 y en estudios relacionados con los mercados financieros (Betancourt, 1999; Dezzani, 2002).

CONCLUSION:Esta herramienta creada por el matemático ruso “Andrei Markov” en el año 1907, es una mezcla de principios algebraicos y estadísticos para analizar procesos estocásticos, es decir que evolucionan a lo largo del tiempo en un conjunto de estados, forma parte importante en la base para la toma de decisionesEs posible aplicar este principio a campos tan diferentes como la meteorología, astrología, biología y claro esta en las empresas, entre otras muchas áreas, por supuesto.