INTRODUCCIN

Las cadenas de Markov se incluyen dentro de los denominados procesos estocsticos. Dichos estudian el comportamiento de variables aleatorias a lo largo del tiempo X (t,w). Se definen como una coleccin de variables aleatorias {X (t,w), t I}, donde X (t,w) puede representar por ejemplo los niveles de inventario al final de la semana t. El inters de los procesos estocsticos es describir el comportamiento de un sistema e operacin durante algunos periodos. Los procesos estocsticos se pueden clasificar atendiendo a dos aspectos: si el espacio de estados posibles de la variable aleatoria contiene valores discretos o continuos y de si los valores del tiempo son discretos o continuos. Las cadenas de Markov es un proceso estocstico en el que los valores del tiempo son discretos y los estados posibles de la variable aleatoria contienen valores discretos, es decir, es una cadena estocstica de tiempo discreto. Las cadenas de Markov, se clasifican, adems, dentro de los procesos estocsticos de Markov, que son aquellos en el que el estado futuro de un proceso es independiente de los estados pasados y solamente depende del estado presente. Por lo tanto las probabilidades de transicin entre los estados para los tiempos k-1 y k solamente depende de los estados que la variable adquiere dichos tiempos

OBJETIVOS

OBJETIVO GENERAL Desarrollar el modelo de Markov con un caso aplicativo.

OBJETIVOS ESPECFICOS Conocer y familiarizarnos con el modelo de Markov.

Interpretar y contrastar los resultados de modelo de Markov.

Dar a conocer la mejor decisin basndose en los resultados ya obtenidos.

CADENA DE MARKOV

Las cadenas de Markov son unas herramientas para analizar el comportamiento y el gobierno de determinados tipos de procesos estocsticos, esto es, procesos que evolucionan de forma no deterministicas a lo largo del tiempo en torno a un conjunto de estados.Una cadena de Markov, por lo tanto, representa un sistema de varia su estado a lo largo del tiempo, siendo cada cambio una transicin del sistema. Dichos cambios no estn predeterminado, aunque si lo esta la probabilidad del prximo estado en funcin de los estados anteriores, probabilidad que es constante a lo largo del tiempo (sistema homogneo en el tiempo). Eventualmente, en una transicin, el nuevo estado puede ser el mismo que el anterior y es posible que exista la posibilidad de influir en las probabilidades de transicin actuando adecuadamente sobre el sistema (decisin). (EPPEN, GOULD & SCHMIDT; 2000)Reciben su nombre delmatemticorusoAndrei Andreevitch Markov(1856-1922), que las introdujo en1907.

ORIGEN DE LA TEORA MARKOVIANA.Esta teora debe su nombre a Andrei Andreyevich Markov quien naci en San Petersburgo, Rusia, el 14 de Junio de 1856. Estudi matemticas en la Universidad de San Petersburgo y se gradu en el ao 1878. En sus inicios como docente, alrededor del ao 1886, focaliz su trabajo en anlisis y teora del nmero, fracciones continuas, lmite de integrales, teora de aproximacin y la serie de convergencias. Tambin estuvo interesado en la poesa e hizo estudios de los diversos estilos poticos.Estudi, entre otros muchos aspectos, las construcciones lingsticas a partir del clculo matemtico (1913). As, por ejemplo, analiz la produccin literaria del gran poeta ruso Puschkin, llamada Eugene Onieguin, y dedujo que las letras del alfabeto cirlico, como las de cualquier otro alfabeto, iban apareciendo relacionadas con las que las precedan en la escritura. La nueva letra est determinada por la anterior, pero es independiente de la manera en la que aparece respecto de las anteriores.Markov es recordado por su estudio de cadenas secuenciales, que consisten en variables al azar, en las que la variable futura es predeterminada por la preexistente, pero independiente de la manera que sta se gener de sus precursores. Es decir, se trata de un sistema que sufre a lo largo del tiempo cambios de estado o transiciones aleatorias y las probabilidades que describen la forma en que el proceso evolucionar en el futuro, son independientes de los eventos ocurridos en el pasado. El sistema no est desprovisto de memoria en su totalidad, slo guarda informacin del recuerdo ms reciente de su pasado. Es muy importante comentar que su estudio no estuvo basado en un simple anlisis estadstico, sino que intent aplicarlo a la generacin de textos literarios.Las cadenas de Markov se han aplicado en reas diversas, como educacin, comercializacin, servicios de salud, finanzas, contabilidad y produccin, tras los aportes de Norbert Wiener (1923) y Andrei Kolmogorov (1930).

Modelo de MarkovUna modelo de Markov por el nombre de Andrey Markov, es un sistema matemtico que sufre transiciones de un estado a otro, entre un nmero finito o numerable de estados posibles. Se trata de un proceso aleatorio generalmente caracterizado como sin memoria: el siguiente estado depende slo del estado actual y no en la secuencia de acontecimientos que la precedieron. La probabilidad de transicion esta definida asi:

La cual tiene como interpretacion lo siguiente, la propabilidad de estar en el estado j en el tiempo n, dado que se estuvo inicialmente en el estado i en el momento inmediato anterior n-1.La cadena de markov es un proceso estocastico, ya que las variables X1,X2,,Xn puede interpretarse como una sucesin de variables aleatorias cuyas caractersticas pueden variar a lo largo del tiempo.

Ejemplo: Sea Xt la familia de estados del clima, donde X1,X2,,Xn representaran los estados del clima en el da 1, da 2 hasta el da n.

Propiedad de Markov: Se dice que un proceso cumple la propiedad de Markov cuando toda la historia pasada del proceso se puede resumir en la posicin actual que ocupa el proceso para poder calcular la probabilidad de cambiar a otro estado, es decir, se cumple la propiedad siguiente:

Para qu se utiliza?Una de las principales utilidades que tiene el modelo de Markov es establecer las posibilidades de cualquier evento futuro conociendo los eventos pasados. Esto puede y afecta las decisiones que podramos tomar basndonos en la incertidumbre que provocan poseer varios eventos futuros y todos tienen su grado de probabilidad de que sucedan.

Otro de los factores que altera latoma de decisioneses cuando estos posibles eventos futuros se ven alterados con el paso del tiempo, para evitar este acontecimiento existe este modelo el cual tiene la propiedad particular de que las probabilidades que describen la forma en que el proceso evolucionara en el futuro solo dependern del estado actual en que se encuentra el proceso y por lo tanto son independientes de los eventos ocurridos en el pasado.

Esta dependencia del evento anterior distingue a las cadenas de Mrkov de las series de eventos independientes, como tirar una moneda alaireo un dado.

QU TIPO ES?El Modelo de Markov es un tipo de modelo probabilstico que se usa para predecir laevoluciny el comportamiento a corto y a largo plazo de determinadossistemas.

Matriz De Transicin:Una matriz de transicin para una cadena de Markov de n estado es una matriz de n X n con todos los registros no negativos y con la propiedad adicional de que la suma de los registros de cada columna (o fila) es 1. (EPPEN, GOULD & SCHMIDT; 2000)Por ejemplo: las siguientes son matrices de transicin.

Elementos de una cadena de Markov

Un conjunto finito deM estados, exhaustivos y mutuamente excluyentes (ejemplo: estados de la enfermedad) Ciclo de markov (paso): periodo de tiempo que sirve de base para examinar las transiciones entre estados (ejemplo, un mes) Probabilidades de transicinentre estados, en un ciclo (matriz P) Distribucin inicialdel sistema entre los M estados posibles. (HAMDY A. TAHA; 2004)

Procesos estocsticos Una sucesin de observaciones X1, X2, . . se denomina proceso estocstico Si los valores de estas observaciones no se pueden predecir exactamente. Pero se pueden especicar las probabilidades para los distintos valores posibles en cualquier instante de tiempo.

Para cada posible valor del estado inicial s1 y para cada uno de los sucesivos valores sn de los estados Xn, n = 2, 3, . . ., Especicamos:

Tipos de cadenas de markov

Dependiendo del nmero de estados del sistema pueden ser:

FINITAS: Caracterizadas por que la ocurrencia de los eventos terminan en los estados absorbentes.Suelen ocurrir despus de un estado de procesosEjm: en la venta de manzanas, las manzanas terminan siendo vendidas o se pierden por pudricin.

INFINITAS: La ocurrencia de los eventos se considera indeterminado, pero tienden a una situacin de estabilizacin.Ejm: los estados de clima, pueden ser soleado o nublado que ocurre el da a da, las preferencias por canales televisivos.

Definiciones en los Procesos de Markov Estados: Las condiciones en las cuales se encuentra un ente o sucesos posibles.

Ensayos: Las ocurrencias repetidas de un evento que se estudia.

Probabilidad de Transicin: La probabilidad de pasar de un estado actual al siguiente en un perodo o tiempo, y se denota por pij (la probabilidad de pasar del estado i al estado j en una transicin o perodo)

Matriz de transicin (P): Se define como una matriz cuadrada k k cuyos elementos son pij de la siguiente forma:

El elemento en la fila i, columna j, pij = P (Xn = Sj/Xn1 = Si), representa la probabilidad de transicin de un paso.Es una matriz cuadrada cuyos elementos son no negativos y tal que la suma de los elementos de cada fila es igual a 1.

Smbolos utilizados:

1.pij: Probabilidad de cambiar del estado i al estado j.2.P: Matriz formada por los valores de pij (Matriz de transicin).3.Si (t): Probabilidad de encontrarse en el estado i en el periodo t

ESTADOS ABSORBENTES:Un estado se llama absorbente si pik =1, es decir, si una vez que el estado llega a k, permanece ah para siempre.

MODELO MATEMATICO: CADENA INFINITA

S1 (t) + S2 (t) + + Sn (t) = 1 n estados .pi1 + pi2 + + pin = 1

La transicin de un periodo al siguiente se expresa como:S (t + 1) = S (t) PPara el primer periodo : S (1) = S (0) PPara el segundo periodo: S (2) = S (1) P = S (0) P2Para un periodo largo : S = SP

1. MTODO RECURSIVOPara el desarrollo de este mtodo se tiene que tener en cuenta que debemos empezar el ensayo con un estado inicial conocido, es decir que en el tiempo inicial sea da, mes u otro se considere un estado que estamos pasando.Ejm: que hoy nos encontremos en un da soleado, el estado inicial es conocido.

Se debe considerar esta frmula:

S (1) = S (0) PS (2) = S (1) P

Esto indica que la probabilidad de encontrarnos en un estado en el tiempo 1, depende de cmo nos encontremos en el estado inicial, a la cual tenemos que multiplicar por nuestra matriz de transicin y as sucesivamente.

S0 = S1 =

S2 =

2. MATRIZ ESTACIONARIA

Para este caso solo se considera la matriz estacionaria y se trabaja con la definicin de que la probabilidad de encontrarse en un estado final tienden a estabilizarse con respecto a los sucesos anteriores.

La probabilidad condicional P(Xn+1 = sj | Xn = s), de que la cadena estar en el estado sj en el tiempo n + 1 si est en el estado si en el tiempo n se conoce como una probabilidad de transicin. Si para una cadena de Markov esta probabilidad de transicin tiene el mismo valor para todo los tiempos n (n = 1, 2, 3,...) decimos que la cadena tiene probabilidades de transicin estacionarias.

Se considera las siguientes formulas

El proceso de solucin es el siguiente:

Para dar solucin al sistema de ecuacin, depende que mtodo utiliza el analista.

3. rbol Markoviano

Para utilizar este mtodo se tiene que tener en consideracin un estado inicial, despus aplicar el rbol de probabilidades.

Se detallara un ejemplo para mayor comprensin.La probabilidad de que pasado maana est nublado si sabemos que hoy est nublado corresponde entonces a encontrar P(X3 = n | X1 = n).

Para calcular esta probabilidad examinamos los posibles estados del da de maana y las formas de cmo llegar a X3 = n (nublado), vemos esto en el siguiente rbol donde s (soleado):

As la probabilidad que nos interesa se puede calcular como hicimos antes, usando la frmula de probabilidad total:P(X3 = n | X1 = n) = (.6 X .3) + (.4 X .4) = 0.34En trminos de nuestra notacin esto es igual a= (p21 p12) + (p22 p22)= P(X2 = s | X1 = n) P(X3 = n | X2 = s) + P(X2 = n | X1 = n) P(X3 = n | X2 = n).

MODELO MATEMATICO: CADENA FINITA

Es una cadena de Markov para la que existe slo un nmero finito k de estados posibles s1,.sk y en cualquier instante de tiempo la cadena est en uno de estos k estados.Para este caso se considera cantidades iniciales para determinar las cantidades que quedan afectadas por los estados absorbentes, el mtodo de solucin es el siguiente:Paso 1: matriz de transicinSe detalla los estados en proceso y los estados absorbentes.

Paso 2: se coloca smbolos a las matrices formadas despus de separarlos por una lnea vertical y horizontal.

Paso 3: se halla la matriz fundamental

Despus de ello se halla la nueva matriz fundamenta que es as:NF= F.L Como se consider cantidades iniciales en los estados de proceso, solo queda multiplicar eso por la nueva matriz fundamental y de ese modo resulta nuestras cantidades deseadas.

MODELO MATEMATICO: CADENA FINITA

EJEMPLO PRCTICOMETODO RECURSIVOEn un pas como Per existen 3 operadores principales de telefona mvil como lo son Claro, Entel y Movistar (estados).Los porcentajes actuales que tiene cada operador en el mercado actual son para Claro 0.4 para Entel 0.25 y para Movistar 0.35. (Estado inicial)Se tiene la siguiente informacin un usuario actualmente de Claro tiene una probabilidad de permanecer en Claro de 0.60, de pasar a Entel 0.2 y de pasarse a Movistar de 0.2; si en la actualidad el usuario es cliente de Entel tiene una probabilidad de mantenerse en Entel del 0.5 de que esta persona se cambie a Claro0.3 y que se pase a Movistar de 0.2; si el usuario es cliente en la actualidad de Movistar la probabilidad que permanezca en Movistar es de 0.4 de que se cambie a Claro de 0.3 y a Entel de 0.3.a) Elaborar la matriz de transicin.b) Hallar la probabilidad de aceptacin que tiene cada operador en el periodo 5.

RESOLUCION:a) Matriz de transicin.CLAROENTELMOVISTAR

E1CLARO0.60.20.2

E2ENTEL0.30.50.2

E3MOVISTAR0.30.30.4

La suma de las probabilidades de cada estado en este caso operador deben ser iguales a 1

b) Hallar la probabilidad que tiene cada operador en el periodo 5.

Po= (0.40.250.35)estado inicial

Como podemos ver la variacin en el periodo 4 al 5 es muy mnima casi insignificante podemos decir que ya se ha llegado al vector o estado estable.

MATRIZ ESTACIONARIAConforme seguimos con el proceso de Markov, encontramos que la probabilidad de que el sistema est en un estado de particular despus de un gran nmero de periodos es independiente del estado inicial del sistema. Las probabilidades a las cuales nos acercamos despus de un gran nmero de transacciones se conocen como las probabilidades de estado estable. La cual calcularemos a continuacin.

(1) (2) (3) (4)Hallamos los valores de: Si:

Solo se resolver con las ecuaciones (2), (3) y (4), con el METODO DE CRAMER.

0.18

La matriz estacionaria estara dada por los siguientes valores

INTERPRETACIONA la luz de los resultados obtenidos, la telefonia movil, CLARO, presenta mayor porcentaje de de aceptacion por parte de los clientes. CLARO MOVISTAR ENTEL

CONCLUSINES Se ha realizado un estudio marcoviano de eventos infinitos. Se han evaluado los resultados con tre metodos (Mtodo Recursivo, Mtodo estado Estacionario) Los datos escogidos para la toma de decision han sido seleccionados, tomando como refenrencia los datos de la matriz estacionaria. La empresa de telefonia movil con mayor aceptacion en el mercado peruano el CLARO.

RECOMENDACINES Para el dueo de la empresa que desee generar mas utilidades con su nueva inversion debera invertir en un negocio de la telfonia movil, el mas optimo o apropiado, seria invertir en la telefonia movil CLARO, puesto que los calculos realizados con probabilidades, nos da una informacion clara que CLARO, presenta el mayor porcentaje de preferencias por los usuarios en un periodo mes, basndose en los resultados encontrados de la matriz estacionaria

CASO APLICATIVO CADENA FINITA DE MARKOVLa empresa industrial "DIAMANTE S.A" emplea tres tipos de trabajadores: obreros, operarios y supervisores.Cierto ao 10% de los obreros ascienden a operarios y aun 10% se les pide que abandonen la empresa. Durante un ao cualquiera, 5% de los operarios ascienden a supervisores y un 13% se les pide abandonar la empresa. Los obreros deben ascender a operarios antes de ser supervisores. Los trabajadores que no se desempean adecuadamente jams descienden de su categora, permanecen en su nivel o se les pide que abandonen la empresa.Se pide determinar:a)Cul es la probabilidad de que un obrero llegue a supervisor.b)Cul es la probabilidad de que un obrero llegue a renunciar.c)Cul es la probabilidad de que un operario se convierta en supervisor.d)Cul es la probabilidad de que un operario renuncie.Los Estados del Proceso: Ob: Obreros Op: OperariosLos Estados Absorbentes: S: Supervisores D: Despedidos

PASO 1: Identificamos la matriz Absorbente y no absorbente.

PASO 2:Luego de haber identificado la matriz absorbente y no absorbente se procede a restar la matriz Identidadcon la matriz no absorbente de la siguiente manera.

PASO3:Luego se procede a calcular la matriz inversa de la matriz fundamental.A . A-1 = I [I - N] = A

0 0.18 Z W 0 1 0.2 -0.1 X Y 1 0

PASO 4:Para obtener la repuesta multiplicamos la Inversa de la Matriz Fundamental con los datos de la matriz principal (Matriz absorbente).5 2.78 0 0.1 0 5.56 0.05 0.13 F x J0.14 0.86 0.24 0.72

CONCLUSIONES: La probabilidad de que un obrero llegue a ser supervisor es del 14%. La probabilidad de que un obrero llegue a ser despedido es del 86%. La probabilidad de que un operario llegue a ser supervisor es del 28%. La probabilidad de que un operario llegue a ser despedido es del 72%.

RECOMENDACIONES: A la luz de los resultados obtenidos se recomienda a la empresa DIAMANTE S.A, que realice mas charlas y capacitaciones para que no tenga unalto indice de despido de sus obreros.

Se recomienda a la empresa DIAMANTE S.A,que al momento de realizar los contratos de sus operarios tenga mayor criterio y mas cuidado al momento de seleccionarlos,para de esta manera evitar el despido masivo por incopetencia y/o rendimiento.

Se sugiere a la empresa DIAMANTE S.A, que sus capacitaciones a sus obreros sea mas frecuente, para que estos puedan ascender de puesto y lleguen a ser supervisores.

BIBLIOGRAFA

TAHA, Hamdy A. Investigacin de Operaciones, Una Introduccin. 1989. Ediciones Alfaomega, S.A. Mxico. D.F. Mxico.

MONTAO, Agustn. Iniciacin al Mtodo del Camino Crtico. 1972. Editorial Trillas, S.A. Mxico. D.F. Mxico.

MOSKOWITZ, Herbert y Gordon P. Wrigth. Investigacin de Operaciones. 1982. Prentice Hall Hispanoamericana, S.A. Naucalpan de Jurez. Mxico.

Mtodos y modelos de investigacin de operaciones [Libro]/ aut. Juan Prawda Juan Prawda Witenberg.- Mexico: Limusa, 2000.- Vol. I.

Investigacin de operaciones [Libro]/ aut. Taha Hamdy A..- Mexico: Pearson Educacin, 2004.- Vol. Edition: 7.

Mtodos cuantitativos para los negocios [Libro]/ aut. David Ray Anderson Dennis J. Sweeney, Thomas Arthur Williams.- Mexico: Cengage Learning, 2004.