anlisisdemarkov-101102151159-phpapp01.pdf
10
Análisis de Markov Dr. Alejandro Domínguez, [email protected] N N N O O O T T T A A A S S S D D D E E E C C C L L L A A A S S S E E E : : : A A A N N N Á Á Á L L L I I I S S S I I I S S S D D D E E E M M M A A A R R R K K K O O O V V V 1 1 1 I I I N N N T T T R R R O O O D D D U U U C C C C C C I I I Ó Ó Ó N N N El análisis de Markov (AM)se originó con los estudios (1906-1907) de A. A. Markov sobre la secuencia de experimentos conectados en cadena, y con los intentos de describir matemáticamente el fenómeno físico denominado “movimiento browniano”. La primera construcción matemática correcta de un proceso de Markov con trayectorias continuas la formuló Norbert Wiener en 1923. La teoría general del AM se desarrolló en las décadas de 1930’s y 1940’s por A. A. Kolmogorov, W. Feller, W. Doeblin, P.Levy, J. L. Doob, y otros. El AM es un procedimiento que se puede utilizar para describir el comportamiento de un sistema en una situación dinámica. Específicamente, describe y predice los movimientos de un sistema entre los diferentes estados posibles con el paso del tiempo. El AM hace predicciones del tipo: la probabilidad de encontrar un sistema en un estado particular en cualquier instante dado, las probabilidades de cada estado a la larga (equilibrio), etc. 1 Curso impartido en la Universidad Politécnica de Cartagena, Cartagena, Murcia, España. Noviembre de 2000.
-
Upload
maynor-salgado -
Category
Documents
-
view
10 -
download
0
Transcript of anlisisdemarkov-101102151159-phpapp01.pdf
Análisis de Markov
Dr. Alejandro Domínguez, [email protected]
NNNOOOTTTAAASSS DDDEEE CCCLLLAAASSSEEE:::
AAANNNÁÁÁLLLIIISSSIIISSS DDDEEE MMMAAARRRKKKOOOVVV111
IIINNNTTTRRROOODDDUUUCCCCCCIIIÓÓÓNNN
El análisis de Markov (AM)se originó con los estudios (1906-1907) de A. A.
Markov sobre la secuencia de experimentos conectados en cadena, y con los
intentos de describir matemáticamente el fenómeno físico denominado
“movimiento browniano”.
La primera construcción matemática correcta de un proceso de Markov con
trayectorias continuas la formuló Norbert Wiener en 1923.
La teoría general del AM se desarrolló en las décadas de 1930’s y 1940’s por
A. A. Kolmogorov, W. Feller, W. Doeblin, P.Levy, J. L. Doob, y otros.
El AM es un procedimiento que se puede utilizar para describir el
comportamiento de un sistema en una situación dinámica. Específicamente,
describe y predice los movimientos de un sistema entre los diferentes estados
posibles con el paso del tiempo.
El AM hace predicciones del tipo: la probabilidad de encontrar un sistema
en un estado particular en cualquier instante dado, las probabilidades de
cada estado a la larga (equilibrio), etc.
1 Curso impartido en la Universidad Politécnica de Cartagena, Cartagena, Murcia, España. Noviembre de
2000.
Análisis de Markov
Dr. Alejandro Domínguez, [email protected]
Este tipo de predicciones don de gran valor para la dirección de sistemas
(movimientos de personal, inventarios, comportamiento de clientes, etc.)
PPPRRROOOCCCEEESSSOOOSSS DDDEEE MMMAAARRRKKKOOOVVV
Un proceso de Markov o markoviano (PM) está formado por un conjunto de
objetos y un conjunto de estados tales que:
En cualquier momento cada objeto deberá encontrarse en uno de los
estados (diferentes objetos no necesariamente deberán estar en
diferentes estados
La probabilidad de que un objeto cambie de un estado a otro (el cual
puede ser el mismo que el primer estado) durante un periodo, depende
sólo de estos dos estados
El número entero de periodos transcurridos desde el momento en que el
proceso se inicia, representa las etapas del proceso, las cuales pueden ser
finitas o infinitas.
Si el número de estados es finito o infinito contable, el PM es una cadena de
Markov (CM).
Una CM finita (CMF) es aquella que tiene un número finito de estados.
Una CM infinita (CMI) es aquella que tiene un número infinito de estados.
Resumiendo, se tiene la siguiente:
Definición
Una CMF es una secuencia de n experimentos en la que cada experimento
consta de m resultados o estados posibles mEEE ,,, 21 y la probabilidad de
Análisis de Markov
Dr. Alejandro Domínguez, [email protected]
que ocurra un resultado particular depende únicamente de la probabilidad del
resultado del experimento anterior.
La probabilidad de transición ijp es la probabilidad de que el experimento
pase del estado iE al estado jE .
Así, ijp es una probabilidad condicional que se puede expresar como
mjiEEPp jiij ,1 ; .
Si los índices ji, de ijp representan el número de renglón y el número de
columna, respectivamente, entonces las probabilidades de transición se pueden
colocar en una matriz P de probabilidades de transición, cuyos elementos son
no negativos y menores o iguales a 1; i.e.,
mmm
m
pp
pp
P
1
111
.
Cada elemento de P representa la probabilidad de pasar de un estado a
otro.
En resumen: una matriz de transición es una matriz cuadrada cuyos
elementos son no negativos y que, en ella, los elementos de cualquier
renglón suman uno.
En general cualquier matriz M cuyos elementos son no negativos y donde la
suma de los elementos en cada renglón recibe matriz estocástica o matriz de
probabilidad.
Por lo tanto, una matriz de transición es una matriz estocástica cuadrada.
Análisis de Markov
Dr. Alejandro Domínguez, [email protected]
EEEJJJEEEMMMPPPLLLOOO::: EEESSSTTTAAABBBIIILLLIIIDDDAAADDD FFFAAAMMMIIILLLIIIAAARRR
Los datos del censo dividen a las familias en económicamente estables y
económicamente deprimidas. Durante un periodo de 10 años:
La probabilidad de que una familia estable permanezca estable es de
0.92
La probabilidad de que una familia estable se vuelva deprimida es de
0.08
La probabilidad de que una familia deprimida se vuelva estable es de
0.03
La probabilidad de que una familia deprimida permanezca deprimida es
de 0.93
Definir la matriz de transición.
Solución
Si se denota la estabilidad económica como estado 1 y la depresión económica
como estado 2, entonces el modelo para este proceso puede plantearse como
una CM de dos estados, con matriz de transición
97.003.0
08.092.0P .
VVVEEECCCTTTOOORRREEESSS DDDEEE DDDIIISSSTTTRRRIIIBBBUUUCCCIIIÓÓÓNNN
Se denota con n
ip , a la proporción de objetos en el estado i al final del n -
ésimo periodo o ensayo y se designa con
n
m
nnn pppX ,,, 21 .
Análisis de Markov
Dr. Alejandro Domínguez, [email protected]
al vector de distribución para el final del n-ésimo periodo.
De acuerdo con esto,
00
2
0
1
0 ,,, mpppX
representa la proporción de objetos en cada estado al inicio del proceso; es
decir, es la probabilidad de estar en un estado particular al empezar el
proceso.
En otras palabras, oX :
Es un vector renglón cuyos elementos son no negativos y donde la
suma de los elementos es uno
Es un vector estocástico en forma de renglón
EEEJJJEEEMMMPPPLLLOOO::: MMMEEERRRCCCAAADDDOOO DDDEEE CCCOOONNNSSSUUUMMMOOO
El fabricante de dentífrico Brillo controla actualmente 60% del mercado de
una ciudad. Datos del año anterior muestran que
88% de consumidores de Brillo continúan utilizándola, mientras que el
12% de los usuarios de Brillo cambiaron a otras marcas
85% de los usuarios de la competencia permanecieron leales a estas
otras marcas, mientras que el 15% cambió a Brillo
Definir la matriz de transición y el vector inicial de distribución.
Solución
La formulación de este problema como una CM es como sigue.
Se considera como estado 1 al consumo de dentífrico Brillo y al estado 2
como el consumo de una marca de la competencia. Entonces,
Análisis de Markov
Dr. Alejandro Domínguez, [email protected]
11p , probabilidad de que un consumidor de Brillo permanezca leal a
Brillo, es 0.88
12p , la probabilidad de que un consumidor de brillo cambie a otra
marca, es de 0.12
21p , probabilidad de que el consumidor de otra marca cambie a brillo,
es de 0.15
22p , probabilidad de que un consumidor permanezca leal a la
competencia, es de 0.85
Así, la matriz de transición es:
85.015.0
12.088.0P .
El vector inicial de distribución de probabilidad es
40.0,60.00 X ;
donde los componentes 60.00
1 p y 40.00
2 p representan las proporciones de
personas inicialmente en los estados 1 y 2, respectivamente.
EEEJJJEEEMMMPPPLLLOOO::: PPPRRROOOGGGRRRAAAMMMAAA DDDEEE EEENNNTTTRRREEENNNAAAMMMIIIEEENNNTTTOOO
El programa de entrenamiento para los supervisores de producción de cierta
compañía contiene dos fases, la primera seguida de la segunda:
La fase 1, que incluye 3 semanas de trabajo en el aula
La fase 2, consistente de un programa de aprendizaje de tres semanas
bajo la supervisión de los supervisores ya trabajando
De la experiencia pasada, la compañía espera que:
Análisis de Markov
Dr. Alejandro Domínguez, [email protected]
El 60% de aquellos que inician el entrenamiento en el aula logren pasar
a la fase de aprendizaje
El restante 40% que abandona completamente el programa de
entrenamiento
De aquellos que pasan a la fase de aprendizaje:
El 70% se gradúan como supervisores
El 10% deberán repetir la segunda fase
El 20% quedan completamente fuera del programa
¿Cuántos supervisores la compañía puede esperar de su programa a actual de
entrenamiento, si hay 45 personas en la fase de aula y 21 personas en la fase
de aprendizaje?
Solución
La formulación de este problema como una CM es como sigue.
Se considera un periodo de tres semanas y se definen los estados 1 a 4,
respectivamente, como las condiciones de:
Estado 1: quedar fuera
Estado 2: ser entrenado en el aula
Estado 3: ser aprendiz
Estado 4: ser supervisor.
Si se considera que las personas que quedan excluidas nunca vuelven a entrar
al programa de entrenamiento y que los supervisores quedan como
supervisores, entonces las probabilidades de transición están dadas por la
matriz
Análisis de Markov
Dr. Alejandro Domínguez, [email protected]
0000
7.01.002.0
06.004.0
0001
P .
Hay 45 21 = 66 actualmente en el programa de entrenamiento, de manera
que el vector de probabilidad inicial es:
0,
66
21,
66
45,00X .
RRREEELLLAAACCCIIIÓÓÓNNN EEENNNTTTRRREEE LLLOOOSSS VVVEEECCCTTTOOORRREEESSS DDDEEE
DDDIIISSSTTTRRRIIIBBBUUUCCCIIIÓÓÓNNN IIINNNIIICCCIIIAAALLL YYY FFFIIINNNAAALLL
Si al vector de distribución inicial 0X se le aplica la matriz de transición P ,
entonces se obtiene la distribución de probabilidad después de una
observación, 1X ; es decir
PXX 01 .
Si ahora a 1X se le aplica la matriz de transición P , se obtiene la distribución
de probabilidad después de la segunda observación, 2X ; es decir,
200012 PXPPXPPXPXX .
Continuando con este proceso, se obtiene el siguiente resultado para la n -
ésima observación:
Teorema
En una CM, la distribución de probabilidad después de n observaciones es
nn PXX 0
donde nP es la n -ésima potencia de la matriz de transición P y 0X es la
distribución inicial de probabilidad.
Análisis de Markov
Dr. Alejandro Domínguez, [email protected]
De este resultado, se puede deducir el siguiente
Teorema
Si P es la matriz de transición de una CM, entonces los elementos n
ijp de nP (
n -ésima potencia de P ) proporcionan las probabilidades de pasar del estado
iE al estado jE en n etapas, para toda i ó j .
De esta forma, se puede observar que la probabilidad ijp se identifica con la
proporción de objetos en el estado i que realizan la transición al estado j
durante un periodo.
EEEJJJEEEMMMPPPLLLOOO::: CCCEEENNNSSSOOO DDDEEE PPPOOOBBBLLLAAACCCIIIÓÓÓNNN
En el último censo se obtuvieron los siguientes datos con respecto a una
ciudad. Cada año:
El 7% de los residentes de la ciudad se mudaron a los suburbios
El 1% de la gente de los suburbios se mudó a la ciudad
Suponiendo que el número total de personas se mantiene constante,
determinar la distribución de probabilidad de los residentes de los suburbios y
de la ciudad después de 5 años (es decir, después de 5 observaciones) en el
caso de que la distribución inicial de probabilidad es que el 85% residen en la
ciudad y el 15% residen en los suburbios.
Solución
El porcentaje de mudanzas se puede considerar como la probabilidad de tales
cambios.
Análisis de Markov
Dr. Alejandro Domínguez, [email protected]
Este problema se puede expresar como una secuencia de experimentos en la
que cada uno mide la proporción entre el número de personas que residen en
la ciudad y los que residen en los suburbios.
Según las probabilidades dadas para la mudanza, suponer que n representa
esta proporción después de n años.
La proporción de 1n después de 1n años dependerá únicamente del valor
de n y no de los valores que preceden a n .
Así se tiene un experimento que se puede representar como una CM.
La distribución inicial de probabilidades para este sistema es
15.0,85.00 X .
La matriz de transición es
99.001.0
07.093.0P .
Para encontrar la distribución de probabilidad después de 5 años, es necesario
calcular 5P . Este resultado es
5
22
5
21
5
12
5
115
9574.00426.0
2983.07017.0
pp
ppP .
Aquí 5
ijp (para 2,1, ji ) es la probabilidad de pasar del estado i al estado j
en 5 etapas consecutivas.
Así, la distribución de probabilidad después de 5 años es
3972.0,6028.0505 PXX .
Entonces, después de 5 años, el 60.28% de los residentes viven en la ciudad y
el 38.72% viven en los suburbios.
