7/21/2019 Resumen Sistemas Markov

1/3

Pgina PrincipalTodo para

Matemticas Finitas

Todo para Clculo

AplicadoTodo Resumen de Temas Tutoriales En Lnea Utilidades En Lnea

Tema anterior Tema siguiente Ejercicios de repaso Webmaster Libro de Texto Take me to the English page

finitas sistemas markov

Herramientas:Herramienta de lgebra de matriz| Simulacin del procesos de Markov| Herramienta para procesos Markov Process

Tpicos:Sistemas de Markov, Diagramas de transiciones de estados, matriz de transicin| Vectores de distribucin y potencias de la matriz de transicin|Comportamiento de largo plazo de sistemas de Markov| Sistemas absorbentes de Markov| Calcular el valor esperado del nmero de pasos hasta la absorpcin

Sistemas de Markov, Diagramas de transiciones de estados,

matriz de transicin

Unsistema de Markov(o proceso de Markovo cadena de Markov) es unsistema que puede ser en uno de algunos estados(enumerados), y que puede

pasar de un estado a otro durante cada instantede acuerdo a probabilidadesdeterminadas.

Si un sistema de Markov est en estado i, Hay una determinada probabil idad,pij, de ir a estadojel prximo paso, ypijes llamado la probabilidad detransicin.

Un sistema de Markov puede ser ilustrado por significados de un diagrama de

transicion de estados, que muestra todos los estados y las probabil idades detransicin. (Ver el ejemplo opuesto.)

La matriz Pcuya ijoentrada pijse llama la matriz de transicinasociada conel sistema. Las entradas en cada renglon suman en total 1. Por lo tanto, paraeste caso, una a 2 matriz de transicin Ppodra ser representado en lasiguiente figura.

Top of Page

Ejemplo

Diagrama de transicin:(Falta de flechas indican la probabilidad cero.)

Matriz:

Inicio de la pgina

Distriducon de vectores y de los poderes de la matriz detransicon

Unvector distribucones un vector regln no negativa con una entrada paracada estado de la sistema. Las entradas pueden representar el nmero deindividuos en cada estado del si stema.

Una vector probabilidades un vector en la que las entradas son no negativa yagregar hasta 1. Las entradas en un vector probabilidad pueden representar las

probabilidades de encontrar un sistema de cada uno de los estados.

Si ves el vector distribucon inicial y Pes la matriz de transicon de unsistema de Markov, entonces la distribucon de vectores a partir del paso 1 esel producto mkatriz, vP.

Distribucin despus de 1 paso: vP

La distribucin un paso ms adelante, obtenido de nuevo a travs demultiplicacon por P, es dado por (vP)P= vP2.

Distribucon despus del paso 2: vP2

Del mismo , la distribucon depus del paso nse puede obtener multiplicandoval derecho por Pn veces, o multiplicando vpor Pn.

Distribucon despus de npasos: vPn

P2es la matrtiz de transicon 2-etapas del sistema de Markov. Del mismomodo, P3es la matriz de transicon 3-estapas, y Pnes la matriz n-etapas detransicon. Esto significa que la ijoentrada de Pnes la probabilidad de que elsistema pasar de estado ia estadojen npasos.

Pruebe nuestra herramienta en-lneapara calcular la matriz de trasicon y las

vectores istribucin asociadas. An mejor (y mucho mas flexible) es nuestraherramienta de lgebra de matrizcon la que se puede calcularsimultneamente varias expresiones algebricas con matrices.

Principio de pgina

Ejemplo

Sea

P=

0.2 0.8 0

0.4 0 0.6

0.5 0.5 0

y sea v= [ 100 200 300 ] una distribucon inicial. A continuacin, ladistrubucin despus de un paso se expresa por

vP = [ 100 200 300 ]

0.2 0.8 0

0.4 0 0.6

0.5 0.5 0

= [ 250 230 120 ]

La distribucin un paso ms adelante se expresa porvP2= (vP)P

= [ 250 230 120 ]

0.2 0.8 0

0.4 0 0.6

0.5 0.5 0

= [ 202 260 138 ].

Para obtener la matriz 2-pasos de transicion, calculamos

P2=

0.2 0.8 0 0.2 0.8 0

0.4 0 0.6 0.4 0 0.6

0.5 0.5 0 0.5 0.5 0

=

0.36 0.16 0.48

0.38 0.62 0

0.3 0.4 0.3

As, por ejemplo, la probabilidad de pasar del estado 3 al estado 1 en dospasos viene dada por la 3,1-entrada en P2, es decir, 0.3.

Principio de la pgina

umen: sistemas Markov http://www.zweigmedia.com/MundoReal/Summary6b.html

3 25/02/2015 18:20

7/21/2019 Resumen Sistemas Markov

2/3

Comportamiento a largo plazo de los sistemas de Markov

Si Pes una matriz de transicin de un sistema de Markov, y si ves un vectorde distribucin con la propiedad que vP= v, entonces nos referimos a vcomounvector (distribucin) de estado de equilibrio.

Para encontrar un vector de estado de equilibrio para un sistema de Markovcom matriz de transicin P, resolvemos el sistema de ecuaciones dados por:

x + y + z + . . . = 1

[x y z . . . ]P = [x y z . . .]

donde su uso como muchas incgnitas, ya que hay estados en el sistema deMarkov. Una costante vectorial de estado de probabilidades se da entonces

por

v = [x y z . . . ]

Unsistema regularde Markov es un sistema cuya matriz de transicin tienealgun poder con ningunas entradas de cero. Un sistema regular de Markovsiempre tiene un solo vector de estado de equilibrio.

Comportamiento a largo plazo Si los poderes ms y ms altos de Pseacercan a una matriz P , nos referimos a P como la matriz de equilibrio ocomo la matriz de transicin largo plazo. Si es regular el sis tema de Markov,entonces la matriz de equilibrio se expresa por la matriz cuadrada cuyasreglones son iguales el uno a otro, y iguales al vector de estado de equilibrio

[x y z . . .].Calcular la matriz de estado de equilibrio numrico

Por el uso de la tecnologa, es frecuentemente posible aproximar P con granprecisin por simplemente calcular un gran poder de P. Qu tan grande? Sabees suficiente grande cuando las filas sean los mismos con la precisin quedesee. Para matrices pequeas como en el l ibro de texto, P256 suele seasuficiente. (256 es una potencia de 2, por lo que el clculo de P256 esespecialmente rpido en nuestras herramienta de lgrebra de matriz .Prubelo!)

Advertencia: Si no se estabil iza la matriz con bastante rapidez, entonces secorre el riesgo de significados errores computacionales: lo ms grande elnmero de clculos, lo ms grande se vuelve el error.

Principio de pgina

Ejemplo

La matriz de transicin

P=

0.2 0.8 0

0.4 0 0.6

0.5 0.5 0

El ejemplo anterior es regular, ya que slo P3tiene cada entrada distinto decero. (Puede comporbarlo en su graficador o en nuestra utilidad en-lnea .)

El vector estado de equilibrio se expresa por

v = [35/99 40/99 24/99],

de mode que

vP = [35/99 40/99 24/99]

0.2 0.8 0

0.4 0 0.6

0.5 0.5 0

= [35/99 40/99 24/99]

= v.

Por lo tanto, la matriz largo plazo de transicin es

P =

35/99 40/99 24/99

35/99 40/99 24/99

35/99 40/99 24/99

(Para comprobar esto, calcular P256en la utilidad en lnea.)

Usar la herramienta lgebra matiz

Abra la herramienta lgebra matizy ingrese Putilizando el siguiente formato(tenga en cuenta las comas entre cada par de entradas en cada fila.): (Si lodeseas, puede copiar el texto de la s iguente figura en azul y pegarlo en laventana de la herramienta.)

P = [0. 2, 0. 8, 0

0. 4, 0, 0. 60. 5, 0. 5, 0]

Luego, en la frmula, escriba la frmula P 256y pulse "Calcular". Si deseaver la respuesta en la forma de fracciones en vez de decimales, comprueba

que "Fraction Mode" (ubicado debajo de los botones) est marcado.Principio de pgina

Sistemas absorbentes de Markov

Unestado asorbenteen un sistema de Markov es un estado a partir de la cualexiste cero probabilidad de salir. Un sistema absorbente de Markov es unsistema de Markov que contiene al menos un estado asorbente, tal que es

posible llegar a un estado absorbente despus de algun nmero de etapascomenzando en caulquier estado no absorbente.

En el anlisis de los s istemas absorbentes, enumeramos los estados en talmanera que los estados absorbentes son los ltimos. La matriz de transicinPde un sistema absorbente entonces se ve como sigue:

P=

S T

0 I

Aqu Iest la matriz unidad m m(m= nmero de estados absorbentes), Sesuna matriz cuadrada (n- m) (n- m) (n = nmero total de estados, de modon-m = el numero de estados absorbentes), 0es un matriz cero y Tes un matriz(n- m) m.

La matriz Ses la matriz de transicin para la circulacin entre los estados deabsorcin. La matriz fundamentalpara el sistema absorbente es

Q= (I-S)- 1.

Principio de pagina

Ejemplo

Diagrama de transicin:(Estados 3 y 4 estn absorbiendo. Desapreciendo flechas indican la

probabilidad cero.)

Matriz:

Principio de pgina

Calcular el valor esperado del nmero de pasos h asta laabsorpcinPara obtener informacin sobre el tiempo de absorcin en unsistema absorbente de Markov, en primer lugar se calcula la matrizfundamental Q.

El numero de veces, a partir del estado i, que se espera visitar el estadojantes de absoprcin es la ijoentrada de Q.

Ejemplo

En el ejemplo anterior,

Q= (I-S)- 1=0.75 0 - 1

- 0.2 0.8

umen: sistemas Markov http://www.zweigmedia.com/MundoReal/Summary6b.html

3 25/02/2015 18:20

7/21/2019 Resumen Sistemas Markov

3/3

El nmero esperado total de pasos antes la absorcin es igual a la suma de losnmeros de visitas que se espera a hacer a todos los estados no absorbentes.Esta es la suma de todas las entradas del ioregln de Q.

El producto QTda las probabilidades de terminar en los distintos estadosabsorbentes. Por ejemplo, si el ioregln de QTes [x y z t], entonces, a

partir de estado i, hay una probabil idad dexen terminar en el primer estadode absorcin, y una probabilidad deyen terminar en el segundo estado deabsorcin, y as sucesivamente.

Principio de pgina

=4/3 0

1/3 5/4

Asi, por ejemplo, el nmero de veces, a partir del estado 2, que se esperavisita estado 1 antes de la absorcin es el entrada (2,1) de Q. Pues es igual a1/3 aquel entrada, si se inicia en el estado 2, se puede esperar visitar estado11/3 veces antes de la absorcin.

El producto QTes

QT=2/3 1/3

1/6 5/6

Pues la segunda fila es [1/6 5/6], significa que, a partir del estado 2, hay unaprobabilidad de 1/6 de llegar en el primero estado de absorcin (Estado 5), yen una probabilidad de 5/6 de llegar en el segundo estado de absorcin(Estado 6).

Uso de la herramienta de lgebra de matriz

Calcular Q:Abra la herramienta de lgebra de la matrizy ingrese la matriz Scon el formato siguiente (tenga en cuenta las comas entre cada par de lasentradas en cada fila), (si lo deseas, puedes copiar el texto azul de la figurasiguente y pegarlo en la ventana.)

S = [0. 25, 0

0. 2, 0. 2]

Entonces, en el campo de frmulas, introduzca la frmula ( I - S) - 1y pulce"Calcular". (La utilidad es lo suficientemente hbiles como para saber cualmatriz identidad quieren decir como "I", de modo que no es necesarioespecificarlo.) Si desea ver la respuesta en fracciones en lugar de decimales,asegrese de que esta marcada "Fraction Mode".

Computacin de QT: Abra la herramienta de lgebra de matrizy ingrese allilas matrices Sy Tusando el siguiente formato: (Si lo deseas, puedes copiar eltexto de color azul de la figura siguente y pegarlo en la ventana.)

S = [0. 25, 0

0. 2, 0. 2]

T = [0. 5, 0. 25

0, 0. 6]

Luego, en el campo de frmulas, escriba la formula ( I - S) - 1*Ty pulse

"Calcular".

Principio de pgina

ltima actualizacin:Febrero 2009Derechos de autor 2009 Stefan Waner

Principio de pgina

umen: sistemas Markov http://www.zweigmedia.com/MundoReal/Summary6b.html

3 25/02/2015 18:20