Introdução à cadeias de markov

VI SEMANA DE MATEMATICA DA UESC

Introducao a Cadeias de Markov: Processos Markovianos deparametro discreto

Autores: Msc. Claudia Ribeiro SantanaPhd. Enio G. JelihovschiMsc. Pedro Carlos Elias Ribeiro Junior

Ilheus - BA

Outubro de 2007

Resumo

Uma grande quantidade de processos estudados na atualidade, sao resultados que sao medi-

dos ao longo do tempo. Dentro destes um grande numero tem resultados aleatorios, ou seja, sao

resultados imprevisıveis. Estes processos sao chamados de processos estocasticos e sao estuda-

dos usando a teoria das probabilidades. Como exemplos temos: 1) a variacao de trafego em um

certo cruzamento que envolvem a formacao e a dissipacao de congestionamentos de veıculos. 2)

Quantidade de pessoas que chegam ao longo do dia para fazer transacoes bancarias nos caixas

eletronicos dentro de um banco e um problema seria de como encontrar o numero de caixas

eletronicos para que os clientes passem menos tempo nas filas e nao haja muitos caixas ociosos

durante o dia. 3) Ruına do jogador; um jogador joga uma sequencia de jogos independentes

contra um oponente, qual sera a probabilidade de um dos jogadores se arruinar se iniciar com

um capital N? 4) Mutacoes geneticas; qual e a probabilidade de uma mutacao desaparecer,

continuar numa pequena proporcao da populacao, ou tomar conta de toda a populacao depois

de um certo perıodo de tempo?

Um dos modelos que melhor explica uma quantidade importante destes processos, e chamado

de Cadeias de Markov, que sao processos aleatorios cujo resultado no estagio n depende somente

do que aconteceu no estagio n− 1 e nao dos resultados anteriores a n− 1, ou seja, um Processo

Markoviano de parametro discreto sera uma sequencia aleatoria que satisfaz a identidade:

Pr(jk | j0, j2,..., jk−1) = Pr[Xk = jk | Xk−1 = jk−1] = p( jk | jk−1)

para cada k e para cada sequencia j0, j2,..., jk de estados, onde Xk sao variaveis aleatorias que

definem o resultado do processo no estagio k.

Sabe-se que uma cadeia aperiodica, irredutıvel, finita de Markov se estaciona, ou seja, entra

em um estado permanente e o vetor limite e o unico vetor de probabilidade estacionaria do

processo. Na verdade este vetor e um autovetor associado a matriz (regular) de probabilidades

de transicao do processo, daı, o problema iniciado recai na algebra linear onde teremos que

utilizar as ferramentas desta area da matematica para encontrar tal autovetor.

Capıtulo 1

Definicoes

Este capıtulo se dedica a definir alguns conceitos que sao necessarios para o restante do estudo

desejado.

Muitas das situacoes investigadas no nosso estudo diz respeito a uma experiencia aleatotia

que nao conduz a uma unica variavel aletaoria, mas a toda uma seqencia de variaveis aleatorias.

Sequencia de variaveis aleatorias tem uma ampla aplicacao em diversos casos, a saber:

pedidos comerciais, avarias de maquinas, tempo de vida util de um componente eletronico,

sistemas de comunicacao, cintagem de partıculas subatomicas, epidimias, sistemas geneticos, e

outros.

Qualquer sistema que varie de forma aleatoria com o tempo e seja observado em determi-

nadas sequencias de tempos segue este padrao.

Definicao 1.1. Uma sequencia de variaveis aleatorias definidas no mesmo espaco amostral e

denominada uma Sequencia Aleatoria ou um Processo Aleatorio de Parametro Discreto.

Observacao 1.1. O termo Parametro Discreto se refere ao ındice i na sequencia Xi com

i = 1, 2, . . . , n, . . .

Os contradomınios das variaveis alatorias podem ser conjuntos contınuos ou discretos. Nosso

caso e aquele em que o contradomınio e um conjunto discreto, que tem grande vairedade de

aplicacoes.

Definicao 1.2. Dizemos que as variaveis aleatorias na sequencia {X1, X2, . . . , Xn, . . .} sejam

Discretas se seus contradomınios consistem de conjuntos de elementos Inteiros. Nesta caso

pode-se afirmar que a j-esima variavel aleatoria tem valor m, ou seja Xj = m, ou entao, diz-se

que o sistema esta no estado m no j-esimo estagio, e tambem, o sistema esta no estado m no

tempo j.

1

O problema consiste em responder alguns questionamentos sobre a funcao densidade da

probabilidade conjunta ou da funcao distribuicao de X1, X2, . . . , Xn, ou seja, quanto a

p(i1, i2, . . . , in) = Pr[X1 = i1; X2 = i2; . . . ; Xn = in]

ou

F (x1, x2, . . . , xn) = Pr[X1 ≤ x1; X2 ≤ x2; . . . ; Xn ≤ xn]

quando n e um numero suficientemente grande, ou investigar sobre tais questoes no caso do

limite emq ue n tende ao infinito.

Uma forma de de se conhecer tais probabilidades e atraves do emprego repetido da formula

para a probabilidade da interseccao p(A ∩B) = p(A) · p(B|A), obtendo que

p(i1, i2, . . . , in) = pX1, X2, ..., Xn−1(i1, i2, . . . , in−1)p(in|i1, i2, . . . , in−1)= . . ....

p(i1, i2, . . . , in) = p(1)i1

p(i2|i1)p(i3|i1, i2) . . . p(in|i1, i2, . . . , in−1),

onde p(1)i1

e a funcao densidade de X1, ou seja, p(1)i1

= Pr[X1 = i1], e o significado de cada uma

das outras probabilidades condicionais e natural. Desta forma a equacao anterior se torna

Pr[X1 = i1; X2 = i2; . . . ; Xn = in] = Pr[X1 = i1]Pr[X2 = i2|X1 = i1] . . .

P r[Xn = in|X1 = i1; X2 = i2; . . . ; Xn−1 = in−1]

EXEMPLOS

1. Existem tres marcas de automoveis disponıveis no mercado: o Jacare, o Piranha e o

Urubu. O termo aij da matriz A abaixo e a propabilidade de que um dono de carro da

linha i mude para o carro da coluna j, quando comprar um carro novo.

DeJPU

J0, 70, 30, 4

ParaP0, 20, 50, 4

U0, 10, 20, 2

Os termos da diagonal de A =

710

210

110

310

510

210

410

410

210

dao a probabilidade aii de se comprar um

carro novo da marca.

A2 =

59100

725

13100

1125

39100

17100

1225

925

425

. Os termos de A2, aij, significam mudar da marca i para a marca

j depois de duas compras:

De fato: a11 = probabilidade de tendo inicialmente um carro da marca J mudar para um

outro carro desta mesma marca, ou seja, J , depois de duas compras.

J710

→ J710

→ J J210

→ P310

→ J J110

→ U410

→ J

Daı, a11 = 710· 7

10+ 2

10· 3

10+ 1

10· 4

10= 59

100.

a12 = probabilidade de tendo inicialmente um carro da marca J mudar para um outro

carro da marca P depois de duas compras.

J710

→ J210

→ P J210

→ P510

→ P J110

→ U410

→ P

Daı, a12 = 710· 2

10+ 2

10· 5

10+ 1

10· 4

10= 28

100.

a13 = probabilidade de tendo inicialmente um carro da marca J mudar para um outro

carro da marca U depois de duas compras.

J710

→ J110

→ U J210

→ P210

→ U J110

→ U210

→ U

Daı, a13 = 710· 1

10+ 2

10· 2

10+ 1

10· 4

10= 13

100.

a21 = probabilidade de tendo inicialmente um carro da marca P mudar para um outro

carro da marca J depois de duas compras.

P310

→ J710

→ J P510

→ P310

→ J P210

→ U410

→ J

Daı, a21 = 310· 7

10+ 5

10· 3

10+ 2

10· 4

10= 44

100.


carro desta mesma marca, ou seja, P , depois de duas compras.

P310

→ J210

→ P P510

→ P510

→ P P210

→ U410

→ P

Daı, a22 = 310· 2

10+ 5

10· 5

10+ 2

10· 4

10= 39

100.



P310

→ J110

→ U P510

→ P210

→ U P210

→ U210

→ U

Daı, a23 = 710· 2

10+ 2

10· 5

10+ 1

10· 4

10= 16

100.

a31 = probabilidade de tendo inicialmente um carro da marca U mudar para um outro

carro da marca J depois de duas compras.

U410

→ J710

→ J U410

→ P310

→ J U210

→ U410

→ J

Daı, a31 = 410· 7

10+ 4

10· 3

10+ 2

10· 4

10= 48

100.


carro da marca P depois de duas compras.

U410

→ J210

→ P U410

→ P510

→ P U210

→ U410

→ P

Daı, a32 = 410· 2

10+ 4

10· 5

10+ 2

10· 4

10= 36

100.



U410

→ J110

→ U U410

→ P210

→ U U210

→ U210

→ U

Daı, a33 = 410· 1

10+ 4

10· 2

10+ 2

10· 2

10= 16

100.

2. Seja {XN} uma cadeia de Markov com espaco dos estados {0, 1, 2}, vetor de probabilidade

inicial p(0) = (14, 1

2, 1

4) e matriz de transicao de 1 passo P :

P =

14

34

013

13

13

0 14

34

(a) Calcule p(0, 1, 1) = Pr[X0 = 0, X1 = 1, X2 = 1].

(b) Mostre que P [X1 = 1 e X2 = 1|X0 = 0] = p01p11.

(c) Calcule p(2)01 , p

(3)ij para i, j = 0, 1, 2.

RESPOSTAS:

(a) p(0, 1, 1) = Pr[X0 = 0, X1 = 1, X2 = 1] =

= Pr[X0 = 0] · [X1 = 1|X0 = 0] · Pr[X2 = 1|X1 = 1, X0 = 0] =

= Pr[X0 = 0] · [X1 = 1|X0 = 0] · Pr[X2 = 1|X1 = 1] = 14· 3

4· 1

3= 1

16.

(b)

014

→ 134

→ 1

Ou seja, P [X1 = 1 e X2 = 1|X0 = 0] = p01p11.

(c) Calcule p(2)01 = a probabilidade de passar do estado 0 ao estado 1 depois de 2 passos.

014

→ 034

→ 1 034

→ 113

→ 1 00→ 2

14

→ 1

Daı, p(2)01 = 1

4· 3

4+ 3

4· 1

3+ 0 · 1

4= 7

16.

O mesmo resultado pode ser obtido calculando o elemento a12 da 2a potencia da

matriz de transicao: 14

34

013

13

13

0 14

34

· 1

434

013

13

13

0 14

34

=

516

716

14

736

49

1336

112

1348

3148

P (3) =

43192

85192

13

85432

83216

181432

19

181576

331576

Os termos p

(3)ij sao as entradas da 3a potencia da matriz de transicao P .

3. Um sistema de comunicacao tem uma probabilidade tal que, se um sımbolo e transmitido

corretamente, a probabilidade de que o sımbolo seguinte seja correto e de 0,9. Se, no en-

tanto, um sımbolo for transmitido incorretamente, a probabilidade de o proximo tambem

o seja e de 0,5. A trasmissao pode ser modelada pela sequencia markoviana dependente,

{X1, X2, · · · } onde Xi = 1 se o i-esimo sımbolo for transmitido corretamente, Xi = 0 se

o i-esimo sımbolo for incorreto. Suponha que a probabilidade de que o primeiro sımbolo

seja transmitido corretamente seja de 0,7.

(a) Calcule as probabilidades de transmissao p(in, in−1).

(b) Calcule p(i1, i2, · · · , in).

(c) Calcule Pr[X3 = 1].

(d) Se o k-esimo sımbolo for correto, Xk = 1, qual a probabilidade de que (k + 2)-esimo

sımbolo seja correto, isto e, Xk+2 = 1

RESPOSTAS

(a) as probabilidades de transmissao p(in, in−1) sao as entradas da seguinte matriz (de

transicao) :

A =

[910

110

510

510

]

A2 =

[4350

750

710

310

]

(b) p(i1, i2, · · · , in) = p(i1) · p(i2, i1) · · · p(in, in−1).

(c) Pr[X3 = 1] = 710· p11 · p11 + 7

10· p12 · p21 + 3

10· p21 · p11 + 3

10· p22 · p21.

(d) Se o k-esimo sımbolo for correto, Xk = 1, a probabilidade de que (k + 2)-esimo

sımbolo seja correto, isto e, Xk+2 = 1 e p(2)11 = 43

50.

Definicao 1.3. Uma sequencia X1, X2, . . . , Xn e dita uma Sequencia de Variaveis Aleatorias

Independentes se

p(in|i1, i2, . . . , in−1) = p(n)in

e

p(i1, i2, . . . , in) = p(1)i1

p(2)i2

. . . p(n)in

Se, alem disto, todas as variaveis aleatorias tem a mesma funcao distribuicao, ou seja,

p(j)i = pi, para cada j, a sequencia e dita Sequencia de Variaveis Aleatorias Independentes

com Mesma Distribuicao.

EXEMPLO

4. Arremessa-se uma moeda 50 vezes e seja Xn = −1 se uma cara aparecer e Xn = +1 se

uma coroa aparecer.

Definicao 1.4. A sequencia aleatoria {X1, X2, . . . , Xn} e dita Serquencia Dependente

de Markov, ou um Processo de Markov caso a probabilidade condicional

p(in|i1, i2, . . . , in−1) = Pr[Xn = in|X1 = i1, X2 = i2, . . . , Xn−1 = in−1].

Isto significa que

p(in|i1, i2, . . . , in−1) = p(in|in−1)

ou

Pr(Xn = in|X1 = i1, X2 = i2, . . . , Xin−1 = in−1) = Pr[Xn = in|Xn−1 = in−1].

Exemplo 1.1. Considere uma seuqencia independente {X1, X2, . . . , Xm, . . .}, onde cada

Xi = +1 ou Xi = −1, com probabilidade p e q, respectivamente. Agora defina a sequencia

Yn = X1 + X2 + . . . + Xn,

para n = 1, 2, . . . , e considere a sequencia

{Y1, Y2, . . . , Ym, . . .},

Se a sequencia X representa uma sequencia independentede passos da unidade de +1

ou −1no eixo real, entao Yn representa a posicao depois de n passos. Por esta razao a

sequencia {Y1, Y2, . . . , Ym, . . .} e chamado de caminho aleatorio. sta sequencia aleatoria

especıfica e extremamente importante, tnato teoricamente, como em estudos de ordem

pratica. O estudo de suas propriedades, e determinadas generalizacoes ocupa grande parte

da teoria de probabilidade. Aqui so se destaca o fato de que a sequencia {Y1, Y2, . . . , Ym, . . .}nao e uma sequencia independente, a despeito do fato de ser proveniente de uma sequencia

independente {X1, X2, . . . , Xm, . . .}. Note que

Yn − Yn−1 = Xn =⇒ Yn = Yn−1 + Xn

Assim, se Yn−1 for dado, Yn dependera somente de Xn, que e independente de qualquer

X ‘e e Y ‘s anteriores. Desta forma

p(in|in−1) = Pr[Yn = in|Yn−1 = in−1]= Pr[Yn−1 + Xn = in|Yn−1 = in−1]= Pr[in−1 + Xn|Yn−1 = in−1]= Pr[Xn = in − in−1]

Uma vez que Xn e independente de X1, X2, . . . , Xn−1e, consequentemente de Yn−1, seque

que

p(in|in−1) =

p, se in = in−1 + 1q, se in = in−1 − 10, para qualquer outro valor

Assim, observa-se que a sequencia tem probabilidade de transicao estacionaria

pij =

p, se j = in−1 + 1q, se j = in−1 − 10, para qualquer outro valor

para i, j = 0, ±1, ±2, . . .

EXERCICIOS PROPOSTOS

(a) Seja {X1, X2, · · · } uma sequencia aleatoria independente onde cada Xi, assume

somente os valores 1 e 0 com probabilidades p e q, p + q = 1. Mostre que

X1, X2, · · · , Xn tem densidade conjunta p(i1, i2, · · · , ik) = ptqn−t onde t =∑n

k=1 ik.

Considere Sk =∑k

i=1 Xi para k = 1, 2, · · ·

i. Mostre que a sequencia {S1, S2, · · · } e uma sequencia dependente de Markov.

ii. Mostre que as probabilidades de transicao sao dadas a seguir onde α = in−in−1:

p(in, in−1) =

{pαq1−α para α = 0 ou 1

0

(b) Seja {X1, X2, · · · } uma sequencia de variaveis aleatorias discretas independentes.

Seja

Sk =k∑

i=1

Xi para k = 1, 2, · · ·

Mostre que {S1, S2, · · · } e uma sequencia markoviana dependente.

RUINA DO JOGADOR

EXERCICIOS PROPOSTOS

(a) Um jogador joga um ”jogo limpo”na qual as chances sao 2 contra 1. Em outras

palavras em cada jogo ele tem 13

de probabilidade de ganhar e 23

de perder. Se gan-

har, ganhara R$2,00. Se perder, perdera R$1,00. Suponha que os recursos totais

em dolar do jogador e do seu oponente sejam N dolares. Se o capital de qualquer

um dos jogadores cair abaixo do ponto em que eles pudessem pagar caso perdessem

o jogo seguinte, o jogo termina. Que Xn representa o caapital do primeiro jogador

apos n jogadas.

i. Determine a matriz de transicao de 1 passo da cadeia de Markov {Xn}.

ii. Suponha que os dois jogadores concordem em que se o capital de qualquer um

dos dois cair para R$1,00, eles farao o proximo jogo com chances iguais - gan-

harao ou perderao com igual probabilidade. Determine a matriz de transicao

de 1 passo para esse caso.

Obs: Considere o seguinte experimento:

Arremessa-se uma moeda 50 vezes e seja Xn = −1 se uma cara aparecer e Xn = +1

se uma coroa aparecer. Seja {X1, X2, · · · } uma sequencia de variaveis aleatorias

discretas independentes. Seja

Sk =k∑

i=1

Xi para k = 1, 2, · · ·

{S1, S2, · · · }

e uma sequencia markoviana dependente que pode modelar um problema de ruına

de Jogador Classico onde se ganha R$1,00 e perde R$1,00.

(b) Arremessa-se uma moeda 50 vezes e seja Xn = −1 se uma cara aparecer e Xn = +1

se uma coroa aparecer. Defina uma nova sequencia {Yn}, onde a sequencia {Xn},da seguinte maneira:

Y1 = X1,

Y2 =X1 + X2

2,

...

Yn =X1 + X2 + · · ·+ Xn

n.

(c) Identifique a sequencia {Yn}. Trata-se de uma sequencia independente? Uma

sequencia de Markov? Um problema da Ruına de Jogador?

EXEMPLOS DE MODELOS NAO-MARKOVIANOS

(a) Arremessa-se uma moeda 50 vezes e seja Xn = −1 se uma cara aparecer e Xn = +1

se uma coroa aparecer. Defina uma nova sequencia {Zn}, da seguinte maneira:

Z1 = X1,

Z2 =X1 + X2

2,

...

Zn+1 =Xn + Xn+1

2.

Com n=1, · · · , 49.

(b) Explique porque {Zn} dada acima nao e um modelo Markoviano?

(c) Numa ilha maravilhosa verificou-se que a cor azul ocorre em borboletas de genotipo

aa, e nao ocorre em Aa e AA. Suponha que a proporcao de borboletas azuis seja14. Depois de algumas geracoes, qual sera a porcentagem das borboletas nao azuis,

mas capazes de ter filhotes azuis?

RESPOSTA:

Denotando por d, dominante, r, recessivo e h, hıbrido, e os repectivos cruzamentos

por d× d, d× r, d× h, colocando as probabilidaddes em colunas, podemos montar

a seguinte matriz de transicao:

d× d r × r d× r d× h r × h h× hd 1 0 0 0,5 0 0,25h 0 0 1 0,5 0,5 0,5r 0 1 0 0 0,5 0,25

p(2)d

p(2)h

p(2)r

=

1 0 0 0, 5 0 0, 250 0 1 0, 5 0, 5 0, 50 1 0 0 0, 5 0, 25

·

p(1)d · p(1)

d

p(1)r · p(1)

r

2 · p(1)d · p(1)

r

2 · p(1)d · p(1)

h

2 · p(1)r · p(1)

h

p(1)h · p(1)

h

=

=

1 0 0 0, 5 0 0, 250 0 1 0, 5 0, 5 0, 50 1 0 0 0, 5 0, 25

·

0, 25 · 0, 250, 25 · 0, 25

2 · 0, 25 · 0, 252 · 0, 25 · 0, 52 · 0, 25 · 0, 5

0, 5 · 0, 5

=

0, 250, 50, 25

p(1)d : porcentagem de indivıduos dominantes.

p(1)h : porcentagem de indivıduos hibridos.

p(1)r : porcentagem de indivıduos recessivos.

Obs: p(3)d = p

(2)d , p

(3)h = p

(2)h , p

(3)r = p

(2)r . Isto nao e casualidade. Existe uma ”lei

em genetica”muito conhecida, que estabelece sob condicoes ideais que depois da

segunda geracao, a distribuicao entre os genotipos permanece a mesma.

APLICACOES DA ALGEBRA LINEAR EM CADEIAS DE MARKOV

Frequentemente se deseja estudar a cadeia de Markov que tenha estado em funcionamento

ha alguma tempo, ou seja, investigar sobre o comportamento das probabilidades de estado

n, com n bem grande, isto e,

vj = limn→∞

p(n)j

Neste caso vj recebe o nome de Probabilidade de Estado Permanente. Em termos razoaveis

pode-se esperar que, ao longo de um grande perıodo de tempo, a influencia do estado

inicial no qual o processo comecou pode esmorecer e, assim, as probabilidades limites vj

podem nao depender do estado inicial. Se for este o caso, entao vj tambem pode ser

interpretado como limite das probabilidades de transicao de n passos pij, vj = limn→∞

p(n)ij ,

ja que p(n)ij e a probabilidade do porcesso estar no estado j apos n passos, dado que

inicialmente estava no estado i. Se realmente cada vj nao depende do estado inicial, a

matriz P(n) = (p(n)ij ), convergira para uma matriz V conforme n → ∞, e cada linha sera

identica ao vetor v, com componetes vj,

P(n) → V =

vv...v

,

quando n →∞, onde v = (v0, v1, . . . , vj, . . .)

Deve-se estar atento as algumas perguntas, tais como: os limites que definen vj existem?

Se existitrem, formam uma distribuicao de probabilidade? Isto e, somam 1,∑

vj = 1?

Como se pode calcular os vj?

se os limites vj = limn→∞

p(n)ij existem e nao dependem do estado inicial, entao, fazendo

n →∞ na identidade

p(n)j =

∑k

p(n−1)k pkj

obtem-se

vj =∑

k

vkpkj, com j = 0, 1, 2, . . .,

ou, equivalentemente,

v = v · P

Qualquer vetor x = (x0, x1, x2, . . .), com xi ≥ 0 tal que∑

xi = 1, que satisfaca

xj =∑

k

xkpkj, com j = 0, 1, 2, . . . ou x = x · P

e chamado de Vetor de Probabilidade Estacionaria.

Teorema 1.1. Em qualquer cadeia aperiodica de Markov todos os limites vj = limn→∞

p(n)j

existem.

Teorema 1.2. Em qualquer cadeia aperiodica de Markov todos os limites vj = limn→∞

p(n)j = lim

n→∞p

(n)ij

nao dependem da distribuicao inicial.

Teorema 1.3. Em qualquer cadeia aperiodica irredutıvel e finita de Markov, o vetor

limite v = (v0, v1, v2, . . .) e o unico vetor da probabilidade estacionaria do processo.

Este ultimo teorema implica que, para ca cadeia aperiodica, irredutıvel e finita de Markov,

a matriz P(n) = (p(n)ij ) tende a uma matriz que tem todas sua linhas iguais, sendo cada

uma delas id entica ao vetor estacionario, ou seja,

limn→∞

P(n) =

vv...v

=

v0 v1 v2 . . .v0 v1 v2 . . ....

......

...v0 v1 v2 . . .

Exemplo 1.2. Suponha que um equipamento tanto possa estar ocupado como inoperante,

e que, se estiver inoperante, possa estar parado para reparos, como aguardando mais

trabalho. Indiqueos estados ocupado, em reparo, e aguardando mais trabalho por 0, 1 e 2.

Observe o estado do sistema em uma sequencia de dias sucessivos, e suponha que haja

suficiente falta de memoriano sistema, de forma que possa ser aproximado por uma cadeia

de Markov com matriz de transicao de 1 passo

P =

p00 p01 p02

p10 p11 p12

p20 p21 p22

=

0, 8 0, 1 0, 10, 1 0, 6 0, 20, 6 0 0, 4

Assim, por exemplo, p01 = 0, 1significa que a probabilidade de que uma maquina ocu-

pada quebre e de 0, 1, p11 = 0, 6 significa que a probabilidade de que uma maquina em

reparo hoje ainda esteja em reparo amanha e de 0, 6, p21 = 0 significa que uma maquina

inoperente nao se quebra.

Se estiver interessado nas proporcoes de tmepo a longo prazo que o equipamento gasta

em tres estados, a distribuicao limite devera ser calculada. O sistema e, claramente,

irredutıvel (cada estado por ser alcacado partindo de cada outro estado, embora nao

necessariamente em um unico passo, pois leva-se, ao menos, 2 passos para ir do estado

2 para o estado 1). E tambem finito e aperiodico. De acordo com o teorema 1.3 so se

precisa encontrar o unico vetor de probabilidade estacionaria, resolvendo-se x = xP, com∑xi = 1. Assim,

x0 = (0, 8)x0 + (0, 2)x1 + (0, 6)x2

x1 = (0, 1)x0 + (0, 6)x1

x2 = (0, 1)x0 + (0, 2)x1 + (0, 4)x2

ou (0, 2)x0 − (0, 2)x1 − (0, 6)x2 = 0

−(0, 1)x0 + (0, 4)x1 = 0−(0, 1)x0 − (0, 2)x1 + (0, 6)x2 = 0

Ja que a terceira equacao pode ser obtida somando as duas primeiras e multiplicando

por −1, a terceira nao oferece nenhuma informacao adicional, podendo ser eliminada. As

duas primeiras equacoes aliadas ao fato de que∑

xi = 1, determinarao a unica solucao,

que sera do sistema(0, 2)x0 − (0, 2)x1 − (0, 6)x2 = 0

−(0, 1)x0 + (0, 4)x1 = 0x0 + x1 + x2 = 1

Das duas primeiras equacoes do sistemas, verifica-se que x1 =1

4x0, x2 =

1

4x0, e substi-

tuindo na ultima equacao, obtem-se

x0 =2

3x1 =

1

6x2 =

1

6

Assim, o vetor da probabilidade limite e v =

(2

3,

1

6,

1

6

), e isso oferece as proporcoes de

tempo, a longo prazo, que o sistema gasta nestes estados.

EXERCICIOS RESOLVIDOS

(a) E observado que as probabilidades de um time de futebol ganhar, perder e empatar

uma partida depois de conseguir uma vitoria sao 12, 1

5e 3

10respectivamente; e depois

de ser derrotado sao 310

, 310

e 25, respectivamente; e depois de empatar sao 1

5, 2

5e 2

5,

respectivamente. Se o time nao melhorar nem piorar, conseguira mais vitorias que

derrotas a longo prazo?

RESPOSTA:

G P EG 0,5 0,3 0,2P 0,2 0,3 0,4E 0,3 0,4 0,4

Como a matriz das probabilidades e regular, podemos aplicar o teorema (1.5.4)[1]:

0, 5 0, 3 0, 20, 2 0, 3 0, 40, 3 0, 4 0, 4

pG

pP

pE

=

pG

pP

pE

⇔−0, 5pG + 0, 3pP + 0, 2pE = 00, 2pG − 0, 7pP + 0, 4pE = 00, 3pG + 0, 4pP − 0, 6pE = 0

.

Alem disso, sabemos que pG + pP + pE = 1. Daı, pG = 2679

, pP = 2479

e pE = 2979

.

(b) Numa cidade industrial, os dados sobre a qualidade do ar sao classificados como

satisfatorio (S) e insatisfatorio (I). Assuma que, se um dia e registrado S, a prob-

abilidade de se ter S no dia seguinte e 25

e que, uma vez registrado I, tem-se 15

de

probabilidade de ocorrer S no dia seguinte.

i. Qual e a probabilidade do quarto dia ser S, se o primeiro dia e I?

ii. O que se pode dizer a longo prazo sobre a probabilidade de termos S ou I?

RESPOSTA:S I

S 0,4 0,2I 0,6 0,8

Para o item b)Como a matriz das probabilidades e regular, podemos aplicar o teo-

rema (1.5.4)[1]:[0, 4 0, 20, 6 0, 8

] [pS

pI

]=

[pS

pI

]⇔

{−0, 6pS + 0, 2pI = 00, 6pS − 0, 2pI = 0

.

Alem disso, pS + pI = 1. Daı, pS = 14

e pI = 34.

Para o item a)

I45

→ I45

→ I15

→ S

I45

→ I15

→ S25

→ S

I15

→ S35

→ I15

→ S

I15

→ S25

→ S25

→ S

Portanto, a probabilidade de ocorrer S no quarto dia tendo ocorrido I no primeiro

dia e igual a 16125

+ 8125

+ 3125

+ 4125

= 31125

.

O mesmo resultado pode ser obtido calculando o elemento a12 da 3a potencia da

matriz de transicao:[0, 4 0, 20, 6 0, 8

]·[

0, 4 0, 20, 6 0, 8

]·[

0, 4 0, 20, 6 0, 8

]=

[32125

31125

93125

94125

]

(c) Considere duas companhias de comidas prontas, M e N. Cada ano, a companhia

M conserva 13

de seus fregueses, enquanto que 23

se transferem para N. Cada ano,

N conserva 12

de seus fregueses, enquanto 12

transferem-se para M. Suponha que a

distribuicao inicial do mercado e dada por

X0 =

[1323

]

i. Ache a distribuicao do mercado apos 1 ano.

Um ano mais tarde, a distribuicao do mercado e

M N

A =

[13

12

23

12

]MN

X1 = AX0 =

[13

12

23

12

] [1323

]De fato, suponhamos que o mercado inicial consiste em k pessoas, e que este

numero nao varia com o tempo. Ao fim do primeiro ano, M mantem 13

de seus

fregueses e ganha 12

de N, ou seja, M tem 13· (1

3k) + 1

2· (2

3k) = 4

9k fregueses e S

tem 23· (1

3k) + 1

2· (2

3k) = 5

9k fregueses.

ii. Ache a distribuicao estavel do mercado.

Como a matriz A e regular, segue pelo teorema da Cadeia de Markov que as

probabilidades pM e pN a longo prazo satisfazem o seguinte sistema linear:[13

12

23

12

] [pM

pN

]=

[pM

pN

]⇔

{−4pM + 3pN = 04pM − 3pN = 0

Alem disso, temos que pM + pN = 1. Daı, podemos concluir que pM = 37

e

pN = 47.

(d) Suponha que somente duas companhias rivais, R e S, manufaturam um certo pro-

duto. Cada ano, a companhia R retem 13

dos seus fregueses, enquanto que 23

passam

a ser fregueses de S. Cada ano, S mantem 35

se seus fregueses, enquanto que 25

se

transfere para R. Estas informacoes podem ser mostradas sob a forma matricial

como

R S

A =

[13

25

23

35

]RS

Ao se iniciar a manufatura, R tem 23

do mercado (o mercado e composto pelo

numero total de fregueses), enquanto que S tem 13

do mercado. Representamos a

distribuicao inicial do mercado por

X0 =

[2313

]

Um ano mais tarde, a distribuicao do mercado e

X1 = AX0 =

[13

25

23

35

] [2313

]

De fato, suponhamos que o mercado inicial consiste em k pessoas, e que este numero

nao varia com o tempo. Ao fim do primeiro ano, R mantem 13

de seus fregue-

ses e ganha 25

de S, ou seja, R tem 13· (2

3k) + 2

5· (1

3k) = 16

45k fregueses e S tem

23· (2

3k) + 3

5· (1

3k) = 29

45k fregueses.

Como a matriz A e regular, segue pelo teorema da Cadeia de Markov que as prob-

abilidades pR e pS a longo prazo satisfazem o seguinte sistema linear:[13

25

23

35

] [pR

pS

]=

[pR

pS

]⇔

{−5pR + 3pS = 05pR − 3pS = 0

.

Alem disso, temos que pR + pS = 1. Daı, podemos concluir que pR = 38

e pS = 58.

BIBLIOGRAFIA

(a) BOLDRINE, Jose Luiz. COSTA, Suelli I. Rodrigues. FIGUEREDO, Vera

Lucia. WETZLER, Henry G. Algebra Linear. 3a edicao. Editora: HARBRA

ltda.

(b) CLARKE, A. Bruce. Disney, Ralph L. Traduzido por: Gildasio Amado Filho.

Probabilidade e Processos Estocasticos. -Rio de Janeiro: Livros Tecnicos e Cientıficos,

1979.

(c) FERNANDEZ, Pedro Jesus. Introducao a Teoria das Probabilidades. Rio de

Janeiro, Livros Tecnicos e Cientıficos; Brasılia, Ed. Universidade de Brasılia, 1973.

(d) KOLMAN, Bernard. Traduzido por: Joao Pitombeira de Carvalho. Algebra

Linear. 3a edicao. Editora: Guanabara.

Introdução à cadeias de markov

Education

Transcript of Introdução à cadeias de markov