Cadeias de Markov 2013

FMORI – USJT 2013 1

UNIVERSIDADE SÃO JUDAS TADEU

ENGENHARIA

PROCESSO ESTOCÁSTICO COM TEMPO DISCRETO

1.1 O QUE É UM PROCESSO ESTOCÁSTICO ?

Suponha a observação da característica (X) de um sistema ao longo do tempo. Considere ‘X t’

o valor dessa característica em um determinado instante de tempo ‘t’, ressaltado que, a variável ‘t’

assume apenas valores discretos (0,1,2,3,...).

O valor da característica é também denominado ‘estado da variável’.

Em muitas situações, o estado de ‘X t ‘ não é conhecido com certeza antes do tempo ‘t’ e, por

isso, é considerado uma variável aleatória.

O processo estocástico com o tempo discreto é, simplesmente, a descrição da relação entre

as variáveis aleatórias X o, X 1, X 2, ...

Exemplo 1: A ruína do jogador (The gambler’s ruim):

No início do jogo, tempo (t0 ), o jogador tem somente R$2,00. De acordo com as regras do

jogo, o jogador deve apostar apenas R$1,00 por vez. Com probabilidade ‘p’ o jogador ganha mais

R$1,00 e com probabilidade ‘p-1’ o jogador perde R$1,00. O jogo acaba, sem direito a empréstimos

ou prorrogações quando o jogador tem R$4,00 ou perde tudo.

Considerando-se ‘Xt’ como a quantidade de capital que o jogador tem em um determinado

instante ‘t’, existem 5 estados possíveis.

‘Xt’ = {0,1,2,3,4}

t = 0 t = 1 t = 2 t = 3

1-p 1-p

1-p

1-p

p

p

p

p

X 0 = 2

X1 = 1

X1 = 3

X 2 = 0

X 2 = 2

X 2 = 4

X 4 = 1

X 4 = 3


Exemplo 2:

Uma urna contém 2 bolas não pintadas. Retira-se por sorteio uma bola da urna e joga-se uma

moeda. Se a bola for não pintada, o que ocorrerá obrigatoriamente no primeiro sorteio, e der cara

pinta-se a bola de vermelho, se der coroa pinta-se de verde. Se a bola sorteada for colorida, pinta-se

a bola com a outra cor, ou seja, se for verde, pinta-se de vermelho, se for vermelha pinta-se de verde.

O tempo t é definido como o instante em que a bola pintada volta para a urna. O estado a qualquer

tempo pode ser definido pelo vetor (np, vm, vd) onde np é o nº de bolas não pintadas; vm é nº de

bolas vermelhas; vd é o nº de bolas verdes.

t = 0 t = 1 t = 2

½ vm (0, 2, 0) ½ np

½ vd (0, 1, 1) (1, 1, 0)

½ vm ½ vm np (1, 0, 1) (2, 0, 0) (1, 1, 0) ½ vd ½ vd (1, 0, 1) ½ vd (0, 0, 2) ½ np ½ vm (0, 1, 1)

Exemplo 3:

Seja X0 o preço da ação da Petrobrás na abertura do pregão da Bolsa de Valores. Seja X t o

preço da ação no dia t. O levantamento desses dados permite ter uma idéia ao longo do tempo da

distribuição de probabilidade do valor da ação, buscando prever seu valor no tempo t+1.

Um processo estocástico com tempo contínuo é simplesmente um processo no qual o estado do

sistema pode ser determinado a qualquer tempo. A rigor, o preço de uma ação na bolsa de valores é

ao longo de um dia um processo estocástico com tempo contínuo.


1.2 O QUE É UMA CADEIA DE MARKOV ?

Um tipo especial de processo estocástico com o tempo discreto é uma cadeia da Markov, se

para t = 0,1,2... e todos os outros estados é valida a seguinte distribuição:

P (X t+1 = i t+1 | X t = i t , X t-1 = i t-1, ... , X1 = i1 , X 0 = i 0 ) = P ( X t+1 = i t+1 | X t = i t )

O que essa equação nos diz, basicamente é que a distribuição de probabilidade em um

estado t+1 depende apenas do estado anterior, (ver diagramas no item anterior).

Assumindo-se essa premissa, pode-se escrever:

P (X t+1 = j | X t = i ) = pij.

Onde pij é a probabilidade de transição de i para j, ou seja é a probabilidade de ocorrer a

mudança do estado de i para o estado j. Como essa probabilidade permanece constante ao longo do

tempo essa equação é freqüentemente chamada de hipótese estacionária

Matriz de probabilidade de transição

Na maioria das aplicações a Cadeia de Markov pode ser representada por uma matriz de

tamanho n x n, denominada matriz de probabilidade de transição.

p11 p 12 ............. p1n

p21 p 22 ............. p2n

P = . . .

. . .

pn1 pn2 ............. pnn

Exemplo 4:

Matriz de transição e sua representação gráfica do exemplo 1.

Estados possíveis: R$ 0; R$ 1; R$ 2; R$ 3 e R$ 4

Probabilidades: ganhar : p

perder : 1-p

$ 0 $ 1 $ 2 $ 3 $ 4

$ 0 1 0 0 0 0

$ 1 1-p 0 p 0 0

$ 2 0 1-p 0 p 0

$ 3 0 0 1-p 0 p

$ 4 0 0 0 0 1


Representação gráfica:

Exemplo 5:

Determinar a matriz de transição e sua representação gráfica do exemplo 2.

(2 0 0) (1 0 1) (1 1 0) (0 1 1) (0 2 0) (0 0 2)

(2 0 0) 0 ½ ½ 0 0 0

(1 0 1) 0 0 ½ ¼ 0 ¼

(1 1 0) 0 ½ 0 ¼ ¼ 0

(0 1 1) 0 0 0 0 ½ ½

(0 2 0) 0 0 0 0 0 0

(0 0 2) 0 0 0 0 0

1

1

0 1 3 4 2

p p p

1-p 1-p 1-p

2, 0, 0

1, 0, 1 1, 1, 0

0, 0, 2 0, 2, 0

0, 1, 1


EXERCÍCIOS

1 Em Smalltown, 90 % dos dias ensolarados são seguidos por dias ensolarados e 80%

dos dias nublados são seguidos por dias nublados. Use essa informação para modelar o

tempo em Smalltown como uma cadeia de Markov ( diagrama e matriz de transição).

2 Considere o consumo e a reposição em um sistema de estoque no qual a seqüência de

eventos em cada período é como se segue: (1) O nível do estoque “i” é observado no

início do período; (2) se “i” 1 serão comprados (2 – “i”) unidades para repor o

estoque, que serão entregues pelo fornecedor imediatamente, se “i” 2 nenhuma

unidade é comprada; (3) as probabilidades de diminuição de estoque (consumo) no

período são as seguintes: não haver consumo igual a 1/3, consumo de uma unidade

igual a 1/3 e consumo de duas unidades igual a 1/3; e (4) o nível do estoque é

observado no início do próximo período.Seja o estado do período o nível do estoque

no seu início. Determine a matriz de transição ( e o diagrama) que pode ser usada para

modelar esse sistema de estoque como uma cadeia de Markov.

1.3 PROBABILIDADE DE TRANSIÇÃO DE N-PASSOS:

Suponha uma cadeia de Markov com matriz de probabilidade de transição conhecida.

Pergunta-se: Se a cadeia de Markov está no estado i no tempo m, qual é a probabilidade que n

período depois a cadeia de Markov esteja no estado j ? Repare que a probabilidade será

independente de m, portanto:

P ( X m + n = j | X m = i ) = P ( X n = j | X 0 = i ) = Pij (n)

Onde Pij (n) é chamada probabilidade n-passos.

Tempo m Tempo m + 1 Tempo m + 2

pi1

pi2

pik

pis psj

pkj

p2j

p1j

1

2

K

S 1

i j


Pij (2) = (pi1 x p1j) + (pi2 x p2j) + ... + (pik x pkj) + ... + (pis x psj)

Pij (2) =

s k

1 k

(probabilidade da transição de i para k ) x (probabilidade de transição de k para j)

Pij (2) =

s k

1 k

pik x pkj

Exemplo 6:

Imagine que toda a indústria de colas produza apenas 2 colas ( Coca-cola e Pepsi-cola) Se a

última compra foi da cola 1 existe 90% de chance da próxima compra ser de cola 1. Se a última

compra foi da cola 2 existe 80% de chance da próxima compra ser da cola 2.

Se uma pessoa é consumidora de cola 2, qual é a probabilidade de daqui a 2 compras ela

compre cola 1?

Se uma pessoa é consumidora de cola 1, qual é a probabilidade de daqui a 3 compras ela

compre cola 2?

0.9 0.8

Matriz de transição P

Cola 1 Cola 2

Cola 1 0.9 0.1

Cola 2 0.2 0.8

P2 = 0.9 0.1 x 0.9 0.1

0.2 0.8 0.2 0.8

Tabela:

0,2

0,1

Cola

1 Cola

2


n P11(n) P12(n) P21(n) P22(n)

P 1 0.90 0.10 0.20 0.80

P2 2 0.83 0.17 0.34 0.66

P3 3 0.78 0.22 0.44 0.56

P4 4 0.75 0.25 0.51 0.49

P5 5 0.72 0.28 0.56 0.44

P10 10 0.68 0.32 0.65 0.35

P20 20 0.67 0.33 0.67 0.33

P30 30 0.67 0.33 0.67 0.33

P40 40 0.67 0.33 0.67 0.33

EXERCÍCIOS

3 Uma empresa tem duas máquinas. Cada máquina que começou o dia trabalhando tem

uma chance igual a 1/3 de quebrar. Se a máquina quebra durante o dia, ela é enviada

para reparo e estará trabalhando novamente dois dias depois. (assim, se a máquina

quebrou no dia 3, voltará a trabalhar no início do dia 5). Se o estado do sistema é o

número de máquinas trabalhando no início do dia, formule a matriz de probabilidade

de transição (e o diagrama) para essa situação.

4 A localização da moradia de cada família americana é classificada pelos seguintes

tipos: no perímetro urbano, no subúrbio ou na zona rural. Durante um determinado

ano, 15% de todas as famílias urbanas mudou para o subúrbio e 5% mudou para a zona

rural; também, 6% de todas as famílias suburbanas mudaram para a cidade e 4%

muram-se para a zona rural; finalmente, 4% de todas as famílias da zona rural

mudaram-se para a cidade e 6% para o subúrbio.

(a) Se uma família mora na cidade, qual é a probabilidade de daqui a dois anos essa

família permanecer onde mora? E de se mudar para o subúrbio? E para a zona

rural?

(b) Suponha que nesse momento 40% das famílias vivam na cidade, 35% no subúrbio

e 25 % na zona rural. Daqui a dois anos, qual será o percentual de famílias

americanas vivendo na cidade?

(c) Quais problemas podem ocorrer se esse modelo for usado para predizer a

distribuição futura da população na América?

5 Esta questão se refere ao exemplo do jogo “Ruína do Jogador”:

(a) Depois de duas jogadas qual é a probabilidade do jogador ter R$ 3? E ter R$ 2?

(b) Depois de jogar três vezes qual é a probabilidade do jogador ter R$ 2?


1.4 CLASSIFICAÇÃO DO ESTADO DE UMA CADEIA DE MARKOV

Seja a seguinte cadeia:

1 2 3 4 5

1 .4 .6 0 0 0

2 .5 .5 0 0 0

3 0 0 .3 .7 0

4 0 0 .5 .4 .1

5 0 0 0 .8 .2

Definições:

1) Caminho de i até j é a seqüência de transições que começa em i e acaba em j, de tal modo que

cada transição da seqüência tem uma probabilidade positiva de ocorrência.

2) Em um estado j é alcançável do estado i se houver um caminho os unindo.

3) Dois estados são comunicantes se j é alcançável de i e i é alcançável de j.

Assim, no exemplo, o estado 5 é alcançável do estado 3 usando o caminho 3, 4 e 5, e vice-versa.

Repare que, entretanto, o estado 5 não é alcançável do estado 1, pois não há caminho, portanto

não são comunicantes.

Os estados 1 e 2 também são comunicantes.

0,5 0,4 1 2

0,5

0,6

S1

5 4 3

0,5 0,8

0,7 0,1

S2

0,3 0,4 0,2


4) Um conjunto de estados S em uma cadeia de Markov é um conjunto fechado se nenhum estado

fora S é alcançável de quaisquer estado S.

O conjunto dos estados S1 = {1 e 2} é um conjunto fechado, assim como o conjunto dos estados

S2 = {3, 4 e 5}.

5) Um estado i é um estado absorvente se Pii = 1.

Quando se entra em um estado absorvente não é possível sair dele. No exemplo 1, da ruína do

jogador, os estados 0 e 4 são estados absorventes.

6) Um estado i é um estado transiente se existe um estado j que é alcançável de i, mas o estado i

não é alcançável do estado j.

No exemplo da ruína do jogador os estados 1, 2 e 3 são transientes, porque, por hipótese,

estando-se no estado 2 é possível, por meio de 3, alcançar o estado 4, e nesse caso não é possível

voltar-se a 2.

No limite, a probabilidade de estar-se em um estado transiente é zero.

7) Se um estado não é transiente ele é chamado recorrente, ou seja, é sempre possível voltar ao

estado de onde se saiu.

No exemplo deste item os estados 1, 2, 3, 4 e 5 são recorrentes. No exemplo 1, da ruína do

jogador os estados 0 e 4 são ambos recorrentes e absorventes.

8) Um estado i é períodico com período K, se K (obrigatoriamente, inteiro > 1) é o menor número de

modo que todos os caminhos que levam de volta ao estado i tem um comprimento que é múltiplo

de K. Um estado recorrente pode ser periódico ou não periódico.

9) Se todos estados de uma cadeia de Markov são recorrentes, não períodicos e comunicantes a

cadeia é chamada de Ergódica. No exemplo da ruína do jogador a cadeia não é ergódica.

1

2 3

K = 3, pois, partindo de

qualquer estado, a volta àquele

estado ocorre sempre após 3

passos.


Cadeia Ergódica

Cadeia Não-ergódica

EXERCÍCIOS:

6 Considere a matriz de transição “P” abaixo:

(a) Quais os estados transientes?

(b) Quais os estados recorrentes?

(c) Identifique os conjuntos de estados fechados

(d) È uma cadeia ergódica?

1 2

3

1/3 2/3 0

P1 = 1/2 0 1/2

0 1/4 ¾

4 3

2 1 ½ ½ 0 0

P2 = ½ ½ 0 0

0 0 ½ ½

0 0 ¼ ¼

0 0 1 0 0 0

0 0 0 0 0 1

0 0 0 0 1 0

1/4 1/4 0 1/2 0 0

1 0 0 0 0 0

0 1/3 0 0 0 2/3

P=


7 Para cada uma das seguintes cadeias, determine se as cadeias de Markov são

ergódicas. Para cada cadeia também determine os estados recorrentes, transientes e

absorventes

8 Cinquenta e quatro jogadores participaram em 1980 da Série Mundial de Poker. Cada

jogador começou com $10.000,00. A disputa continuou até que um jogador tivesse

ganho o dinheiro de todos os outros. Se a Série Mundial de Poker fosse modelada

como uma cadeia de Markov, quantos estados absorventes a cadeia teria?

1.5 PROBABILIDADE DE “STEADY-STATE”

Obs: Pode-se traduzir ‘Steady-State’ como “estado permanente, constante”, firme ou regular.

Como visto no exemplo da cola (ver tabela na seção 1.3), existe para o valor das

probabilidades de mudança de estado uma tendência de assumirem um valor constante após um

certo número de transições de estado. As probabilidades do “Steady-State” podem ser usadas para

descrever o comportamento de uma cadeia de Markov após longo tempo.

Teorema

Seja P uma matriz de transição para uma cadeia ergódica com S estados. Então existe um

vetor

X = { X 1, X 2 , ... , X S} , tal que:

X1 X2 ... XS

nlim Pn = X1 X2 ... XS

.. .. ..

X1 X2 ... XS

Como o ij-ésimo elemento de P n é Pij (n), então n

lim Pij (n) = Xj

Repare que quando n as filas da matriz se tornam idênticas. Isso significa que após um

longo tempo as probabilidades da Cadeia de Markov estabilizam-se, independentemente do estado

inicial, existindo assim uma probabilidade Xj de estarmos no estado j.

O vetor X = { X 1, X 2 , ... , X S} é chamado de distribuição do estado permanente (steady-

state) ou distribuição equilibrada.

P1 =

0 .8 .2

.3 .7 0

.4 .5 .1

.2 .8 0 0

0 0 .9 .1

.4 .5 .1 0

0 0 0 1

P2 =


Determinação do steady state.

Quando n é um número grande e para todos os i, temos que:

Pij (n+1) Pij (n) Xj (1)

Como Pij (n+1) é igual ao produto (fila i de Pn) (coluna j de P), podemos escrever:

Pij (n+1)

sk

k 1

Pik (n) pkj (2)

Substituindo (1) em (2), podemos escrever:

Xj =

sk

k 1

Xk pkj

Na forma matricial:

X = XP

Para obter uma solução única desse sistema de equações, temos que considerar que:

X1 + X2 + ... + XS = 1

Exemplo 7:

Seja a probabilidade da Cola:

P = 0.9 0.1

0.2 0.8

Do teorema temos:

[X1 X2] = [ X1 X2] 0.9 0.1

0.2 0.8

Multiplicando:

X1 = 0.9 X1 + 0.2 X2 -0.1 X1 + 0.2 X2 = 0

X2 = 0.1 X1 + 0.8 X2

Substituindo a segunda linha, por:

X1 + X2 = 1

E resolvendo o sistema:

-0.1 X1 + 0.2 X2 = 0

X1 + X2 = 1

Temos: X1 = 0.66 e X2 = 0.33

ANÁLISE TRANSIENTE

Observando-se a tabela do exemplo da cola, na seção 1.3, percebe-se que o ‘estado

permanente’ é atingido, com uma precisão de duas casas, depois de apenas dez trasições. Não

existe uma regra geral que permita determinar em quantos n passos o estado permanente de uma

cadeia de Markov será alcançado. O comportamento de uma cadeia de Markov antes de alcançar o

estado permanente é chamado de ‘comportamento transiente’.


Exemplo 8:

Suponha que em toda semana do ano cada consumidor de cola compre uma unidade (1ano =

52 semanas). Suponha que existam 100 milhões de consumidores. Cada unidade de cola custa para

a companhia R$ 1 e é vendida por R$ 2. Por R$ 500 milhões ao ano a empresa de marketing

‘Vendemos Tudo’ garante que decresce de 10 % para 5 % a fração de consumidores de cola 1 que

trocam para cola 2 na compra da semana seguinte. Deveria a companhia que fabrica cola 1 contratar

a empresa ‘Vendemos Tudo’.

EXERCÍCIOS

9 Determine o “steady-state” para o problema nº4 dessa lista (do local de moradia)?

10 Para o exemplo do jogo a “Ruína do Jogador”, por que não é razoável falar em

probabilidades do “steady-state” ?

11 No início de cada ano meu carro está em uma das seguintes condições: bom, razoável

ou quebrado. Um carro bom, no início do ano seguinte, terá uma probabilidade de .85

de estar na condição bom, .10 na condição razoável e .05 na condição quebrado. Um

carro razoável, no início do próximo ano, será um carro razoável com probabilidade de

.70 e será um carro quebrado com probabilidade de .30. Um carro novo, no estado

bom, custa $6.000,00, um carro razoável pode ser dado como entrada pelo valor de

$2.000,00. Um carro quebrado não tem valor de troca e deve ser reposto

imediatamente por um carro novo. Se custa $1.000,00 por ano operar um carro bom e

$1.500,00 operar um carro razoável. O que devo fazer? Trocar meu carro assim que

tornar-se razoável ou esperar que atinja a condição quebrado, para então fazer a troca?

Assuma que o custo de operação de um carro depende da sua condição no início do

ano, isso se não houver troca, se um carro novo for comprado, durante o ano, assuma,

então, que o custo de operação é o do carro no estado bom.

(Dica: os cálculos devem ser feitos duas vezes, uma para a troca na condição razoável,

outro para a troca na condição quebrado, compare os resultados)

1.6 CADEIAS ABSORVENTES

Muitas aplicações interessantes de cadeias de Markov envolvem cadeias com estados

absorventes e transientes. Essas cadeias são chamadas de Cadeias Absorventes. Para mostrar o

que essas cadeias tem de interessante, mostra-se os seguintes exemplos:

Exemplo 9: Contas a Receber

A situação da firma ‘Só Falta Apagar as Luzes’ das contas a receber pode ser modelada

como uma cadeia de Markov. Suponha que a firma assuma que uma conta com mais de 3 meses de

atraso é uma conta considerada perdida pela contabilidade. No início do mês as contas a receber são

classificadas em um dos seguintes estados:


Estado 1: Conta nova.

Estado 2: Conta com 1 mês de atraso no pagamento.

Estado 3: Conta com 2 meses de atraso no pagamento.

Estado 4: Conta com 3 meses de atraso no pagamento.

Estado 5: Conta recebida.

Estado 6: Conta considerada perdida.

Considere que a matriz de transição a seguir descreve como os estados da cadeia de Markov

mudam.

Nova 1 mês 2 meses 3 meses Recebida Perdida

Nova

1 mês

2 meses

3 meses

Recebida

Perdida

0

0

0

0

0

0

.6

0

0

0

0

0

0

.5

0

0

0

0

0

0

.4

0

0

0

.4

.5

.6

.7

1

0

0

0

0

.3

0

1

Assim, por exemplo, uma conta no início do mês com 2 meses de atraso tem uma

probabilidade de 0.4 de continuar atrasada e uma probabilidade de 0.6 de ser recebida pela firma.

Depois que a conta foi recebida ou considerada como perdida, não ocorrem mais transições.

Portanto os estados 5 e 6 são considerados absorventes e os outros estados transientes.

Para uma conta nova existem dois estados finais possíveis: ou será recebida ou será perdida.

A questão de maior interesse é: Qual a probabilidade de uma conta nova ser recebida?


Exemplo 10: Escritório de advocacia ‘Resolvemos Qualquer Parada’.

O escritório classifica seus advogados em 3 tipos de: junior, senior e associado. Modelando a

carreira de um advogado dentro da firma como uma cadeia de Markov, além dos 3 estados citados,

existem dois estados absorventes a saber: o advogado deixa a firma como ‘saiu não associado’ ou o

advogado deixa a firma como ‘saiu associado’. Não é admitida a hipótese de retorno de um advogado

após sua saida.

A matriz de transição abaixo mostra as probabilidades de mudança de estado dentro da firma.

t + 1

t

Junior Senior Associado Saiu Não

Associado

Saiu

Associado

Junior

.80 .15 0 .05 0

Senior

0 .70 .20 .10 0

Associado

0 0 .95 0 .05

Saiu Não

Associado

0 0 0 1 0

Saiu

Associado

0 0 0 0 1

Deseja-se saber, de um modo geral, para Cadeias de Markov: (a) Se a cadeia começa em um

dado estado transiente, antes de atingir-se um estado absorvente, qual é o número esperado de

vezes que cada estado será alcançado? Qual o número esperado de períodos que são passados em

um determinado estado transiente antes que um estado absorvente seja alcançado? (b) Se a cadeia

começa em um dado estado transiente, qual é a probabilidade de se alcançar cada um dos estados

absorventes?

Para responder a essas questões, necessita-se escrever a matriz de transição com os

estados na seguinte ordem: primeiro os estados transientes e depois os absorventes. Para o bem da

conceitualização, assumiremos que existem ‘s’ estados, sendo ‘m’ estados absorventes e ‘s-m’

estados transientes. Então a matriz de transição pode ser escrita da seguinte forma:

s-m colunas m colunas

s-m filas Q R

m filas 0 I


Onde:

Q é uma matriz s-m X s-m que representa as transições dos estados transientes para os

estados transientes.

R é uma matriz s-m X m que representa as transições dos estados transientes para os

estados absorventes.

0 é uma matriz m X s-m composta inteiramente de zeros, já que não é possível passar de um

estado absorvente para um estado transientes.

I é uma matriz identidade m X m que representa o fato que não existe saida de um estado

absorvente.

Para o exemplo das ‘contas a receber’ Q e R são:

Para o exemplo do ‘escritório de advocacia’ Q e R são:

0 .6 0 0

0 0 .5 0

0 0 0 .4

0 0 0 0

Q =

.4 .0

.5 0

.6 0

.7 .3

R =

.80 .15 0

0 .70 .20

0 0 .95

Q = .05 0

.10 0

0 .05

R =


12 A secretaria da Escola Técnica, classificou seus alunos do curso de Técnico em

Telecomunicações, com duração de 4 anos, em calouros, junior, senior, formando,

abandono (sem direito a retorno) e formado, de acordo com uma cadeia de Markov:

calouro junior senior formando abandono formado

calouro .10 .80 0 0 .10 0

junior 0 .10 .85 0 .05 0

senior 0 0 .15 .80 .05 0

formando 0 0 0 .10 .05 .85

abandono 0 0 0 0 1 0

formado 0 0 0 0 0 1

Essa classificação é feita no início de cada ano. Assim, por exemplo, um estudante senior tem

80% de chances de se tornar um formando, e 15% de chances de ser reprovado e permanecer

como senior, no início do próximo ano. Pergunta-se:

a) Qual é o tempo médio esperado de permanência na escola de um aluno que entrou como

calouro?

b) Qual é a probabilidade de um calouro conseguir se formar?

13 A Tribuna de Petrópolis determinou as seguintes estatísticas a respeito de seus

assinantes: durante o primeiro ano 20% dos assinantes cancelam suas assinaturas, durante o

segundo ano mais 10% dos assinantes do primeiro ano irão cancelar suas assinaturas e a cada

ano seguinte 4% dos assinantes do primeiro ano irão cancelar as assinaturas do jornal.

Na média, quanto tempo um leitor permanece como assinante?

RESPOSTAS DOS EXERCÍCIOS

1 MATRIZ 2x2

2 MATRIZ 5x5

3 MATRIZ 3x3

4 a - .651, .258, .091

4 b – 0,315

4 c - RESPOSTA LITERAL

5 a – R$ 3 = p2, p(1-p) e 0

R$ 2 = 2p (1-p) e 0

5 b - R$ 2 = 2p2 (1-p), 2p (1-p) 2 e 0

6 d - não é ergódica, o porque fica com você.

7 P1 é ergódica, P2 não é ergódica.

8 –

9 [.21 ; .50 ; .29 ]

10 –

11 Custo de trocar na condição quebrado R$ 1800,00

Custo de trocar na condição razoável R$ 1700,00

1 a - 3,97 anos b .75

2 19,8 anos

Cadeias de Markov 2013

Documents

Transcript of Cadeias de Markov 2013