MI 625 - Processos Estocasticos

Nancy Lopes Garcia, Sala 209 - IMECC

nancy@ime.unicamp.br, www.ime.unicamp.br/˜nancy

Horario: 2as. e 4as. feira: 8-10hs (Sala 225)

Livro Texto: Introduction to Stochastic Processes, Paul Gerhard Hoel, Sidney C. Port, Charles J. Stone.

Livro de apoio: Stochastic Modelling of Scientific Data, Peter Guttorp.

Programa:

• Cadeias de Markov a tempo discreto

• Cadeias de ordem maior

• Teoria de verossimilhanca para cadeias de Markov

• Processos de Poisson

• Inferencia parametrica e nao parametrica para Processos de Poisson

• MCMC e simulacao perfeita

1

Processos Estocasticos

Inferencia: Seja uma amostra aleatoria X0, X1, X2, . . . , Xn, isto e, X0, X1, X2, . . . , Xn sao i.i.d. e a sua distribuicao

de probabilidade conjunta:

P(X0 ∈ A0, . . . , Xn ∈ An) =n∏i=0

P(Xi ∈ Ai) =n∏i=0

P(X ∈ Ai),

onde X tem a mesma distribuicao das Xi’s.

Exemplo 1: Considere a sequencia de v.a’s Xi.j onde Xi,j = 1 se chove no i-esimo dia do j-esimo ano e Xi,j = 0

se nao chove no i-esimo dia do j-esimo ano.

Faz sentido pensar que estas v.a’s sao i.i.d.?

Exemplos:

1. Ferrugem asiatica:

• A ferrugem asiatica e uma doenca que esta atacando as culturas de soja causando muito prejuızo aos

produtores e demanda aplicacoes de fungicida causando danos ao meio ambiente e excessivos gastos.

• Um dos fatores que influenciam para a ocorrencia da doenca e o molhamento foliar superior a oito horas.

• Molhamento foliar – acumulo de agua lıquida causado por precipitacao ou condensacao da umidade at-

mosferica na forma de orvalho - superior a 8 horas.

• As variaveis coletadas sao:

(a) molhamento foliar (codificada como 1 se ha molhamento superior a oito horas e 0 caso contrario),

(b) velocidade do vento em m/s,

(c) umidade relativa do ar,

(d) precipitacao em mm e temperatura media em ◦C.

• Essas variaveis foram coletados de quatro estacoes meteorologicas:

(a) Lucas do Rio Verde (MT)(dezembro de 2003 a agosto de 2005),

(b) Rio Verde (GO)(setembro de 2004 a novembro de 2004),

(c) Passo Fundo (RS)(agosto de 2004 a abril de 2005) e

(d) Holambra (SP)(agosto de 2004 a junho de 2005).

• Esse dados foram enviados diariamente para o CEPAGRI - Unicamp (Centro de Pesquisas Meteorologicas

e Climaticas Aplicadas a Agricultura).

2

• Temos informacoes de 15 em 15 minutos para estacao de Lucas do Rio Verde e Holambra, e de 30 em

30 minutos para estacao de Rio Verde e Passo Fundo, mas resumimos em dados diarios para uma melhor

compreensao do fenomeno.

• Fonsechi (2006) analisou estes dados atraves de um Modelo Logıstico Regressivo, cujas variaveis regressoras

dependem do tempo anterior, por exemplo, se choveu no tempo t − 1 influencia se havera molhamento ou

nao no tempo t. Obviamente nao podemos esperar independencia de um tempo para o outro.

2. A questao linguıstica:

Como identificar “fingerprints” de ritmo em textos escritos de Portugues Brasileiro (BP) e Portugues Europeu

Moderno (EP)?

Por que?

EP e BP tem

• Mesmas palavras (morfologia);

• Diferente ordem de palavras (sıntaxe);

• Diferente pronuncia (prosodia/ritmo).

O que e ritmo linguıstico?

• Nao esta bem definido na literatura.

• Agrupamento de sılabas atonas ao redor de sılabas tonicas (Pe).

• Construcao do pe depende de cada lıngua e interage com fronteiras de outros domınios linguısticos.

Definicoes

Palavra prosodica = palavra lexica + palavras funcionais atonas que a precedem.

O menino comeu a bala.

Acentos na fala

• Acento lexico (primario), fixo;

• Acento adicional (secundario), depende da implementacao da sentenca no sinal acustico.

Nao recuperavel de textos escritos.

A informacao contida nos textos e a posicao de:

• acentos lexicais,

3

• fronteiras de palavras prosodicas, e

• fronteiras de sentencas.

A pergunta e como utilizar estas informacoes para detectar diferencas no ritmo entre textos de BP e EP.

Dados

A amostra e composta de textos literarios modernos (2a. metade do Sec. XX) de autores brasileiros (35 textos)

e autores europeus (31 textos).

A amostra codificada pode ser vista em http://www.ime.usp.br/~tycho/prosody/vlmc/data.

O modelo probabilıstico

Codificacao de sılabas:

• inıcio de palavra prosodica;

• tonica ou atona.

0 Sılaba atona, nao inıcio de palavra prosodica;

1 Sılaba tonica, nao inıcio de palavra prosodica;

2 Sılaba atona, inıcio de palavra prosodica;

3 Sılaba tonica, inıcio de palavra prosodica; e

4 Fronteira de sentenca.

Exemplo: O menino ja comeu o doce

Sentence O me ni no ja co meu o do ce

Acento 0 0 1 0 1 0 1 0 1 0

Palavra 1 0 0 0 1 1 0 1 0 0

Codificacao 4 2 0 1 0 3 2 1 2 1 0

A codificacao e feita de maneira automatica usando um software escrito em Perl (C).

Limitacoes Linguısticas

• Palavras prosodicas sao finitas. Limitadas por digamos 15 sılabas.

• Toda palavra prosodica deve conter uma,e somente uma, sılaba tonica.

• Uma sılaba tonica pode ser seguida por, no maximo, 3 sılabas atonas dentro da mesma palavra prosodica.

• Toda sentenca deve iniciar com uma palavra prosodica.

4

3 0 3 0 3 0 3 0 2 1 0 2 0 0 1 0 2 0 0 0 1 0 3 0 4

3 0 2 1 2 1 0 2 1 0 2 1 0 3 3 0 3 0 3 0 0 2 0 1 0 4

3 0 2 1 2 1 0 2 1 0 2 1 0 2 1 0 2 1 0 4

2 0 0 1 0 2 0 0 1 2 1 0 2 0 0 1 0 2 0 1 0 2 0 1 0 2 1 2 1 3 0 2 0 0 1 0 4

3 0 2 0 0 1 0 4

2 1 3 0 3 0 2 1 3 0 2 0 0 1 0 2 1 2 0 1 2 1 0 3 0 2 0 0 1 0 2 1 2 0 1

0 0 2 1 0 2 1 4

Tortura e Gloria Clarice Lispector

Ela era gorda, baixa, sardenta e de cabelos excessivamente crespos. Veio a ter um busto enorme, enquanto nos

todas ainda eramos achatadas. Como se nao bastasse, enchia os bolsos da blusa, com balas. Mas possuıa o que

qualquer crianca devoradora de historias gostaria de ter: um pai dono de livraria. Pouco aproveitada. E nos

menos ainda: ate para aniversario, em vez de algum livrinho, ela nos entregava em maos um cartao-postal da

loja do pai.

Processos Estocasticos

Um processo estocastico e uma colecao de v.a’s

{Xα, α ∈ T}

onde T e um conjunto de ındices que pode ser discreto contınuo. Em geral, T = N ou [0,∞).

Neste caso, sempre e possıvel escrever a distribuicao conjunta de um numero finito destas v.a.’s

P(X0 ∈ A0, . . . , Xn ∈ An) =

P(X0 ∈ A0)n∏i=1

P(Xi ∈ Ai|X0 ∈ A0, . . . , Xi−1 ∈ Ai−1).

A teoria de Processos Estocasticos estuda diversas especificacoes para as probabilidades condicionais acima e obtem

resultados similares aos classicos:

• Lei dos Grandes Numeros (Teorema Ergodico);

• Teorema Central do Limite;

• Lei Assintotica;

• Estimacao de maxima verossimilhanca;

• Testes de hipoteses;

5

• Estimacao nao parametrica.

Exemplos:

1. Seja Xt o numero de terremotos com magnitude maior que 5 que ocorrem na regiao de Sao Francisco no perıodo

de (0, t], onde 0 e o inıcio do registro, por exemplo, 0:00hs do dia 01/01/1950. Neste caso temos um processo

a tempo contınuo com espaco de estados discreto.

2. Seja (Xk, Yk) o numero de nascimento e mortes, respectivamente, ocorridos no dia k em uma colonia de vetores

trnsmissores de doenca de Chagas. Neste caso temos um processo a tempo discreto com espaco de estados

discreto.

3. Seja Xy,t a espessura da camada de ozonio na locacao y no tempo t. Aqui temos T = R2 × [0,∞). Neste caso

temos um processo a tempo contınuo com espaco de estados contınuo.

4. Xt e a intensidade de um sinal a uma distancia t da origem. Neste caso temos um processo a tempo contınuo

com espaco de estados contınuo. alem disso, “tempo” e a distancia.

5. Clientes chegam a uma fila de supermercado de acordo com um processo de Poisson. Os clientes sao atendidos

por um caixa que atende cada cliente de acordo a uma distribuicao exponencial de parametro 1. Seja Xt o

numero de clientes na fila.

6. Temos duas caixas com um total de d bolas numeradas de 1 a d. Em cada experimento selecionamos uma bola

ao acaso e a trocamos de caixa. Seja Xt o numero de bolas na caixa 1 no instante t. Neste caso temos um

processo a tempo discreto com espaco de estados discreto.

Por que usar modelos estocasticos?

Distinguir entre diferentes hipoteses.

Por exemplo, quando uma placa de E. coli e infestada com o bactericida T1, a maioria das celulas e destruıda.

Uma poucas, entretanto, sobrevivem. Alem disso, todas as descendentes destas sobreviventes sao resistentes ao T1.

Por que? Duas hipoteses:

1. Adaptacao. Numero de sobreviventes e Poisson. (Media igual a variancia).

2. Mutacao. Media menor que a variancia.

Ajuda a entender o fenomeno estudado No caso dos textos de PB e PE as conclusoes encontradas puderam ser

interpretadas em termos linguısticos como a formacao do pe.

Mais simples do que modelos determinısticos Imagine o fenomeno do lancamento de uma moeda.

6

• Por simplicidade vamos ignorar a resistencia do ar e as irregularidades da superfıcie onde ela pousa.

• As leis do movimento da moeda sao elementares (Keller, 1986). Seja y(t) a altura do centro de gravidade da

moeda no tempo t e θ(t) o angulo entre a normal da superfıcie e a normal da face cara.

• As equacoes diferenciais que regem o movimento da moeda sao:

y′′(t) = −g, θ′′(t) = 0

onde g e a aceleracao da gravidade. Assumindo que a moeda e lancada de uma altura inicial a com a face cara

para baixo, lancada com velocidade vertical u e velocidade angular ω.

• Condicoes iniciais:

y(0) = a, y′(0) = u, θ(0) = 0, θ′(0) = ω.

• Solucao final:

y(t) = a+ ut− gt2/2, θ(t) = ωt.

Permite calcular a variabilidade dos estimadores

Pode ser uma extensao de modelos determinısticos.

Fonte: Wikipedia, the free encyclopedia (http://en.wikipedia.org/wiki)

Scientific applications

Markovian systems appear extensively in physics, particularly statistical mechanics, whenever probabilities are used

to represent unknown or unmodelled details of the system, if it can be assumed that the dynamics are time-invariant,

and that no relevant history need be considered which is not already included in the state description.

Claude Shannon’s famous 1948 paper

• A mathematical theory of communication,

• At a single step created the field of information theory,

• opens by introducing the concept of entropy through Markov modeling of the English language.

• Such idealised models can capture many of the statistical regularities of systems.

• Even without describing the full structure of the system perfectly, such signal models can make possible very

effective data compression through entropy coding techniques such as arithmetic coding.

• They also allow effective state estimation and pattern recognition.

7

• The world’s mobile telephone systems depend on the Viterbi algorithm for error-correction, while Hidden Markov

models (where the Markov transition probabilities are initially unknown and must also be estimated from the

data) are extensively used in speech recognition and also in bioinformatics, for instance for coding region/gene

prediction.

The PageRank of a webpage as used by Google is defined by a Markov chain. It is the probability to be at page i

in the stationary distribution on the following Markov chain on all (known) webpages. If N is the number of known

webpages, and a page i has ki links then it has transition probability (1− q)/ki + q/N for all pages that are linked to

and q/N for all pages that are not linked to. The parameter q is taken to be about 0.15.

Markov chain methods have also become very important for generating sequences of random numbers to accurately

reflect very complicated desired probability distributions - a process called Markov chain Monte Carlo or MCMC for

short. In recent years this has revolutionised the practicability of Bayesian inference methods.

Markov chains also have many applications in biological modelling, particularly population processes, which are

useful in modelling processes that are (at least) analogous to biological populations. The Leslie matrix is one such

example, though some of its entries are not probabilities (they may be greater than 1).

A recent application of Markov chains is in geostatistics. That is, Markov chains are used in two to three dimensional

stochastic simulations of discrete variables conditional on observed data. Such an application is called ”Markov chain

geostatistics”, similar with kriging geostatistics. The Markov chain geostatistics method is still in development.

Markov chains can be used to model many games of chance. The children’s games Chutes and Ladders and Candy

Land, for example, are represented exactly by Markov chains. At each turn, the player starts in a given state (on a

given square) and from there has fixed odds of moving to certain other states (squares).

Cadeias de Markov

• Espaco de estados discreto e tempo discreto

• X0, X1, . . . v.a.’s discretas com valores possıveis S enumeravel.

Propriedade de Markov

P(Xn = x|X0 = x0, X1 = x1, . . . , Xn−1 = xn−1) = P(Xn = x|Xn−1 = xn−1)

para todo n ≥ 1 e todos os valores de x, x0, x1, . . . , xn−1 ∈ S.

Exemplo 1: Sejam Y0, Y1, . . . v.a.’s discretas i.i.d.. Defina

Sn = Y0 + . . .+ Yn

Neste caso,

P(Sn = x|S0 = x0, S1 = x1, . . . , Sn−1 = xn−1)

8

= P(Sn−1 + Yn = x|S0 = x0, S1 = x1, . . . , Sn−1 = xn−1)

= P(xn−1 + Yn = x|S0 = x0, S1 = x1, . . . , Sn−1 = xn−1)

= P(xn−1 + Yn = x) = P(Sn = x|Sn−1 = xn−1).

Definicoes equivalentes

P(Xn = x|Xn0 = x0, Xn1 = x1, . . . , Xnk= xk) = P(Xn = x|Xnk

= xk)

para todo n ≥ 1 e n0 < n1 < . . . < nk ≤ n− 1.

P(Xn+m = x|X0 = x0, X1 = x1, . . . , Xn = xn) = P(Xn = x|Xn = xn)

para todo n ≥ 1 e todos os valores de x, x0, x1, . . . , xn−1 ∈ S. Prova:

P(Xn+m = x|X0 = x0, X1 = x1, . . . , Xn = xn)

=∑y1

. . .∑ym

P(Xn+m = x,Xn+m−1 = ym, . . . , Xn+1 = y1|

X0 = x0, X1 = x1, . . . , Xn = xn)

=∑y1

. . .∑ym

P(Xn+m = x|Xn+m−1 = ym, . . . , Xn+1 = y1, X0 = x0,

X1 = x1, . . . , Xn = xn)

P(Xn+m−1 = ym|Xn+m−2 = ym−1, . . . , Xn+1 = y1,

X0 = x0, X1 = x1, . . . , Xn = xn) . . .

=∑y1

. . .∑ym

P(Xn+m = x|Xn+m−1 = ym)

P(Xn+m−1 = ym|Xn+m−2 = ym−1) . . .

P(Xn+1 = y1|Xn = xn)

=∑y1

. . .∑ym

P(Xn+m = x,Xn+m−1 = ym,

Xn+m−2 = ym−1 . . . Xn+1 = y1|Xn = xn)

= P(Xn+m = x|Xn = xn)

• Cadeia de Markov homogenea

P(Xn = j|Xn−1 = i) = P(X1 = j|X0 = i) := pij

para todo n ≥ 1 e todos os valores de i, j ∈ S.

• Matriz de transicao

P = (pij)

9

A matriz de transicao e uma matriz estocastica, i.e.,

pij ≥ 0, ,∑j

pij = 1.

• Matriz de transicao em n-passos

Pn = (pij(n))

onde

pij(n) = P(Xn = j|X0 = i)

Note que P1 = P, mais ainda

pij(2) = P(X2 = j|X0 = i)

=∑k∈S

P(X2 = j,X1 = k|X0 = i)

=∑k∈S

P(X2 = j|X1 = k)P(X1 = k|X0 = i)

=∑k∈S

pkjpik.

Portanto, P2 = P2.

Equacoes de Chapman-Kolmogorov

pij(n+m) =∑k pkj(n)pik(m)

Consequentemente, Pn+m = PnPm e Pn = Pn.

Prova:

pij(n+m) = P(Xn+m = j|X0 = i)

=∑k∈S

P(Xn+m = j,Xm = k|X0 = i)

=∑k∈S

P(Xn+m = j|Xm = k)P(Xm = k|X0 = i)

=∑k∈S

pkj(n)pik(m).

Proposicao: (i) Uma matriz estocastica tem ao menos um auto-valor igual a 1.

(ii) Se P e estocastica, entao Pn e estocastica.

Prova: A definicao de uma matriz estocastica pode ser reescrita como:

P1T = 1T .

Portanto,

(I − P )1T = 0.

10

O auto-valor 1 corresponde ao auto-vetor a direita 1.

Observe que (ii) segue facilmente desta expressao pois

Pk1T = P k1T = P k−11T = . . . = 1T .

Distribuicoes marginais Defina

µ(n)i = P(Xn = i).

e

µ(n) = (µ(n)i , i ∈ S).

Note que

µ(1)i = P(X1 = i) =

∑k

P(X1 = i,X0 = k)

=∑k

P(X1 = i|X0 = k)P(X0 = k)

=∑k

pkiµ(0)k

µ(2)i = P(X2 = i) =

∑j

P(X2 = i,X1 = j)

=∑j

P(X2 = i|X1 = j)P(X1 = j)

=∑j

pjiµ(1)j =

∑j

pji∑k

pkjµ(0)k

Em geral,

µ(n+m) = µ(m)Pn e µ(n) = µ(0)Pn

Exemplo: Snoqualmie Falls S = {0, 1} Matriz de transicao

P =

p00 p01

p10 p11

Amostra: 36 anos (1948–1983) 30 pares de dias em Janeiro.

X1,1, . . . , X1,31

X2,1, . . . , X2,31

. . .

X36,1, . . . , X36,31

11

Observe que podemos considerar que os vetores (Xj,1, . . . , Xj,31), j = 1, . . . , 36 sao independentes.

Sera que os elementos do vetor (Xj,1, . . . , Xj,31) nao sao independentes?

Observando os dados temos que neste conjunto de dados foram observados 325 sem chuva e 791 dias chuvosos

dando uma estimativa de p0 = 0.291 e p1 = 0.709.

Hoje

0 1

0 186 (91) 123 (223) 309

Ontem

1 128 (223) 643 (543) 771

314 766 1080Os valores entre parenteses sao os valores esperados sob a hipotese de independencia. X2 = 202, 89 e χ2

1;1% = 6, 63.

Funcao de verossimilhanca

L(P,x) = P(X0 = x0)n−1∏i=0

P(Xi+1 = xi+1|Xi = xi)

= P(X0 = x0)n−1∏i=0

pxi,xi+1

= P(X0 = x0)∏k,l∈S

pnk,l

k,l

onde nk,l = numero de vezes em que Xi = k,Xi+1 = l.

No exemplo de Snoqualmie Falls,

L(P,x) =

3∏j=1

6P(X0,j = x0,j)

p18600 p

12301 p

12810 p

64311 .

Assuma que os x0,j sao fixos e P(X0,j = x0,j) = 1, se nao, podemos usar as 36 amostras para estimar esta proba-

bilidade.

Neste caso, usando o fato que p00 + p01 = 1 e p10 + p11 = 1, derivando a funcao de verossimilhanca em funcao de

p1,0 e p1,1 temos os estimadores:

P1,0 = N1,0/(N0,0 +N1,0)

e

P1,1 = N1,1/(N0,1 +N1,1)

As estimativas de MV sao dadas por:

p1,0 = 123/309 = 0, 398 p1,1 = 643/771 = 0, 834

12

1. Processos de ramificacao

Modelos para evolucao de uma populacao:

(a) Em geral, difıceis matematicamente.

(b) Simplificacoes interessantes e matematicamente trataveis.

• O estudo de processos de ramificacao se originou de um “puzzle” matematico colocado por Sir Francis

Galton, o primo de Charles Darwin, no the Educational Times de 1 April 1873.

• Processos de ramificacao podem ser vistos como a representacao matematica da evolucao de uma populacao

onde os mecanismos de reproducao e morte estao sujeitas a leis aletorias simples.

• O problema proposto por Galton: Uma grande nacao, das quais somente nos interessam os adultos

homens, N indivıduos, e cada um tendo um sobrenome distinto, colonizam um distrito. A lei de tal

populacao e que, em cada geracao, P0 porcento de adultos homens tem nenhum filho homem, P1 tem

somente um filho homem, P2 tem 2 filhos homens, ate P5 que tem 5 filhos homens.

Ache (1) Qual a proporcao de sobrenomes que se extinguirao apos r geracoes; e (2) em quais casos havera

o mesmo sobrenome para m pessoas.

• A solucao proposta por Rev. Henry William Watson em seu artigo de 1874 conjuntamente com

Galton, onde a teoria dos processos de ramificacao foram desenvolvidas e estes processos ficaram conhecidos

como processos de Galton-Watson.

Aplicacoes:

• Propagacao de especies e genes

• Reacao nucleares

• Fenomeno de cascata eletronica

• Modelos epidemicos

Processo de ramificacao Bienayme-Galton-Watson

O processo de ramificacao Bienayme-Galton-Watson pode ser visto como um modelo estocastico de evolucao de

populacoes de partıculas ou indivıduos.

• Incia no tempo 0 com Z(0) partıculas.

• Cada uma delas se divide independentemente em um numero aleatorio de filhos que constituem a primeira

geracao.

13

• Cada partıcula da primeira geracao se divide independentemente em um numero aleatorio de filhos (todos

com a mesma lei) que constituem a segunda geracao , e assim por diante.

• O numero de filhos produzidos por cada partıcula sao v.a.’s i.i.d., independentemente da histøria do processo

e de todas as outras partıculas presentes.

Um processo de Galton-Watson {Xn;n = 0, 1, 2, . . .} e uma cadeia de Markov com espaco de estados {0, 1, . . .}

tais que:

• Sejam ξ1,1, ξ1,2, . . ., ξ2,1, ξ2,2, . . ., . . . v.a’s i.i.d. com funcao de probabilidade f(k) = P(ξi,j = k);

• X0 = N para N fixo ou aleatorio;

• X1 = ξ1,1 + ξ1,2 + . . .+ ξ1,N

X2 = ξ2,1 + ξ2,2 + . . .+ ξ2,X1

Xn = ξn,1 + ξn,2 + . . .+ ξn,Xn−1

• Neste caso,

P (0, 0) = 1, , P (x, y) = P (ξ1,1 + ξ1,2 + . . .+ ξ1,x = y).

• Em particular, P (1, y) = f(y).

Seja m = E(ξ1,1) a media de filhos por indivıduo ou taxa de infeccao.

Vamos estudar que:

• Caso subcrıtico (m < 1): Extincao do processo, tempo de extincao com esperanca finita;

• Caso crıtico (m = 1): Extincao do processo, tempo de extincao com esperanca infinita;

• Caso supercrıtico (m > 1): Probabilidade de extincao menor que um.

O problema de estimacao de m aparece quando se lida com polıtica de vacinacao e prevencao de epidemias e

pandemias.

Problema basico: Bom estimador para m.

Metodos: EMV, Mınimos quadrados, razao, metodo dos momentos, Bayes, etc.

2. Urna de Ehrenfest

• Modelo para troca de calor ou gases entre dois corpos isolados.

• Temos duas caixas com um total de d bolas numeradas de 1 a d.

• Inicialmente algumas destas bolas estao na caixa 1 e o restante na caixa 2.

14

• Em cada experimento selecionamos uma bola ao acaso (i.e, selecionamos ao acaso um numero entre 1 e d)

e a trocamos de caixa.

• Repita o procedimento sequencialmente. Seja Xn o numero de bolas na caixa 1 no instante n.

Xn e uma cadeia de Markov com espaco de estados

{0, 1, . . . , d} e matriz de transicao

P (x, y) =

(x/d), y = x− 1,

1− (x/d), y = x+ 1,

0, caso contrario

Definicao: Um estado a de uma cadeia de Markov e dito ser absorvente se P (a, y) = 0, para y 6= a.

3. Ruına do jogador

• Um jogador comeca com um capital inicial de d reais e faz uma sequencia de apostas de R$ 1,00.

• Assuma que ele tem probabilidade p de ganhar e probabilidade 1− q de perder a cada aposta independen-

temente das apostas anteriores.

• Se seu capital chegar a zero ele se arruinara e seu capital continuara zero para sempre.

• Esta e uma CM com espaco de estados {0, 1, . . .} onde 0 e um estado absorvente e para x ≥ 1

P (x, y) =

1− p, y = x− 1,

p, y = x+ 1,

0, caso contrario

4. Cadeias de nascimento e morte

• Considere uma CM com espaco de estados S = {0, 1, . . .} ou S = {0, 1, . . . , d}.

• Estando no estado x no proximo passo somente podera estar em x, x+ 1 ou x− 1.

• Considere que a matriez de transicao seja:

P (x, y) =

qx, y = x− 1,

px, y = x+ 1,

rx, y = x,

0, caso contrario

onde para cada x, px, qx, rx ≥ 0, px + qx + rx = 1.

15

Classificacao de estados:

Seja A um subconjunto do espaco de estados S. O tempo de chegada a A e definido como:

TA =

min{n > 0;Xn ∈ A}, se Xn atinge A,

∞, caso contrario

Notacao:

A = {a} usamos a notacao: Ta.

Denotaremos por Px(·) as probabilidades dos diversos eventos quando o estado inicial da cadeia for x. Assim,

Px(X1 = a,X2 = b) = P(X1 = a,X2 = b|X0 = x).

Uma identidade importante:

Pn(x, y) =∑nm=1 Px(Ty = m)Pn−m(y, y), n ≥ 1

Prova: Note que os eventos {Ty = m,Xn = y} para m = 1, 2, . . . , n sao disjuntos e {Xn = y} = ∪nm=1{Ty = m,Xn =

y}. Portanto,

P(Xn = y|X0 = x)

=n∑

m=1

Px(Ty = m,Xn = y)

=n∑

m=1

Px(Ty = m)P(Xn = y|X0 = x, Tm = y)

=n∑

m=1

Px(Ty = m)P(Xn = y|X0 = x,X1 6= y, . . . , Xm−1 6= y,Xm = y)

=n∑

m=1

Px(Ty = m)P(Xn = y|Xm = y).

Exercıcio: Mostre que se a e um estado absorvente entao Pn(x, a) = Px(Ta ≤ n).

Se a e um estado absorvente entao

Pn−m(a, a) = 1, para1 ≤ m ≤ n.

e

Pn(x, a) =n∑

m=1

Px(Ta = m)Pn−m(a, a)

=n∑

m=1

Px(Ta = m) = Px(Ta ≤ n).

Observe que

Px(Ty = 1) = Px(X1 = y) = P (x, y)

16

e que

Px(Ty = 2) =∑z 6=y

Px(X1 = z,X2 = y) =∑z 6=y

P (x, z)P (z, y).

Em geral,

Px(Ty = n+ 1) =∑z 6=y P (x, z)Pz(Ty = n), n ≥ 1

Estados recorrentes e transientes

• ρxy = Px(Ty <∞) = probabilidade que uma CM comecando em x consiga atingir o estado y em tempo finito.

• ρyy = probabilidade que uma CM comecando em y alguma vez retorne a y.

• Um estado y e dito ser:

1. recorrente se ρyy = 1;

2. transiente se ρyy < 1.

• Se y e um estado absorvente, entao Py(T1 = y) = 1 e ρyy = 1 e y e recorrente.

Para cada estado y ∈ S defina a v.a.

N(y) =∞∑n=1

1y(Xn)

o numero de vezes que a CM visita o estado y.

Note que:

Px(N(y) ≥ 1) = Px(Ty <∞) = ρxy.

E facil ver que a propriedade de Markov diz que: a probabilidade da cadeia comecando em x visitar pela primeira

vez y apos m passos e retornar a y n passos depois e

Px(Ty = m)Py(Ty = n).

Portanto,

Px(N(y) ≥ 2) =∞∑m=1

∞∑n=1

Px(Ty = m)Py(Ty = n)

=

( ∞∑m=1

Px(Ty = m)

)( ∞∑n=1

Py(Ty = n)

)= ρxyρyy.

Similarmente,

Px(N(y) ≥ m) = ρxyρm−1yy , m ≥ 1.

17

Usando o fato que Px(N(y) = m) = Px(N(y) ≥ m)− Px(N(y) ≥ m+ 1).

Px(N(y) = m) = ρxyρm−1yy (1− ρyy), m ≥ 1.

e

Px(N(y) = 0) = (1− ρxy).

Observe que

Ex(N(y)) = Ex

( ∞∑n=1

1y(Xn)

)

=∞∑n=1

Ex (1y(Xn))

=∞∑n=1

Pn(x, y).

Defina

G(x, y) = Ex(N(y)) =∑∞n=1 P

n(x, y).

O seguinte teorema descreve a diferenca fundamental entre estados transientes e estados recorrentes:

Teorema: (i) Seja y um estado transiente. Entao:

Px(N(y) <∞) = 1

e

G(x, y) =ρxy

1− ρyy.

(ii) Seja y um estado recorrente. Entao:

Py(N(y) =∞) = 1 e G(y, y) = 1.

Mais ainda,

Px(N(y) =∞) = Px(Ty <∞) = ρxy.

Se ρxy = 0 entao G(x, y) = 0 enquanto que ρxy > 0 implica que G(x, y) =∞.

Prova:

Seja y um estado transiente. Como

∞∑n=1

Pn(x, y) = G(x, y) <∞ ⇒ limnPn(x, y) = 0.

Uma CM e dita ser transiente se todos os seus estados sao transientes e recorrente se todos os seus estados sao

recorrentes.

18

E facil ver que toda CM finita precisa ter pelo menos um estado recorrente, i.e. nao pode ter todos os seus estados

transientes:

0 =∑y∈S

limnPn(x, y)

CM finita = limn

∑y∈S

Pn(x, y)

= limnPx(Xn ∈ S)

= 1.

Decomposicao do espaco de estados:

Sejam x e y ∈ S

x→ y, se ρxy > 0.

• x→ y se, e somente se, Pn(x, y) > 0 para algum n.

• x→ y e y → z entao x→ z.

• Teorema: Seja x um estado recorrente e suponha que x→ y. Entao y e recorrente e ρxy = ρyx = 1.

Prova: ver livro

Definicao: Um conjunto nao vazio C ⊂ S e dito ser fechado se nenhum estado de dentro de C leva a um estado

fora de C, i.e., se

ρxy = 0, x ∈ C, y 6∈ C.

• Equivalentemente, C e fechado se, e somente se,

Pn(x, y) = 0, x ∈ C, y 6∈ C, para todo n ≥ 1.

• Se C e um conjunto fechado entao uma CM comecando em C ficara em C com probabilidade 1.

• Se A e um estado absorvente, entao {a} e fechado.

Definicao: Um conjunto fechado e dito ser irredutıvel se x→ y para todos x, y ∈ C.

• Segue do Teorema anterior que se C e uma classe fechada e irredutıvel, entao ou todo estado de C e recorrente,

ou todo estado de C e recorrente.

19

• Seja C uma classe fechada irredutıvel de estados recorrentes. entao ρxy = 1, Px(N(y) =∞) = 1 e G(x, y) =∞

para todas as escolhas de x, y ∈ C.

• Uma cadeia de Markov irredutıvel e uma cadeia cujo espaco de estados S e fechado e irredutıvel. Segue que tais

cadeias ou sao transientes ou sao recorrentes.

Teorema: Seja C um conjunto finito irredutıvel e fechada de estados. Entao todos os estados em C sao recorrentes.

Prova:

1. Ja vimos que se S e finito, contem pelo menos um estado recorrente.

2. O mesmo argumento mostra que qualquer conjunto finito fechado contem pelo menos um estado recorrente.

3. Como C e um conjunto finito e irredutıvel de estados, ou todos estados em C sao transientes, ou todos estados

em C sao recorrentes.

4. Portanto, todos estados em C sao recorrentes.

Considere uma CM com um numero finito de estados.

• Se a CM e irredutıvel, deve ser recorrente.

• Se a CM nao e irredutıvel verificamos quais sao as classes irredutıveis e quais estados sao recorrentes e transientes.

Exemplo: S = {0, 1, 2, 3, 4, 5}

1 0 0 0 0 014

12

14 0 0 0

0 15

25

15 0 1

5

0 0 0 16

13

12

0 0 0 12 0 1

2

0 0 0 14 0 3

4

Note que a matriz abaixo traz os valores + e 0 de acordo com x→ y, i.e, ρxy > 0.

+ 0 0 0 0 0

+ + + + + +

+ + + + + +

0 0 0 + + +

0 0 0 + + +

0 0 0 + + +

20

Obviamente, se P (x, y) > 0 entao ρxy > 0, mas a recıproca nao e verdadeira pois P (2, 0) = 0 e ρ20 > 0 pois

P 2(2, 0) = P (2, 1)P (1, 0) =15

14

=120

> 0.

• 0 e um estado absorvente, portanto e recorrente.

• Tambem vemos pela matriz acima que {3, 4, 5} e uma classe finita, fechada e irredutıvel portanto todos os seus

estados sao recorrentes.

• 2→ 0 e 1→ 0 mas 0 6→ 2 e 0 6→ 1, sendo assim 1 e 2 tem que ser estados transientes.

Sejam:

ST o conjunto de estados transientes;

SR o conjunto de estados recorrentes.

Neste exemplo, ST = {1, 2} e SR = {0} ∪ {3, 4, 5}.

Sempre e possıvel decompor SR numa uniao disjunta (finita ou enumeravel) de classes irredutıveis.

Probabilidades de absorcao:

Seja C uma das classes fechadas irredutıveis de estados recorrentes e defina:

ρC(x) := Px(TC <∞)

a probabilidade de que a CM comecando em x eventualmente atinja C ( e permaneca em C para sempre). Claramente,

ρC(x) = 1, se x ∈ C ρC(x) = 0, se x e recorrente, mas x 6∈ C

Como calcular ρC(x) se x for transiente?

• Se temos somente um numero finito de estados transientes, em particular se S e finito, pode-se encontrar

ρC(x), x ∈ ST atraves de um sistema linear de equacoes.

• Observe que se x ∈ ST , uma cadeia somente pode ser absorvido em C se, (i) for absorvindo em C no instante 1;

ou (ii) continuar em ST no instante 1 e ser absorvido em C em um tempo futuro.

• O evento (i) tem probabilidade∑y∈C P (x, y) e o evento (ii) tem probabilidade

∑y∈ST

P (x, y)ρC(y).

ρC(x) =∑y∈C P (x, y) +

∑y∈ST

P (x, y)ρC(y), x ∈ ST .

21

A equacao acima pode ser resolvida se ST e finito. No caso de ST nao e claro como resolver o sistema, nem mesmo

garantir que o sistema tenha solucao unica.

Exemplo: Encontre ρ10 = ρ{0}(1) e ρ20 = ρ{0}(2). Montando o sistema de equcoes temos,

ρ10 = 1/4 + (1/2)ρ10 + (1/4)ρ20

ρ20 = (1/5)ρ10 + (2/5)ρ20

A solucao e:

ρ10 = (3/5) e ρ20 = (1/5).

Exercıcio: Mostre que ρ{3,4,5}(1) = (2/5) e ρ{3,4,5}(2) = (4/5).

Note que uma vez que uma CM comecando em um estado transiente x entra em uma classe fechada, irredutıvel

de estados recorrentes, visita todos os estados de C com probabilidade 1. Assim,

ρxy = ρC(x), para todo y ∈ C.

Portanto,

ρ13 = ρ14 = ρ15 = 2/5,

ρ23 = ρ24 = ρ25 = 4/5.

Martingais: Considere uma CM com S = {0, 1, . . . , d} e matriz de transicao tal que

d∑y=0

yP (x, y) = x, x = 0, . . . , d.

Note que, pela propriedade de Markov

E[Xn+1|X0 = x0, . . . , Xn = x] =

=d∑y=0

yP[Xn+1 = y|X0 = x0, . . . , Xn = x]

= yP (x, y) = x

Portanto,

E[Xn+1|X0, . . . , Xn] = Xn

i.e., o valor esperado de Xn+1 dado todos os valores passados e presentes do processo e igual ao valor do presente Xn.

Obs.:

• Martingais nao precisam ser CM.

• Martingais sao muito utilizados em Teoria dos Jogos.

22

• Note que 0 e um estado absorvente pois

d∑y=0

yP (0, y) = 0⇒ P (0, y) = 0, para todos y 6= 0.

• Note que d e um estado absorvente pois

d∑y=0

yP (d, y) = d⇒ P (0, y) = 0, para todos y 6= d.

Mais ainda,

Ex(Xn) =d∑y=0

yPx(Xn = y)

=d∑y=0

yPn(x, y)

=d−1∑y=1

yPn(x, y) + dPn(x, d)

=d−1∑y=1

yPn(x, y) + dPx(Td ≤ n).

Como estados 1, 2, . . . , d− 1 sao transientes (Exercıcio) temos Pn(x, y)→ 0 quando n→∞ para y = 1, 2, . . . , d− 1 e

portanto

limn→∞

Ex(Xn) = dPx(Td <∞) = dρxd.

Por outro lado, como E(X0) = E(X1) = . . . = E(Xn) para todo n ≥ 1 (2a. lista de exercıcios) e Ex(Xn) = x. Temos,

limn→∞

Ex(Xn) = x.

Portanto,

dρxd = x ⇒ ρxd =x

d, x = 0, 1, . . . , d

e como ρx0 + ρxd = 1 temos

ρx0 = 1 − x

d, x = 0, 1, . . . , d.

Observe que a cadeia da ruına do jodador com p = 1/2 satisfaz a hipotese de martingal.

Cadeias de nascimento e morte

• CM irredutıvel: ou todos os estados recorrentes, ou todos estados transientes.

• CM irredutıvel finita: todos os estados recorrentes.

23

• O que fazer no caso S infinito?

• Considere uma CM com espaco de estados S = {0, 1, . . .} ou S = {0, 1, . . . , d}.

• Estando no estado x no proximo passo somente podera estar em x, x+ 1 ou x− 1.

• Considere que a matriez de transicao seja:

P (x, y) =

qx, y = x− 1,

px, y = x+ 1,

rx, y = x,

0, caso contrario

onde para cada x, px, qx, rx ≥ 0, px + qx + rx = 1. Note que q0 = 0 e pd = 0 se d <∞.

• Assuma que px, qx > 0 para 0 < x < d.

Para a < b ∈ S, seja

u(x) = Px(Ta < Tb), a < x < b

e

u(a) = 1, u(b) = 0.

Portanto, e facil ver que

u(y) = qyu(y − 1) + ryu(y) + pyu(y + 1), a < y < b.

Como ry = 1− py − qy temos

u(y + 1)− u(y) =qypy

(u(y)− u(y − 1)), a < y < b.

Defina γ0 = 1 e

γy = q1···qy

p1···py, 0 < y < d.

Portanto,

u(y + 1)− u(y) =γyγy−1

(u(y)− u(y − 1)), a < y < b,

donde segue

u(y + 1)− u(y) =γa+1

γa. . .

γyγy−1

(u(a+ 1)− u(a))

=γyγa

(u(a+ 1)− u(a)).

Consequentemente,

u(y + 1)− u(y) =γyγa

(u(a+ 1)− u(a)), a ≤ y < b.

24

Note que como u(a) = 1 e u(b) = 0

b−1∑y=a

u(y + 1)− u(y) =b−1∑y=a

γyγa

(u(a+ 1)− u(a))

Portanto,u(a)− u(a+ 1)

γa=

1∑b−1y=a γy

.

Temos

u(y + 1)− u(y) =γy∑b−1y=a γy

a ≤ y < b.

Somando os termos acima,b−1∑y=x

u(y + 1)− u(y) =b−1∑y=x

γy∑b−1y=a γy

Temos,

u(x) =

∑b−1y=x γy∑b−1y=a γy

, a < x < b.

Portanto, da definicao de u(x) temos

Px(Ta < Tb) =Pb−1

y=x γyPb−1y=a γy

, a < x < b. Px(Tb < Ta) =Px−1

y=a γyPb−1y=a γy

, a < x < b.

Exemplo: Um jogador na roleta faz uma sequencia de apostas de $1.00. Ele tem probabilidades 9/19 e 10/19 de

ganhar e perder respectivamente. O jogador decide que ele para de jogar se ele lucra $25.00 ou se ele perde $10.00.

(a) Ache a probabilidade dele parar de jogar ganhando.

(b) Ache sua perda esperada.

Seja Xn o capital do jogador no tempo n com X0 = 10. Portanto, Xn e uma cadeia de nascimento e morte com

S = {0, 1, . . . , 35} com taxas px = 9/19, 0 < x < 35 e qx = 10/19, 0 < x < 35. Os estados 0 e 35 sao aobsorventes.

Aplicar a formula para a = 0, x = 10, b = 35. Portanto,

γy = (10/9)y, quad 0 ≤ y ≤ 34,

e

P10(T35 < T0) =

∑9y=0(10/9)y∑34y=0(10/9)y

=(10/9)10 − 1(10/9)35 − 1

= 0.047.

Assim, a perda esperada e:

10− 35× (0.047) = 8.36.

Quando uma cadeia de nascimento e morte e recorrente e quando e transiente?

Seja S = {0, 1, . . .} com px > 0, x ≥ 0 e qx > 0, x ≥ 1. Neste caso, a cadeia e irredutıvel. Note que,

P1(T0 < Tn) = 1 − 1∑n−1y=0 γy

, n > 1.

25

Considere uma cadeia comecando no estado 1. Neste caso,

P1(1 ≤ T2 < T3 < . . .) = 1, P1(Tn ≥ n) = 1.

Portanto, {T0 < Tn} forma uma sequencia decrescente de eventos e

limn→∞

P1{T0 < Tn} = P1 (T0 < Tn, para algum n) = P1(T0 <∞).

Neste caso,

P1(T0 <∞) = 1 − 1∑∞y=0 γy

.

A cadeia de nascimento e morte e recorrente se, e somente se,

∞∑y=0

γy =∞.

1. (⇒) Se a cadeia e recorrente, entao, P1(T0 <∞) = 1 e∑∞y=0 γy =∞.

2. (⇐) Observe que P (0, y) = 0, para y ≥ 2 e portanto,

P0(T0 <∞) = P (0, 0) + P (0, 1)P1(T0 <∞).

Assim, se∑∞y=0 γy =∞ temos

P1(T0 <∞)− 1 ⇒ P0(T0 <∞) = P (0, 0) + P (0, 1) = 1.

Assim, 0 e estado recorrente e como a cadeia e irredutıvel, todos os estados sao recorrentes.

Em resumo, uma cadeia de nascimento e morte irredutıvel e recorrente positiva se, e somente se,

∑∞x=1

q1···qx

p1···px= ∞.

Exemplo: A cadeia com as transicoes abaixo e transiente.

px =x+ 2

2(x+ 1)qx =

x

2(x+ 1), x ≥ 0, i.e,

qxpx

=x

x+ 2

γy =1 · 2 · · ·x

3 · 4 · · · (x+ 2)=

2(x+ 1)(x+ 2)

= 2(

1x+ 1

− 1x+ 2

).

Assim,

∞∑x=1

γx = 2∞∑x=1

(1

x+ 1− 1x+ 2

)= 2 (1/2− 1/3 + 1/3− 1/4 + 1/4− 1/5 + · · ·) = 1.

26

1 Processos de ramificacao

• Inicia no tempo 0 com Z(0) partıculas.

• Cada uma delas se divide independentemente em um numero aleatorio de filhos que constituem a primeira

geracao.

• Cada partıcula da primeira geracao se divide independentemente em um numero aleatorio de filhos (todos com

a mesma lei) que constituem a segunda geracao , e assim por diante.

• O numero de filhos produzidos por cada partıcula sao v.a.’s i.i.d., independentemente da historia do processo e

de todas as outras partıculas presentes.

Um processo de Galton-Watson {Xn;n = 0, 1, 2, . . .} e uma cadeia de Markov com espaco de estados {0, 1, . . .} tais

que:

• Sejam ξ1,1, ξ1,2, . . ., ξ2,1, ξ2,2, . . ., . . . v.a’s i.i.d. com funcao de probabilidade f(k) = P(ξi,j = k);

• X0 = N para N fixo ou aleatorio;

• X1 = ξ1,1 + ξ1,2 + . . .+ ξ1,N

X2 = ξ2,1 + ξ2,2 + . . .+ ξ2,X1

Xn = ξn,1 + ξn,2 + . . .+ ξn,Xn−1

• Neste caso,

P (0, 0) = 1, , P (x, y) = P (ξ1,1 + ξ1,2 + . . .+ ξ1,x = y).

• Em particular, P (1, y) = f(y).

• Seja ρ a probabilidade de extincao da cadeia, isto e, a probabilidade de que os descendentes de uma certa

partıcula eventualmente estejam extintos.

ρ = ρ10 = P1(T0 <∞).

• Suponha que X0 = x. Como os numeros de descendentes de cada uma destas partıculas sao independentes,

temos

ρx0 = Px(T0 <∞) = ρx.

• Se f(1) = 1 a cadeia e degenerada pois todo estado e absorvente. Assumimos portanto que

f(1) < 1.

• O estado 0 e absorvente. Exercıcio: Todos os outros estados sao transientes.

27

Portanto, um processo de ramificacao ou e absorvido em 0 ou cresce para +∞.

Px( limn→∞

Xn = +∞) = 1− ρx, x = 1, 2, . . .

Vamos usar a formula: Φ(ρ) = ρ onde Φ e a funcao geradora de probabilidade de f , definida por

Φ(t) = f(0) +∞∑y=1

f(y)ty, 0 ≤ t ≤ 1.

Observe que:

ρ = ρ10 = P (1, 0) +∑

P (1, y)ρy0

= P (1, 0) +∑

P (1, y)ρy

= f(0) +∑

f(y)ρy

= Φ(ρ).

• Seja µ o numero esperado de filhos de cada partıcula.

• Assuma que µ ≤ 1, entao a equacao Φ(t) = t nao tem raızes em [0, 1) (sob a hipotese que f(1) < 1 e portanto

ρ = 1. Assim a extincao e certa se µ ≤ 1 e f(1) < 1.

• Suponha que µ > 1. Assim, a equacao Φ(t) = t tem uma raız ρ0 em [0, 1) e portanto, ρ = ρ0.

Exemplo: Suponha que temos uma populacao onde todos os casais tem exatamente 3 filhos, os quais indepen-

dentemente tem chance 1/2 de serem meninos e 1/2 de serem meninas. Suponha que Xn = numero de homens na

n-esima gercao seja bem representado por um processo de ramificacao. Ache a probabilidade de que a descendencia

de um homem em particular seja extinta.

A densidade f do numero de filhos homens e’:

f(k) =

3

k

(1/2)3, k = 0, 1, 2, 3.

Isto e,

f(0) = f(3) =18, f(1) = f(2) =

38.

Portanto, µ = 3/2. Como µ > 1, a probabilidade de extincao e a raiz, no intervalo [0, 1) da equacao:

18

+38t+

38t2 +

18t3 = t.

Ou equivalentemente,

t3 + 3t2 − 5t+ 1 = 0 ⇔ (t− 1)(t2 + 4t− 1) = 0.

A qual tem 3 raızes, 1, −√

5− 2,√

5− 2. Consequentemente, ρ =√

5− 2.

28

Seja Xn uma cadeia com dois estados 0 e 1, tais que P (0, 1) = p e P (1, 0) = q. Denote π0 = P(X0 = 0) e

π1 = 1− π0 = P(X0 = 1). Calcule P(Xn = 0). Ache limn→∞ P(Xn = 0).

Suponha que

π0 =q

p+ qπ1 =

p

p+ q.

Mostre que∑1x=0 πxP (x, y) = π(y), y = 0, 1.

2 Distribuicao estacionaria:

Seja Xn, n ≥ 0 uma CM com espaco de estados S e matriz de transicao P . Se π(x), x ∈ S sao tais que:

1. π(x) ≥ 0, x ∈ S;

2.∑x∈S π(x) = 1;

3.∑x∈S π(x)P (x, y) = π(y), y ∈ S.

Entao π e chamada distribuicao estacionaria.

Suponha que temos

limn→∞

Pn(x, y) = π(y), y ∈ S.

Entao, teremos uma distribuicao limite.

Neste capıtulo queremos determinar quando temos distribuicao estacionaria, quando temos dis-

tribuicao limite e quando elas sao iguais.

Propriedades de distribuicoes estacionarias

Seja π uma distribuicao estacionaria para P . Entao:∑x∈S

π(x)P 2(x, y) =∑x∈S

π(x)∑z

P (x, z)P (z, y)

=∑z

(∑x

π(x)P (x, z)

)P (z, y)

=∑z

π(z)P (z, y) = π(y).

Portanto, por inducao, usando a formula

Pn+1(x, y) =∑z

Pn(x, z)P (z, y),

temos

29

∑x∈S π(x)Pn(x, y) = π(y), y ∈ S.

• Se π0 = π temos que

P (Xn = y) = π(y), y ∈ S

e a distribuicao de Xn e independente de n.

• Suponha reciprocamente que πn nao dependa de n, entao a distribuicao de X0 e X1 sao identicas e π0(y) =

π1(y) =∑x π0(x)P (x, y). Consequentemente, π0 e distribuicao estacionaria.

• A distribuicao de Xn e independente de n se, e somente se, π0 e estacionaria.

Suponha que π e distribuicao estacionaria e

limn→∞

Pn(x, y) = π(y), y ∈ S.

entao P(Xn = y) =∑x π0(x)Pn(x, y), y ∈ S.

Tirando o limite nos dois lados da equacao e passando o limite dentro do somatorio, temos

limn→∞

Pn(x, y) =∑x

π0(x)π(y), y ∈ S.

Como∑x π0(x) = 1 temos

limn→∞ Pn(x, y) = π(y), y ∈ S.

• Temos que se π e uma distribuicao estacionaria e

limn→∞

Pn(x, y) = π(y), y ∈ S

, a distribuicao πn se aproxima de π independemtemente da distribuicao inicial.

• Portanto, π e a unica distribuicao estacionaria, senao usarıamos a outra distribuicao para π0 e terıamos π = π0.

• Suponha que observamos nosso sistema por um tempo longo, digamos n0 passos e seja

Yn = Xn0+n,

As v.a.’s Yn formam uma CM com a mesma matriz de transicao P . Se N0 for suficientemente grande, podemos

supor que a distribuicao marginal de Yn e a mesma da distribuicao estacionaria π.

Exemplos:

1. P =

1− p p

q 1− q

Se p+ q > 0 temos

π(0) =q

p+ qπ(1) =

p

p+ q.

30

Exemplo: Cadeias de nascimento e morte

Considere uma cadeia de nascimento e morte com S = {0, 1, . . .}. Vamos assumir que a cadeia e irredutıvel i.e.,

px > 0, 0 ≤ x <∞

qx > 0, 0 < x <∞.

O sistema de equacoes ∑x

π(x)P (x, y) = π(y)

sera:

r0π(0) + q1π(1) = π(0)

py−1π(y − 1) + ryπ(y) + qy+1π(y + 1) = π(y), y ≥ 1.

Como px + rx + q + x = 1, temos

(1− p0)π(0) + q1π(1) = π(0)

py−1π(y − 1) + (1− py − qy)π(y) + qy+1π(y + 1) = π(y), y ≥ 1.

Portanto,

qy+1π(y + 1)− pyπ(y) = qyπ(y)− py−1π(y − 1), y ≥ 1

e consequentemente, por inducao

qy+1π(y + 1)− pyπ(y) = 0, y ≥ 0.

Neste caso, obtemos

π(y + 1) = py

qy+1π(y).

Usando novamente inducao e facil ver que:

π(x) =p0 · p1 · · · px−1

q1 · q2 · · · qxπ(0).

Finalmente, se chamamos

π0 = 1, , πx =p0 · p1 · · · px−1

q1 · q2 · · · qx, x ≥ 1,

temos

π(x) = πxπ(0), x ≥ 0.

Temos que verificar se as solucoes de (1) satisfazem∑x π(x) = 1.

Caso 1:∑x πx <∞.

1 =∑x

π(x) =

(∑x

πx

)π(0)

Portanto,

31

π(0) = 1Px πx

, π(x) = πxPx πx

x ≥ 1.

Caso 2:∑x πx =∞. ∑

x

π(x) =

(∑x

πx

)π(0) =

0, se π(0) = 0

∞, se π(0) > 0

Portanto, nao existe distribuicao estacionaria.

Todas as deducoes anteriores valem para o caso de cadeias de nascimento e morte finitas, i.e. d <∞.

Urna de Ehrenfest Considere o caso em que d = 3. Neste caso temos

P =

0 1 0 0

1/3 0 2/3 0

0 2/3 0 1/3

0 0 1 0

Esta e uma cadeia de nascimento e morte irredutıvel com

π0 = 1, π1 = 3, π2 = 3, π3 = 1.

Portanto, a unica distribuicao estacionaria e dada por:

π(0) = 1/8, π(1) = 3/8, π(2) = 3/8, π(3) = 1/8.

Note que neste caso, Pn(x, y) = 0 para valores ımpares de n. Assim,

Pn(x, x) 6→ π(x).

Urna de Ehrenfest modificada: Suponha que temos o mesmo esquema da urna de Ehrenfest, mas a cada troca

jogamos independentemente uma moeda e se esta sair cara decidimos nao mudar a bola de urna. Assim, a matriz de

transicao e:

P =

1/2 1/ 0 0

1/6 1/2 2/6 0

0 2/ 1/2 1/6

0 0 1/2 1/2

Entretanto, π0 = 1, π1 = 3, π2 = 3, π3 = 1.

Portanto, a unica distribuicao estacionaria e dada por:

π(0) = 1/8, π(1) = 3/8, π(2) = 3/8, π(3) = 1/8.

Neste caso, veremos mais tarde,

Pn(x, y)→ π(y), para todo y, quando n→∞.

32