Processos Estocasticos, Notas de auladcm.ffclrp.usp.br/~rrosales/aulas/processos2015.pdf · um dos...

Notas de aula em Processos Estocasticos

Rafael A. Rosales

Departamento de Computacao e MatematicaFaculdade de Filosofia, Ciencias e Letras de Ribeirao Preto

Universidade de Sao Paulo

8 de setembro de 2015

Sumario

Prefacio . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1

1. Tempo discreto . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3

1. Cadeias de Markov . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3

Exercıcios . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8

2. Classes de comunicacao . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10

Exercıcios . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11

3. Tempos do primeiro retorno e da primeira chegada . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12

Exercıcios . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20

4. Propriedade forte de Markov . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21

5. Recorrencia e transitoriedade . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22

Exercıcios . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26

Exercıcios . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29

6. Distribuicao invariante . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30

Exercıcios . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 34

7. Convergencia ao equilıbrio . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35

Exercıcios . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 40

8. Teorema ergodico . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 40

Exercıcios . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42

9. Aplicacoes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43

Exercıcios . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45

2. Tempo contınuo . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47

1. Processos a tempo contınuo . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47

2. Matriz Q . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49

3. Propriedades da distribuicao exponencial . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52

Exercıcios . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 55

4. Processo de Poisson . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 55

Exercıcios . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 59

vii

viii Sumario

5. Processos de Markov . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 60

Exercıcios . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 62

6. Estrutura de classe . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 63

7. Tempos da primeira chegada e probabilidades de absorcao . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 63

8. Recorrencia e transitoriedade . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 64

9. Distribuicao invariante . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 65

10. Convergencia . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 66

Exercıcios . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 67

11. Teorema Ergodico . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 67

Apendice A. 69

1. Relacoes de Recorrencia . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 69

Apendice. Referencias Bibliograficas 75

Indice Remissivo . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 77

Prefacio

Um processo estocastico e uma sequencia de variaveis aleatorias X D .Xt /, t 2 T , onde parametro t usualmente representao tempo. O processo X geralmente e utilizado com o proposito de representar a evolucao aleatoria de um fenomeno fısico.Neste caso o conjunto dos ındices T e identificado com N ou RC. Durante o curso so serao consideradas sequencias devariaveis aleatorias Xt definidas sobre o mesmo espaco de probabilidade, todas com valores no conjunto S o qual suporemosfinito ou infinitamente enumeravel. Seguindo a convencao usual utilizaremos a notacao t para os ındices contınuos e n parao caso discreto1.

A apresentacao segue de perto os livros de J. Norris, [Nor97] e Grimmett, Stirzacker, [GS01]. Em particular, a primeiraparte dedicada ao estudo de processos em tempo discreto, inclui boa parte dos capıtulos 1.1-1.10 de [Nor97]. A segundaparte a qual representa uma introducao aos processos a tempo contınuo esta inspirada nos capıtulos 2.1-3.8 em [Nor97] e oscapıtulos 6.8-6.12 em [GS01]. Supoe-se um conhecimento da teoria de probabilidade a nıvel de graduacao assim comoconhecimentos basicos sobre equacoes diferenciais e em diferenca, e finalmente tambem alguns rudimentos de algebralinear.

1 Xt e realmente uma funcao X .!; t/ onde ! e um evento elementar do espaco � das trajetorias do processo. Ao considerar a sequencia .Xt / estamos portantoconsiderando um espaco de funcoes aleatorias. A fim de entender isto melhor, lembramos algumas nocoes de teoria de probabilidade. Dado um espaco de probabilidade.�;A;P/, uma variavel aleatoria e uma funcao � W .�;A/! .R;B/, tal que

��1.B/ D f! 2 � W �.!/ 2 Bg 2 A

para todo B 2B, onde B e a menor sigma algebra gerada pelos conjuntos abertos de R. Seja agora

�.�/ D ��1.B/ D f��1.B/ W B 2Bg � A;

a sigma algebra gerada pela variavel aleatoria �, i.e. intuitivamente �.�/ denota a ‘porcao da informacao’ contida no espaco de probabilidade inerente a �. A distribuicao deprobabilidade, P , de � e definida como

P.� 2 B/ D Pf��1.B/g:

Observamos que esta definicao permite determinar a probabilidade de qualquer evento associado a �, desde que esta inclui as probabilidades de todos os conjuntos��1.B/ D �.�/ � A. A fim de generalizar estes conceitos para processo X , suponhamos que existe um espaco de probabilidade .�;A;P/ tal que �.X / � A. Neste caso seX e um processo com ındices discretos e valores em S temos que

X W .�;A/! .S1; �.S1//;

sendo �.S1/ a sigma algebra gerada pelos conjuntos abertos de S. Se S D C , o espaco das funcoes continuas em Œ0;1/, entao X e um processo com trajetorias continuas.A suposicao, nada trivial, de que os eventos definidos sobre os espaco dos caminhos de um processo,�, podem ser medidos por uma funcao de probabilidade P representaum dos problemas mais fundamentais da teoria dos processos estocasticos. Durante o curso, nos suporemos que isto e possıvel e nao faremos mais referncia a este assunto.Os interessados nos detalhes podem consultar o apendice em [Nor97] ou os textos mais avancados tais como [Bil95], e [Wil91], procurando pelas secoes referentes aos�-sistemas. Estas classes de conjuntos tambem sao conhecidos em teoria de probabilidade como os sistemas �-�, seguindo a nomenclatura introduzida por Eugene B. Dynkin.As referencias mencionadas aqui e no decorrer das notas podem guiar o estudo posterior e mais profundo da teoria dos processos estocasticos.

1

Capıtulo 1

Tempo discreto

1. Cadeias de Markov

Os seguintes exemplos introduzem de maneira informal a propriedade que define uma ampla variedade de processosconhecidos como cadeias de Markov. O objetivo e desenvolver a intuicao e motivar a teoria.

Exemplo 1 (Sapo).

v1

v2

v3v4

v5

v6

v7 v8

v9

Um sapo que habita num lago pode pular em procura de alimento entre nove Vitorias regias(Victoria amazonica, uma planta aquatica da famılia das Nymphaeaceae) v1, : : :, v9, dispostascircularmente. No instante n D 0 o sapo encontra-se na planta v1. Com probabilidade p,0 < p < 1, este pode pular a planta v2 e com q D 1 � p a planta v9. As mesmas regrasdeterminam os pulos a partir de vi para viC1 ou vi�1, i D 1; : : : ; 9 (se i D 9 entao i C 1 D 1, ese i D 1 entao i � 1 D 9). Denotamos por Xn 2 fv1; v2; : : : ; v9g a posicao do sapo no instanten, n 2 N. A sequencia de variaveis aleatorias .Xn/, n � 0, que correspondem as posicoes do sapo

formam um processo aleatorio. Segundo as regras que determinam os movimentos do sapo temos que P.X0 D v1/ D 1,P.X1 D v2 jX0 D v1/ D p e P.X1 D v9 jX0 D v1/ D q. Supondo que seja conhecido o percurso v1 ! v2 ! v3 ! v4,utilizando probabilidade condicional, podemos tambem calcular a probabilidade de que o sapo se encontre na planta v5 noquarto pulo,

P.Xn D v5jXn�1 D v4; : : : ;X0 D v1/ D P.Xn D v5jXn�1 D v4/ D p

o qual e consequencia imediata das regras que determinam os movimentos do sapo. Esta equacao e um caso particular dofato no qual a distribuicao de Xn dado .X0, : : :, Xn�1/ so depende de Xn�1. Esta unica simplificacao fornece a estruturanecessaria para desenvolver a maior parte da teoria. Em particular, esta permite responder uma ampla gama de questoesrelevantes ao processo X D .Xn/, n � 0. Por exemplo: (i) Qual a distribuicao de Xn?, (ii) Qual a distribuicao do eventofXn jX0 D v1g? (iii) Sera possıvel calcular a distribuicao de Xn no limite n!1? (iv) Qual e o numero esperado de pulosrealizados pelo sapo ate voltar pela primeira vez a planta v1? (v) Se a planta v6 e realmente a cabeca de um jacare faminto,qual e o numero de pulos em media realizados pelo sapo antes de ser devorado pelo jacare?

Exemplo 2 (Ruına do jogador). Suponha que voce entra num cassino com i reais, i 2 N. Em cada aposta voce podeganhar um real com probabilidade p, 0 < p < 1, ou perder um real com probabilidade q D 1 � p. Xn, n � 1, representaa sua fortuna depois da n-esima aposta e X0 D x0 a sua fortuna inicial. Suponha que o cassino apresenta uma fonteilimitada de dinheiro, portanto nao existe em principio um limite superior para a quantidade da sua fortuna. Claramente Xn

asome valores no conjunto N (ou Z caso o casino permita que o jogador fique devendo dinheiro). A Figura 1 apresentatres trajetorias tıpicas deste processo para n D 100, p D q D 1

2, e X0 D 10. Em duas das trajetorias voce ainda possue

dinheiro suficiente para continuar jogando no casino apos das primeiras 100 apostas. No terceiro, voce perde o seu dinheirotodo na aposta 64. Dentre as questos importantes neste problema mencionamos o calculo da probabilidade da eventual

3

4 1. Tempo discreto

ruına e do numero esperado de apostas para a ruına em funcao de p e X0. Analogamente ao exemplo anterior, neste casoconsideramos a seguinte condicao de independecia condicional

P.Xn D xn�1 C 1jXn�1 D xn�1; : : : ;X0 D x0/ D P.Xn D xn�1 C 1jXn�1 D xn�1/ D p

P.Xn D xn�1 � 1jXn�1 D xn�1; : : : ;X0 D x0/ D P.Xn D xn�1 � 1jXn�1 D xn�1/ D q

a qual e de fato consequencia da independencia entre os resultados de cada aposta. Este exemplo relativemente simples einstrumental na modelagem de mercados financeiros a tempo discreto e com valores discretos, veja por exemplo [Shr04].

n

Xn.!/

!3

!2

!1

-10

010

2030

Figura 1. Tres possıveis caminhos do processo da ruına

1.1. Propriedade de Markov. Seja S um conjunto enumeravel. Um elemento i 2 S e chamado de estado e S o espaco deestados. Seja � D .�1 W i 2 S/ uma distribuicao de probabilidade em S, ou seja, os numeros �i satisfazem as condicoes

0 � �i � 1;Xi2S

�i D 1:

Definicao 1. A distribuicao inicial do processo X e a distribuicao

�i D P.X0 D i/ D P�f! 2 � W X0.w/ D ig

�; i 2 S:

Definicao 2. Uma matriz P D .pij W i; j 2 S/ e estocastica se cada linha .pij W j 2 S/ e uma distribuicao em S.

Um grafo e definido por dois conjuntos, um conjunto de vertices e outro de elos. Denotamos por G D .E;V / ografo formado pelos elos E D fe1; e2; : : :g com vertices V D fv1; v2; : : :g. Observamos que existe uma correspondenciaum-a-um entre uma matriz estocastica e um grafo G com vertices em S. Por exemplo, para S D f1; 2; 3g, consideramos opar

v1

v2 v3

a

a

b

b

c

c

b

ca

P D

0@b a c

a c b

c b a

1A

onde a � 0, b � 0, e c � 0, sao constantes tais que aC b C c D 1. A correspondencia e determinada ao considerarmosuma ordem entre vertices de G, utilizada para dispormos os estados nas filas e colunas de P . Para o Exemplo 1, ondeS D fv1; v2; : : : ; v9g, temos a seguinte matrix e o seguinte grafo

1. Cadeias de Markov 5

P D

0BBBBBBBBBBBBB@

0 p 0 0 0 0 0 0 q

q 0 p 0 0 0 0 0 0

0 q 0 p 0 0 0 0 0

0 0 q 0 p 0 0 0 0

0 0 0 q 0 p 0 0 0

0 0 0 0 q 0 p 0 0

0 0 0 0 0 q 0 p 0

0 0 0 0 0 0 q 0 p

p 0 0 0 0 0 0 q 0

1CCCCCCCCCCCCCAv1

v2

v3v4

v5

v6

v7v8

v9

p

q

p

qp

q

p

q

pq

p

qp

q

p

q

p

q

Definimos a seguir um processo conhecido como cadeia de Markov. O resto desta secao esta destinado a mostrar que aestrutura basica deste processo e determinada em sua totalidade pela matriz P e a distribuicao inicial �.

Definicao 3 (cadeia de Markov). X D .Xn/; n 2 N e uma cadeia de Markov com distribuicao inicial � e matriz deprobabilidade de transicao P , se P e estocastica e

(i) X0 tem distribuicao �,

(ii) Para quaisquer n � 0, e .i0; i1; : : : ; inC2/ 2 SnC1,

P.XnC1 D inC1 jX0 D i0; : : : ;Xn D in/ D P.XnC1 D inC1 jXn D in/ D pininC1:(1)

A relacao em (1) e conhecida como a propriedade de Markov. Intuitivamente esta relacao indica que o processo naoapresenta memoria dos lugares visitados no passado. Se o processo X D .Xn/; n 2 N, satisfaz as condicoes (i) e (ii)diremos que X e Markov(�;P ) ou simplesmente uma cadeia de Markov.

Teorema 1. X e uma cadeia de Markov se, e somente se para toda sequencia i0; i1; : : : ; iN 2 SNC1,

P.X0 D i0;X1 D i1; : : : ;XN D iN / D �i0pi0i1

pi1i2� � �piN�1iN

:

Demonstracao. Seja X Markov.�;P /, entao

P.X0 D i0;X1 D i1; : : : ;XN D iN /

D P.XN D iN jX0 D i0; : : : ;XN�1 D iN�1/

� P.XN�1 D iN�1 jX0 D i0; : : : ;XN�2 D iN�2/

� � � P.X1 D i1 jX0 D i0/P.X0 D i0/

D �i0pi0i1


;

onde a ultima igualdade segue (i) e (ii) da Definicao 28, utilizando-se como hipotese que X e Markov .�;P /. Para verificara equivalencia no sentido oposto somamos iN sobre todo S a ambos lados da igualdade no Teorema,X

iN2S

P.X0 D i0; : : : ;XN D iN / DX

iN2S

�i0pi0i1


;

o qual implica

P.X0 D i0; : : : ;XN�1 D iN�1/ D �i0pi0i1

pi1i2� � �piN�2iN�1

;

uma vez que P.X0 D i0; : : : ;XN D iN / e a distribuicao conjunta de X0, : : :, XN�1, XN , eP

iN2S piN�1iND 1, ja que P

e estocastica. Utilizando inducao deduzimos que para cada n em 1; : : : ;N � 1,

P.X0 D i0; : : : ;Xn D in/ D �i0pi0i1

� � �pin�1in;

6 1. Tempo discreto

e em particular que P.X0 D i0/ D �i0. Assim, para n D 0; 1; : : : ;N � 1,

P.XnC1 D inC1 jX0 D i0; : : : ;Xn D in/ DP.X0 D i0; : : : ;XnC1 D inC1/

P.X0 D i0; : : : ;Xn D in/

D�i0

pi0i1� � �pininC1

�i0pi0i1

� � �pin�1in

D pininC1;

o qual mostra que X e Markov .�;P /. �

O seguinte resultado fornece uma interpretacao crucial da propriedade referida anteriormente como “perda de memoria”.Seja ıi D .ıij W j 2 S/, uma distribuicao de probabilidade concentrada em i , ou seja ıij D 1 se i D j e ıij D 0 se i ¤ j .

Teorema 2 (Propriedade fraca de Markov). Seja X Markov(�;P ). Dado o evento Xm D i , o processo XmCn, n 2 ZC, eMarkov(ıi ;P ) e independente de X0, : : :, Xm.

Demonstracao. A prova consiste em mostrar que a seguinte igualdade

P�fXm D im; : : : ;XmCn D imCng \AjXm D i

�D ıiim

pimimC1� � �pimCn�1imCn

P.AjXm D i/

e valida para qualquer evento A determinado pelas variaveis aleatorias X0, : : :, Xm. Isto e consequencia da nocao deindependencia (condicional) de eventos da forma fXm, : : :, XmCng e A. Segue imediatamente desta igualdade e doTeorema 1 que XmCn, n 2 N e Markov.ıi ;P /.

Consideramos primeiro o caso particular A D fX0 D i0; : : : ;Xm D img de tal forma que

P.Xm D im; : : : ;XmCn D imCn \A jXm D i/

DP.Xm D im; : : : ;XmCn D imCn;A; fim D ig/

P.Xm D i/;

mas o numerador e dado por

P.Xm D im; : : : ;XmCn D imCn;A; im D i/

D P.A; im D i/P.Xm D im; : : : ;XmCn D imCn jA; im D i/

D P.A; im D i/P.Xm D im; : : : ;XmCn D imCn jXm D i/

D P.A;Xm D im/ıiimpimimC1

� � �pimCn�1imCn;

A segunda e a terceira igualdade sao consequencia do Teorema 1.

No caso geral temos que qualquer evento A pode ser representado como A DS

k Ak , onde Ak sao eventos elementaresdisjuntos determinados pelas variaveis aleatorias X0, X1, : : :, Xm�1 e fXm D ig. O resultado neste caso segue utilizando omesmo argumento mas somando sobre os eventos Ak . �

1.2. Probabilidades de n passos. Voltamos agora a uma das perguntas inicialmente formuladas no Exemplo 1 que e a decomo calcular as distribuicoes condicionais e nao condicionais do processo no instante n,

P.Xn D j jX0 D i/ e P.Xn D i/ para i; j 2 S:

A propriedade de Markov e as operacoes basicas do produto matricial permitem obter estas probabilidades de maneiraeficiente. Se representamos a distribuicao inicial como um vetor (fila) em S, entao

.�P /j DP

i2S �ipij DP

i2S P.X0 D i/P.X1 D j jX0 D i/

D P.X esta em j no instante 1/

Utilizando o produto matricial introduzimos agora a seguinte notacao,

.PP /ij D .P2/ij ; i; j 2 S

1. Cadeias de Markov 7

isto e,

.P 2/ij DP

k2S pikpkj D p2ij

DP

k2S P.X2 D j jX1 D k/P.X1 D k jX0 D i/

D P.X realiza uma transicao de i a j em dois passos/

Definicao 4. Para n � 0, definimos o n-esimo iterado da probabilidade de transicao como

pnij D P.Xn D j jX0 D i/

A matriz formada pelos elementos .pnij /, i; j 2 S sera denotada por P n. Denotamos por �n, n � 1, a distribuicao de

X no instante n, isto e, �n D .�ni W i 2 S/ onde �n

i D P.Xn D i/. Com o proposito de enfatizar a condicao inicial X0 D i ,as vezes tambem sera empregada a notacao pn

ij D Pi.Xn D j /.

Definicao 5. Seja X uma cadeia de Markov. X e temporalmente homogenea se para quaisquer i; j 2 S e m; n,

P.XmCn D j jXm D i/ D P.Xn D j jX0 D i/:

Todos os processos considerados adiante sao temporalmente homogeneos.

Teorema 3. Seja X Markov(�;P ). Para todo n;m � 0 tem-se

(i ) P.Xn D j / D .�P n/j .

(i i ) Pi.Xn D j / D P.XmCn D j jXm D i/ D P.Xn D j jX0 D i/ D pnij .

Demonstracao. Do Teorema 1 e da Definicao 4 resulta

P.Xn D j / DXio2S

� � �

Xin�12S

P.X0 D i0; : : : ;Xn�1 D in�1;Xn D j /

D

Xio2S

� � �

Xin�12S

�i0pi0i1

� � �pin�1j D .�Pn/j ;

o qual termina a prova do primeiro item. Seguindo a propriedade de Markov exposta no Teorema 2, dado o evento fXm D ig,.XmCn/ e Markov.ıi ;P /. E portanto suficiente considerar � D ıi no primeiro item, ou seja Pi.Xn D j / D .ıiP

n/j D

pnij . �

Observamos que P 1 D P e P 0 D I , onde I denota a matriz identidade.

Teorema 4 (Chapman-Kolmogorov). Seja X uma cadeia de Markov com matriz de transicao P . Para quaisquer m; n 2 N,

P mCnD P mP n:

Antes de proceder com a demostracao observamos que este resultado e uma generalizacao de .PP /ij DP

k pikpkj

para o caso .P mP n/ij DP

k pmik

pnkj

.

Demonstracao.

pmCnij D Pi.XmCn D j / D

Xk2S

P.XmCn D j ;Xm D k jX0 D i/

D

Xk2S

P.XmCn D j jXm D k;X0 D i/P.Xm D k jX0 D i/

D

Xk2S

P.Xn D j jX0 D k/P.Xm D k jX0 D i/ DXk2S

pmikpn

kj : �

8 1. Tempo discreto

Exercıcios

Para resolver alguns dos exercıcios desta parte resulta util lembrar que se P e diagonizavel, ou seja se existir uma matrizdiagonal D tal que P D NDN �1, entao P n D NDnN �1.

Exercıcio 1. (i) Mostre que .�P / e uma distribuicao de probabilidade em S. (ii) Mostre que P n e uma matriz estocasticaem S para qualquer n � 0. (iii) Mostre que .�P n/ e uma distribuicao de probabilidade em S.

Exercıcio 2. Seja .Xn/n�0 uma sequencia de v.a. independentes e identicamente distribuıdas e sejam1

.a/ Sn DPn

iD1 Xi ; .b/ Mn D X1 ^X2 ^ : : : ^Xn;

.c/ Ln D X1 _X2 _ : : : _Xn; .d/ Kn D Xn CXn�1:

(i) Quais das sequencias Xn, Sn, Mn, Ln e Kn e Markov? (ii) Encontre a matriz de probabilidade de transicao para assequencias que sao cadeias de Markov.

Exercıcio 3. Suponha que os movimentos da BOVESPA podam ser modelados por uma cadeia de Markov com valores emS D f�;+g, onde “� ” representa um dia onde a bolsa fecha em valor negativo e “+” um dia com fechamento positivo. Nestecaso, a evolucao dia a dia da BOVESPA e determinada pelas probabilidades de transicao P.Xn D �jXn�1 D �/ D 1 � ˛,P.Xn D +jXn�1 D �/ D ˛, P.Xn D �jXn�1 D +/ D ˇ e P.Xn D +jXn�1 D +/ D 1 � ˇ, para 0 < ˛ < 1 e 0 < ˇ < 1.(i) Se a cadeia comeca num dia do tipo �, e ˛ D ˇ D 3

4, mostre que

�nD�P.Xn D �/;P.Xn D +/

�D

�1

2.1C 2�n/;

1

2.1 � 2�n/

�(�n e a distribuicao do processo apos n dias de ter iniciado em �, isto e a probabilidade de que a BOVESPA fecheem “�” ou “+” depois de n dias, dada a distribuicao inicial �0 D .1; 0/). (ii) Interpretar limn!1 �

n. (iii) Calcularpn

++ D P.Xn D +jX0 D +/ no caso geral para qualquer 0 < ˛ � 1 e 0 < ˇ � 1. [Sugestao: utilize a equacao deChapman-Kolmogorov P nC1 D P nP para obter uma relacao de recorrencia para pn

++. O apendice apresenta brevemente ateoria necessaria para resolver este tipo de recorrencia. Outro metodo que permite calcular P n e a diagonilizacao de P .]

Exercıcio 4. Seja .Xn/n�0 uma cadeia de Markov com valores em S D fv1; v2; v3g, e seja o seguinte grafo e matriz detransicao

v1

v2 v3

12

12

1

P D

0@0 0 112

12

0

0 12

12

1A ;

As filas e as colunas de P estao dispostas de acordo a ordem .v1; v2; v3/. Encontre uma equacao geral para pnv1v1

. [Sugestao:utilize a diagonalizacao da matriz P .]

Exercıcio 5. Uma consultora financeira classifica emprestamos de carros em quatro categorias: o emprestimo foi pagoem sua totalidade (F ), o contrato encontra-se em boas condicoes sendo que todos os juros estao ao dia (G), a conta estaem situacao irregular com um ou mais pagamentos pendentes (A), ou a conta se encontra em pessimas condicoes e foivendida a uma agencia de colecao do credito (B). O historico indica que cada mes 10% dos contratos do tipo G paga emsua totalidade os juros, 80% permanecem em G, e 10% viram do tipo B. Logo 10% das contas do tipo A pagam os jurostotalmente, 40% viram do tipo G, 40% permanecem em A, e 10% viram do tipo B. (i) Calcule a proporcao de contratos dotipo B que pagarao a sua divida totalmente no futuro. (ii) Qual sera a proporcao de contratos de tipo G que num futuroserao do tipo B.

1Para a;b 2 R, a_ b D maximofa;bg e a^ b D mınimofa;bg.

Exercıcios 9

Exercıcio 6. Suponha que Z0;Z1; : : : sao variaveis aleatorias independentes e identicamente distribuıdas tais que Zi D 1

com probabilidade p e Zi D 0 com probabilidade 1 � p. Seja S0 D 0 e Sn D Z1 C : : :CZn. Em cada um dos seguintescasos determine se .Xn/n�0 e uma cadeia de Markov:(a) Xn D Zn, (b) Xn D Sn, (c) Xn D S0 C : : :C Sn, (d) Xn D .Sn;S0 C : : :C Sn/.Encontre o espaco de estados e a matriz de probabilidade de transicao nos casos em nos quais .Xn/n�0 e uma cadeia deMarkov.

Exercıcio 7. Seja .Xn/n�0 Markov .�;P /. Se Yn D Xkn, mostrar que .Yn/n�0 e Markov .�;P k/. Em geral, a amostragemde .Xn/n�0 a intervalos constantes de comprimento k gera uma cadeia chamada o k-esqueleto de .Xn/n�0.

Exercıcio 8. Uma pulga pula sobre os vertices de um triangulo de maneira que qualquer pulo tem a mesma probabilidade.Encontrar a probabilidade de que depois de n pulos a pulga esteja de volta no lugar de partida. Uma segunda pulga tambemdecide pular sobre os vertices do triangulo, mas a probabilidade de pular no sentido horario e duas vezes a probabilidade nosentido contrario. Qual a probabilidade de que apos de n pulos esta ultima esteja no mesmo lugar onde iniciou. [Observeque e˙i�=6 D

p3=2˙ i=2.]

Exercıcio 9. Seja .Xn/n�0 uma cadeia de Markov em S, e seja I W Sn ! f0; 1g. Mostre que a distribuicao condicional deXn;XnC1; : : : dado o evento fI.X1; : : : ;Xn/ D 1 \ fXn D igg e identica a distribuicao de Xn;XnC1; : : : dado fXm D ig.

Exercıcio 10. Seja .Xn/n�0 uma cadeia de Markov com espaco de estados S, e suponha que h W S! T e bijetiva. Mostreque Yn D h.Xn/ define uma cadeia de Markov em T . h tem que ser bijetiva?

Exercıcio 11.| O seguinte exercıcio mostra como trabalhar com uma cadeia de Markov quando so se tem informacao sobrealgumas das transicoes do processo. Seja J � S e seja a seguinte particao da matriz de probabilidade de transicao P ,

J J c

P DJJ c

�A B

C D

�Suponhamos que so seja possıvel registrar as entradas a J , e neste caso e observada uma cadeia de Markov . QXn/ restrita aoconjunto de estados J . (i) Mostre que a matriz de transicao de QXn e

QP D AC BXn�0

DnC D AC B.I �D/�1C:

(ii) O Dr. P. Silva fica a maior parte do seu tempo em Ribeirao Preto no trabalho (T ), no seu flat (F ), em uma boate (B), oucom uma amante (A). Cada hora, ele muda de um destes possıveis estados de acordo com uma matriz de probabilidade detransicao P . A mulher do Silva, que desconhece da existencia da amante, acredita que as mudancas estao determinadas pelamatriz P E ,

T F B A

P D

T

F

B

A

0BB@1=3 1=3 1=3 0

0 1=3 1=3 1=3

1=3 0 1=3 1=3

1=3 1=3 0 1=3

1CCA ;T F B

P ED

T

F

B

0@1=3 1=3 1=3

1=3 1=3 1=3

1=3 1=3 1=3

1A :As pessoas so encontram com o Dr. Silva quando esta se encontra em J D fT;F;Bg. (ii) Calcule a matriz QP queaparentemente controla os movimentos do Dr. Silva. As aventuras do Dr. Silva serao continuadas no Exercıcio 42.

Exercıcio 12.| Seja X0 uma v.a. com valores no conjunto enumeravel S. Seja U1;U2; : : : uma sequencia de v.as.independentes e com distribuicao uniforme em [0,1]. Sejam as funcoes

� W S � Œ0; 1�! S; ' W Œ0; 1�! S

10 1. Tempo discreto

tais que

Xn D

(�.Xn�1;Un/; se n � 1;

.U0/; se n D 0:

(i) Mostre que .Xn/n�0 e uma cadeia de Markov e encontre a matriz de probabilidade de transicao P em termos de �.Escreva a distribuicao inicial � em termos de . (ii) E possıvel construir qualquer cadeia desta forma? O codigo markov.R(na linguagem R ), implementa as ideias deste exercıcio e pode ser utilizado para resolver alguns exercıcios propostosadiante.

2. Classes de comunicacao

Iniciamos a continuacao o estudo de grupos de estados que apresentam certas caracterısticas em comum. Um dos objetivose o de restringir o estudo do processo definido em S a partes mais simples tais que juntas estas permitam fornecer uma visaogeral do processo em S.

Definicao 6. Sejam i e j dois pontos quaisquer em S. O estado i conduz a j , denotado i ! j , se existe n > 0 tal quepn

ij > 0. Utilizamos a notacao i 9 j para indicar que i nao conduz a j .

Definicao 7. O estado i comunica com o estado j , denotado i $ j , se i ! j e j ! i . Utilizamos a notacao i = j paraindicar i 9 j ou j 9 i , ou i 9 j e j 9 i .

Ressaltamos que na ultima definicao o numero de passos necesarios para estabelecer a comunicacao de i ate j nao enecessariamente igual ao numero de passos no sentido contrario.

Teorema 5. Para quaisquer dois estados i; j 2 S, i ¤ j , as seguintes afirmacoes sao equivalentes.

(i) i ! j .

(ii) pi0i1pi1i2

� � �pin�1in> 0 para uma seqencia de estados i0; i1; : : : ; in com i0 D i e in D j .

(iii) pnij > 0 para algum n � 0.

Demonstracao. Observamos primeiro que

pnij � Pi.Xn D j para alguns n � 0/ �

1XnD0

pnij ;

ja que

fXn D j jX0 D ig �[

alguns k � n

fXk D j jX0 D ig �

1[k�n

fXk D j jX0 D ig

demonstrando a equivalencia entre (i) e (iii). Segue-se do Teorema 4 que

pnij D

Xi1;i2;:::;in�1

pii1pi1i2

: : :pin�1j ;

o qual implica a equivalencia entre (ii) e (iii). �

E simples verificar que relacao$ e uma relacao de equivalencia em S. A relacao$ pode ser utilizada para classificaros elementos de S, uma vez que esta induz una particao de S. Os conjuntos desta particao sao conhecidas como as classesde comunicacao de S .

Definicao 8. Uma classe de comunicacao C e fechada se

i 2 C W i ! j ) j 2 C:

A classe fechada relacionada a i sera denotada por C.i/ D fj 2 S W i ! j g. Uma classe sera chamada de aberta se estanao e fechada.

http://dcm.ffclrp.usp.br/~rrosales/

Exercıcios 11

Uma classe fechada e uma classe sem saıda ja que se em algum instante X atinge um estado da classe fechada, entaoX nao consegue se comunicar com um estado de outra classe.

Definicao 9. Um estado i 2 S e chamado de estado absorvente se o conjunto fig e uma classe fechada.

Neste sentido uma classe de comunicacao fechada e uma classe absorvente.

Definicao 10. X e uma cadeia de Markov irredutıvel se S e a unica classe de comunicacao induzida por$.

Se X e irredutıvel entao diremos que P e uma matriz irredutıvel, ou equivalentemente que S e irredutıvel.

Exemplo 3. A procura das classes de comunicacao e simplificada ao achar o grafo G associado a matriz de probabilidadede transicao P . Para a seguinte matriz de probabilidade de transicao

P D

0BBBBBBB@

1=2 1=2 0 0 0 0

0 0 1 0 0 0

1=3 0 0 1=3 1=3 0

0 0 0 1=2 1=2 0

0 0 0 0 0 1

0 0 0 0 1 0

1CCCCCCCA:

Consideramos os estados v1, v2, : : :, v6, e os associamos nesta ordem as filas e as colunas de P , o qual imediatamente iduzo grafo

v3

v1

v2

v4

v5 v6

Diretamente do grafo deduzimos que esta cadeia apresenta as classes de comunicacao fv1; v2; v3g, fv4g e fv5; v6g. A classefv5; v6g e fechada pois se X entra neste conjunto de estados X nao pode mais sair destes. Os estados fv1; v2; v3g formamuma classe pois v1 ! v2 e v1 ! v3, v2 ! v1 e v2 ! v3, e finalmente v3 ! v1, v3 ! v2. Observamos tambem quefv4g … fv1; v2; v3g ja que v4 9 v1 (e tambem v4 9 v2 e v4 9 v3). As classes fv1; v2; v3g e fv4g sao classes abertas desdeque estas comunicam com estados de outras classes. Isto conclui a descricao das classes de comunicacao de S.

Exercıcios

Exercıcio 13. Seja X uma cadeia de Markov com grafo de transicao

c

a edb

(i) Encontre as classes de estados fechadas. (ii) Diga se X e irredutıvel.

Exercıcio 14. Classifique os estados para o processo no Exemplo 1 e no Exemplo 2. Diga se X em cada um destes casos eirredutıvel.

Exercıcio 15. Mostre que$ e uma relacao de equivalencia em S.


3. Tempos do primeiro retorno e da primeira chegada

Uma parte significativa dos problemas encontrados no estudo das cadeias de Markov pode ser reduzida ao estudo de duasvariaveis aleatorias conhecidas como o primeiro tempo de retorno e o primeiro tempo de chegada.

Definicao 11. Seja X Markov(�;P ) com valores em S. O primeiro tempo de chegada ao conjunto A � S e a variavelaleatoria �A W �! ZC [ fC1g dada por

�A.!/ D inffn � 0 W Xn.!/ 2 Ag:

(sendo inff∅g D 1.) . O primeiro tempo de retorno a A � S e a variavel aleatoria �A W �! N [ fC1g definida como

�A.!/ D inffn � 1 W Xn.!/ 2 Ag:

Segue diretamente desta definicao que �A D �A1fX0…Ag quase certamente (q.c.2). Condicionando pelo evento inicialfX0 D ig, a probabilidade de que X eventualmente chegue ate A e denotada por

hAi D Pi.�A <1/ D

Xn�0

Pi.�A D n/:

O tempo esperado para chegar ate A a partir de i e denotado por

kAi D Ei Œ�A� D

Xn�0

nP.�A D n/C1P.�A D1/:

Definicao 12. Se A e uma classe fechada. Para qualquer i 2 S , hAi e chamada de probabilidade de absorcao em A e kA

i eo tempo medio ate a absorcao em A.

Exemplo 4. O seguinte exemplo ilustra o calculo de hAi e kA

i num caso elementar. Seja X uma cadeia com valores emS D f1; 2; 3; 4g e o seguinte grafo de transicao

1 2 3 412

12

12

12

Se X e iniciada no estado 2, qual a probabilidade de X ser absorvida em 4? Quanto tempo demora X para ser absorvida em1 ou em 4? Seja A D f1; 4g, claramente das definicoes de hi e ki temos

h41 D 0; h4

4 D 1; kA1 D kA

4 D 0:

Suponhamos agora que X0 D 2 e a seguir consideramos as possibilidades apos da primeira transicao, isto e, comprobabilidade 1

2pulamos de 2 a 1 e com 1

2de 2 a 3, logo

h42 D

1

2h4

1 C1

2h4

3;(a)

kA2 D 1C

1

2kA

1 C1

2kA

3 :(b)

2q.c. e a forma abreviada de ‘quase certamente’. A afirmacao ' sobre uma variavel aleatoria se diz quase certa se Pf! W ' e verdadeirag D 1, ou equivalentemente sePf! W ' nao e verdadeirag D 0.

3. Tempos do primeiro retorno e da primeira chegada 13

A justificativa destas equacoes esta baseada essencialmente na propriedade de Markov. Para (a), seja E D fX e absorvidaem 4g, logo

h42 D P.E jX0 D 2/ D

Xk2SP.E;X1 D k jX0 D 2/

D P.E;X1 D 1 jX0 D 2/C P.E;X1 D 3 jX0 D 2/

D P.E jX1 D 1;X0 D 2/P.X1 D 1 jX0 D 2/C P.E jX1 D 3;X0 D 2/P.X1 D 3 jX0 D 2/

D P.E jX1 D 1/p21 C P.E jX1 D 3/p23:

A ultima linha segue do Teorema 1. Um argumento similar pode ser utilizado para comprovar (b), mais a justificativa formalsera deixada para o Teorema 7 adiante. Com probabilidade p21 D

12

ocorre a primeira transicao ao estado 1, logo temosque considerar k4

1como o valor esperado dos passos ate a absorcao. A outra possibilidade, a qual corresponde a transicao

de 2 a 3 inclui as quantidades p23 D12

e h43. Utilizando exatamente este mesmo procedimento agora obtemos h4

3e kA

3,

h43 D

1

2h2 C

1

2h4

4(c)

kA3 D 1C

1

2kA

2 C1

2kA

4(d )

Substituindo (c) em (a) e lembrando que h41 D 0, h4

4 D 1, obtemos

h42 D

1

2

�1

2h4

2 C1

2

�; logo h4

2 D1

3:

Finalmente, de (d ) em (b) e kA1 D kA

4 D 0,

kA2 D 1C

1

2

�1C

1

2kA

2

�; entao kA

2 D 2:

Este exemplo tem por objetivo mostrar o argumento central baseado na decomposicao associada a primeira transicao.Dependendo da simetria inerente ao grafo de transicao, sucessivas decomposicoes podem levar diretamente a resposta final.Em geral este metodo permite construir uma equacao em diferenca a qual pode ser resolvida utilizando diversas tecnicas. Oapendice a estas notas apresenta um metodo geral para resolver este tipo de equacoes. Em geral temos o seguinte resultado.

Teorema 6 (probabilidade da primeira chegada). O vetor da probabilidade dos tempos da primeira chegada ao conjuntoA � S, hA D .hA

i W i 2 S/, e a solucao nao negativa mınima ao sistema linear

(2) hAi D

(1; se i 2 A;P

j2S pij hAj ; se i … A:

h e a solucao mınima se para uma outra solucao g D .gi W i 2 S/ tal que gi � 0, entao pontualmente gi � hi .

Demonstracao. Mostraremos primeiro que hAi e uma solucao ao sistema indicado. Trivialmente, se X0 D i 2 A entao

�A D 0 implica hAi D 1. Se X0 D i … A, entao �A � 1 e seguindo a propriedade de Markov,

Pi.�A <1jX1 D j / D P.�A <1jX1 D j ;X0/ D P.�A <1jX1 D j /

D Pj .�A <1/ D hAj ;

logo,

hAi D

Xj2S

Pi.�A <1;X1 D j / DXj2S

Pi.�A <1jX1 D j /Pi.X1 D j /

D

Xj2S

pij hAj :


Mostramos agora que hA e a solucao mınima. Suponhamos que g D .gi W i 2 S/ e uma outra solucao qualquer portanto sei 2 A entao gi D 1 D hA

i . Porem, se i … A entao

gi D

Xj2S

pij gj D

Xj2A

pij C

Xj…A

pij gj :

Substituindo da mesma maneira mais uma vez para gj ,

gi D

Xj2A

pij C

Xj…A

pij

�Xk2A

pjk C

Xk…A

pjkgk

�D Pi.X1 2 A/C Pi.X1 … A;X2 2 A/C

Xj…A;k…A

pij pjkgk :

Repetindo este argumento por inducao tem-se

gj D Pi.X1 2 A/C : : :C Pi.X1 … A; : : : ;Xn�1 … A;Xn 2 A/

C

Xj1…A:::jn…A

pij1pj1j2

: : :pjn�1jngjn:

Se g e nao negativa entao o ultimo termo da equacao acima e nao negativo. Por outro lado, os termos restantes tem somaigual a Pi.� � n/, portanto

gi � Pi.�A � n/; n � 1;

Assim, no limite n!1,

gi � limn!1

Pi.�A � n/ D Pi

�[n

f�A � ng�D Pi.�A <1/ D hi : �

Este Teorema quando aplicado ao Exemplo 4 leva diretamente ao seguinte sistema

h44 D 1; h4

2 D1

2h4

1 C1

2h4

3; h43 D

1

2h4

2 C1

2h4

4;

o qual expressa h42 em terminos do valor desconhecido h4

1. Da minimalidade da solucao podemos considerar h41 D 0, o qual

leva ao valor h42D

13

.

Apresentamos a continuacao dois exemplos classicos da aplicacao do principio de decomposicao da primeira transicao.Cada um destes resulta em uma equacao em diferenca particular.

Exemplo 5 (Ruına do jogador). Seja X Markov.�;P / com valores em ZC e probabilidades de transicao p0;0 D 1,pi;i�1 D q, pi;iC1 D p para 0 < p < 1, q D 1 � p. O processo determinado por estas probabilidades de transicaocorresponde ao modelo descrito informalmente no Exemplo 2. Desejamos calcular a probabilidade da ruına, ou seja de queXn D 0 dado que X0 D i , i 2 N. Nao e difıcil chegar a seguinte resposta

Pi.Xn chega a 0/ D Pi.�0 <1/ D h0i :

Da decomposicao da primeira transicao obtemos entao que

h00 D 1;

h0i D ph0

iC1 C qh0i�1; i � 1:(3)

Um metodo geral para resolvermos a equacao em diferenca de segunda ordem e apresentado no apendice. Apresentamos aseguir um outro metodo parecido com o metodo utilizado para resolver equacoes diferenciais ordinarias lineares, o qualconsiste em encontrar duas solucoes, ˛1 e ˛2, linearmente independentes tais que

h0i D c1.˛1/

iC c2.˛2/

i :


Propomos primeiro uma solucao da forma h0i D ˛

i , de maneira que a recorrencia em (3) toma a forma ˛i D p˛iC1Cq˛i�1,i � 1. Em particular para i D 1 temos a equacao caracterıstica

p˛2� ˛ C q D 0

com raızes

˛� D1 �

p1 � 4pq

2p; ˛C D

1Cp

1 � 4pq

2p:

Duas situacoes sao possıveis, A: 1 � 4pq D 0 (quando p D q D 12

), e B: 1 � 4pq ¤ 0. Analisamos cada casoseparadamente.

Caso A. Se p D q entao temos ˛� D ˛C D ˛ D 1. Logo propomos mais uma solucao (linearmente independente de˛i) da forma i˛i e entao em geral obtemos

h0i D c1.˛/

iC c2i.˛/i D c1 C c2i:

Esta solucao tem que ser valida para todo i � 0, o qual forca c2 D 0 de maneira que no limite i ! 1, h0i ainda possa

satisfazer h0i � 1. A nossa solucao agora apresenta a forma h0

i D c1, mas da condicao inicial do problema h00 D 1 D c1Cc2

inferimos que c1 D 1, logo finalmente h0i D 1. Isto implica que mesmo quando o cassino e honesto, com certeza sempre

acabaremos arruinados, independentemente da nossa quantidade inicial de dinheiro. ( melhor saber retirarse a tempo!)

Caso B. Se p ¤ q, entao

˛� D1 �

p1 � 4p.1 � p/

2pD

1 �p.2p � 1/2

2pD

q

p

e

˛C D1C

p.2p � 1/2

2pD 1:

Neste caso a solucao geral ja toma a forma desejada

h0i D c1.1/

iC c2

� q

p

�i

;

porem ainda fica por ser determinados os valores de c1 e c2. Observamos que se p < q, entao no limite i ! 1 temosque .q=p/i diverge, portanto seguindo o mesmo argumento empregado no caso A concluımos que h0

i D 1 para i � 1. Istoe, se a chance de perder cada aposta e maior que a chance de ganhar, entao com certeza tambem acabaremos arruinados!Finalmente se p > q, utilizando a condicao inicial na solucao geral temos

h0i D c1 C .1 � c1/

� q

p

�i

D

� q

p

�i

C c1

�1 �

� q

p

�i�:

Sendo p > q, necessariamente 1 � .q=p/i > 0, o qual implica que c1 � 0 e entao h0i � 0. Utilizamos a propriedade

minimal de h0i demonstrada no Teorema 6 para justificar a escolha c1 D 0. A solucao neste caso e portanto

h0i D

� q

p

�i

:

Concluımos que com probabilidade positiva podemos perder todo o nosso dinheiro mas a mesma diminui geometricamentecom i , isto e, a medida que entramos com mais dinheiro no cassino. Finalmente no limite i !1 temos que a probabilidadede nao ficar arruinados e 1.

Exemplo 6 (Processo de nascimento e morte simples). Seja X uma cadeia de Markov com valores em ZC e probabilidadesde transicao p0;1 D 0, pi;iC1 D pi , e pi;i�1 D qi . Este processo e muito parecido com o processo que descreve a ruına dojogador, mas agora as probabilidades de transicao em cada instante dependem do estado atual do processo. A cadeia assimdefinida pode ser utilizada para modelar o crescimento de uma populacao a qual no instante n apresenta i indivıduos, i.e.,Xn D i .


Uma quantidade importante nesta aplicacao e a probabilidade de extincao da populacao. Dado que a populacaoapresenta inicialmente i indivıduos temos

Pi.chegar a 0 indivıduos/ D Pi.�0 <1/ D h0i :

Utilizando a decomposicao da primeira transicao temos que esta probabilidade satisfaz a seguinte relacao de recorrencia

h0i D pih

0iC1 C qih

0i�1; i D 1; 2; : : :

Observamos que, a diferenca do Exemplo 2, a equacao em diferenca que descreve h0i agora nao e homogenea pois os

coeficientes qi , pi dependem do estado atual do processo. Mesmo assim, neste caso ainda e possıvel encontrar a solucaodiretamente. Seja

ıi D h0i�1 � h0

i ;

logo

piıiC1 D pih0i � pih

0iC1 D pih

0i � .h

0i � qih

0i�1/

D �h0i .1 � pi/C qih

0i�1 D qi.h

0i�1 � h0

i / D qiıi ;

e portanto

ıiC1 Dqi

pi

ıi :

Desta forma, utilizando inducao sobre i conseguimos

ıiC1 Dqi

pi

qi�1

pi�1

� � �q1

p1

ı1:

Se i DQi

kD1 qk=pk , para i � 1, entaoıiC1 D iı1:

Por outro lado observamos queı1 C ı2 C : : :C ıi D h0

0 � h0i :

Combinando estes dois resultados temos a forma geral para a probabilidade de extincao

h0i D 1 � ı1. 0 C 1 C : : :C i�1/:

Para obtermos h0i , ainda temos que calcular ı1. Consideramos a tal fim separadamente os seguintes casos, A:

P1iD0 i D1,

e B:P1

iD0 i <1.

Caso A. Para termos h0i � 1, i � 1, e necessario que ı1 D 0. Neste caso, com probabilidade 1, a populacao sera extinta

para qualquer numero inicial de indivıduos.

Caso B. SeP1

iD0 i <1, entao deve existir um ındice k <1 tal queqkCn � � � q1

pkCn � � �p1

D 0;

para todo n � 0. Portanto e possıvel considerar ı1 > 0 sempre e quando ı1. 0 C : : :C i�1/ < 1, para i � 1. Utilizando oTeorema 6 escolhemos

ı1 D

� 1XiD0

i

��1

;

ja que neste caso obtemos a solucao mınima para h0i . Obviamente a escolha satisfaze ı1. 0 C : : :C i�1/ < 1 e entao da

expressao geral para h0i temos

h0i D 1 �

Pi�1jD0 jP1jD0 j

D

P1jDi jP1jD0 j

< 1; i � 1:

Concluımos que para qualquer quantidade inicial de indivıduos, i � 1, a probabilidade de extincao h0i < 1, ou equivalente-

mente Pi.sobrevivencia/ D 1 � h0i > 0.


Este exemplo, igualmente ao anterior, mostra como a condicao de minimalidade e util na solucao de equacoes emdiferenca para calcular hA

i , em especial quando S nao e finito pois neste caso usualmente nao temos uma das condicoes decontorno necessarias.

Voltamos agora a considerar os tempos esperados da primeira chegada a um conjunto A � S, isto e kAi . Para esta

quantidade apresentamos o seguinte resultado geral.

Teorema 7 (tempo esperado da primeira chegada). O vetor de tempos esperados de chegada kA D .kAi W i 2 S/, e a

solucao mınima, nao-negativa ao sistema de equacoes lineares

kAi D

(0; se i 2 A;

1CP

j…A pij kAj ; se i … A:

Demonstracao. Mostramos primeiro que kA D .Ei Œ�A� W i 2 S/ satisfaz este sistema. Se X0 D i 2 A entao �A D 0, logoEi Œ�A� D Ei Œ0� D 0. Se X0 D i … A entao �A � 1. Observamos primeiro que

Ei Œ�A jX1 D j � D Ei Œ�A jX1 D j ;X0 D i �

D EŒinffn � 0 W Xn 2 Ag jX1 D j ;X0 D i �

D EŒinffn � 1 W Xn 2 Ag jX1 D j �

D 1C EŒinffn � 0 W Xn 2 Ag jX0 D j � D 1C Ej Œ�A�

sendo que a primeira e a terceira igualdade seguem da propriedade de Markov. A terceira tambem utiliza X0 D i … A, e aquarta e consequencia da homogeneidade (temporal) do processo. Agora

kAi D Ei Œ�A� D

Xj2S

Ei

��A1fX1Djg

�D

Xj2S

X!

�A.!/1fX1Djg.!/Pi.!/

D

Xj2S

Xn

nPi.�A.!/ D n;X1.!/ D j /

D

Xj2S

Xn

nPi.�A.!/ D n jX1 D j /Pi.X1 D j /

D

Xj2S

Ei Œ�A jX1 D j �pij ;

e portanto da primeira parte da prova

kAi D

Xj2S

.1C Ej Œ�A�/pij D 1CXj2S

Ej Œ�A�/pij D 1CXj…A

pij kAj :

A restricao do somatorio ao complemento de A e devida a que kAj D 0 para j 2 A. Mostramos agora que .kA

i W i 2 S/ ede fato a solucao mınima. Suponhamos que r D .ri W i 2 S/ e qualquer outra solucao ao sistema. Entao kA

i D ri D 0 paraqualquer i 2 A. Se i … A, dado que ri satisfaz o sistema,

ri D 1CXj…A

pij rj D 1CXj…A

pij

�1C

Xk…A

pjkrk

�D 1C

Xj…A

pij C

Xj…A;k…A

pij pjkrk

D Pi.�A � 1/C Pi.�A � 2/CX

j…A;k…A

pij pjkrk

Utilizando inducao

ri D

nXkD1

Pi.�A � k/CX

j1…A;:::;jn…A

pij1pj1j2

� � �pjn�1jnrjn:


Se r e nao negativa, entao necessariamente

ri �

nXkD1

Pi.�A � k/;

o qual e valido para todo n � 1, logo no limite

ri �

1XkD1

Pi.�A � k/ D Ei Œ�A� D kAi :

Nesta ultima linha utilizamos a identidade EŒ�� DP

k�0 P.� > k/, valida para qualqer variavel aleatoria tal que � � 0. �

Existe uma outra maneira para calcular os valores esperados do primeiro tempo de retorno, baseada no metodo dafuncao geradora.

Definicao 13. Seja � uma variavel aleatoria com valores em um conjunto enumeravel S. A funcao geradora de probabilidadede � e definida por

G.z/ D EŒz� � DXi2S

ziP .� D i/;

para tudo jzj � 1 pertencente ao raio de convergencia da serie de potencia a direita da ultima igualdade.

O seguinte Lema apresenta algumas das propriedades basicas destas funcoes. A sua demonstracao e deixada como umexercıcio.

Lema 1. Se � tem funcao geradora G.z/, entao .i/ G.1/ D 1, .ii/ G.0/ D P .� D 0/, e .iii/

EŒ�� D G0.1/ DdG.z/

dz

ˇzD1:

Seja hji .n/ a distribuicao do primeiro tempo de retorno de i a j , isto e, h

ji .n/ D Pi.�j D n/, n D 0; 1; 2; : : :

Consideramos agora as seguintes funcoes geradoras

Gij .z/ D1X

nD0

znpnij ; Hi.z/ D

1XnD0

znhii.n/:

Lema 2. Seja X uma cadeia de Markov e i 2 S em estado qualquer. Neste caso, Gii.z/ D 1CHi.z/Gii.z/ e Gij .z/ DHi.z/Gjj .z/ se i ¤ j .

Demonstracao. Veja [GS01], pagina 85. �

Estes resultados podem ser utilizados para calcular o tempo medio do primeiro retorno. Do Lema 2 temos queHi.z/ D 1 � .Gii.z//�1, o qual combinado com o Lema 1 resulta em

kii D Ei Œ�i � D H 0i .z/

ˇzD1D

1 �

1

Gii.z/

!0 ˇˇzD1

:

Exemplo 7. Duas cadeias de Markov estao definidas pelas seguintes matrizes de probabilidade de transicao

.a/

0@1 � 2p 2p 0

p 1 � 2p p

0 2p 1 � 2p

1A ; .b/

0BB@0 p 0 1 � p

1 � p 0 p 0

0 1 � p 0 p

p 0 1 � p 0

1CCA :


Calculamos a seguir os tempos de recorrencia esperados para cada um dos possıveis estados em (a) e (b). Encontramosprimeiramente a funcao geradora Gii.z/, para o qual calculamos P n D NDnN �1. Da equacao caracterıstica associadaobtemos os tres autovalores 1, .1 � 2p/, e .1 � 4p/, logo

N D

0@1 1 1

1 0 �1

1 �1 1

1A ; N �1D

0@1=4 1=2 1=4

1=2 0 �1=2

1=4 �1=2 1=4

1ADnD

0@1 0 0

0 .1 � 2p/n 0

0 0 .1 � 4p/n

1Ae entao calculando o produto NDnN �1 obtemos os elementos da diagonal

pn11 D

1

4C

1

2.1 � 2p/n C

1

4.1 � 4p/n; pn

22 D1

2C

1

4.1 � 4p/n; pn

33 D pn11:

Assim

G11.z/ DXn�0

zn�1

4C

1

2.1 � 2p/n C

1

4.1 � 4p/n

�D

1

4.1 � z/C

1

2.1 � z.1 � 2p//C

1

4.1 � z.1 � 4p//:

Segundo o Lema Lema 2 temos

k11 D H 01.z/

ˇzD1D

16p4

4p4D 4;

o qual tambem e o valor de k33 . Analogamente para pn

22, temos

G22.z/ DXn�0

zn�1

2C

1

2.1 � 4p/n

�D

1

2.1 � z/C

1

2.1 � z.1 � 4p//;

portanto

k22 D H 02.z/

ˇzD1D

8p2

4p2D 2:

Para a cadeia definida por (b) procedemos da mesma forma. Neste caso os autovalores sao �1,1, i.2p � 1/, e �i.2p � 1/,logo

pnjj D

1

4

�1C .�1/n C .i.2p � 1//n C .�i.2p � 1//n

�;

para qualquer j D 1; 2; 3; 4; e entao finalmente do Lema 2,

k11 D k2

2 D k33 D k4

4 D 4:


Exercıcios

Exercıcio 16. Uma cadeia de Markov com espaco de estados f1; 2; 3g apresenta a seguinte matriz de probabilidade detransicao

P D

0@ 13

13

13

0 12

12

0 0 1

1A :Mostre que o estado 3 e absorvente. Dado que X0 D 1, encontre o tempo esperado ate absorcao.

Exercıcio 17. Uma moeda honesta e lancada repetidas vezes. Calcule o numero esperado de lancamentos ate aparecer asequencia fcara, coroa, carag pela primeira vez.

Exercıcio 18. Seja X uma cadeia de Markov em ZC e probabilidades de transicao

p01 D 1; pi;iC1 C pi;i�1 D 1; pi;iC1 D

� i C 1

i

�2

pi;i�1; i � 1:

Mostre que se X0 D 0 entao a probabilidade de que Xn � 1 para todo n � 1 e 6=�2. [Podemos enchergar o problema comoum processo de nascimento e morte nao homogeneo. A resolucao pode ser guiada pelo argumento exposto no Exemplo 6.]

Exercıcio 19. (i) Calcule a probabilidade da sua ruına sendo que o seu capital inicial e i , isto e calcule h0i , mas agora

suponha que voce se encontra jogando contra uma outra pessoa com capital inicial j D a � i . (ii) Calcule a probabilidadeda ruına do seu oponente.

Exercıcio 20. Responda a pergunta (vii) formulada no Exemplo 1.

Exercıcio 21. Considere o enunciado do Exercıcio 19 e neste caso (i) calcule o tempo esperado da sua ruına. (ii) Calcule otempo esperado da ruına do seu oponente.

Exercıcio 22. Este exercıcio e uma continuacao do exercıcio Exercıcio 5. Qual e o numero medio de meses no qual umaconta do tipo A permanecera no sistema? (isto e, o numero de meses em media para que esta vire do tipo F ou B.)

Exercıcio 23 (Serpentes e escadas3).

7 8 9

6 5 4

1 32

Um tabuleiro apresenta nove quadros, duas escadas, e duas cobras dispostas deacordo ao desenho ao lado. Suponha que voce inicia o jogo no quadro 1, e logoem cada turno voce joga uma moeda (honesta) de tal maneira que se o resultado ecara entao voce avanca dois quadros, mas se o resultado e coroa voce avanca so umquadro. Se voce se encontra com o pe de uma escada voce imediatamente sobe ateo final dela, mas se voce se encontra com a cabeca de uma cobra voce desce ate ofinal da cauda. (i) Quantas turnos sao necessarios em media para chegar ate o quadro9? (ii) Qual a probabilidade de que um jogador que tenha chegado ate ao quadro 5consiga chegar ate o 9 sem voltar ate o quadro 1? (iii) Calcule a quantidade de turnosesperados se em lugar de uma moeda agora e utilizado um dado de tal forma quevoce avanca n quadros quando a face superior e n.

Exercıcio 24 (Duas pulgas).

3Este jogo, popular na Inglaterra Victoriana ao rededor de 1890, esta relacionado a um jogo da India de nome Moksha-Patamu, possıvelmente originado em 200 A.C.

4. Propriedade forte de Markov 21

v1

a

v3 v4

b

Duas pulgas pulam independentemente uma da outra sobre os verices do grafo mostrado abaixo.Suponha que as pulgas iniciam o seu percurso nos verices a e b e que cada pulga pode pular a umvertice vizinho ou ficar no mesmo verice com probabilidade 1

3. (i) Encontre a matriz de probabilidade

de transicao associada ao processo correspondente a posicao relativa das duas pulgas em cada instante.(ii) Determine o tempo esperado no qual as duas pulgas se encontram sobre o mesmo verice pela

primeira vez. [Sugestao: considere a variavel aleatoria Xn Ddistancia entre as duas pulgas no instante n, sendo a distanciaigual ao menor numero de elos entre as pulgas.]

Exercıcio 25. Demonstre o Lema 1.

Exercıcio 26. Considere novamente as questoes (i) e (ii) do Exercıcio 5. Observe porem que os estados B e F saoabsorventes logo, a resposta a (i) e (ii) pode ser obtida ao considerar respectivamente uma equacao de recorrencia.

Exercıcio 27. || Seja .Xn/n�0 Markov em f0; 1; 2; : : :g com matriz de transicao definida por

p0j D aj se j � 0; pii D r; pi;i�1 D 1 � r se i � 1:

Encontre o valor esperado dos tempos de retorno.

4. Propriedade forte de Markov

Um avanco significativo na teoria e conseguido ao considerar eventos do tipo

fXTC1; : : :XTCn jXT D i; : : : ;X0 D ig

para o instante aleatorio T .!/, em lugar de

fXmC1; : : :XmCn jXm D i; : : : ;X0 D ig

onde m e um instante fixo determinado a priori. Precisamos porem da seguinte restricao para poder condicionar por uminstante aleatorio.

Definicao 14. A variavel aleatoria T W � ! f0; 1; : : :g [ f1g e um tempo de parada para o processo X , se o eventofT D mg so depende de X0; : : : ;Xm.

Exemplo 8. Seja X um processo aleatorio com valores em S. (i) O primeiro tempo de retorno ao estado i , �i , e um tempode parada para X uma vez que

f�i D ng D fX0 ¤ i;X1 ¤ i; : : : ;Xn�1 ¤ i;Xn D ig:

(ii) O primeiro tempo de chegada a i , �i , tambem e um tempo de parada para X . (iii) O ultimo tempo de saıda de A � S,

iA D supfn � 0 W Xn 2 Ag

nao e um tempo de parada para X , ja que fiA D ng claramente depende do evento fXnCm 2 A W m � 1g.

A propriedade de Markov ainda e valida se a variavel aleatoria T e um tempo de parada. O ponto crucial e observarque se B e um evento determinado por X0; : : : ;XT , entao B \ fT D mg esta determinado por X0; : : : ;Xm.

Teorema 8 (Propriedade forte de Markov). Seja X Markov.�;P / e B um evento determinado por X0; : : : ;XT . Dado oevento fT <1;XT D ig, o processo .XTCn/, n � 0, e Markov.ıi ;P / e independente de X0; : : : ;XT .

Demonstracao. Seja B D fX0; : : : ;XT g entao B \ fT D mg esta determinado por X0; : : : ;Xm. Agora

P.fXT D j0; : : : ;XTCn D jng \ fB;T <1;XT D ig/

D

Xm�0

P.fXT D j0; : : : ;XTCn D jng \ fB;T D m;XT D ig/;


logo

P.XT D j0; : : : ;XTCn D jn;B jT <1;XT D i/

D

Xm�0

P.XT D j0; : : : ;XTCn D jn;B;T D m;XT D i/

� P.T D m;XT D i/�1;

mas se T D m, entao XT D Xm. Desta forma temos queXm�0

P.Xm D j0; : : : ;XmCn D jn;X0; : : : ;Xm;T D m;Xm D i/P.T D m;Xm D i/�1

D

Xm�0

P.Xm D j0; : : : ;XmCn D jn jX0; : : : ;Xm;Xm D i;T D m/

� P.X0; : : : ;Xm;Xm D i;T D m/P.T D m;Xm D i/�1;

assim, da propriedade fraca de Markov,Xm�0

P.Xm D j0; : : : ;XmCn D jn jXm D i/P.X0; : : : ;Xm jT D m;Xm D i/:

Da homogeneidade do processo, concluımos portanto que

Pi.X0 D j0; : : : ;Xn D jn/Xm�0

P.X0; : : : ;Xm jT D m;Xm D i/

D Pi.X0 D j0; : : : ;Xn D jn/P.B jT <1;XT D i/: �

5. Recorrencia e transitoriedade

Existe uma outra maneira de classificar os estados em S de acordo a se estes podem ser visitados um numero infinito devezes ou nao. Veremos que esta classificacao e essencial para estudar as propriedades de Xn no limite n!1. Baseamos aexposicao das nocoes de recorrencia e transitoriedade nos tempos do primeiro retorno �A. Posteriormente veremos queexistem caracterizacoes alternativas.

Definicao 15. Seja X Markov.�;P / com valores no conjunto enumeravel S. O estado i 2 S e recorrente4 se

Pi.Xn D i para infinitos n/ D 1:

O estado i 2 S e transitorio sePi.Xn D i para infinitos n/ D 0:

A cadeia e recorrente se S e recorrente.

Um estado e recorrente se este e visitado infinitas vezes, caso contrario este e transitorio. Se um estado e transitorioentao eventualmente existe um instante a partir do qual a cadeia nao visita mas este estado. Mostraremos que S podeser particionado em classes de estados recorrentes e transitorias, porem mais importante-mente desenvolveremos varioscriterios de recorrencia e transitoriedade equivalentes.

Seja �i o primeiro tempo de retorno a i . Se �0i D 0, e �1

i D �i , entao o k-simo tempo de retorno a i e definidoindutivamente para k D 0; 1; : : : como

�kC1i .!/ D inffn � �k

i .!/C 1 W Xn.!/ D ig

Logo a duracao da k-esima excursao i e

Eki D

(�k

i � �k�1i ; se �k�1

i <1;

0; caso contrario:

4as vezes tambem denominado persistente

5. Recorrencia e transitoriedade 23

i

�1i

Xn.!/

E1i

E2i

E3i

E5i

E6i

�2i

�3i

�5i�0

i

Figura 2. tempos de excursao e do primeiro retorno ao estado i.

A relacao entre �ki e Ek

i e apresentada na Figura 2.

A primeira caracterizacao das nocoes de recorrencia e transitoriedade a ser descrita estara baseada na distribuicaoconjunta da duracao dos tempos de excursao. Com este proposito apresentamos dois resultados preliminares.

Lema 3. Para k D 2; 3; : : :, dado �k�1i <1, Ek

i e independente de fXm W m � �k�1i g, e

P.Eki D n j �k�1

i <1/ D Pi.�i D n/:

Demonstracao. A prova consiste em mostrar as duas igualdades

P�Ek

i D n; fXm W m � �k�1i g j �k�1

i <1�

D P�Ek

i D n j �k�1i <1

�P�fXm W m � �

k�1i g j �k�1

i <1�

(4)

D P.�i D n jX0 D i/P�fXm W m � �

k�1i g j �k�1

i <1�:(5)

Observamos primeiramente que T D �k�1i e um tempo de parada o qual implica

P�fEk

i D ng\ fXm W m � T g jT <1�

D P�f�k

i � T D ng \ fXm W m � T g jT <1�

D P.XT ; : : : ;XTCn D i;X0; : : : ;XT jT <1/:

Embora, no instante T a cadeia esta em i portanto

P.XT ; : : : ;XTCn;X0; : : : ;XT jXT D i;T <1/

D P.XT : : : ;XTCn jXT D i;T <1/P.X0; : : : ;XT jXT D i;T <1/

D P.Eki D n j �k�1

i <1/P.X0; : : : ;XT j �k�1i <1/:

A segunda igualdade segue diretamente ao aplicarmos o Teorema 8 para o tempo de parada T . Isto prova (4). Para (5) esuficiente observar, mais uma vez do Teorema 8, que .XTCn/, n � 0 e Markov.ıi ;P /. Neste caso

Eki D inffn � 1 W XTCn D ig

e o primeiro tempo de retorno a i para esta cadeia, logo o resultado e imediato. �

Seja agora

Vi D

1XnD0

1fXnDig;


isto e, Vi denota o numero de vezes nas quais X passa pelo estado i . Entao

Ei ŒVi � D Ei

h 1XnD0

1fXnDig

iD

1XnD0

Ei Œ1fXnDig� D

1XnD0

Pi.Xn D i/ D

1XnD0

pnii :

Definicao 16. Denotamos por f ki , k � 1, a probabilidade do k-esimo retorno a i , isto e,

f ki D Pi.�

ki <1/:

Mostramos a continuacao que e possıvel calcular a distribuicao de Vi a partir da probabilidade do primeiro retorno a i ,fi D Pi.�i <1/.

Lema 4. Pi.Vi > k/ D f ki para k D 0; 1; : : :.

Demonstracao. Observamos primeiro que a igualdade e valida para k D 0. Se X0 D i entao fVi > 0g D f�0i < 1g,

ja que neste caso Vi D 1 e por definicao �0 D 0. O resultado segue utilizando inducao sobre k. Suponhamos quecondicionalmente dado X0 D i para k > 0 temos fVi > k C 1g D f�kC1

i < 1g. Agora, se �kC1i � �k

i D EkC1i , entao

�kC1i D EkC1

i C �ki , assim

Pi.�kC1i <1/ D Pi.E

kC1i <1; �k

i <1/

D Pi.EkC1i <1j �k

i <1/Pi.�ki <1/:

Do Lema 3, o primeiro termo a direta da ultima igualdade e Pi.�i <1/. Desta forma

Pi.Vi > k C 1/ D Pi.�i <1/Pi.�ki <1/ D fif

ki D f

kC1i : �

Exercıcio 28. Suponha que V e uma variavel aleatoria com valores em ZC. Mostre que EŒV � DP1

kD0 P.V > k/. (Estarelacao e conhecida como a formula telescopica para a esperanca.)

Mostramos agora que a recorrencia de um estado pode ser caracterizada utilizando as probabilidades do primeiroretorno fi , ou os n-esimos iterados da matriz de probabilidade.

Teorema 9 (recorrencia-transitoriedade). Seja X Markov com valores em S, e i 2 S. Entao

(i) Se fi D 1 entao i e recorrente eP

n�0 pnii D1.

(ii) Se fi < 1 entao i e transitorio eP

n�0 p1ii <1.

Demonstracao. Se Pi.�i <1/ D fi D 1, entao f 2i D 1. Isto segue do Teorema 8, ja que se .Xn/ e Markov.�;P / entao

.X�iCn/ e Markov.ıi ;P / e independente de X0; : : : ;X�i , mas, de forma analoga ao Lema 3,

�2i D inffn � 1 W X�iCn D ig

e o primeiro tempo de retorno a i de .X�iCn/. Sendo que os dois processos apresentam a mesma lei, necessariamente adistribuicao de �2

i dado �i <1 e a mesma de �i dado X0 D i . Utilizando este argumento indutivamente obtemos

limk!1

Pi.�ki <1/ D lim

k!1f k

i D 1:

Agora, utilizando o Lema 4 temos

1 D limk!1

f ki D lim

k!1Pi.Vi > k/ D Pi

�\k

fVi > kg�D Pi.Vi D1/;

5. Recorrencia e transitoriedade 25

isto e, com probabilidade 1 Xn visita o estado i infinitas vezes, portanto i e recorrente. Mais ainda, se Pi.Vi > k/ D f ki D 1,

para k � 0, entao Xk�0

pkii D Ei ŒVi � D

Xk�0

Pi.Vi > k/ D1:

Se Pi.�i <1/ < 1 entao fi < 1, o qual implicaXk�0

pkii D

Xk�0

Pi.Vi > k/ DXk�0

f ki D

1

1 � fi

<1:

No sentido contrario, se fi < 1, entao Pi.Vi D1/ D limn!1 fk

i D 0, i.e., a probabilidade de que X pase por i infinitasvezes e zero por tanto i e transitorio. �

Observamos que recorrencia ou a transitoriedade sao propriedades de solidariedade no sentido de que estas saocompartilhadas pelos membros de uma classe de comunicacao.

Teorema 10. Seja C � S uma classe de comunicacao. Todos os estados de C sao recorrentes ou transitorios.

Demonstracao. Sejam i; j 2 C portanto existem inteiros n;m (positivos) tais que pnij > 0 e pm

ji > 0. Agora, para todok � 0, diretamente da relacao de Chapman-Kolmogorov (Teorema 4) obtemos

pnCkCmii D

Xj2S

pnij pk

jj pmji � pn

ij pkjj pm

ji :

Assim, Xk�0

pnCkCmii �

Xk�0

pnij pk

jj pmji ;

e entao Xk�0

pkjj �

Pk�0 pnCkCm

ii

pnij pm

ji

:

Se i e transitorio, entaoP

k pnCkCmii <1, mas entao da desigualdade acima j tambem e transitorio. �

Teorema 11. Toda classe recorrente e fechada.

Demonstracao. Da definicao, lembramos que C � S e fechada se para qualquer i 2 C , entao i ! j implica j 2 C .De esta forma se C e aberta e i 2 C , entao existem j … C , m � 1 tais que Pi.Xm D j / > 0. Neste caso Pi.fXm D

j g \ fXn D i para infinitos ng/ D 0, ja que se a cadeia sai de C a j , entao esta nao pode mais voltar a C (caso contrarioj 2 C ). Entao Pi.Xn D i para infinitos n/ D Pi.f∅g/ D 0, e entao i nao e recorrente. Do Teorema 10, C e transitoria. �

Teorema 12. Toda classe finita e fechada e recorrente.

Demonstracao. Suponhamos que C e fechada e finita, e que X0 2 C . Seja i 2 C . Necessariamente existe pelo menos umcaminho ! 2 � no qual X.!/ visita infinitas vezes o estado i portanto

0 < P.Xn D i para uma infinidade de ındices n/:

Seja T um tempo de parada tal que XT D i . Sem perda de generalidade consideramos T como sendo �i . Assim, secondicionamos por fT <1;XT D ig, segundo a propriedade forte de Markov obtemos

0 < P.X0; : : : ;XT j T <1;XT D i/Pi.Xn D i para uma infinidade de ıdices n/:

Isto implica em 0 < Pi.Xn D i para uma infinidade de ındices n/, portanto da Definicao 15, i e nao transitorio e neste caso,seguindo o Teorema 9 i e necessariamente recorrente. Logo pelo Teorema 10 isto implica que C e recorrente. �


Este Teorema e bastante util pois se C e uma classe finita, entao e possıvel determinar se esta e fechada ou aberta eportanto se e recorrente ou nao. A classificacao e mais delicada se a classe C nao e finita. Neste caso e possıvel encontrarexemplos onde C e fechada e transitoria. Um exemplo disto e a ruına do jogador (Exemplo 2) onde C D S D ZC e fechada,mas se p > q entao com probabilidade positiva existe a chance de nao visitar a origem, isto e de nao perder todo o dinheiro.Um outro exemplo classico deste fenomeno sera apresentado na proxima secao.

O seguinte resultado sera necessario para mostrar o principal Teorema de convergencia na secao 7.

Teorema 13. Se P e irredutıvel e recorrente, entao P.�i <1/ D 1, para todo i 2 S.

Sob as hipoteses de recorrencia e irredutibilidade, este teorema mostra que independentemente do estado inicial, oprimeiro tempo de retorno a um estado e finito. O Teorema 9 em cambio fornece um criterio de recorrencia a partir daprobabilidade condicional do primeiro tempo de retorno dado o estado inicial.

Demonstracao. Notamos primeiro que

P.�j <1/ DXi2S

P.�j <1;X0 D i/ DXi2S

Pi.�j <1/P.X0 D i/;

logo sera suficiente verificar que Pi.�j <1/ D 1 para todo i 2 S. Seja m W pmij > 0. Se P e recorrente, entao

1 D Pj .Xn D j infinitas vezes/

D Pj .Xn D j para alguns n � mC 1/

D

Xk2S

Pj .Xn D j para alguns n � mC 1 jXm D k/Pj .Xm D k/

D

Xk2S

Pj .Xn D j para alguns n � mC 1 jXm D k/pmjk D

Xk2S

Pk.�j <1/pmjk :

A ultima igualdade segue da propriedade fraca de Markov. Finalmente, dado queP

k pmjkD 1, necessariamente temos que

Pi.�j <1/ D 1. �

Exercıcios

Exercıcio 29. Identifique as classes recorrentes e transitorias da cadeia definida no Exemplo 3.

Exercıcio 30. Seja X Markov.�;P /, com matriz de probabilidade de transicao

P D

0BBBBB@1=2 0 0 0 1=2

0 1=2 0 1=2 0

0 0 1 0 0

0 1=4 1=4 1=4 1=4

1=2 0 0 0 1=2

1CCCCCA :Clasifique os estados em transitorios e recorrentes.

Exercıcio 31. Seja X uma cadeia de Markov com valores em ZC e probabilidades de transicao

p0;1 D 1; pi;iC1 D p; pi;0 D 1 � p

para 0 < p < 1. (i) Diga se X e irredutıvel. (ii) Determine se X e recorrente ou transitoria. [Sugestao: estude ocomportamento de h1

1D P.�1 <1jX0 D 1/.]

Exercıcios 27

Exercıcio 32. Mostre que para a cadeia definida no Exercıcio 18,

P.Xn !1 quando n!1/ D 1:

Suponha agora que a cadeia apresenta as seguintes probabilidades de transicao

pi;iC1 D

� i C 1

i

�˛pi;i�1:

Para cada ˛ 2 .0;1/ encontre o valor de P.Xn !1 quando n!1/.

5.1. Passeios aleatorios simples. Apresentamos primeiro o passeio aleatorio simples com valores em Z, ou ZC. Esteprocesso ja foi introduzida no Exemplo 2, mas agora o o identificamos explicitamente como uma cadeia de Markov.

Seja X0;X1; : : : ;Xn uma seqencia de variaveis aleatorias independentes e identicamente distribuıdas com distribuicaoBernoulli(p) e valores f�1; 1g tal que P.Xn D 1/ D p. Consideramos agora as somas parciais para n � 0,

Sn D S0 C

nXiD1

Xi ; S0 D 0:

A seqencia .Sn/ assim definida e um passeio aleatorio simples com valores em Z. No caso p D q D 1=2, chamamos .Sn/

de passeio aleatorio simetrico . Este processo restrito a ZC e com valor inicial S0 D k poderia representar a fortuna de umjogador no instante n, mas as aplicacoes deste processo sao bem mais amplas. A Figura 2 mostra um caminho tıpico de umpasseio aleatorio simetrico com S0 D i D 0.

simples ver que .Sn/ e uma cadeia de Markov, de fato,

P.SnC1 D j jS0 D 0; : : : ;Sn D i/

D P.XnC1 C i D j jS0 D 0; : : : ;Sn D i/

D P.XnC1 D j � i/ D P.SnC1 D j jSn D i/

sendo que a segunda igualdade e valida uma vez que o incremento XnC1 e independente de S0; : : : ;Sn. Esta observacaorelativamente trivial e importante pois mostra que os processos com incrementos independentes apresentam a propriedadede Markov.

Exercıcio 33. Seja .Sn/ um passeio aleatorio simples. Mostre que para quaisquer dois inteiros positivos a, b,

P.Sn D j jS0 D a/ D P.Sn D j C b jS0 D aC b/:

(o passeio aleatorio simples e espacialmente homogeneo.)

A matriz de probabilidade de transicao do passeio aleatorio simples em Z segue imediatamente da sua definicao,

P D

0BBBBBBBBBBB@

: : :::: . . .

0 p 0 0 0

q 0 p 0 0

� � � 0 q 0 p 0 � � �

0 0 q 0 p

0 0 0 q 0

. . .:::

: : :

1CCCCCCCCCCCADesta matriz podemos observar que o passeio aleatorio simples e irredutıvel (desenhe o grafo associado), sendo S D Z aunica classe fechada.

Voltamos agora a nossa atencao ao estudo da recorrencia-transitoriedade deste processo. Sendo S irredutıvel, doTeorema 10 sabemos que todo S e recorrente ou transitorio, logo e suficiente restringir o estudo da recorrencia a um unico


estado, por exemplo a origem. Neste caso de acordo com o Teorema 9, a quantidade a ser estudada eP

n pn00. Saindo da

origem, o numero de passos requeridos para retornar deve ser par, por exemplo 2n, logo e simples ver que

(6) p2n00 D P.S2n D 0 jS0 D 0/ D

�2n

n

�pnqn:

A fim de facilitar o estudo da serie envolvida, utilizamos a aproximacao de Stirling para n!, isto e,

n! �p

2�ne�nnn;

onde an � bn se limn!1 an=bn D 1. Utilizando esta aproximacao obtemos entao

p2n00 D

.2n/!

n!n!.pq/n �

p2� � 2ne�2n.2n/2n

.p

2�ne�nnn/2.pq/n D

1p�n

.4pq/n:

No caso simetrico p2n00� .�n/�1=2, logo X

n�0

p2n00 D �

�1=2Xn�0

1p

nD1;

e concluımos que o passeio retorna infinitas vezes a origem, portanto este e recorrente. No caso nao simetrico, seja r D 4pq.Observamos que 0 < r < 1, uma vez que r D 4p � 4p2 alcanca o valor maximo de 1 para p D 1=2, mas este ultimocorresponde ao caso simetrico. Logo,

p2n00 �

rn

p�n

<rn

p2�;

entao Xn�0

p2n00 .

1p

2�

Xn�0

rnD

1p

2�

1

1 � r<1:

Desta forma se p ¤ q, o passeio e transitorio. Conseguimos desta maneira uma cadeia de Markov onde S e a unica classefechada, porem dependendo das probabilidades de transicao o processo pode ser recorrente ou transitorio. Se p > q entaocom probabilidade positiva “Sn pode chegar a1” para mais nunca retornar a origem.

Consideramos agora o passeio aleatorio simetrico em Z2 D f.i; j / W i; j 2 Zg. O caso nao simetrico sera deixadocomo um exercıcio. A fim de retornar a origem em duas dimenses o passeio deve realizar o mesmo numero de transicoes adireita do que a esquerda e tambem o mesmo numero para acima do que para abaixo. Portanto neste caso tambem so saopermitidos tempos de retorno pares. Qualquer caminho que retorna em 2n passos tem probabilidade 1=42n. O numero decaminhos que conseguem voltar com k transicoes pra cima, k pra baixo, n � k a esquerda, e n � k a direita e�

2n

k; k; n � k; n � k

�D

.2n/!

k!k!.n � k/!.n � k/!:

De esta forma

p200n D

1

42n

nXkD0

.2n/!

k!k!.n � k/!.n � k/!

D1

42n

nXkD0

.2n/!

n!n!

n!n!

k!k!.n � k/!.n � k/!

D1

42n

�2n

n

� nXkD0

�n

k

�2

;

masnX

kD0

�n

k

��n

k

�D

nXkD0

�n

n � k

��n

k

�D

�2n

n

�:

Exercıcios 29

O ultimo coeficiente a direita corresponde ao numero de maneiras de escolher n bolas de um total de 2n, e os doiscoeficientes no meio correspondem a escolha sendo que existem n bolas brancas e n pretas5. Entao

(7) p2n00 D

�1

22n

�2n

n

��2

;

o qual e o quadrado do resultado obtido para o passeio em Z. Concluımos desta maneira queXn�0

p2n00 �

Xn�0

1

�nD1

e portanto o passeio aleatorio simetrico em Z2 e recorrente.

Uma comparacao das equacoes (6) e (7) sugere que a probabilidade do retorno a origem do passeio aleatorio em Z2 eigual a probabilidade do retorno de dois passeios aleatorios independentes, um destes no eixo x e o outro em y. Isto e defato verdade e pode ser mostrado da seguinte maneira. Considere a rotacao em 45 graus dos eixos x;y, o qual gera os eixosNx; Ny. A seguinte figura mostra estes eixos assim como tambem as coordenadas da possıvel posicao de um passeio apos daprimeira transicao em ambos sistemas.

�1

�1

1

1

x

y

NxNy

p2

x;y Nx; Ny

.0; 1/�

1p2; 1p

2

�.0;�1/

��

1p2;� 1p

2

�.1; 0/

�1p2;� 1p

2

�.�1; 0/

��

1p2; 1p

2

�

Suponhamos agora que temos dois pas-seios aleatorios independentes, ambos comvalores em 1p

2Z mas um deste no eixo Nx e o

outro em Ny. Se projetamos as suas posicoesapos da primeira transicao nos eixos x � y,vemos que estas coincidem com as quatropossıveis posicoes do passeio aleatorio sim-ples em Z2. Isto e, nao e possıvel distinguiros movimentos de dois passeios indepen-dentes com valores em 2�

12 Z sobre Nx � Ny,

dos movimentos de um passeio com valoresem Z2 sobre os eixos x � y. Mais ainda, a probabilidade de qualquer uma das quatro posicoes em ambos casos e.1=2/ � .1=2/ D 1=4. Dado que a probabilidade do retorno a origem nao depende da magnitude dos incrementos, concluımosque a probabilidade de que os dois passeios aleatorios independentes iniciados em .0; 0/ se encontrem apos de 2n pulos em.0; 0/ e Œ.1=22n/

�2nn

��2. Esta ultima e de fato e a probabilidade do retorno do processo original em Z2.

Exercıcios

Exercıcio 34. Seja k um inteiro e n um inteiro tais que k � n. Se .Sn/ e um passeio aleatorio simples em Z, mostre que

P.Sn D k/ D

8<:

0 se n e k nao tem a mesma paridade�n

nCk2

�p.nCk/=2q.n�k/=2 caso contrario

[Sugestao: Suponha que s.!/ denota o numero de transicoes a direita (com valor +1) e que t.!/ denota o numero detransicoes a esquerda (com valor -1) ate o instante n. Assim, fSn D kg ocorre se fs.!/� t.!/ D kg e fs.!/C t.!/ D ng.]

Exercıcio 35. Seja Sn D X0 C X1 C : : :C Xn um passeio aleatorio simples. Encontre as seguintes probabilidades: (i)P .S4 D k/ para todos os posıveis valores de k, (ii) P .Sn � 0 para n D 1; 2; 3; 4/, (iii) P .Sn ¤ 0 para n D 1; 2; 3; 4/, (iv)P .Sn � 2 para n D 1; 2; 3; 4/, e P .jSnj � 2 para n D 1; 2; 3; 4/.

5Esta igualdade e conhecida como a convolucao de Vandermonde em honra a A. Vandermonde, quem a finais de 1700 escreveu um artigo sobre varias identidadesrelacionadas. Esta igualdade ja era conhecida por Chu Shih-Chieh na China em 1303. Shis-Chieh tambem conhecia a relacao entre o triangulo de Pascal e os coeficientesbinomiais na expansao de .aC b/n bem antes que Pascal.


Exercıcio 36. Suponha que um passeio aleatorio simples e iniciado no vertice central do grafo apresentado no seguentedesenho.

Desde um vertice qualquer o passeio apresenta a mesma probabilidade p de pular a qualquer outro dos seus verticesvizinhos. Se o grafo e infinito, isto e, se este apresenta infinitos vertices, mostre que o passeio .Sn/ e transitorio.

| Exercıcio 1. (i) Mostre que o passeio aletorio simples simetrico em Z3 e transitorio. (ii) Generalize para o processo comvalores em Zd , d > 3.

A transitoriedade do passeio aleatorio simples em Z3 foi descrita primeiramente pelo matematico G. Polya. O livro[DS84] contem uma demonstracao deste resultado baseada em um argumentos diferentes dos utilizados aqui. Esta referenciamostra tambem que nao e possıvel utilizar uma projecao de tres passeios aleatorios independentes para o caso em Z3!

6. Distribuicao invariante

As propriedades de uma cadeia de Markov apos de muitas transicoes estam relacionadas com a nocao de distribuicaoinvariante.

Definicao 17. Seja X Markov.�;P / e � uma distribuicao de probabilidade em S. � e uma distribuicao invariante para X

se�P D �:

Neste caso � tambem e conhecida como distribuicao de equilıbrio de X .

Teorema 14. Seja X Markov.�;P / tal que � e invariante para X . Entao .XmCn/ e Markov.�;P / para qualquer m 2 N.

Demonstracao. Sendo � invariante, do Teorema 3 temos que para qualquer i , �i D .�P m/i D P.Xm D i/. DadoXmCn D i , da propriedade fraca de Markov, temos que fXmCnC1g e independente de Xm; : : : ;XmCn e tem distribuicao.pij W j 2 S/. �

Teorema 15 (Limite estacionario). Seja S finito. Se para qualquer i ,

pnij ! �j ; quando n!1;

para todo j , entao � D .�j W j 2 S/ e invariante para P . Neste caso � e chamada de distribuicao estacionaria.

Demonstracao. Mostramos primeiro que � e uma distribuicao de probabilidade. De fatoXj2S

�j D

Xj2S

limn!1

pnij D lim

n!1

Xj2S

pnij D 1:

6. Distribuicao invariante 31

Mostramos agora que � e invariante para P ,

�j D limn!1

pnij D lim

n!1

Xk2S

pn�1ik pkj D

Xk2S

�kpkj :

Sendo S finito e possıvel trocar a ordem dos somatorios. �

Observamos que se Sn e um passeio aleatorio simetrico em Z ou Z2, entao pnij ! 0 quando n!1 para todo i; j 2 S.

Este limite e portanto invariante ja que

0P D 0;

mas 0 nao e uma distribuicao de probabilidade.

Exemplo 9. Sejam 0 < a < 1, 0 < b < 1, logo

P D

�1 � a a

b 1 � b

�:

Para esta matriz obtemos

pn11 D

b

aC bC

a

aC b.1 � a � b/n; pn

22 Da

aC bC

b

aC b.1 � a � b/n;

portanto no limite n!1,

P n!

1

aC b

�b a

b a

�:

Assim, segundo o Teorema 15, a distribuicao invariante para P e .b=.aC b/; a=.aC b// .

Dependendo da forma da matriz ou equivalentemente do grafo de transicao, as vezes resulta bastante simples encontrara distribuicao invariante diretamente do sistema �P D � .

Exemplo 10. Para a cadeia do Exercıcio 4, os componentes do sistema �P D � sao

�1 D1

2�3; �2 D

1

2�2 C �1; �3 D

1

2�2 C

1

2�3:

Alem disto temos que 1 D �1 C �2 C �3, ja que � e distribuicao de probabilidade, logo a solucao e � D 15.1; 2; 2/.

A continuacao mostraremos que se P e irredutıvel e recorrente entao P apresenta uma unica distribuicao invariante.Para quaisquer dois estados i; k 2 S seja k

i definida por

ki D Ek

h �k�1XnD0

1fXnDig

i;

isto e, ki e o numero esperado de vezes que X passa pelo estado i antes de retornar a k, dado que X e iniciada em k.

Lema 5. Seja P irredutıvel e recorrente, entao

(i ) kkD 1,

(i i ) k D . ki W i 2 S/ e invariante para P ,

(i i i ) 0 < ki <1, para todo i 2 S.

Demonstracao. (i) e direto. (ii) Para n � 1, observamos que fn � �kg so depende de X0;X1; : : : ;Xn�1, entao dapropriedade (fraca) de Markov em n � 1,

Pk.Xn�1 D i;Xn D j ; n � �k/ D P.Xn D j jXn�1 D i/Pk.Xn�1 D i; n � �k/:


Se P e recorrente, condicinando pelo evento fX0 D kg temos que �k < 1 quase certamente, i.e. Pk.�k < 1/ D 1,portanto P.X0 D X�k D k/ D 1. Entao,

kj D Ek

h �kXnD1

1fXnDjg

iD Ek

h 1XnD1

1fXnDj ; n��kg

iD

1XnD1

Pk.Xn D j ; n � �k/ DXi2S

1XnD1

Pk.Xn�1 D i;Xn D j ; n � �k/;

e da primeira igualdade apresentada na demonstracao este ultimo termo eXi2S

1XnD1

P.Xn D j jXn�1 D i/Pk.Xn�1 D i; n � �k/

D

Xi2S

pijEk

h 1XnD1

1fXn�1Di; n��kg

iD

Xi2S

pij

�k�1XnD0

Ek Œ1fXmDig�

D

Xi2S

pij ki :

Concluımos entao que k e invariante, porem devido a (i) nao e uma distribuicao de probabilidade. (iii) Por ultimo, ki e

finito ja que se P e irredutıvel, entao para cada estado i 2 S existem n;m � 0 tais que pnik> 0, pm

ki> 0. Neste caso,

ki �

kk pn

ki > 0;

e

ki pm

ik � kk D 1: �

O resultado que demonstra a unicidade da distribuicao invariante e finalmente o seguinte.

Teorema 16 (Unicidade da distribuicao invariante). Seja P irredutıvel e � uma distribuicao invariante para P tal que�k D 1. Neste caso � � k : Adicionalmente, se P e recorrente entao � D k :

Demonstracao. Para cada j 2 S temos que

�j D

Xi02S

�i0pi0j D

Xi¤k

�i0pi0j C �kpkj D

Xi¤k

�i0pi0j C pkj

D

Xi12S

Xi0¤k

�i1pi1i0

pi0j C pkj D

Xi1¤k

Xi0¤k

�i1pi1i0

pi0j C pkj C

Xi0¤k

�kpki0pi0j

a quarta igualdade segue do fato de que � e invariante. Se iteramos este calculo n vezes obtemos

�j D

Xi0¤k;:::;in¤k

�inpinin�1

� � �pi0j C pkj C

Xi0¤k

pki0pi0j C

Xi1¤k;i0¤k

pki1pi1i0

pi0j

C : : :CX

i0¤k;:::;in�1¤k

pkin�1� � �pi1i0

pi0j

� Pk.X1 D j ; �k � 1/C Pk.X2 D j ; �k � 2/C : : :C Pk.Xn D j ; �k � n/

onde a desigualdade segue ja que por hipotese � e uma distribuicao em S, isto e, �i � 0 para qualquer i 2 S. Utilizandoinducao, no limite n!1,

1XnD1

Pk.Xn D j ; �k � n/ D

1XnD1

Pk.Xn�1 D j ; �k�1 � n � 1/;


ja que X0 D k, logo fX0 D j ; : : :g D f∅g. Desta forma

�j �

1XnD0

Pk.Xn D j ; �k�1 � n/ D Ek

h �k�1XnD0

1fXnDjg

iD k

j ;

mostrando que k e a solucao mınima. Se agora P e recorrente, pelo Lema 5 sabemos que k e invariante. Seja

� D � � k ;

de forma que�P D �P � kP D � � k

D �

logo � e invariante para P . Da primeira parte da prova temos que � � 0. Se P e irredutıvel, entao existe em inteiro positivon tal que pn

ik> 0, portanto

�k D �k � kk D 1 � 1 D 0 D

Xj2S

�j pnjk ;

o qual implica que se � D 0 entao � D k . Isto concluı a demonstracao da unicidade da distribuicao invariante k . �

Em conclusao, se uma cadeia de Markov com valores enumeraveis e irredutıvel e recorrente, entao esta apresentauma distribuicao invariante. Neste caso a distribuicao invariante e unica. A existencia de uma distribuicao invariante naoimplica necessariamente que esta seja uma distribuicao de probabilidade. Com o objetivo de considerar esta possibilidadeintroduzimos a nocao de recorrencia nula e positiva.

Definicao 18. Seja i um estado recorrente. Dizemos que i e nulo recorrente se o tempo esperado do primeiro retorno einfinito, isto e, se

mi D Ei Œ�i � D1:

No casomi D Ei Œ�i � <1;

dizemos que i e positivo recorrente.

Teorema 17 (Distribuicao de probabilidade invariante). Seja P irredutıvel. As seguintes afirmacoes sao equivalentes:.i/ Todo estado e positivo recorrente, .i i/ Um estado i e positivo recorrente, .i i i/ P tem distribuicao de probabilidadeinvariante � dada por

�i D1

mi

; i 2 S:

Demonstracao. A equivalencia entre (i) e (ii) segue da Definicao 18, da Definicao 15 e do Teorema 10. Mostraremos acontinuacao que (ii) e equivalente a (iii). Se i e positivo recorrente entao e recorrente. Se adicionalmente P e irredutıvel,isto implica que P e recorrente. Do Lema 5 temos portanto que i e invariante. Logo,X

j2S

ij D

Xj2S

Ei

h �i�1XnD0

1fXnDjg

iD Ei Œ�i � D mi <1;

de tal forma que uma distribuicao de probabilidade invariante para P e �j D ij =mi . Sendo P recorrente e irredutıvel,

necessariamente do Teorema 16 temos que � e a unica distribuicao de probabilidade invariante.

Por ultimo mostraremos que (iii) e equivalente a (i). Seja k um estado qualquer, logo se P e irredutıvel eP

i �i D 1,entao

�k D

Xi2S

�ipnik > 0:

Consideramos agora �i D �i=�k , logo � e invariante ja queXj

�i

�k

pij D�j

�k

D �j ; j 2 S:


Se P e recorrente entao necessariamente � D k , mas no caso que P nao seja recorrente temos do Teorema 16 que � � k .Desta forma,

mk D

Xi2S

ki �

Xi2S

�i D

Xi2S

�i

�k

D1

�k

<1;

e entao k e positivo recorrente, mas se P e irredutıvel entao P e recorrente. Finalmente se � D k entao mk D ��1k

. �

O ultimo item do Teorema 17, o qual mostra a relacao entre a distribuicao de probabilidade invariante e os tempos deretorno, e as vezes conhecido como o Lema de Kac.

Exercıcios

Exercıcio 37. Seja P uma matriz estocastica sobre o conjunto finito S. Mostre que a distribuicao � e invariante para P

se, e somente se, �.I � P C A/ D a, onde A D .aij W i; j 2 S/ com aij D 1 para todo i e j , e a D .ai W i 2 S/ paratudo i 2 S. Demonstre que se P e irredutıvel, entao I � P CA e invertıvel. Isto permite calcular a distribuicao invarianteutilizando qualquer metodo existente para inverter matrizes.

Exercıcio 38. Seja .Xn/n�0 um passeio aletorio simples em Z com pi;i�1 D q < p D pi;iC1. Encontre

0i D E0

h �0�1XnD0

1fXnDig

ie verifique que

0i D inf

��i para todo i;

onde o ınfimo e tomado sobre todos os invariantes � tais que �0 D 1.

Exercıcio 39. Seja .Xn/n�0 um passeio aleatorio simples definido sobre os vertices do cubo abaixo,

x �

� �

� �

� z

tal que a probabilidade de ir de um vertice aos vertices adjacentes e p D 1=3. Calcular (i) Ex Œ�x �, (ii) Ex

hP�x�1nD0 1fXnDzg

i,

(iii) Ex Œ�z�, (iv) � , a distribuicao invariante de .Xn/n�0.

Exercıcio 40. Moleculas de gas realizam movimentos aleatorios numa urna particionada em duas partes iguais. Um furoe realizado na parede que comunica os compartimentos. Suponha que existem N moleculas na caixa. (i) Mostre que onumero de moleculas num dos compartimentos evolui como uma cadeia de Markov. (ii) Quais sao as probabilidades detransicao desta cadeia? (iii) Qual e a distribuicao invariante?

Exercıcio 41. Determine a distribuicao invariante da cadeia com matriz de probabilidade de transicao

P D

0@1 � ˛ ˛ 0

0 1 � ˇ ˇ

0 1 �

1Aonde ˛; ˇ; 2 .0; 1/.

7. Convergencia ao equilıbrio 35

Exercıcio 42. Este exercıcio e uma continuacao do Exercıcio 11. Se o Dr. Silva esta em J D fT;F;Bg e muda de locacao,ele liga a sua mulher. (i) Encontre a matriz de transicao que determina a seqencia de locais desde os quais o Dr. Silva liga,e calcule a sua distribuicao invariante. A mulher do Dr. Silva anota apos cada ligacao o local da chamada, e atualmentesuspeita que algo esta errado: Silva nao fica suficientemente no seu flat! Ante este problema, Silva decide mudar deestrategia assumindo a seguinte matriz de transicao,

T F B A

P� D

T

F

B

A

0BB@1=4 1=4 1=2 0

1=2 1=4 1=4 0

0 3=8 1=8 1=2

2=10 1=10 1=10 6=10

1CCA ;(ii) Levantara esta escolha alguma suspeita na mulher?

Exercıcio 43. Mostre que se P e uma matriz de transicao de probabilidade de uma cadeia irredutıvel entao T D 12.I CP /

e tambem a matriz de transicao de uma cadeia aperiodica e irredutıvel. Mostre que a distribuicao estacionaria de P e adistribuicao estacionaria de T .

Exercıcio 44. Seja X uma cadeia de Markov com matriz de probabilidade de transicao

P D

0@ 1 0 0

1=4 1=2 1=4

0 0 1

1A :Mostre que X apresenta mais de uma distribuicao estacionaria. Encontre a matriz P n quando n!1 e verifique que estanao apresenta todas as linhas iguais. [Sugestao: observe que os estados 1 e 3 sao absorventes (isto evita a procura da formadiagonal para P ).]

Exercıcio 45. Determine a distribuicao invariante do processo definido no exercıcio 31.

7. Convergencia ao equilıbrio

Como consequencia do Teorema 15, se S e finito e se existe o limite pnij quando n!1, entao o limite tem que ser uma

distribuicao invariante. Porem, quais sao as condicoes que garantem a existencia do limite?

Exemplo 11. Este exemplo simples mostra que nao toda matriz estocastica sobre S finito apresenta o limite limn P n. SejaX uma cadeia com a seguinte matriz de probabilidade de transicao

P D

�0 1

1 0

�Neste caso P 2n D I , e P 2nC1 D P para n � 1.

Definicao 19. O estado i e aperiodico se pnii > 0 para todo n suficientemente grande. A matriz P e aperiodica se todos os

estados sao aperiodicos.

Lema 6. Seja P irredutıvel com um estado aperiodico i . Entao para quaisquer dois estados j ; k temos que pnjk> 0

sempre e quando n seja o suficientemente grande.

Demonstracao. Existem r; s � 0 tais que prji > 0 e ps

ik> 0, portanto, para um n suficientemente grande temos que

pnCnCsjk

� prjip

niip

sik> 0. �

Definicao 20. O perıodo di de um estado i e definido por

di D mdcfn � 1 W pnii > 0g:

Se fn � 1 W pnii > 0g D f∅g, entao di D 1.


O perıodo de um estado i e o maximo divisor comum dos tempos do primeiro retorno a i . A definicao de perıodofornece uma maneira para clasificar os estados em periodicos e aperiodicos. Se di D 1 entao dizemos que i e aperiodico,no caso contrario, di > 1, i e periodico.

Tendo todos estes pre-requisitos chegamos agora ao resultado mais importante desta primeira parte da teoria, o qualafirma que uma cadeia irredutıvel, aperiodica e com invariante � converge a este limite qualquer que seja a condicao inicial�.

Teorema 18 (Convergencia ao equilıbrio). Seja P irredutıvel e aperiodica e com distribuicao de probabilidade invariante� . Seja � uma distribuicao inicial e X uma cadeia de Markov.�;P /. Neste caso

(8) P.Xn D j /! �j ; se n!1 para todo j 2 S:

Em particular

(9) pnij ! �j ; se n!1; para todo i; j ;2 S:

Demonstracao. O argumento a ser utilizado para demonstrar o Teorema e conhecido como o metodo de acoplamento6.Seja .X 0n/, n � 0 Markov.�;P / e independente de .Xn/; n � 0. Fixamos um estado de referencia qualquer, por exemplo b,e entao consideramos

Tb D inffn � 1 W Xn D X 0n D bg;

isto e, o primeiro tempo de encontro de Xn e X 0n em b. Observamos que Tb e um tempo de parada para o processo conjuntoQXn D .Xn;X

0n/ com valores em S2.

Mostraremos primeiro que P.Tb <1/ D 1. Devido a independencia entre Xn e X 0n, a probabilidade de transicao deQXn e dada por

Qp.i;k/I.j ;l/ D pij pkl ; .i; k/; .j ; l/ 2 S2;

e a distribuicao inicial por�.i; k/ D �i�k :

Se P e aperiodica entao para quaisquer i; j ; k e l

Qp.i;k/I.j ;l/ D pnij pn

kl > 0;

para um n suficientemente grande, portanto QP D . Qp.i;k/I.j ;l/ W i; j ; k; l 2 S/ e irredutıvel. A unica distribuicao invariantede QP e

Q�.i; k/ D �i�k :

Agora, seguindo o Teorema 17, se QP e irredutıvel e tem invariante Q� , entao todos os estados em S2 sao positivo-recorrentes.Tb e o primeiro tempo de retorno a .b; b/ do processo QXn, mas se . QXn/ e positivo recorrente entao do Teorema 13imediatamente temos que P.Tb <1/ D 1.

Seja

Zn D

(Xn; se n < Tb

X 0n; se n � Tb :

Uma trajetoria do processo Zn e mostrada na Figura 3. Mostraremos agora que .Zn/, n 2 N e Markov(�;P ). Pelo expostoanteriormente temos que . QXn/ e Markov.�; QP /, logo da propriedade forte de Markov em Tb temos que .XTbCn;X

0TbCn

/ e

Markov.ı.b;b/; QP /. Por simetria, podemos substituir o processo .XTbCn;X0TbCn

/ pelo processo .X 0TbCn

;XTbCn/, o qual

tambem e Markov.ı.b;b/; QP /. Consideramos agora QZn D .Zn;Z0n/, onde

Z0n D

(X 0n; se n < Tb

Xn; se n � Tb :

6O primeiro acoplamento de duas cadeias de Markov foi descrito por W. Doeblin en 1933. Os acoplamentos tem-se constituıdo uma ferramenta fundamental para oestudo dos processos aleatorios, inclusive na teoria contempornea. Maiores detalhes sobre esta tecnica podem ser encontrados em [FG97].


Xn

X 0n

Tb

b

Zn

Figura 3. Um acoplamento de Xn.

Temos entao que .Zn/, e Markov.�;P /.

Como um ultimo passo na demostracao provaremos uma desigualdade conhecida como a desigualdade do acoplamento.Temos que

P.Zn D j / D P.Xn D j ; n < Tb/C P.X 0n D j ; n � Tb/;

mas, tambem para n < Tb ,ˇP.Xn D j / � �j

ˇDˇP.Xn D j ; n < Tb/ � P.X 0n D j ; n < Tb/

ˇ:

Desta forma a distancia entre a distribuicao de Xn a distribuicao invariante � , e dada porˇP.Zn D j / � �j

ˇDˇP.Xn D j ; n < Tb/C P.X 0n D j ; n � Tb/ � P.X 0n D j /

ˇDˇP.Xn D j ; n < Tb/C P.X 0n D j ; n � Tb/

� P.X 0n D j ; n < Tb/ � P.X 0n D j ; n � Tb/ˇ

DˇP.Xn D j ; n < Tb/ � P.X 0n D j ; n < Tb/

ˇ;

mas esta ultima expressao pode ser escrita comoˇP.Xn D j j n < Tb/P.n < Tb/ � P.X 0n D j j n < Tb/P.n < Tb/

ˇDˇP.Xn D j j n < Tb/ � P.X 0n D j j n < Tb/

ˇP.n < Tb/

� P.n < Tb/:

o qual mostra que distribuicao de Xn coincide com � no limite n!1, uma vez que P.Tb <1/ D 1. �

A fim de entendermos melhor o papel jogado pela aperiodicidade nesta demonstracao podemos considerar novamenteo Exemplo 11, o qual apresenta um exemplo simples de uma cadeia que nao converge ao invariante. Resolvendo o sistema�P D � e utilizando a restricao

Pi �i D 1, encontramos a distribuicao invariante � D .1=2; 1=2/. Se Xn e iniciada em

0 e X 0n e iniciada de acordo a � , isto e, se P.X 00 D 1/ D P.X 00 D 2/ D 1=2 entao o Teorema de convergencia pode seraplicado, porem se P.X 0

0D 1/ D 1, entao devido a periodicidade as duas cadeias Xn e X 0n nunca podem se encontrar.

Uma cadeia de Markov irredutıvel, aperiodica e com uma unica distribuicao de probabilidade invariante como a descritapelo Teorema 18 e chamada de ergodica.

O resto desta secao apresenta a generalizacao do Teorema de convergencia para os casos onde X pode ser periodica,transitoria ou nula-recorrente. Estes resultados nao serao utilizados posteriormente e podem ser omitidos numa primeiraleitura.

Teorema 19. Seja P irredutıvel. Existe um inteiro d � 1 e uma particao

S D C0 [ C1 [ � � � [ Cd�1

tal que, para CndCr D Cr ,


(i) pnij > 0 so se i 2 Cr e j 2 CrCn para algum r ;

(ii) pndij > 0 para todo n suficientemente grande, e para todo i; j 2 Cr , r .

Demonstracao. Seja k 2 S fixo, e entao I D fn � 0 W pnkk> 0g. Escolhemos n1; n2 2 I , n1 < n2, tais que d D n2 � n1

seja o menor possıvel. Para r D 0; : : : ; d � 1 definimos

Cr D fi 2 S W pndCrki

> 0 para algum n � 0g:

Entao, sob irredutibilidade, C0 [ � � � [ Cd�1 D S . Agora, se pndCrki

> 0 e pndCski

> 0 para alguns r; s 2 f0; 1; : : : ; d � 1g,entao, ao escolher m � 0 tal que pm

ik> 0, temos que pndCrCm

kk> 0 e pndCsCm

kk> 0 e entao, dada a minimalidade de d ,

r D s. Isto implica a existencia da particao.

Para demonstrar (i) suponha que pnij > 0 e i 2 Cr . Considere m tal que pmdCr

ki> 0, entao pmdCrk

ki> 0 e j 2 CrCn.

Se i D j D k, entao d deve dividir cada um dos elementos de I , em particular n1.

Se md � n21, entao e possıvel escrever que nd D qn1 C r para inteiros q � n1 e 0 � r � n1 � 1. Como d divide n1,

entao r D md para algum inteiro m. Neste caso nd D .q �m/n1 Cmn2, logo

pndkk �

�p

n1

kk

�q�m�p

n2

kk

�m> 0

e entao nd 2 I . Para demonstrar (ii) tomemos i; j 2 Cr e fixemos m1 e m2 tal que pm1

ik> 0 e p

m2

kj> 0, logo

pm1CndCm2

ij � pm1

ikpnd

kk pm2

kj> 0

sempre e quando nd � n21. Isto termina a prova ja que m1 Cm2 e necessariamente um multiplo de d . �

Em particular o Teorema mostra que d e o maior divisor comum (mdc) do conjunto fn � 0 W pnii > 0g. O seguinte

resultado constitui a descricao definitiva do comportamento limite para cadeias irredutıveis. Contrariamente ao Teorema 18,agora nao serao feitas as hipoteses de aperiodicidade e recorrencia positiva. O estudo deste resultado e opcional.

Teorema 20. Seja P irredutıvel com perıodo d e seja C0;C1; : : : ;Cd�1 a particao obtida no Teorema 19. Seja � umadistribuicao tal que

Pi2C0

�i D 1. Suponha que .Xn/n�0 e Markov(�;P ). Entao para r D 0; 1; : : : ; d � 1 e j 2 Cr

tem-se

P.XndCr D j /! d=mj quando n!1

onde mj e o tempo esperado de retorno a j . Em particular, para i 2 C0 e j 2 Cr

pndCrij ! d=mj quando n!1:

Demonstracao. Paso 1. Consideramos primeiro o caso aperiodico. Fixamos � D �P r . Pelo Teorema A temos queXi2Cr

�i D 1:

Seja Yn D XndCr , entao .Yn/n�0 e Markov(�;P d ) e pelo Teorema A, P d e irredutıvel e aperiodica em Cr . Logo paraj 2 Cr o tempo esperado de retorno de .Yn/n�0 a j e mj=d . Agora, se o Teorema e valido no caso aperiodico temos

P.XndCr D j / D P.Yn D j /! d=mj quando n!1

portanto o Teorema e valido em geral.

Passo 2. Suponhamos que P e aperiodica. Se P e positiva-recorrente entao 1=mj D �j , onde � e a unica distribuicaoinvariante, logo o resultado segue do Teorema 18. No outro caso mj D1, e entao devemos mostrar que

P.Xn D j /! 0 quando n!1:

Se P e transitoria, o resultado e simples e unicamente fica por ser considerado o caso nulo-recorrente.


Passo 3. Suponha que P e aperiodica e nula-recorrente. Logo

1XkD0

Pj .�j > k/ D Ej .�j / D1:

Dado " > 0, escolhemos K tal que

1XkD0

Pj .�j > k/ �2

":

Em consequencia, para n � K � 1

1 �

nXkDn�KC1

P.Xk D j ;Xm ¤ j para m D k C 1;�; n/

D

nXkDn�KC1

P.Xk D j /Pj .�j > n � k/ D

K�1XkD0

P.Xn�k D j /Pj .�j > k/

pelo que deve existir " > 0 tal que P.Xn�k D j / � "=2 para algum k 2 f0; 1; : : : ;K � 1g.

Retornemos ao argumento do acoplamento introduzido no Teorema 18, e so agora consideremos .Yn/n�0 comoMarkov(�;P ), onde � sera escolhida adiante. Seja Wn D .Xn;Yn/. Ao igual que antes, a aperiodicidade de .Xn/n�0

garante a irredutibilidade de .Wn/n�0. Se .Wn/n�0 e transitoria, entao tomando � D � resulta

P.Xn D j /2 D P.Wn D .j ; j //! 0

Suponhamos agora que .Wn/n�0 e recorrente. Entao, seguindo a notacao definida no Teorema 18 temos que P.T <1/ D 1,e o argumento do acoplamento mostra que

ˇP.Xn D j / � .Yn D j /

ˇ! 0 quando n!1:

Este tipo de convergencia pode ser utilizada ao considerar

� D �P k ; k D 1; : : : ;K � 1

de modo que P.Yn D j / D P.XnCk D j /. E possıvel encontrar-nos um N tal que para n � N e k D 1; : : : ;K � 1,

ˇP.Xn D j / � .XnCk D j /

ˇ�"

2:

Mas para cada n podemos encontrar-nos k 2 f0; 1; : : : ;K � 1g tal que P.XnCk D j / � "=2. Logo, para n � N

P.Xn D j / � ":

Sendo " > 0 arbitrario, isto mostra que P.Xn D j /! 0 quando n!1. �


Exercıcios

Exercıcio 46. Mostre que se i $ j , i.e. i e j comunicam, entao di D dj .

Exercıcio 47. Suponha que a cadeia .Xn/n�0 e aperiodica, isto e di D 1, 8 i 2 S (veja a definicao de di no exercicioanterior). Suponha que S e finito. Mostre que sob estas hipoteses deve existir N <1 tal que

pnii > 0

para todo i 2 S e todo n � N . [Utilize o seguinte resultado elementar de teoria dos numeros: Seja A D fa1; a2; : : :g umconjunto de inteiros positivos tais que (i) mdcfa1; a2; : : :g D 1, e (ii) se a 2 A e a0 2 A, entao aC a0 2 A. Se A satisfaze(i) e (ii), entao existe um enteiro N <1 tal que n 2 A para tudo n � N .]

Exercıcio 48. Um dado honesto e jogado repetidas vezes. Seja Xn a soma dos primeiros n lancamentos. Encontre

limn!1

P.Xne multiplo de 13/

enunciando cuidadosamente todos os teoremas utilizados.

Exercıcio 49. Considere uma cadeia de Markov com valores em S D f1; 2; : : : ; 10g e matriz de transicao

P D

0BBBBBBBBBBBBBBB@

12

0 12

0 0 0 0 0 0 0

0 13

0 0 0 0 23

0 0 0

1 0 0 0 0 0 0 0 0 0

0 0 0 0 1 0 0 0 0 0

0 0 0 13

13

0 0 0 13

0

0 0 0 0 0 1 0 0 0 0

0 0 0 0 0 0 14

0 34

0

0 0 14

14

0 0 0 14

0 14

0 1 0 0 0 0 0 0 0 0

0 13

0 0 13

0 0 0 0 13

1CCCCCCCCCCCCCCCA:

(i) Encontre os conjuntos de estados fechados e irredutıveis. (ii) Quais sao os estados transitorios? (iii) Quais estados naosao nem transitorios nem nulo-recorrentes? (iv) Os conjuntos f1; 3g, f2; 7; 9g e f6g formam um conjunto fechado de estadosirredutıveis recorrentes nao nulos e aperiodicos. Justifique. (v) Existem estados absorventes?

8. Teorema ergodico

Os Teoremas ergodicos concernem o comportamento limite esperado de funcoes da cadeia, e constituem uma generalizacaoda lei dos grandes numeros para a soma de sequencias de variaveis aleatorias dependentes, em particular quando adependencia e Markov. A maneira de exemplo, esta secao apresenta um teorema ergodico para a proporcao do tempo que acadeia permanece em cada estado quando n!1.

Seja Vi.n/ o numero de visitas a i nos primieros n � 1 passos do processo, isto e

Vi.n/ D

n�1XkD0

1fXkDig:

Logo, Vi.n/=n e a proporcao do tempo durante n � 1 na qual a cadeia permanece em i .

Para estabelecer o resultado lembramos a versao forte da lei dos grandes numeros.

Teorema 21 (Lei forte dos grandes numeros). Sejam X1; : : : ;Xn variaveis aleatorias nao negativas, independentes eidenticamente distribuıdas tais que EŒX1� D � e Var.X1/ <1. Seja Yn D

PniD1 Xn. Entao para qualquer � > 0

P�

limn!1

ˇYn

n� �

ˇ� �

�D 1:

8. Teorema ergodico 41

Demonstracao. Veja o Teorema 5.1 em [Jam02], capitulo 5. �

Teorema 22 (Teorema ergodico). Seja P irredutıvel e � uma distribuicao em S. Se .Xn/n�0 e Markov.�;P /, entao paraqualquer � > 0 tem-se

P

lim

n!1

ˇVi.n/

n�

1

mi

ˇ� �

!D 1

onde mi D Ei Œ�i � e o tempo esperado de retorno a i . Se X e positivo-recorrente, para qualquer funcao limitada f W S! R,tem-se

P

lim

n!1

ˇˇ1n

n�1XkD0

f .Xk/ � Nf

ˇˇ � "

!D 1;

onde Nf DP

i2S �ifi e � D .�i W i 2 S/ e a unica distribuicao invariante.

Demonstracao. Se P e transitoria entao

P�Vi D

1XkD0

1fXkDig <1�D 1

ja que neste caso, da definicao de transitoriedade, para todo i 2 S temos que Ei ŒP1

kD0 Vi.k/� <1. Logo, se i e transitoriotemos que 1=mi D 1=Ei Œ�i � D 1=1D 0 e entao

limn!1

Vi.n/

n� lim

n!1

Vi

nD 0 D

1

mi

:

Suponhamos agora que P e recorrente. Seja i 2 S fixo e � D �i . A recorrencia de P implica que P.� < 1/ D 1

(veja a demonstracao do Teorema 18). Da propriedade forte de Markov sobre � temos que .X�Cn/n�0 e Markov.ıi ;P /

e independente de X0;X1; : : : ;X� . Se n!1 entao o tempo de permanencia em i das cadeias .Xn/n�0 e .X�Cn/n�0 eigual. Neste caso o problema da condicao inicial e irrelevante, sendo suficiente considerar a situacao � D ıi . Seja

S ri D

(� r

i � �r�1i ; se � r�1

i <1;

0; caso contrario.

Sob recorrencia, do Lema 1 visto em aula, temos que S ri sao variaveis aleatorias independentes e identicamente distribuıdas

tais que Ei ŒS1i � D Ei Œ�i � D mi . Logo

(10) S1i C : : :C S

Vi .n/�1i � n � 1;

onde o lado esquerdo da desigualdade representa o tempo da ultima visita a i antes de n. Tambem

(11) S1i C : : :C S

Vi .n/i � n;

sendo o lado esquerdo o tempo da primeira visita a i depois de n � 1. De (10) e (11) temos entao

(12)S1

i C : : :C SVi .n/�1i

Vi.n/�

n

Vi.n/�

S1i C : : :C S

Vi .n/i

Vi.n/:

Segue-se das propriedades da sequencia .S ri /, r � 1 e do Teorema 21 que para qualquer � > 0

P

lim

n!1

ˇˇPn

rD1 S ri

n�mi

ˇˇ � �

!D 1:

Sob recorrencia temos que Pi.�i <1/, o qual implica Pi.Vi D1/ D Pi.limn!1 Vi.n/ D1/ D 1, e entao

P

lim

n!1

ˇˇPVi .n/

rD1S r

i

Vi.n/�mi

ˇˇ � �

!D P

lim

n!1

ˇˇPVi .n/�1

rD1S r

i

Vi.n/�mi

ˇˇ � �

!

D P

lim

n!1

ˇˇPn

rD1 S ri

Vi.n/�mi

ˇˇ � �

!D 1


Deste resultado junto a (12) temos que

P

lim

n!1

ˇ n

Vi.n/�mi

ˇ� �

!D 1

o qual mostra a primeira afirmacao do Teorema. Para a segunda parte suponhamos que .Xn/n�0 e positiva-recorrente. Sejaf W S! R uma funcao limitada, logo jf j � 1. Para todo conjunto finito Q � S temosˇ

ˇ1nn�1XkD0

f .Xk/ � Nf

ˇˇ D

ˇˇX

i2S

Vi.n/

nfi �

Xi2S

�ifi

ˇˇ �

ˇˇX

i2S

�Vi.n/

n� �i

�ˇˇD

ˇˇX

i…Q

�Vi.n/

n� �i

�C

Xi2Q

�Vi.n/

n� �i

�ˇˇ�

Xi…Q

ˇVi.n/

n� �i

ˇC

Xi2Q

ˇVi.n/

n� �i

ˇ�

Xi…Q

�Vi.n/

nC �i

�C

Xi2Q

ˇVi.n/

n� �i

ˇna qual a primeira igualdade deve-se ao fato de que se fi D f .Xn D i/ para qualquer n entao 1

n

Pi2S Vi.n/fi D

1n

Pn�1kD0 f .Xk/; em quanto que a primeira desigualdade segue da hipotese jf j � 1. Finalmente, da primeira parte da

demonstracao, com probabilidade 1 temos que Vi.n/=n! �i se n!1, logo no limiteXi…Q

�Vi.n/

nC �i

�! 2

Xi…Q

�i q.c.

Dado o valor de � considerado na primeira parte da demonstracao, escolhemos Q tal que

(13)Xi…Q

�i <�

4:

E possıvel escolher tambem N D N.!/ tal que para n � N.!/,

(14)Xi2Q

ˇVi.n/

n� �

ˇ<"

4:

O resultado segue finalmente ao juntar as cotas em (13) e (14) com a primeira parte do Teorema. �

Exercıcios

Exercıcio 50. Um dado e lancado repetidas vezes. Seja Sn o total de pontos obtidos ate a n-esima jogada. Mostre queexiste um valor limite para a proporcao dos primeiros n valores de Sn que sao divisıveis por 7. Calcule o valor deste limite.[O limite desejado corresponde a distribuicao estacionaria de uma cadeia de Markov com 7 estados.]

Exercıcio 51. Uma professora tem N guarda-chuvas. Ela caminha ate o escritorio de manha e de volta para casa a noite.Se estiver chovendo, ela leva um guarda-chuvas. No caso contrario ela nao leva gurda-chuvas. Suponha que a probabilidadede chuva em qualquer um dos percursos, independentemente dos outros, seja p. Qual e a proporcao das viagens, ao longoprazo, na qual a professora fica molhada?

Exercıcio 52. Utilize o argumento do Exercıcio 12 para simular o processo seguido pelo sapo no Exemplo 1 tomandop D 1=2. (i) Faca um grafico de Xn.!/ versus n para diferentes !. (ii) Utilize a matriz de probabilidade de transicao

9. Aplicacoes 43

apresentada no Exercıcio 4 para simular esta cadeia e estime utilizando as suas simulacoes a probabilidade p50v1v1

. Sugestao:utilize o seguinte estimador

bp50v1v1D f# vezes em v1 no instante 50g=f# total de caminhos simuladosg:

9. Aplicacoes

Apresentamos nesta secao alguns exemplos e aplicacoes classicas de processos estocasticos em tempo discreto.

9.1. Processos de ramificacao�. Suponha que no instante 0 existe um individuo o qual da origem a k filhos comprobabilidade pk , k � 0. O conjunto dos filhos e a primeira geracao. Seguidamente, cada um dos indivıduos da primeirageracao procria de forma independente aos outros indivıduos dando origem a k novos indivıduos com probabilidade pk .Seja X a variavel aleatoria com distribuicao P .X D k/ D pk , k � 0, e Zn o numero de indivıduos da n-esima geracao.Desta forma

ZnC1 D X1 CX2 C : : :CXZn;

onde X1;X2; : : : sao copias independentes da variavel aleatoria X . Para fazer a notacao mais precisa, denotamos porX n

1;X n

2; : : : os indivıduos a serem gerados na n-esima geracao, e neste caso

ZnC1 D X n1 CX n

2 C : : :CX nZn; n � 0:

Z0

Z6

Z5

Z3

Z2

Z1

Oservamos que para qualquer Z0 � 1, o processo .Zn/, n � 0 e uma cadeia de Markov. Para vermos isto, suponhamosque Zn D k, entao ZnC1 D X n

1CX n

2C : : :CX n

i , porem, mesmo que as variaveis Zn�1;Zn�2; : : : ;Z0 sejam funcoes deX n�1

1;X n�1

2; : : :X n�2

1;X n�2

2; : : :, temos que X n

1;X n

2; : : : ;X n

ksao independentes de X n�1

1;X n�1

2; : : : ;X n�2

1;X n�2

2; : : :.

Desta forma dado fZn D kg, ZnC1 e independente de Zn�1;Zn�2; : : :.

As propriedades da variavel aleatoria Zn podem ser estudadas considerando a funcao geradora da variavel X

H.z/ D EŒzX � D

1XkD0

zkP.X D k/;

pois Zn e o resultado da somaPZn�1

kD1Xk . Da expressao para Zn temos que

zZnC1 D zX n1 zX 2

2 � � � zX nZn ;


logo

EŒzZnC1 � D EhzX n

1 zX n2 � � � zX n

Zn

iD

1XkD0

E�zX n

1 zX n2 � � � zX n

Zn 1fZnDkg

iD

1XkD0

EŒzX n1 �EŒzX n

2 � � � �EŒzX nk �EŒ1ZnDk � D

1XkD0

H.z/kP.Zn D k/

D EŒH.z/Zn �:

A quarta igualdade segue da independencia das variavel aleatorias fX nj g, j D 1; : : : ; k. Se denotamos por Hn a funcao

geradora de Zn, Hn.z/ DP1

kD0 zkP.Zn D k/, o resultado anterior mostra que

(15) HnC1.z/ D Hn.H.z//

Suponhamos que Z0 D 1. Neste caso temos portanto que H0.z/ D z e logo de (15) segue H1.z/ D H0.H.z// D H.z/.Aplicando (15) mais uma vez resulta H2.z/ D H1.H.z// D H

�H.H.z//

�. Em geral para qualquer n � 1 temos

Hn.z/ D H�Hn�1.z/

�D H ıH ı � � � ıH.z/;

sendo que a operacao de composicao na expressao a direita e efetuada n vezes. Seja �0 o primeiro tempo de retorno aoestado 0. Observamos que 0 e um estado absorvente. O seguinte lema mostra a relacao entre h0

1 D P.�0 <1jZ0 D 1/, aprobabilidade de extincao, e a funcao H .

Lema 7. Se EŒX1� � 1, entao h01D 1. Se EŒX1� > 1, entao h0

1< 1 e a unica solucao nao negativa diferente de 1 da

equacao z D H.z/.

Demonstracao. Observamos primeiro que a probabilidade de extincao, h01, e igual a P.Zn D 0/ quando n!1. De fato,

h01 D P1

� 1[kD1

fZk D 0g

�D lim

n!1P1

� n[kD1

fZk D 0g

�D lim

n!1P1.Zn D 0/

uma vez que fZn D 0g � fZnC1 D 0g. Assim, da definicao de Hn, temos imediatamente que h10 D limn!1Hn.0/.

Mostraremos agora que h012 fz W z D H.z/g. Seja h0

1.n/ D P1.Zn D 0/, logo h0

1.n/ e nao decrescente pois fZn D 0g

e nao decrescente. Notamos tambem que h01.n/! h0

1quando n!1. De (15) temos que HnC1.0/ D H.Hn.0// portanto

h01.nC 1/ D H.h0

1.n//, assim da continuidade de H concluimos que h01 D H.h0

1/.

A seguir, mostramos que h01 e a menor solucao de z D H.z/. Suponhamos que 0 � w � 1 e uma solucao de z D H.z/,

ou seja, que w D H.w/. Sendo Hn.z/ D H.Hn�1.z//, e Hn.0/ D h01.n/ quando z D 0, entao

h01.1/ D H.h0

1.0// D H.0/ � H.w/ D w;

o qual a sua vez implicah0

1.2/ D H2.0/ D H.h01.1// � H.w/ D w:

Em geral para n � 1 temosh0

1.n/ D Hn.0/ D H.h01.n � 1// � H.w/ D w;

portanto no limite n!1 segue que h01� w.

A funcao H e convexa poisH 00.z/ D

Xk�2

k.k � 1/zk�1P.X D k/ � 0:

Por outro lado, H.0/ D P.X D 0/ D p0 > 0. Isto implica que os graficos das funcoes

y D z; y D H.z/

apresentam no maximo dois pontos em comum. Um destes pontos corresponde a z D 1. Observamos que H 0.z/ D m, logose supomos que m � 1, entao numa vizinhanca a esquerda de z D 1, o grafico de y D H.z/ nao pode estar por baixo do

Exercıcios 45

m < 1

H.z/

z

h01

m � 1

H.z/

z

h01

Figura 4.

grafico de y D z. Pela convexidade de H , isto implica que a unica intercepcao entre as duas funcoes ocorre quando z D 1.No outro caso, quando H 0.1/ D m > 1, temos que em uma vizinhanca a esquerda de 1, o grafico de H.z/ se encontra porbaixo do grafico de y D z, logo deve existir um outro ponto de intercepcao a esquerda do 1. A Figura 4 ilustra ambassituacoes. �

Exercıcios

Exercıcio 53. Seja .Zn/, n � 0, um processo de ramificacao e EŒZn� D mn. Mostre que mn D mn, onde m D EŒX1�.Sugestao: observe que mn D H 0n.1/ e logo utilize Hn.z/ D Hn�1.H.z// considerando o limite z! 1. Seja �2 D Var.X1/,mostre que

Var.ZnC1/ D

8<:�2mn�

1�mnC1

1�m

�; se m ¤ 1;

�2.nC 1/; se m D 1:

Sugestao: pense em como calcular o segundo momento de ZnC1 utilizando H.z/.

Capıtulo 2

Tempo contınuo

Este capıtulo apresenta uma introducao aos processos a tempo contınuo, isto e as sequencias .Xt /, para t 2 Œ0;1/. Um dosobjetivos e o de recuperar a maior parte dos resultados do capıtulo anterior como a classificacao de estados em recorrentes etransitorios, e a convergencia a distribuicao invariante. Com estes objetivos por frente apresentamos primeiro uma breveintroducao aos processos a tempo contınuo e logo varios pre-requisitos entre os quais incluimos primeiramente um estudodas matrizes Q. Mostraremos como o exponencial da matrix Qt em certa forma joga o papel do n-esimo iterado da matrizP , o qual resultou ser fundamental no caso discreto. Seguidamente apresentaremos algumas propriedades da distribuicaoexponencial, e entao introduziremos o processo de Poisson como o primeiro exemplo de um processo a tempo contınuo.Finalmente apresentamos os processos de Markov.

1. Processos a tempo contınuo

Um processo a tempo contınuo com valores em S e a famılia .Xt W t � 0/ de variaveis aleatorias Xt W �! S. Seguindoo exposto no prefacio, suponhamos que e possıvel determinar as distribuicoes finito dimensionais do processo, isto e,suponhamos que podemos calcular a probabilidade

P.Xt0 D i0;Xt1 D i1; : : : ;Xtn D in/;

para quaisquer tempos 0 � t0 � t1 � : : : � tn, n � 0, e qualquer sequencia de estados i0; : : : ; in 2 S. Observamos que se oprocesso X toma valores em tempo discreto entao para qualquer evento A determinado pelas trajetorias do processo temosque

P�[

n�0

An

�D

Xn

P.An/;

sempre e quando os eventos An sejam disjuntos. Se o processo e a tempo contınuo, entao nao existe uma regra equivalentepara calcular a probabilidade do evento f[t�0Atg, sendo que este ultimo considera uma uniao nao enumeravel. Poremneste caso existe uma condicao de regularidade sobre o processo a qual permite calcular a probabilidade de qualquer eventoa partir das distribuicoes finito dimensionais. Esta condicao e conhecida como a continuidade a direita do processo.

Definicao 21. O processo .Xt /, t � 0, e contınuo a direita se para todo ! 2 � e t � 0 existe um " > 0 tal que

Xs.!/ D Xt .!/ para t � s � t C ":

Toda trajetoria t 7! Xt .!/ de um processo contınuo a direita deve permanecer constante durante um perıodo de tempoem cada novo estado, portanto existem tres possıveis formas para as trajetorias destes processos:

(a) A trajetoria apresenta infinitos pulos, mas o numero de transicoes no intervalo Œ0; t � sao finitas.(b) A trajetoria apresenta um numero finito de pulos e portanto existe um instante a partir do qual X nao muda mais de

estado.

47

48 2. Tempo contınuo

t

Xt .!/

J0

S1 S2 S3

�J1 J2 J3

: : :

: : :

Figura 1. tempos de transicao .Jn/, tempos de permanencia .Sn/, e tempo da explosao � de um processo contınuo.

(c) O processo Xt realiza um numero infinito de transicoes durante o intervalo finito Œ0; t �; neste caso existe um tempo �conhecido como o tempo da primeira explosao. Um exemplo deste tempo esta apresentado na Figura 1. Depois da primeiraexplosao o processo inicia de novo podendo tal vez explodir posteriormente um numero enumeravel de vezes ou nao.

Definicao 22. Sejam J0;J1; : : :, os tempos das transicoes e S1;S2; : : : os tempos de permanencia do processo estocastico.Xt /, t � 0, definidos como

J0 D 0; JnC1 D infft � Jn W Xt ¤ XJng; n D 0; 1; : : :

e para n D 1; 2; : : :

Sn D

(Jn � Jn�1; se Jn�1 <1

1; caso contrario:

Observamos que a propriedade da continuidade a direita implica que Sn > 0 para todo n. Se JnC1 D1 para algum n,definimos X1 D XJn

, como o valor final do processo, no caso contrario X1 nao esta definido.

Definicao 23. O (primeiro) tempo de explosao e definido como

� D supn

Jn D

1XnD1

Sn:

Se � <1, entao .Xt / e um processo explosivo.

Definicao 24. Seja .Xt /, t � 0, um processo estocastico. O processo a tempo discreto .Yn/, n � 0 definido por

Yn D XJn

e chamado de processo de transicao de .Xt / , ou cadeia de transicao, caso este seja uma cadeia de Markov.

Observamos que .Yn/ e simplesmente a sequencia de valores tomados pelo processo .Xt / ate o tempo da primeiraexplosao.

Nao sera considerado o que ocorre com um processo depois da primeira explosao. Neste caso resulta convenienteagregar a S o estado “1” de tal maneira que Xt D 1 se t � �. Um processo que satisfaz esta condicao e chamado deprocesso mınimo. Um processo mınimo pode ser recuperado a partir dos tempos de permanencia e do processo de transicao.

2. Matriz Q 49

Observamos que ao especificar a distribuicao conjunta de S1;S2; : : : e .Yn/, n � 0 temos mais uma forma de determinar adistribuicao de .Xt /, t � 0, de uma “maneira enumeravel”. Por exemplo, a probabilidade do evento fXt D ig e dada por

P.Xt D i/ D

1XnD0

P.Yn D i e Jn � t < JnC1/

e tambem

P�Xt D i para algum t 2 Œ0;1/

�D P.Yn D i para alguns n � 0/:

2. Matriz Q

Definicao 25. Seja S um conjunto enumeravel. Uma matriz Q em S e uma matriz com elementos qij , i; j 2 S os quaissatisfazem a seguintes condicoes

(i) 0 � �qii <1 para todo i 2 S.

(ii) qij � 0 para todo i ¤ j .

(iii)P

j2S qij D 0 para todo i 2 S.

No caso

qi D

Xj¤i

qij <1;

escrevemos qii D �qi . Consideramos primeiro a relacao de esta matriz com um grafo que agora apresenta os valores de qij

associados aos seus elos,

v1

v2 v3

2

1 1

1

1

Q D

24 �2 1 1

2 �3 1

1 0 �1

35

Cada elemento qij , o qual se encontra sobre um dos elos do grafo associado, corresponde a taxa da transicao do vertice i

ate o vertice j . Assim, qij representa o numero de transicoes de i a j por unidade de tempo. Seguindo a propriedade (iii)interpretamos qi como a taxa de saıda do vertice i , isto e, o numero de transicoes de i a qualquer outro vertice por unidadede tempo.

Naturalmente o conjunto de tempos discretos 0; 1; : : : esta incluıdo no conjunto Œ0;1/. Se 0 < p < 1, podemosinterpolar a sequencia discreta pn, n D 0; 1; : : :, pela funcao etq , t � 0, onde q D log p. Se agora consideramos a matrizP D .pij W i; j ;2 S/, sera entao possıvel interpolar os valores de P n, n D 0; 1; : : :? Obviamente que a resposta a estapergunta sera essencial para estabelecer o vinculo com a teoria a tempo discreto.

Suponhamos que a serie

nXkD0

Qk

k!;


converge para todo n 2 N, e que no limite esta seja igual a eQ. Mais ainda, se Q1 e Q2 comutam1, entao

eQ1CQ2 D

1XnD0

.Q1 CQ2/n

n!D

1XnD0

1

n!

nXkD0

n!

k!.n � k/!Qk

1Qn�k2

D

1XkD0

Qk1

k!

1XnDk

Qn�k2

.n � k/!D eQ1Q2 :

Suponhamos por ultimo que e possıvel encontrar uma matriz Q tal que P D eQ, entao

enQD .eQ/n D P n;

de tal maneira que etQ, para t � 0 pode ser utilizada para interpolar P n. Definimos desta forma

(16) P .t/ D etQ

e a seguir apresentamos algumas das propriedades de P .t/.

Teorema 23. Seja Q uma matriz definida no conjunto finito S. Neste caso .P .t/ W t � 0/ apresenta as seguintespropriedades

(i) P .t/ e um semi-grupo, isto e,

P .s C t/ D P .s/P .t/; para todo s; t � 0:

(ii) .P .t/ W t � 0/ e a unica solucao a equacao de forward

d

dtP .t/ D P .t/Q; P .0/ D I:

(iii) .P .t/ W t � 0/ e a unica solucao a equacao de backward

d

dtP .t/ D QP .t/; P .0/ D I:

(iv) Para k D 0; 1; : : :, temos qued

dtkP .k/.t/

ˇtD0D Qk :

Demonstracao. Para quaisquer s; t 2 R temos que as matrizes sQ e tQ comutam, portanto esQetQ D e.sCt/Q, mostrandoa propriedade de semi-grupo. Observamos que

(17) P .t/ D

1XkD0

.tQ/k

k!

apresenta um raio de convergencia infinito2 portanto cada componente e diferenciavel e com derivada dada por

P 0.t/ D

1XkD1

tk�1Qk

.k � 1/!D P .t/Q D QP .t/:

Desta forma P .t/ satisfaze as equacoes de forward e backward. Diferenciando termo a termo obtemos o ultimo item, (iv).So resta mostrar que P .t/ e a unica solucao as equacoes de forward e backward. Se L.t/ satisfaz a equacao de forward,entao

d

dt.L.t/e�tQ/ D

� d

dtL.t/

�e�tQ

CL.t/� d

dte�tQ

�D L.t/Qe�tQ

CL.t/.�Q/e�tQD 0;

1ou seja, se Q1Q2 DQ2Q1

2a ser feito no apendice

2. Matriz Q 51

e entao deduzimos que L.t/e�tQ e constante, portanto L.t/ D P .t/. Um argumento similar mostra a unicidade da solucaoa equacao de backwards. �

O Teorema anterior constitui um resultado importante sobre os exponenciais de uma matriz Q qualquer em S quandoS e finito. Quando P .t/ e estocastica para todo t � 0, dizemos que P .t/ e um semi-grupo estocastico. Se Q apresenta aestrutura da Definicao 25, entao o seu exponencial e um semi-grupo estocastico.

Teorema 24. A matriz Q definida em S, com S finito, apresenta a forma determinada pela Definicao 25 se, e somente se osemi-grupo P .t/ D etQ e estocastico.

Demonstracao. Se t # 0, entao,P .t/ D I C tQCO.t2/:

Neste caso a notacao f .t/ D O.t/ significa que no limite t # 0, f .t/=t < C para todos os valores t suficientementepequenos, e C <1 constante . Dado que P .t/ D .e

tn Q/n D P .t=n/n para todo n, temos qij � 0 para i ¤ j se, e somente

se pij .t/ � 0 para todo i; j e todo t � 0.

Se a soma de cada linha de Q e zero, entao cada linha de Qn tambem e zero,Xk2S

qnik D

Xk2S

Xj2S

qn�1ij qjk D

Xj2S

qn�1ij

Xk2S

qjk D 0:

Para quaisquer dois matrizes A, B em S com elementos aij e bij respectivamente, temos que A D B se aij D bij , portantode (17) resulta X

j2S

pij .t/ DXj2S

1XkD0

.tqij /k

k!D 1C

1XkD1

Xj2S

.tqij /k

k!D 1:

No sentido contrario, seP

j pij .t/ D 1 para todo t � 0, entao seguindo o Teorema 23(ii),Xj2S

qij Dd

dt

Xj2S

pij .t/ˇtD0D 0: �

Retornamos agora ao problema de interpolar P n, mas desde o ponto de vista do processo. Suponhamos que P e umamatriz estocastica da forma eQ, onde Q apresenta as propriedades (i)-(iii) da Definicao 25. Consideramos um inteiro m

grande e entao o processo .X mn /, n � 0 o qual e Markov(�; eQ=m), isto e, para m fixo, consideramos um processo com

ındices em fn=m W n D 0; 1; 2; : : :g,Xm=n D X m

n ;

tal que para m D 1 recuperamos .Xn/, o qual e Markov(�; .eQ=m/m), sendo

.eQ=m/m D eQD P:

Desta maneira e possıvel encontrar cadeias de Markov com ındices fn=m W n D 0; 1; 2; : : :g arbitrariamente pequenos, taisque quando amostrados a valores inteiros originam uma cadeia de Markov.�;P /. Veremos adiante que existe um processoa tempo contınuo, .Xt /, com esta propriedade.

Apresentamos a continuacao um exemplo onde as probabilidade de transicao sao calculadas explicitamente a partir damatriz Q.

Exemplo 12. Seja X uma cadeia de Markov com a seguinte matriz Q,

Q D

24 �2 1 1

1 �1 0

2 1 �3

35 :Logo a equacao caracterıstica associada e,

0 D det.� �Q/ D �.�C 2/.�C 4/;


portanto Q apresenta os autovalores �1 D 0, �2 D �2, e �3 D �4. Q admite por tanto a representacao diagonal

Q D N

240 0 0

0 �2 0

0 0 �4

35N �1;

onde

N D

241 1 �3

1 �1 1

1 1 5

35 ; N �1D

24 3=8 1=2 1=8

1=4 �1=2 1=4

�1=8 0 1=8

35 :Logo

etQD

1XnD0

.tQ/n

n!D N

1XnD0

1

n!

240n 0 0

0 .�2t/n 0

0 0 .�4t/n

35N �1D N

241 0 0

0 e�2t 0

0 0 e�4t

35N �1

D

266666664

3

8C

1

4e�2tC

3

8e�4t 1

2�

1

2e�2t 1

8C

1

4e�2t�

3

8e�4t

3

8�

1

4e�2t�

1

8e�4t 1

2C

1

2e�2t 1

8�

1

4e�2tC

1

8e�4t

3

8C

1

4e�2t�

5

8e�4t 1

2�

1

2e�2t 1

8C

1

4e�2tC

5

8e�4t

377777775:

Desta maneira obtemos a probabilidade p11.t/ D P.Xt D 1 j X0 D 1/,

p11.t/ D3

8C

1

4e�2tC

3

8e�4t :

3. Propriedades da distribuicao exponencial

A variavel aleatoria T W �! Œ0;1� apresenta distribuicao exponencial com parametro �, 0 � � <1, se

P.T > t/ D e��t ; para todo t � 0:

Neste caso escrevemos T � E.�/. Se � > 0, entao T tem densidade de probabilidade

fT .t/ D

(�e��t se t � 0;

0 se t < 0:

Utilizando a formula telescopica para a media de T obtemos

EŒT � DZ 1

0

P.T > t/ dt D1

�

A distribuicao exponencial joga um papel fundamental na teoria dos processos de Markov. Em particular esta seencontra relacionada com a propriedade da perda de memoria e portanto com a propriedade de Markov em tempo contınuo.

Teorema 25 (Perda de memoria). A variavel aleatoria T W �! .0;1� tem distribuicao exponencial se, e somente se estaapresenta a seguinte propriedade

P.T > s C t jT > s/ D P.T > t/; para todo s; t � 0:

3. Propriedades da distribuicao exponencial 53

Demonstracao. Suponhamos que T � E.�/, entao

P.T > s C t jT > s/ DP.T > s C t;T > s/

P.T > s/D

P.T > s C t/

P.T > s/

De��.sCt/

e��sD e��t

D P.T > t/:

Suponhamos agora que T satisfaze a propriedade da perda de memoria, logo seja neste caso g.t/ D P.T > t/. Observamosque

g.s C t/ D P.T > s C t/ D P.T > s C t;T > s/

D P.T > s C t jT > s/P.T > s/

D g.t/g.s/;

o qual mostra que g.x/ e decrescente em x. Por hipotese temos que T > 0, logo existe um n suficientemente grande talque P.T > 1=n/ > 0 e desta forma

g.1/ D P.T > 1/ D g�1

nC

1

nC : : :C

1

n

�D g

�1

n

�n

> 0;

o qual implica a sua vez que existe 0 � � <1 tal que g.1/ D e��. Consideramos agora dois inteiros p; q � 1 tais quep=q D r . Entao

P.T > r/ D g.r/ D g�q�1

�p> 0;

portanto g.r/ D e��r , para todo r 2 Q. Por ultimo, consideramos t > 0 real, e dois racionais r e s tais que r � t � s.Neste caso, como g e decresce com o seu argumento,

e��rD g.r/ � g.t/ � g.s/ D e��s;

Como Q e denso em R, podemos escolher r e s tao proximos de t como queramos, logo das desigualdades acima concluımosque g.t/ D e��t . �

O seguinte resultado mostra que uma soma de variaveis aleatorias exponenciais independentes pode ser quase certamentefinita ou infinita. Alem disto tambem fornece um criterio para determinar qual destas possibilidades e certa. Este resultadosera utilizado para determinar se um processo de Markov a tempo contınuo pode realizar um numero infinito de transicoesnum intervalo de tempo infinito ou nao, isto e, se o processo e explosivo ou nao.

Teorema 26. Sejam S1, S2, : : : uma sequencia de variaveis aleatorias tais que Sn � E.�n/, 0 < �n <1 para todo n.

(i) Se1X

nD1

��1n <1, entao P

� 1XnD1

Sn <1

�D 1.

(ii) Se1X

nD1

��1n D1, entao P

� 1XnD1

Sn D1

�D 1.

Demonstracao. Suponhamos primeiro queP1

nD1 ��1n <1, logo pelo Teorema de Convergencia Monotona (veja [Bil95]

ou [GS01]) tem-se

E

1X

kD1

Sk

!D lim

kD1E� kX

nD1

Sn

�D

1XkD1

1

�k

<1;

e portanto

P� 1X

kD1

Sk <1

�D 1:


Suponhamos queP1

nD1 ��1n D1. Neste caso

Q1nD1.1C 1=�n/ D1, logo

E�

exp��

1XkD1

Sk

��D E

�lim

n!1

nYkD1

e�Sk

�D lim

n!1E� nY

kD1

e�Sk

�

D

1YkD1

E�

e�Sk

�D

1YkD1

�1C

1

�k

��1

D 0:

A segunda igualdade segue do Teorema de Convergencia Monotona, a terceira segue da independencia das variaveisaleatorias Sn, e a quarta resulta da integral

Ehe�Sk

iD

Z 10

e�t�ke��k t dt D�k

�k C 1:

Desta forma, se Ehe�

Pk�0 Sk

iD 0, entao

P� 1X

kD1

Sk D1

�D 1: �

O seguintes dois resultados serao utilizados adiante.

Lema 8. Seja K um conjunto enumeravel e sejam Tk , k 2 K , variaveis aleatorias exponenciais independentes, Tk � E.qk/,tais que 0 < q D

Pk2K qk < 1. Seja T D infk Tk . O infimo e alcanado para um unico valor aleatorio K de k com

probabilidade 1. Pelo outro lado, as variaveis aleatorias T e K sao independnetes tais que T � E.q/ e P.K D k/ D qk=q.

Demonstracao. Se Tk < Tj para todo j ¤ k, entao seja K D k. Caso nao exista tal indice k, K nao esta definido. Agora,simplesmente da definicao de T e K,

P.K D k;T � t/ D P.Tk � t;Tj > Tk 8j ¤ k/;

porem o termino a direita da igualdade e

P.Tk � t;Tj > t 8j ¤ k/ D P.Tk � t/P.Tj > t 8j ¤ k/

D

Z 1t

qke�qk uP.Tj > u j ¤ k/ du D

Z 1t

qke�qk uYj¤k

e�qj u du

D

Z 1t

qke�qu du Dqk

qe�qt :

Temos portanto que T e K sao variaveis aleatorias independentes com distribuicoes P.T � t/ D e�qt e P.K D k/ D qk=q.Segue disto ultimo que P.K D k para algum k/ D

Pk2K P.K D k/ D

Pk2K qk=q D 1. �

Lema 9. Sejam S � E.�/ e R � E.�/ para t � 0, entao

�P.S � t < S CR/ D �P.R � t < RC S/:

Demonstracao.P.S � t < S CR/ D P.S D s;R D r/; s 2 Œ0; t �; r 2 Œt � s;C1/;

logo, da independencia entre S e R

P.S D s;R D r/ D

Z 1t�s

Z t

0

�P.S D s/�P.R D r/dsdr

D ��

Z t

0

e��s

�Z 1t�s

e��r dr

�ds D ��

Z t

0

e��se��.t�s/ ds

D ��

Z t

0

e��.t�s/e��t ds D P.R � t < RC S/: �

4. Processo de Poisson 55

Exercıcios

Exercıcio 54. Sejam S e T duas variaveis aleatorias exponenciais com parametros ˛ e ˇ respectivamente. Qual adistribuicao de minfS;T g? Qual a probabilidade do evento fS � T g? Mostre que os dois eventos fS < T g e fminfS;T ggsao independentes.

Exercıcio 55. Sejam T1, T2, : : : variaveis aleatorias independentes identicamente distribuidas com distribuicao exponencialcom parametro �. Seja N uma variavel aleatoria geometrica com parametro ˇ,

P.N D n/ D ˇ.1 � ˇ/n�1; n D 1; 2; : : :

Mostre que T DPN

iD1 Ti tem distribuicao exponencial com parametro �ˇ.

Exercıcio 56. Sejam S1, S2, : : : variaveis aleatorias exponenciais independentes com parametros �1, �2, : : : respectiva-mente. Mostre que �1S1 e exponencial com parametro 1. Utilize a lei dos grandes numeros para mostrar que

P� 1X

nD1

Sn D1

�D 1;

quando �n D 1 para tudo n � 1, e logo tambem para o caso quando supn �n <1. Sera esta ultima condicao necessaria?

4. Processo de Poisson

O processo de Poisson e um dos exemplos mais simples de uma cadeia de Markov em tempo contınuo o qual a sua vez jogaum papel fundamental na construcao de outros processos. Na pratica, o processo de Poisson e utilizado para modelar onumero de ocorrencias de um certo evento em tempo contınuo.

Definicao 26. Um processo .Nt /, t � 0, contınuo a direita com valores em ZC e um processo de Poisson com taxa �,0 < � <1 se os seus tempos de permanecia .Sn/, n D 1; 2; : : :, sao variaveis aleatorias independentes, com distribuicaoexponencial de parametro �, e sua cadeia de transicao e dada por Yn D n.

O grafo e a matriz Q do processo de Poisson sao

v1 v2 v3 � � ��

Q D

26664��

��

��

: : :: : :

37775Observamos que para este processo

P1nD1 1=� D 1, portanto, do Teorema 26, P.

P1nD1 Sn D 1/ D 1, o qual implica

que este processo e nao explosivo e entao que as distribuicoes finito dimensionais do processo .Nt /, t � 0, se encontramunicamente determinadas.

Uma maneira simples de construir o processo de Poisson com taxa � e considerar uma sequencia de variaveis aleatoriasexponenciais independentes .Sn/, n D 1; 2; : : : com parametro �, e entao J0 D 0, Jn D Sn de tal forma que

Nt D n se Jn � t < JnC1:

O seguente desenho apresenta uma trajetoria possıvel desta construcao.

Mostramos agora como a propriedade da perda de memoria dos tempos de permanencia exponenciais, Teorema 25,determina a propriedade de perda de memoria do processo de Poisson.

Teorema 27 (Propriedade de Markov do processo de Poisson). Seja .Nt /, t � 0 um processo de Poisson de taxa �. Paraqualquer s � 0, o processo .NsCt �Ns/, t � 0, e um processo de Poisson de taxa �, independente de .Nr W r � s/.


S3 S4S1 S2

J0

tJ1 J2 J3 J4

� � �

� � �

Nt .!/

v4

v3

v2

v1

Figura 2. tempos de permanencia e tempos de transicao em uma trajetoria tipica de um processo de Poisson.

Demonstracao. Suponhamos, sem perda de generalidade que Xs D i . Seja . QSn/, n � 1, a sequencia de tempos definidapor

QS1 D SiC1 � .s � Ji/; QSn D SiCn; n � 2;

O seguente desenho ilustra esta definicao.

0 Ji s JiC1 JiC2 t

QS1QS2

Claramente a sequencia . QSn/, n � 0, corresponde aos tempos de permanencia do processo QNt D NsCt � Ns , t � 0.Notamos que se ocorre fNs D ig D fJi � s < JiC1g, entao necessariamente SiC1 > s � Ji . Logo,

P. QS1 > ujNs D i;S1 D t1; : : : ;Si D ti/

D P.SiC1 > uC .s � Ji/jNs D i;S1 D t1; : : : ;Si D ti/

D P�

SiC1 > uC�s �

iXnD1

tn

�ˇSiC1 > s �

iXnD1

tn

�D P.SiC1 > u/;

A ultima igualdade segue da propriedade da perda de memoria de SiC1, o qual a sua vez segue por hipotese pois SiC1 eexponencial. Isto mostra que QS1 dado Ns D i e independente de S1; : : :Si e tambem que QS1 � E.�/. Diretamente da suadefinicao, os tempos QS2, QS3, : : : sao independentes de S1, S2, : : :, Si , e exponencialmente distribuıdos com parametro�. Assim, dado o evento fNs D ig, os tempos de permanencia QS1, QS2, : : : sao independentes E.�/ e independentesde S1; : : : ;Si . Concluımos desta forma que . QNt /, t � 0 e Poisson com parametro � e incrementos independentes de.Nu W u � s/. �

O seguinte resultado considera a generalizaao do Teorema anterior para um tempo de parada T .

Teorema 28 (Propriedade de Markov forte do processo de Poisson). Seja .Nt /, t � 0 um processo de Poisson com taxa � eseja T um tempo de parada para este processo. Dado o evento fT <1g, o processo .NTCt �NT /, t � 0 e um processode Poisson com taxa �, independente de .Ns W s � T /.

Demonstracao. Veja [Nor97], Teorema 6.5.4.3 �

3Para esta demonstracao e necessario ter conhecimentos da teoria da medida.

4. Processo de Poisson 57

O seguinte Teorema fundamental fornece tres maneiras diferentes de caraterizar um processo de Poisson: (a) a partirde processo de transicao e os tempos de permanencia, veja a secao 1, (b) uma definicao “infinitesimal”, e (c) utilizando aprobabilidade de transicao. Em (b) utilizamos a notacao f .t/ D o.t/, com o significado f .t/=t ! 0 quando t ! 0.

Teorema 29 (Caraterizacao do processo de Poisson). Seja .Nt /, t � 0, um processo contınuo a direita com valores interosiniciado na origem. As seguintes condicoes sao equivalentes.

(a) Os tempos de permanencia S1, S2, : : : de .Nt / sao variaveis aleatorias independentes e identicamente distribuıdascom distribuicao E.�/, a cadeia de transicao associada e dada por Yn D n;

(b) .Nt /, t � 0, apresenta incrementos independentes, e quando h # 0, uniformemente em t , temos que

P.NtCh �Nt D 0/ D 1 � �hC o.h/;

P.NtCh �Nt D 1/ D �hC o.h/I

(c) .Nt /, t � 0 apresenta incrementos estacionarios independentes, e, para cada t , Nt tem distribuicao Poisson comparametro �t .

Se o processo fNt W t 2 RCg satisfaz qualquer uma destas tres condicoes, entao este e chado de processo de Poisson detaxa �.

Demonstracao. Mostramos primeiro (a)) (b). Suponhamos que (a) seja certa, entao da propriedade de Markov, paraquaisquer s; t � 0, o incremento NhCt �Nt tem a mesma distribuicao de Nh e e independete de .Ns W s � t/. Portanto.Nt /, t � 0, tem incrementos independentes e no limite h # 0, temos

P.NtCh �Nt � 1/ D P.Nh � 1/ D P.J1 � h/ D 1 � e��hD �hC o.h/;

P.NtCh �Nt � 2/ D P.Nh � 2/ D P.J2 � h/

� P.S1 � h e S2 � h/ D .1 � e��h/2 D o.h/;

o qual implica (b).

Mostramos agora .b/) .c/. Se (b) e valida, entao, para i D 2; 3; : : :, temos que uniformemente em t ,

P.NtCh �Nt D i/ D o.h/ quando h # 0:

Seja pj .t/ D P.Nt D j /. temos entao que para j D 1; 2; : : :,

pj .t C h/ D P.NtCh D j / D

jXiD0

P.NtCh D j ;Nt D j � i/

D

jXiD0

P.NtCh �Nt D i/P.Nt D j � i/

D

�1 � �hC o.h/

�pj .t/C

��hC o.h/

�pj�1.t/C o.h/:

Assim,pj .t C h/ � pj .t/

hD ��pj .t/C �pj�1.t/C

o.h/

h;

e entao no limite h! 0 temos finalmente o seguinte sistema de equacoes para j D 1; 2; : : :,

d pj .t/

dtD ��pj .t/ � �pj�1.t/:

O caso j D 0 pode ser considerado de forma parecida, resultando

p0.t/ D ��0.t/:

Dado que N0 D 0, as concicoes iniciais dos sistema sao pj .0/ D 0, j � 0, e p0.0/ D 1. Neste caso e possıvel encontrar umasolucao analıtica ao sistema. Observamos primeiro que p0.t/ D e��t . Logo para j D 1 temos que .e�t p1.t//

0 D e�t p0.t/,


assim p1.t/ D e�t=1!. Em geral para j � 1 temos .e�t pj .t//0 D e�t pj�1.t/, portanto ressolvendo de maneira recursiva

obtemos

pj .t/ D e��t .�t/j

j !; j � 0:

Concluımos desta forma que Nt apresenta distribuicao Poisson com parametro �t . Agora, se Nt satisfaze (b), entao esteapresenta incrementos independentes. Por outro lado, como .NsCt �Ns/ satisfaze (b), entao para qualquer s > 0 temosque NsCt �Ns �Poisson.�t/, o qual implica .c/.

Mostramos por ultimo que .c/ ) .a/. Sejam .Jn/, n � 1, os tempos de transicao do processo de Possoin Nt .Suponhamos que a distribuicao conjunta de J D .J1; : : : ;Jk/, e dada por

fJ .t1; : : : ; tk/ D �ke��tk 1f0�t1�:::�tkg;

Neste caso, os tempos de permanencia S D .S1; : : : ;Sk/, tem distribuicao

fS .s1; s2; : : : ; sk/ D fJ .s1; s1 C s2; : : : ; s1 C : : :C sk/

D �ke��.s1C:::Csk /1fs1>0;:::;sk>0g

D

kYiD1

�e��si 1fsi>0g;

o qual mostra que as variaveis aleatorias Sn sao independentes e identicamente distribuıdas com distribuicao exponencialde parametro �. Desta forma so fica por ser mostrado que fJ de fato apresenta a forma assumida acima. A distribuicaode J , pode ser derivada ao considerar o limite h D .h1; : : : ; hk/! 0 na quantidade P.\k

iD1Ji 2 .ti ; ti C hi �/=h. SejamAi D fNtiChi

�Nti D 1g e Bi D fNtiC1�NtiChi

D 0g, logo

n k\iD1

Ji 2 .ti ; ti C hi �oD

nNt1 D 0

o k�1\iD1

.Ai \ Bi/ \nNtkChk

�Ntk � 1o;

sempre e quando h1; : : : ; hk sejam o suficientemente pequenos. Neste caso, seguindo a independencia entre os incrementostemos que o evento a direita da ultima igualdade tem probabilidade

P.Nt1 D 0/

k�1YiD1

P.Ai \ Bi/P.NtkChk�Ntk � 1/

mas, sob (c), os incrementos de Nt sao estacionarios e Nt apresenta distribuicao Poisson.�t/, assim a probabilidade acimae

e�t1e��h1�h1e��.t2�t1�h1/e��h2�h2e��.t3�t2�h2/ � � � .1 � e��hk /;

isto e,

e��t1

k�1YiD1

�e��hi�hie

��.tiC1�ti�hi /�.1 � e��hk /

D �k�1h1 � � � hk�1e��tk .1 � e��hk /:

Temos portanto que

limhi!0

�k�1h1 � � � hk�1e��tk .1 � e��hk /

h1 � � � hk�1hk

D �k�1e��tk limhk!0

1 � e��hk

hk

D �ke��tk : �

Exercıcios 59

Exercıcios

Exercıcio 57. Seja fN.t/ W t � 0g um processo de Poisson com taxa � e seja fX.t/ W t � 0g com valores em S D f�1; 1g

o processo definido por

X.t/ D X.0/ � .�1/N.t/:

(i) Verifique se fX.t/g e uma cadeia de Markov. (ii) Encontre o semigrupo de fX.t/g. (iii) Encontre o gerador Q.

Exercıcio 58. Seja fN.t/ W t � 0g um processo de Poisson com taxa �, e probabilidades de transicao pij .t/ D .Pt /ij . (i)Mostre que fPtg e um semigrupo. (ii) Verifique se fPtg e uniforme. (iii) Encontre o gerador do processo Q.

Exercıcio 59 (Processo de nascimento (simples)). Seja �n D n�. O seguinte modelo descreve uma populacao na qualcada individuo tem um descendente com probabilidade �hC o.h/ no intervalo .t; t C h/. O numero de nascimentos M nointervalo .t; t C h/ satisfaz

P.M D mjN.t/ D n/ D

�n

m

�.�h/m.1 � �h/n�m

C o.h/;

isto e,

P.M D mjN.t/ D n/ D

8<:�nhC o.h/ D 1 � n�hC o.h/ se m D 0;

o.h/ se D m > 1;

�nhC o.h/ D n�hC o.h/ se m D 1:

Analogamente ao processo de Poisson, sejam as probabilidades de transicao

pij .t/ D P.N.s C t/ D j jN.s/ D i/ D P.N.t/ D j jN.0/ D i/:

(i) Deduzir o sistema de equacoes adiantadas (forward),

p0ij .t/ D �j�1pi;j�1.t/ � �j pij .t/; j � i

e o sistema retardado (backward),

p0ij .t/ D �ipiC1;j .t/ � �ipij .t/; j � i:

Exercıcio 60. Resolva os sistemas forwards e backwards para o processo de nascimento simples, considerando a mesmacondicao inicial pij .0/ D ıij onde ıij D 1 se i D j e ıij D 0 se i ¤ j .

Exercıcio 61. Um processo de Poisson nao homogeneo e um processo N.t/ definido da mesma forma que o processo dePoisson exceto que neste caso a probabilidade de uma chegada no intervalo .t; t C h/ e �.t/hC o.h/, onde �.t/ varia com t .Obtenha as equacoes de forward e backward para N .

Exercıcio 62. Mostre partindo da definicao da probabilidade de transicao do processo de Poisson que

P.t1 < J1 � t2 < J2/ D e��t1�.t2 � t1/e��.t2�t1/

e portanto que J2 � J1 D S2 apresenta distribuicao exponencial com parametro �, independentemente de J1.

Exercıcio 63. As chegadas dos onibuses da linha 1 formam um processo de Poisson com taxa 1 (1 onibus por hora), eindependentemente dos da linha 1 os da linha 7 seguem um processo de Poisson com taxa 7. (i) Qual e a probabilidadede que exatamente 3 onibus chegem durante a primeira hora? (ii) Qual e a probabilidade de que exatamente 3 onibus dalinha 7 cheguem ao ponto quando voce esta esperando por uno da linha 1? (iii) Qual e a probabilidade de que voce fiqueaguardando por 30 minutos sem que passe nenhum onibus?


5. Processos de Markov

5.1. Cadeia de transicao e tempos de permanencia. Nesta secao damos inicio propriamente a teoria dos processosde Markov. Estes processos serao definidos apartir da distribuicao conjunta do processo de transicao e os tempos depermanencia. Observamos que esta abordagem corresponde a seguida em uma das definicoes do processo de Poisson, i. e.,em Teorema 29 (a).

Seja S um conjunto enumeravel. A informacao essencial que determina um processo de Markov com valores em S edada por uma matriz Q, isto e, pelos numeros qij , i; j 2 S, os quais satisfazem as condicoes: (i) 0 � qi D �qii <1 paratodo i 2 S, (ii) qij � 0 para todo i ¤ j , e (iii)

Pj2S qij D 0 para todo i 2 S.

Definicao 27. A matriz estocastica … D .�ij W i; j 2 S/, e a matriz de probabilidade de transicao associada a matriz Q deacordo as sequintes regras

�ij D

(qij=qi ; se j ¤ i e qi ¤ 0

0; se j ¤ i; e qi D 0

�ii D

(0; se qi ¤ 0

1; se qi D 0

Desta forma para a i-esima fila de Q tomamos todos os elementods nao diagonais e os re-escalamos de forma que asua soma seja igual a 1. Este procedimento nao e possıvel se todos os elementos no diagonais sao 0, neste caso fazemos oselementos no diagonais iguais a 0 e a diagonal igual a 1. Por exemplo, para a seguinte matriz Q e o seu grafo

v1

v2 v3

2

1 1

1

1

Q D

24 �2 1 1

2 �3 1

1 0 �1

35

temos

v1

v2 v3

23

12

12

1

13

… D

24 0 1=2 1=2

1 0 0

2=3 1=3 0

35 :

Definicao 28 (Processo de Markov). Um processo mınimo contınuo a direita .Xt /, t � 0, com valores em S, e umprocesso de Markov com distribuicao inicial � e matriz geradora Q se a sua cadeia de transicao .Yn/, n � 0, e umacadeia de Markov(�;…), e dado fY0;Y1; : : : ;Yn�1g, os seus tempos de permanencia S1;S2; : : : ;Sn sao variaveis aleatoriasindependetes e exponencias com parametros q.Y0/; q.Y1/; : : : ; q.Yn�1/ respectivamente. Neste caso dezimos que .Xt / eMarkov(�;Q).

Apresentamos a seguir tres maneiras diferentes para construir um processo de Markov, cada uma fornece umainterpretacao complementar e permitem identificar quando um determinado processo e uma processo de Markov.

Construicao A. Seja .Yn/, n � 0, uma cadeia de Markov.�;…/ e T1;T2; : : : variaveis aleatorias independentes,exponencialmente distribuıdas com parametro 1, e independentes de .Yn/, n � 0. Consideramos Sn D Tn=q.Yn�1/,

5. Processos de Markov 61

Jn D S1 C : : :C Sn, e logo

Xt D

(Yn se Jn � t < JnC1 para algum n

1 caso contrario:

Neste caso .Xt /, t � 0, e Markov.�;…/. Para vermos isto e suficiente observar que se Tn � E.1/, entao Sn � E.q.Yn�1//.Seja � a bijecao � W Tn ! Sn dada por �.Sn/ D Tn=q.Yn�1/, e em particular sejam Tn D t , Sn D s e q.Yn�1/ D �. Adensidade de Sn pode ser calculada utilizando a densidade de Tn,

fSn.s/ D jJ j�1fTn

.��1.s//;

onde fTn.t/ D e�t , se t � 0 (e fTn

.t/ D 0 se t < 0), e jJ j e o determinante do Jacobiano da transformacao �,jJ j D jd�.s/=dt j D 1=�.

Construicao B. Definimos primeiro X0 D Y0, com distribuicao �, e logo consideramos a colecao .T jn W n � 1; j 2 S/

de variaveis aleatorias independentes e com distribuicao exponencial com parametro 1. Inductivamente para n � 0 fazemos

SjnC1D T

jnC1

=qij ; quando j ¤ i;

SnC1 D infj¤i

SjnC1

;

YnC1 D

(j se S

jnC1 D SnC1 <1;

i se SnC1 D1:

Assim, dado o evento fYn D ig, temos que as variaveis SjnC1 sao independentes e exponencialmente distribuıdas com

paratremo qij para tudo j ¤ i . Assim, dado fYn D ig, do Lema 8 temos que SnC1 e exponencial com parametroqi D

Pj¤i qij , YnC1 tem distribuicao .�ij W j 2 S/, e SnC1 e YnC1 sao independentes, e independentes de Y0; : : : ;Yn e

S1; : : : ;Sn.

5.2. Equacoes de Forward e Backward. A definicao de um processo de Markov baseada nos tempos de permanenciae transicao e util para desenvolver a intuicao, embora esta nao permite encontrar propriedades fundamentais como asprobabilidade de transicao Pi.Xt D j /. De maneira analogo ao feito com o processo de Poison, deduzimos primeiramentea propriedade (forte) de Markov para a cadeia dos tempos de transicao.

Teorema 30 (Propriedade forte de Markov, tempo continuo). Seja .Xt /, t � 0, Markov.�, Q/ e seja T um tempo de paradade .Xt /, t � 0. Dados fT <1g e fXT D ig, .XTCt /, t � 0, e Markov.ıi ;Q/, e independente de Xu W u � T .

Demonstracao. Veja [Nor97], Teorema 6.5.4, p. 227. �

Apresentamos a seguir um resultado chave para caraterizar um processo de Markov. Analogamente a o apresentado noTeorema 29, a caraterizacao consiste em fornecer tres possıveis maneiras diferentes de definir o processo.

Teorema 31 (Caraterizacao do processo de Markov). Seja .Xt /, t � 0, um processo contınuo a direita com valores em Sfinito. Seja Q uma matriz Q sobre S com matriz de transicao …. As seguintes tres condicoes sao equivalentes.

(a) (definicao pela cadeia de transicao e os tempos de permanencia) dado o evento fX0 D ig, a cadeia de transicao.Yn/, n � 0, de .Xt /, t � 0, e uma cadeia de Markov.ıi ;…/, e para cada n � 1 dados Y0; : : : ;Yn�1, ostempos de permanencia S1; : : : ;Sn sao variaveis aleatorias independentes, exponencialmente distribuıdas comparametros q.Y0/, : : :, q.Yn�1/ respectivamente.

(b) (definicao infinitesimal) para todo t; h � 0, dado fXt D ig, fXtChg e independente de .Xu W u � t/ e quandoh # 0 uniformemente em t , temos que

P.XtChj jXt D i/ D ıij C qij hC o.h/;


(c) (definicao pela probabilidade de transicao) para todo n � 0, e 0 � t0 � t1 � : : : � tij .t/ e quaisquer estadosi0; : : : ; inC1,

P.XtnC1D inC1jXt0 D i0; : : : ;Xtn D in/ D pininC1

.tnC1 � tn/;

onde .pij .t/ W i; j 2 I; t � 0/ e a solucao da equacao de forward

dP .t/

dtD P .t/Q; P .0/ D I:

Se .Xt /, t � 0, satisfaze qualquer uma destas condicoes, entao chamamos este proceso de uma cadeia de Markov comgerador Q, e o denotamos por Markov.�;Q/, sendo � a distribuicao de X0.

Demonstracao. (Teorema 31) Veja [Nor97], Teorema 2.8.2. �

Exercıcios

Exercıcio 64. Seja X uma cadeia de Markov a tempo continuo com semigrupo fPtg e valores em S (enumeravel). (i)Mostre que pij .t/ e uma funcao continua de t . (ii) Seja

q.t/ D � ln pii.t/:

Mostre que q e uma funcao continua tal que q.0/ D 1 e

q.s C t/ � q.s/q.t/:

Neste case q e chamada sub-aditiva. E conhecido que estas funcoes obedecem

limt!0

q.t/

tD � existe e � D sup

t>0

q.t/

t� 1:

(iii) Demostre que qii D limt!0.1=t/.pii.t/ � 1/ existe, mas pode ser �1.

Exercıcio 65. (i) Mostre que nao toda cadeia de Markov com ındice discreto pode ser embebida numa cadeia com ındicecontinuo. Isto e, seja

P D

�˛ 1 � ˛

1 � ˛ ˛

�; 0 < ˛ < 1

uma matriz de transicao. Mostre que existe um semigrupo uniforme fPtg de probabilidades de transicao a tempo continuotais que P1 D P se, e somente se 1

2< ˛ < 1. Neste caso mostre que fPtg e unico. Calcule Pt em termos de ˛.

Exercıcio 66. Mostre da definicao do processo de nascimento que se j < i ou j > i C 1, entao,

qii D ��i ;

qi;iC1 D �i ;

qij D 0:

Logo

Q D

26664��0 �0 0 0 0 � � �

0 ��1 �1 0 0 � � �

0 0 ��2 �2 0 � � �

::::::

::::::

:::

37775(i) Mostre que

limh!0

1

h.Ph � I/ D Q

7. Tempos da primeira chegada e probabilidades de absorcao 63

(ii) Obtenha as equacoes de forward e backward

p0ij .t/ DX

k

pik.t/qkj ou P 0t D Pt Q

p0ij .t/ DX

k

qikpkj .t/ ou P 0t D QPt :

6. Estrutura de classe

Quando .Xt /, t � 0, e um processo de Markov mınimo, as suas classes de comunicacao correspondem as classes decomunicacao da cadeia de transicao .Yn/, n � 0.

Definicao 29. O estado i conduz ao estado j , denotado i ! j , se P.Xt D j para algum t � 0jX0 D i/ > 0. i comunicacom j , denotado i $ j , se i ! j e j ! i .

As nocoes de classe de comunicacao, classe aberta, classe fechada, estado absorvente, e irredutibilidade seguem dasnocoes para a cadeia de transicao .Yn/, n � 0.

Teorema 32. Sejam i; j 2 S dois estados diferentes. As seguintes afirmacoes sas equivalentes.

(a) i ! j .

(b) i ! j para a cadeia de transicao.

(c) qi0i1qi1i2

: : : qin�1in> 0 para alguma sequencia de estados i0; i1; i2; : : : ; in com i0 D i , in D j .

(d ) pij .t/ > 0 para todo t > 0.

(e) pij .t/ > 0 para algum t > 0.

7. Tempos da primeira chegada e probabilidades deabsorcao

Seja .Xt /, t � 0, uma cadeia de Markov com matriz geradora Q.

Definicao 30. O primeiro tempo de chegada ao conjunto A � S, denotado DA e dado pela expressao

DA.!/ D infft � 0 W Xt .!/ 2 Ag

(onde inf∅ D1)

Se .Xt /, t � 0, e mınimo e H A denota o primeiro tempo de chegada ao conjunto A para a cadeia de transicao, entaofH A < 1g D fDA < 1g, logo para os ! neste conjunto temos que DA D JH A . A probabilidade de que .Xt /, t � 0,chegue ate A dado que X0 D i e

hAi D Pi.D

A <1/ D Pi.HA <1/:

Se A e uma classe fechada, entao hAi e uma . Como as probabilidades do retorno correspondem as probabilidades de retorno

da cadeia de transicao, estas sao calculadas da mesma maneira ao descrito no caso discreto.

Teorema 33. O vetor das probabilidades da primeira chegada a A, hA D .hAi W i 2 S/ e a solucao mınima nao negativa

ao seguinte sistema linear

hAi D

(1; se i 2 A;P

j2S qij hAj ; se i … A:

Demonstracao. A prova segue ao aplicarmos diretamente o argumento do Teorema 6 para a cadeia de transicao aore-escrever (2) em terminos de Q. �


Definicao 31. O tempo esperado para que .Xt /, t � 0, atinja o conjunto A � S e

kAi D Ei ŒD

A�

Para calcularmos kAi devemos considerar os tempos de permanencia, f.Sn W n � 1/g. O seguinte fornece um exemplo

para um caso simples.

Exemplo 13. Seja .Xt / um processo de Markov com o seguinte grafo de transicao4

v11 v22

v44v33

Calculamos o tempo medio para que o processo chegue de v1 ate v4. Seja ki D Ei Œ tempo ate v4�. Se X0 D 1, o processofica um tempo medio igual a 1=q1 D 1=2 em v1, logo com a mesma probabilidade realiza uma transicao ate v2 ou v3.Assim

k1 D1

2C

1

2k2 C

1

2k3

e analogamente

k2 D1

6C

1

3k1 C

1

3k3; k3 D

1

9C

1

3k1 C

1

3k2:

e portanto k1 D 17=12.

De forma geral tem-se o seguinte resultado.

Teorema 34 (Tempo esperado da primeira chegada). Seja qi > 0 para i … A � S. O vetor do valor esperado para oprimeiro tempo de chegada a A, kA D .kA

i W i 2 S/ e a menor solucao nao negativa do sistema,

(18)kA

i D 0; se i 2 A

�

Xj2S

qij kAj D 1 se i … A:

Exercıcio 67. Seja .Xt / um processo de Markov com valores em S D f1; 2; 3; 4g e gerador

Q D

2664�1 1=2 1=2 0

1=4 �1=2 0 1=4

1=6 0 �1=3 1=6

0 0 0 0

3775 :(i) Calcule a probabilidade de chegar pela primeira vez ate o estado 3 dado que inicialmente X0 D 1. (ii) Calcule o tempoesperado para chegar pela primeira vez ate o estado 4 desde o estado inicial 1.

8. Recorrencia e transitoriedade

Definicao 32. Suponhamos que .Xt /, t � 0, e um processo de Markov mınimo com matriz geradora Q. O estado i erecorrente se

Pi.ft � 0 W Xt D ig e nao limitado/ D 1:

O estado i e transitorio sePi.ft � 0 W Xt D ig e nao limitado/ D 0:

4colocar as taxas


Observamos que .Xt / explode dado que X0 D i entao i nao e recorrente. Da mesma maneira como a estrutura declasse e determinada pela cadeia de transicao, a recorrencia e a transitoriedade de um processo de Markov tambem e dadapela cadeia de transicao.

Teorema 35. Seja .Xt /, t � 0, um processo de Markov.

(i ) Se i e um estado recorrente para a cadeia de transicao .Yn/, n � 0, entao i e recorrente para .Xt /.

(i i ) Se i e transitorio para a cadeia de transicao, entao i e transitorio para .Xt /, t � 0.

(i i i ) Todo estado e recorrente ou transitorio.

(iv) A recorrencia e a transitoriedade sao propriedades de classe.

Definicao 33. Seja Ti o primeiro tempo de retorno de .Xt /, t � 0 ao estado i ,

Ti.!/ D infft � J1.!/ W Xt .!/ D ig:

e Ti D1, caso nao exista f! W Xt .!/ D ig.

O seguinte resultado fornece condicoes de recorrencia e transitoriedade em tempo contınuo analogas as descritas noTeorema 9

Teorema 36. Seja .Xt /, t � 0 um processo de Markov com gerador Q. Neste caso,

(i ) se qi D 0 ou Pi.Ti <1/ D 1, entao i e recorrente eR1

0pii.t/dt D1.

(i i ) se qi > 0 e Pi.Ti/ < 1, entao i e transitorio eR1

0pii.t/dt <1.

Mostramos finalmente que as propriedades de recorrencia e transitoriedade se encontram determinadas por qualquerk-esqueleto de .Xt /, t � 0.

Teorema 37. Seja k > 0 uma constante e entao Zn D Xnk , n � 0.

(i ) se i e recorrente para .Xt /, t � 0, entao i e recorrente para .Zn/, n � 0.

(i i ) se i e transitorio para .Xt /, t � 0, entao i e transitorio para .Zn/, n � 0.

9. Distribuicao invariante

Apresentamos brevemente a nocao de distribuicao invariante no caso contınuo. Se � e uma distribuicao em S, dezimos que� e invariante se

�Q D 0

Teorema 38. Seja Q uma matriz Q com matriz de transicao … e seja � uma distribuicao. As seguintes afirmacoes saoequivalentes,

(i ) � e invariante.

(i i ) �… D �, onde �i D �iqi .

A relacao entre invarincia e a matriz de transicao … observada acima, junto as condicoes de existencia e unicidadeestudadas na secao 6, fornecem a unicidade do invariante no caso contınuo.

Teorema 39. Suponha que Q e irredutıvel e recorrente. Neste caso Q apresenta um invariante � unico sob multiplicacaopor uma constante.

Lembramos que um estado i e recorrente se qi D 0 ou se Pi.Ti <1/ D 1 . Quando qi D 0 ou mi D Ei ŒTi �, o tempodo retorno esperado, e finito entao dezimos que i e positivo recorrente.. No caso contrario dezimos que i e nulo recorrente..Analogamente a situacao em tempo discreto, a nocao de recorrencia positiva esta estreitamente relacionada a existencia deuma distribuicao de probabilidade invariante.


Teorema 40. Seja Q uma matriz irredutıvel. As seguintes afirmacoes sao equivalentes,

(i ) cada estado e positivo recorrente,

(i i ) algum estado i e positivo recorrente,

(i i ) Q e nao explosiva e apresenta distribuicao de probabilidade invariante �. Neste caso temos que mi D 1=.�iqi/

para tudo i 2 S.

No caso a tempo contınuo, a existencia de uma distribuicao de probabilidade invariante nao e sufficiente para garantirrecorrencia positiva ou recorrencia. Isto pode ser mostrado mediante um contra-exemplo.

O seguinte teorema mostra por que a distribuicao �, �Q D 0 e conhecida como a distribuicao invariante.

Teorema 41. Seja Q irredutıvel e recorrente, e seja � uma distribuicao. Seja u > 0 uma constante. As seguintes afirmacoessao equivalentes,

(i ) �Q D 0,

(i i ) �P .u/ D �.

Teorema 42. Seja Q uma matriz irredutıvel, nao explossiva, e com distribuicao invariante �. Se .Xt /, t � 0, eMarkov.�;Q/, entao .XtCu/, t � 0 tambem e Markov.�;Q/ para qualquer u � 0.

10. Convergencia

Estudamos a seguir o comportamento limite de pij .t/ quando t !1 e a sua relacao as distribuicoes invariantes. A analisee similar ao caso do tempo discreto, so que agora nao existe o problema da periodicidade. Apresentamos primeiramente umressultado auxiliar.

Lema 10. Seja Q uma matriz Q com semigrupo fP .t/ W t � 0g. Para tudo t; h � 0,

jpij .t C h/ � pij .t/j � 1 � e�qi h:

Teorema 43. Seja Q uma matriz irredutıvel, nao explosiva, com semi-grupo P .t/, e com distribuicao invariante �. Nestecaso, para todo i; j 2 S tem-se que

pij .t/! �j quando t !1:

A descricao completa do comportamento limite para processos de Markov irredutıveis e fornecido pelo seguinteresultado. A demonstracao utiliza um argumentos similar ao apresentado no Teorema 20 e a cota fornecida pelo Lema 10.

Teorema 44. Seja Q uma matriz Q irredutıvel e seja � uma distribuicao qualquer em S. Suponha que .Xt /, t � 0, eMarkov.�;Q/, entao

P.Xt D j /!1

qj mj

quando t !1 para tudo i; j ;2 S:

11. Teorema Ergodico 67

Exercıcios

Exercıcio 68. Encontre a distribuicao invariante � para a seguinte matriz Q

Q D

24 �2 1 1

4 �4 0

2 1 �3

35 ;e verifique que limt!1 p11.t/ D �1.

Exercıcio 69. Calcule o limite limt!1 P.Xt D 2jX0 D 1/ onde .Xt / e um processo de Markov com valores emS D f1; 2; 3; 4g e a seguinte matriz Q,

Q D

2664�2 1 1 0

0 �1 1 0

0 0 �1 1

1 0 0 �1

377511. Teorema Ergodico

A medias temporais para certas funcoes de um processo de Markov apresentam o mesmo tipo de comportamento ao descritono caso do tempo discreto.

Teorema 45 (Theorema ergodico). Seja Q irredutıvel e � uma distribuicao em S. Se .Xt /, t � 0 e Markov.�;Q/, entao

P�

1

t

Z t

0

1fXuDigdu!1

miqi

quando t !1

�D 1

onde mi D Ei ŒTi � denota o tempo do retorno esperado a i . No caso positivo recorrente, para qualquer funcao f W S! Rlimitada, tem-se que

P�

1

t

Z t

0

f .Xu/du! f � quando t !1

�D 1

paraf � D

Xi2S

�ifi ;

e .�i W i 2 S/ e a unica distribuicao invariante.

Apendice A

1. Relacoes de Recorrencia

Revisamos neste apendice a teoria necessaria para resolver equacoes da forma

(19) xnCk D c1xnCk�1 C c2xnCk�2 C : : :C ckxn

onde ci sao constantes em R. Este tipo de equacao e conhecida com uma relacao de recorrencia linear homogenea deordem k. Dados x0, x1, : : :, xk�1, (19) e conhecida como um problema de valor inicial. Observamos que dados os valoresde x0; : : : ;xk�1, sempre e posıvel calcularmos xk utilizando (19). Subsequentemente, com x1; : : : ;xk podemos calcularxkC1 e assim por diante qualquer termino da sequencia (xn), n � 0, a qual chamaremos de solucao de (19). Consideremoso seguinte exemplo de um problema inicial de segunda ordem,

xnC2 D 3xnC1 � 2xn; x0 D 2;x1 D 3:

A sequencia gerada e

.2; 3; 5; 9; 17; 33; 65; 129; 257; 513; : : :/

Suponhamos agora temos interesse os problemas iniciais x0 D 2; x1 D 5 e x0 D 3; x1 D 1, ambos definidos tambem pormeio da recorrencia acima. As solucoes geradas nestes casos sao respectivamente

.2; 5; 11; 23; 47; 95; 191; 383; 767; 1535; : : :/

.3; 1;�3;�11;�27;�59;�123;�251;�507;�1019; : : :/

Para o primeiro problema resulta simples encontrar uma frmula para xn, de fato xn D 2n C 1. Se observamos que23 D 24 � 1, 47 D 48 � 1, 95 D 96 � 1, : : : entao deduzimos que a sequencia para o segundo problema inicial exn D 2n3� 1. Analogamente, para o terceiro problema temos xn D 5� 2nC1. Estes exemplos simples tem como propositomostrar que os tres problemas iniciais apresentam frmulas similares, todas contem 2n, pois estes foram todos definidos apartir da mesma equacao de recorrencia.

O problema a ser estudado consiste em entender a estrutura do espaco de todas as solucoes a uma equacao de recorrencialinear homogenea de ordem k quando as condicoes iniciais pertencem ao conjunto de todas a k-tuplas de numeros reais.Sabemos que o espaco de todas as sequencias reais, i.e. das funcoes x W N ! R, forma um espaco vetorial pois paraquaisquer duas sequencias .xn/, .yn/ temos que .xn/C .yn/ D .xn C yn/ e para um escalar qualquer �, �.xn/ D .�xn/.Logo o conjunto de todas as solucoes de (19) forma um subespaco do espaco de todas as sequencias. Denotamos esteconjunto por H. Observamos a seguir que cada sequencia em H se encontra determinada pelos seus k primeiros elementos.Neste caso existe um mapa � W H! Rk o qual escolhe estes elementos e forma um vetor em Rk , ou seja,

(20) ��.xn/

�D .xk�1; : : : ;x1;x0/

T :

Lema 11. Seja H o espaco das solucoes de uma recorrencia linear homogenea de ordem k. O mapa � e um isomorfismoentre os espacos vetoriais H e Rk . Em particular, H e um espaco real k-dimensional.

69

70 A

Demonstracao. Qualquer sequencia inicial de k terminos x0;x1; : : : ;xk�1 pode ser extendida pela relacao (19) a umasequencia infinita em H, portanto � e sobrejetora. Por outro lado, como cada problema inicial apresenta uma unica solucaoem H, entao � e um a um, isto e, se �.x/ D �.y/ para x, y 2 H, entao necessariamente x D y. Decorre disto que � euma bijecao e portanto apresenta uma inversa. A inversa de � e o mapa ��1 o qual leva o vetor ˛ D .˛k�1; : : : ; ˛0/

T 2 Ra sequencia em H com terminos iniciais x0 D ˛0, x1 D ˛1, : : :, xk�1 D ˛k�1.

Observamos agora que para duas solucoes .xn/, .yn/ em H, e dois escalares c1 e c2 quaisquer em R temos que

c1��.xn/

�C c2�

�.yn/

�D c1

0B@xk�1

:::

x0

1CAC c2

0B@yk�1

:::

y0

1CA D0B@c1xk�1 C c2yk�1

:::

c1x0 C c2y0

1CAD �

�c1.xn/C c2.yn/

�:

Isto mostra que � e linear e assim portanto um isomorfismo. �

Cada elemento de um espaco vetorial pode ser escrito de forma unica como uma combinacao linear dos elementosda base do espaco. Assim, o lemma anterior fornece um metodo para construir as solucoes .xn/ em H utilizando as k

sequencias geradas pelas condicoes iniciais e1 D .1; 0; : : : ; 0/, e2 D .0; 2; 0; : : : ; 0/, : : :, ek D .0; : : : ; 0; 1/. A pre-imagemde ��1.ei/ D .xn/ e dada pela solucao cujas condicoes iniciais sao todas iguais a 0, exceto xk�i D 1. Uma vez quefe1; : : : ; ekg forma uma base para Rk e � e um isomorfismo entre Rk e H, entao f��1.e1/; : : : ; �

�1.ek/g forma uma basepara H. A importncia disto e que a solucao .xn/ ao problema inicial determinado por

x0 D ˛0;x1 D ˛1; : : : ;xkD1 D ˛k�1

pode ser calculada como˛0�

�1.ek/C ˛1��1.e2/C : : :C ˛k�1�

�1.e1/:

Mesmo que possa parecer mais dificil do que aplicar diretamente a recursao (19), esta representacao e realmente vantajosacomo sera visto adiante. Illustramos esta tecnica utilizando dois exemplos. Seja o problema inicial

FnC2 D FnC1 C Fn; F1 D 1;F0 D 0:

e a sua solucao dada pela sequencia1

.0; 1; 1; 2; 3; 5; 8; 13; 21; 34; 55; 89; : : :/:

Temos assim as sequencias basicas

��1.e1/ D .0; 1; 1; 2; 3; 5; 8; 13; 21; : : :/

��1.e2/ D .1; 0; 1; 1; 2; 3; 5; 8; 13; : : :/

e portantoFn D �

�1.e1/C ��1.e2/ D .1; 1; 2; 3; 5; 8; 13; 21; : : :/:

Se agora consideramos a condicao inicial F0 D �1 e F1 D 3, a solucao assome a forma

Fn D 3��1.e1/ � ��1.e2/

D 3.0; 1; 1; 2; 3; 5; : : :/ � .1; 0; 1; 1; 2; 3; 5; : : :/

D .�1; 3; 2; 5; 7; 12; 19; 31; : : :/

O conhecimento das sequencias basicas de uma relacao de recorencia linear homogenea permitem calcular o n-esimotermino da solucao de qualquer problema inicial determinado pela recorencia. Assim, o espaco das solucoes H pode serestudado ao estudar combinacoes lineares das sequencias basicas. Para proseguirmos com este argumento e necessarioprocurar uma maneira geral para calcular estas sequencias, ou seja, para determinar a base de H.

1Esta sequencia e conhecida como sequencia de Fibonacci, em honra ao seu descobridor Leonardo Fibonacci (1170 - 1250)

1. Relacoes de Recorrencia 71

1.1. Forma matricial. Consideremos novamente a recorencia xnC2 D 3xnC1 � 2xn com os valores iniciais x0 D 2 ex1 D 3. Em forma matricial podemos escrever,�

xnC2

xnC1

�D

�3 �2

1 0

��xnC1

xn

�;

�x1

x0

�D

�3

2

�:

Da mesma maneira, para a recorencia de Fibonacci temos�FnC2

FnC1

�D

�1 1

1 0

��FnC1

Fn

�;

�F1

F0

�D

�1

0

�:

De forma geral, para a relacao de ordem k definimos para todo n � 0,

(21) Xn D

0BBBBB@xnCk�1

xnCk

:::

xnC1

xn

1CCCCCA e A D

0BBBBB@c1 c2 � � � ck�1 ck

1 0 � � � 0 0

0 1 � � � 0 0:::

: : ::::

:::

0 0 � � � 1 0

1CCCCCAverifica-se que XnC1 D AXn. Assim, podemos encontrar a sequencia de interesse recursivamente como X1 D AX0,X2 D AX1, : : :, isto e,

Xn D AnX0:

Para os dois exemplos acima temos�xnC1

xn

�D

�3 �2

1 0

�n �3

2

�e

�FnC1

Fn

�D

�1 1

1 0

�n �1

0

�:

Desta maneira estamos forcados a calcular An, n � 0, o qual na maioria do casos e possıvel quando A e diagonalizavel.Para o primeiro exemplo temos que o polinomio caracteristico de A e

PA.�/ D det.A � �I/ D det�

3 � � �2

1 ��

�D �2

� 3�C 2 D .� � 2/.� � 1/:

Assim, os autovalores para A sao �1 D 2 e �2 D 1, e os autovetores correspondentes v1 D .2; 1/T e v2 D .1; 1/

T . LogoAn admite a forma diagonal

AnD PDnP�1; para D D

�2 0

0 1

�; P D

�2 1

1 1

�:

Desta maneira obtemos a solucao

Xn D

�2nC1 � 1 �2nC1 C 2

2n � 1 �2n C 2

��3

2

�D

�2nC1 C 1

2n C 1

�;

e deduzimos de imediato que xn D 2n C 1, n � 0.

Exercıcio 70. Mostre que para n � 0, a sequencia de Fibonacci e dada pela seguinte frmula

Fn D1p

5

��1Cp

5

2

�n

�

�1 �p

5

2

�n�:

Esta formula e conhecida como a formula de Binet.

Vimos na secao anterior como os autovalores da matriz A jogam um papel fundamental para encontrar a solucao deuma relacao de recorrencia. O estudo mais detalhado dos autovalores de A permite encontrar uma base para H. Seja

PA.�/ D �k� c1�

k�1� : : : � ck�1� � ck

72 A

o polinomio caracterıstico associado a A. As raızes f�1; : : : ; �kg deste polinomio sao conhecidas como os autovalores darecorrencia. Decorre da forma da matriz A, que o aoutovalor �i apresenta aoutovector

v�iD .�k�1

i ; �k�2i ; : : : ; 1/T :

De fato, se Av � �Iv D 0, para v D .vi ; : : : ; vk/T , entao

c1v1 C : : : ckvk D �v1

v1 D �v2; v2 D �v3; : : : ; vk�1 D �vk :

Substituındo sucessivamente estas equacoes umas nas outras obtemos

vk

kXiD1

ci�k�iD �kvk ;

logo

A.�k�1; �k�2; : : : ; �; 1/T D

� kXiD1

ci�k�i ; �k�1; : : : ; �2; �

�T

D .�k ; �k�1; : : : ; �2; �/T

D �.�k�1; �k�2; : : : ; �; 1/T :

Deduzimos portanto que o vetor v� D .�k�1; �k�2; : : : ; �; 1/T e o autovetor de A correspondente ao autovalor �.

Teorema 46. Seja a seguinte recorrencia linear homogenea de ordem k,

xn D c1xn�1 � : : : � ck�1xn�kC1 � ckxn�k :

(i) Seja � um autovalor da recorrencia, logo ��1.v�/ D .�n/, onde � e o isomorfismo entre H e Rk definido por (20).Neste caso .�n/ 2 H.

(ii) Se a recorrencia apresenta k autovalores diferentes, f�1; �2; : : : ; �kg, entao as k sequencias .�1/; : : : ; .�k/ formamuma base para H e cada solucao .xn/ apresenta a forma

(22) xn D a1�n1 C a2�

n2 C : : :C ak�

nk ;

para algumas constantes a1; a2; : : : ; ak 2 R.

Demonstracao. Consideramos para tudo n � 0, xn D �n, e logo definimos os vetores Xn seguindo (21). AssimXn D �

nv�, portantoAXn D �

nAv� D �nC1v� D XnC1;

Deduzimos disto que .xn/ 2 H, onde .x0/ apresenta a condicao inicial X0 D v�. Para a parte (ii), se a recorrencia apresentak autovalores diferentes f�ig, entao os vetores fv�i

g formam uma base para Rk . Dado que � e um isomorfismo entre H eRk , entao f��1.v�i

/g D f.�ni /g e uma base para H. Isto implica que qualquer elemento de H pode ser escrito como uma

combinacao linear das sequencias .�ni /. �

Suponhamos que a condicao inicial ˛ D .x0;x1; : : : ;xk�1/T e conhecida. Descrevemos a continucao um metodo

geral para calcular os valores ai em (22). Primeiro, das propriedades de � obtemos v�iD �

�.�n

i /�, entao

˛ D ��a1.�1/C : : :C ak.�

nk/�D a1�

�.�n

1/�C : : :C ak�

�.�n

k/�

D a1v�1C : : : akv�k

Na forma matricial podemos escrever esta igualdade como

(23) ˛ D

0BBB@1 1 1 � � � 1

�1 �2 �3 � � � �k

::::::

:::: : :

:::

�k�11

�k�12

�k�13

� � � �k�1k

1CCCA0BBB@

a1

a2

:::

ak

1CCCA

1. Relacoes de Recorrencia 73

A matriz de coeficientes em (23) e conhecida como a matriz de Vandermonde de �1; : : : ; �k . Como cada vetor de condicoesiniciais ˛ corresponde a uma unica solucao em H, entao, dado ˛, o sistema (23) apresenta uma unica solucao. Isto implicaque a matrix de Vandermonde sempre e invertivel. Se denotamos por V a matriz de Vandermonde, entao

.a1; : : : ; ak/TD V �1˛:

Exemplo 14. Suponhamos que c21¤ �4c2, logo consideremos a seguinte recorrencia,

xnC2 D c1xnC1 C c2xn; x0 D ˛1;x1 D ˛2:

Este problema inicial apresenta polinomio caracterıstico P.�/ D �2 � c1� � c2, com dois autovalores �1 ¤ �2 (pois odiscriminante D D c2

1C 4c2 ¤ 0). Neste caso,

�1 D .c1 Cp

D/=2; �2 D .c1 �p

D/=2:

Po outro lado, a matriz de Vandermonde associada e a sua inversa sao

V D

�1 1

�1 �2

�; V �1

D1p

D

��2 1

�1 �1

�:

Assim �a1

a2

�D V �1

�˛1

˛2

�D

1p

D

��2x0 x1

�1x0 �x1

�:

Existe em geral uma maneira eficiente para invertir V . Sejam os polinomios

li.�/ D

kYjD1;j¤i

.� � �j / D bi;1 C bi;2�C : : :C bi;k�k�1;

definidos para todo i D 1; : : : ; k. Como os autovalores �j sao tudos diferentes, entao li.�i/ ¤ 0 para todo i , e em particularpara j ¤ i temos que li.�j / D 0.

Teorema 47. Seja B uma matrix k � k cuja i-esima linha apresenta os coeficientes de li.�/, dispostos seguindo aspotencias crescentes de �. Entao V �1 D DB, onde D corresponde a matriz diagonal com entradas 1= li.�i/, i D 1; : : : ; k.

Demonstracao. Veja o Teorema 2.3.2 na pagina 20 em [CFR05]. �

Exemplo 15. Seja xnC2 D xnC1C 2xn, e x0 D 1, x1 D 5. Nesta caso temos ch.�/ D x2 �x � 2 D .x � 2/.xC 1/, logo�1 D 2; �2 D �1, portanto l1.�/ D 1C �, e l2.�/ D �2C �. Assim

B D

�1 1

�2 1

�;

e para l1.2/ D 3; l2.�1/ D �3 resulta

D D1

3

�1 0

0 �1

�; V �1

D1

3

�1 1

2 �1

�:

Desta forma obtemos os coeficientes�a1

a2

�D V �1

�1

5

�D

1

3

�1 1

2 �1

��1

5

�D

�2

�1

�;

e seguindo (22)

xn D 2�n1 � �

n2 D 2nC1

C .�1/nC1:

Exercıcio 71. Mostre que qualquer combinacao linear de solucoes de (19) tambem e uma solucao.

74 A

Exercıcio 72. Seja xnC2 D c1xnC1 C c2xn uma recorrencia de segundo ordem com autovalores �1 D .c1 Cp

D/=2,�2 D .c1 �

pD/=2, onde D D c2

1C 4c2. Se D ¤ 0, mostre que a squencia cujo n-esimo termino e

1p

D

�� ˛0�1�2.�

n�11 � �n�1

2 /C ˛1.�n1 � �2/

�;

e a unica solucao com condicoes iniciais x0 D ˛0, x1 D ˛1.

Referencias Bibliograficas

[Bil95] P. Billingsley. Probability and Measure. Wiley & Sons, New York, 1995.

[CFR05] P. Cull, M. Flahive, and R. Robson. Difference Equations. From Rabbits to Chaos. Undergraduate Texts in Mathematics.Springer Verlag, 2005.

[DS84] P. G. Doyle and J. L. Snell. Random Walks and Electric Networks. Carus Mathematical Monographs. Mathematical Associationof America, 1984. http://arxiv.org/abs/math/0001057.

[FG97] P. A. Ferrari and A. Galves. Acoplamento em Processos Estocasticos. SBM, IMPA, Rio de Janeiro, 1997.http://www.ime.usp.br/˜pablo.

[GS01] G. Grimmett and P. Stirzacker. Probability and Random Processes. Oxford University Press, Oxford, 3a edition, 2001.

[Jam02] B. J. James. Probabilidade: um curso intermediario. Projeto Euclides. IMPA, Rio de Janeiro, 2002.

[Nor97] J. R. Norris. Markov chains. Cambridge Series in Statistical and Probabilistic Mathematics. Cambridge University Press,Cambridge, UK, 1997.

[Shr04] S. Shreve. Stochastic Calculus for Finance I: The Binomial Asset Pricing Model. Springer Finance. Springer Verlag, 2004.

[Wil91] D. Williams. Probability with Martingales. Cambridge University Press, Cambridge, UK, 1991.

75

Indice Remissivo

acoplamento, 35aproximacao de Stirling, 27

cadeiade transicao de .Xt /, 48

cadeia de Markovk-esqueleto, 8definicao, 5ergodica, 37irredutıvel, 10recorrente, 22temporalmente homogenea, 7

Chapman-Kolmogorov, 7classe

aberta, 63fechada, 63

classe de comunicacao, 10, 63aberta, 10fechada, 10

finita, recorrente, 25continuidade a direita, veja processo, 47

decomposicao da primeira transicao, 13desigualdade do acoplamento, 36distribuicao

de equilıbrio, 30do primeiro tempo de retorno, 18estacionaria, 30exponencial, 52finito dimensional, 47inicial �, 4invariante, 30, 65

unicidade, 31Doeblin, W., 35

equacaode backward

semigrupo, 50de forward

Markov, 61semigrupo, 50

em diferenca, 13ergodicidade, 37, 40espaco

das trajetorias,�, 1

de probabilidade, 1espaco

de estados, S, 4esqueleto

cadeia de Markov, 8estado, 4

absorvente, 10, 63aperiodico, 35numero de visitas, V , 23nulo recorrente

tempo contınuo, 65nulo recorrente

tempo discreto, 32periodico, 35positivo recorrente

tempo contınuo, 65tempo discreto, 32

recorrentetempo contınuo, 64tempo discreto, 22

transitoriotempo contınuo, 64tempo discreto, 22

formulade Binet, 71

Fibonaccirecorrencia de, 70sequencia de, 70

funcao O, 51funcao o, 57funcao geradora

de probabilidade, 18de hi

i.n/, 18

de pnij

, 18

grafo, 4

homogeneidade temporal, 7

irredutibilidade, 10, 63

Lei forte dos grandes numeros, 40Lema de Kac, 33

maior divisor comum, mdc, 38

77

78 Indice Remissivo

matrizQ, 49…, 60aperiodica, 35de probabilidade de transicao, P , 5de Vandermonde, 73estocastica, 4geradora, 60

passeio aleatoriorecorrencia em Z, 27recorrencia em Z2, 28simetrico, 26simples, 26

perıodo, 35perda de memoria, 5perda de memoria

da distribuicao exponencial, 52do processo de Poisson, 55

Polya, G., 29primeiro tempo de chegada, � , 12primeiro tempo de retorno, � , 12probabilidade

de absorcao, 12da primeira chegada, h, 12de absorcao, 63de extincao, 15do k-esimo retorno, f k , 23do primeiro retorno, f , 23

problema inicial, 69processo

contınuo a direita, 47de ramificacao, 42de Markov, 60

construcao, 60definicao, 60

de nascimento e morte simples, 15de nascimento simples, 59de Poisson, 55–59

definicao, 55nao homogeneo, 59

de transicao de .Xt /, 48estocastico, 1explosivo, 48mınimo, 48

propriedade de Markov, 5propriedade forte de Markov, 20propriedade fraca de Markov, 6

recorrenciade um estado, 22de uma cadeia de Markov, 22

relacao de recorrencia, 69ruına do jogador, 14

semi-grupo, 50estocastico, 50

solidariedade, 24

taxa de transicao, qij , 49taxa de saıda de i, qi , 49tempo

da primeira chegada, � , 12

da primeira chegada, D, 63da primeira explosao, �, 48de excursao, E, 22de explosao, 48de parada, 21de permanencia, Sn, 48de transicao, Jn, 48do primeiro retorno

caso discreto, � , 12do primeiro retorno

caso contınuo, T , 65esperado da primeira chegada, 12esperado do primeiro retorno, m, 32

TeoremaChapman-Kolmogorov, 7classe finita e fechada, 25classe recorrente, 25Convergencia ao equilıbrio, 35distribuicao de probabilidade invariante, 33ergodico


limite estacionario, 30perda de memoria, 52perda de memoria do processo de Poisson, 55probabilidade da primeira chegada

tempo discreto, 13processo de Markov, 61processo de Poisson, 57Propriedade forte de Markov

do processo de Poisson, 56tempo continuo, 61tempo discreto, 21

Propriedade fraca de Markov, 6Recorrencia-Transitoriedade, 24tempo esperado da primeira chegada


transitoriedade, 22

variavel aleatoria, 1exponencial, 52

Processos Estocasticos, Notas de auladcm.ffclrp.usp.br/~rrosales/aulas/processos2015.pdf · um dos...

Documents

Transcript of Processos Estocasticos, Notas de auladcm.ffclrp.usp.br/~rrosales/aulas/processos2015.pdf · um dos...