Processos Estocasticos, Notas de auladcm.ffclrp.usp.br/~rrosales/aulas/processos2016.pdf · Notas...

Notas de aula em Processos Estocasticos

Rafael A. Rosales

Departamento de Computacao e MatematicaFaculdade de Filosofia, Ciencias e Letras de Ribeirao Preto

Universidade de Sao Paulo

3 de agosto de 2016

Sumario

Prefacio . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1

1. Tempo discreto . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3

1. Cadeias de Markov . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3

Exercıcios . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8

2. Classes de comunicacao . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10

Exercıcios . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12

3. Tempos do primeiro retorno e da primeira chegada . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12

Exercıcios . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20

4. Propriedade forte de Markov . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21

5. Recorrencia e transitoriedade . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22

Exercıcios . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26

Exercıcios . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29

6. Distribuicao invariante . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30

Exercıcios . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 34

7. Convergencia ao equilıbrio . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35

Exercıcios . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 40

8. Reversibilidade . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 40

9. Teorema ergodico . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41

Exercıcios . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43

10. Aplicacoes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43

Exercıcios . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 46

2. Tempo contınuo. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47

1. Processos a tempo contınuo . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47

2. Matriz Q . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49

3. Propriedades da distribuicao exponencial . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52

Exercıcios . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 55

4. Processo de Poisson . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 55

vii

viii Sumario

Exercıcios . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 59

5. Processos de Markov . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 60

Exercıcios . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 63

6. Estrutura de classe . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 64

7. Tempos da primeira chegada e probabilidades de absorcao . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 64

8. Recorrencia e transitoriedade . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 65

9. Distribuicao invariante . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 66

10. Convergencia . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 67

Exercıcios . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 68

11. Teorema Ergodico . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 68

Apendice A. 69

1. Relacoes de Recorrencia . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 69

Apendice. Referencias Bibliograficas 75

Indice Remissivo . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 77

Prefacio

Um processo estocastico e uma sequencia de variaveis aleatorias X D .Xt /, t 2 T , onde parametro t usualmenterepresenta o tempo. O processo X geralmente e utilizado com o proposito de representar a evolucao aleatoria deum fenomeno fısico. Neste caso o conjunto dos ındices T e identificado com N ou RC. Durante o curso so seraoconsideradas sequencias de variaveis aleatorias Xt definidas sobre o mesmo espaco de probabilidade, todas comvalores no conjunto S o qual suporemos finito ou infinitamente enumeravel. Seguindo a convencao usual utilizaremosa notacao t para os ındices contınuos e n para o caso discreto1.

A apresentacao segue de perto os livros de J. Norris, [Nor97] e Grimmett, Stirzacker, [GS01]. Em particular, aprimeira parte dedicada ao estudo de processos em tempo discreto, inclui boa parte dos capıtulos 1.1-1.10 de [Nor97].A segunda parte a qual representa uma introducao aos processos a tempo contınuo esta inspirada nos capıtulos 2.1-3.8em [Nor97] e os capıtulos 6.8-6.12 em [GS01]. Supoe-se um conhecimento da teoria de probabilidade a nıvel degraduacao assim como conhecimentos basicos sobre equacoes diferenciais e em diferenca, e finalmente tambemalguns rudimentos de algebra linear.

1 Xt e realmente uma funcao X .!; t/ onde ! e um evento elementar do espaco� das trajetorias do processo. Ao considerar a sequencia .Xt / estamos portantoconsiderando um espaco de funcoes aleatorias. A fim de entender isto melhor, lembramos algumas nocoes de teoria de probabilidade. Dado um espaco de probabilidade.�;A;P/, uma variavel aleatoria e uma funcao � W .�;A/! .R;B/, tal que

��1.B/ D f! 2 � W �.!/ 2 Bg 2 A

para todo B 2B, onde B e a menor sigma algebra gerada pelos conjuntos abertos de R. Seja agora

�.�/ D ��1.B/ D f��1.B/ W B 2Bg � A;

a sigma algebra gerada pela variavel aleatoria � , i.e. intuitivamente �.�/ denota a ‘porcao da informacao’ contida no espaco de probabilidade inerente a � . A distribuicaode probabilidade, P , de � e definida como

P.� 2 B/ D Pf��1.B/g:

Observamos que esta definicao permite determinar a probabilidade de qualquer evento associado a �, desde que esta inclui as probabilidades de todos os conjuntos��1.B/ D �.�/ � A. A fim de generalizar estes conceitos para processo X , suponhamos que existe um espaco de probabilidade .�;A;P/ tal que �.X / � A.Neste caso se X e um processo com ındices discretos e valores em S temos que

X W .�;A/! .S1; �.S1//;

sendo �.S1/ a sigma algebra gerada pelos conjuntos abertos de S. Se S D C , o espaco das funcoes continuas em Œ0;1/, entao X e um processo com trajetoriascontinuas. A suposicao, nada trivial, de que os eventos definidos sobre os espaco dos caminhos de um processo,�, podem ser medidos por uma funcao de probabilidadeP representa um dos problemas mais fundamentais da teoria dos processos estocasticos. Durante o curso, nos suporemos que isto e possıvel e nao faremos mais refernciaa este assunto. Os interessados nos detalhes podem consultar o apendice em [Nor97] ou os textos mais avancados tais como [Bil95], e [Wil91], procurando pelas secoesreferentes aos �-sistemas. Estas classes de conjuntos tambem sao conhecidos em teoria de probabilidade como os sistemas �-�, seguindo a nomenclatura introduzidapor Eugene B. Dynkin. As referencias mencionadas aqui e no decorrer das notas podem guiar o estudo posterior e mais profundo da teoria dos processos estocasticos.

1

Capıtulo 1

Tempo discreto

1. Cadeias de Markov

Os seguintes exemplos introduzem de maneira informal a propriedade que define uma ampla variedade de processosconhecidos como cadeias de Markov. O objetivo e desenvolver a intuicao e motivar a teoria.

Exemplo 1 (Sapo).

v1

v2

v3v4

v5

v6

v7 v8

v9

Um sapo que habita num lago pode pular em procura de alimento entre nove Vitoriasregias (Victoria amazonica, uma planta aquatica da famılia das Nymphaeaceae) v1, : : :,v9, dispostas circularmente. No instante n D 0 o sapo encontra-se na planta v1. Comprobabilidade p, 0 < p < 1, este pode pular a planta v2 e com q D 1 � p a planta v9. Asmesmas regras determinam os pulos a partir de vi para viC1 ou vi�1, i D 1; : : : ; 9 (se i D 9

entao i C 1 D 1, e se i D 1 entao i � 1 D 9). Denotamos por Xn 2 fv1; v2; : : : ; v9g aposicao do sapo no instante n, n 2 N. A sequencia de variaveis aleatorias .Xn/, n � 0, que

correspondem as posicoes do sapo formam um processo aleatorio. Segundo as regras que determinam os movimentosdo sapo temos que P.X0 D v1/ D 1, P.X1 D v2 jX0 D v1/ D p e P.X1 D v9 jX0 D v1/ D q. Supondo queseja conhecido o percurso v1 ! v2 ! v3 ! v4, utilizando probabilidade condicional, podemos tambem calcular aprobabilidade de que o sapo se encontre na planta v5 no quarto pulo,

P.Xn D v5jXn�1 D v4; : : : ;X0 D v1/ D P.Xn D v5jXn�1 D v4/ D p

o qual e consequencia imediata das regras que determinam os movimentos do sapo. Esta equacao e um caso particulardo fato no qual a distribuicao de Xn dado .X0, : : :, Xn�1/ so depende de Xn�1. Esta unica simplificacao fornecea estrutura necessaria para desenvolver a maior parte da teoria. Em particular, esta permite responder uma amplagama de questoes relevantes ao processo X D .Xn/, n � 0. Por exemplo: (i) Qual a distribuicao de Xn?, (ii) Quala distribuicao do evento fXn jX0 D v1g? (iii) Sera possıvel calcular a distribuicao de Xn no limite n ! 1? (iv)Qual e o numero esperado de pulos realizados pelo sapo ate voltar pela primeira vez a planta v1? (v) Se a planta v6

e realmente a cabeca de um jacare faminto, qual e o numero de pulos em media realizados pelo sapo antes de serdevorado pelo jacare?

Exemplo 2 (Ruına do jogador). Suponha que voce entra num cassino com i reais, i 2 N. Em cada aposta voce podeganhar um real com probabilidade p, 0 < p < 1, ou perder um real com probabilidade q D 1 � p. Xn, n � 1,representa a sua fortuna depois da n-esima aposta e X0 D x0 a sua fortuna inicial. Suponha que o cassino apresentauma fonte ilimitada de dinheiro, portanto nao existe em principio um limite superior para a quantidade da sua fortuna.Claramente Xn asome valores no conjunto N (ou Z caso o casino permita que o jogador fique devendo dinheiro).A Figura 1 apresenta tres trajetorias tıpicas deste processo para n D 100, p D q D 1

2, e X0 D 10. Em duas das

3

4 1. Tempo discreto

trajetorias voce ainda possue dinheiro suficiente para continuar jogando no casino apos das primeiras 100 apostas. Noterceiro, voce perde o seu dinheiro todo na aposta 64. Dentre as questos importantes neste problema mencionamoso calculo da probabilidade da eventual ruına e do numero esperado de apostas para a ruına em funcao de p e X0.Analogamente ao exemplo anterior, neste caso consideramos a seguinte condicao de independecia condicional

P.Xn D xn�1 C 1jXn�1 D xn�1; : : : ;X0 D x0/ D P.Xn D xn�1 C 1jXn�1 D xn�1/ D p

P.Xn D xn�1 � 1jXn�1 D xn�1; : : : ;X0 D x0/ D P.Xn D xn�1 � 1jXn�1 D xn�1/ D q

a qual e de fato consequencia da independencia entre os resultados de cada aposta. Este exemplo relativementesimples e instrumental na modelagem de mercados financeiros a tempo discreto e com valores discretos, veja porexemplo [Shr04].

n

Xn.!/

!3

!2

!1

-10

010

2030

Figura 1. Tres possıveis caminhos do processo da ruına

1.1. Propriedade de Markov. Seja S um conjunto enumeravel. Um elemento i 2 S e chamado de estado e S oespaco de estados. Seja � D .�1 W i 2 S/ uma distribuicao de probabilidade em S , ou seja, os numeros �i satisfazemas condicoes

0 � �i � 1;Xi2S

�i D 1:

Definicao 1. A distribuicao inicial do processo X e a distribuicao

�i D P.X0 D i/ D P�f! 2 � W X0.w/ D ig

�; i 2 S:

Definicao 2. Uma matriz P D .pij W i; j 2 S/ e estocastica se cada linha .pij W j 2 S/ e uma distribuicao em S.

Um grafo e definido por dois conjuntos, um conjunto de vertices e outro de elos. Denotamos por G D

.E;V / o grafo formado pelos elos E D fe1; e2; : : :g com vertices V D fv1; v2; : : :g. Observamos que existeuma correspondencia um-a-um entre uma matriz estocastica e um grafo G com vertices em S. Por exemplo, paraS D f1; 2; 3g, consideramos o par

v1

v2 v3

a

a

b

b

c

c

b

ca

P D

0@b a c

a c b

c b a

1A

1. Cadeias de Markov 5

onde a � 0, b � 0, e c � 0, sao constantes tais que aCbCc D 1. A correspondencia e determinada ao considerarmosuma ordem entre vertices de G, utilizada para dispormos os estados nas filas e colunas de P . Para o Exemplo 1, ondeS D fv1; v2; : : : ; v9g, temos a seguinte matrix e o seguinte grafo

P D

0BBBBBBBBBBBBB@

0 p 0 0 0 0 0 0 q

q 0 p 0 0 0 0 0 0

0 q 0 p 0 0 0 0 0

0 0 q 0 p 0 0 0 0

0 0 0 q 0 p 0 0 0

0 0 0 0 q 0 p 0 0

0 0 0 0 0 q 0 p 0

0 0 0 0 0 0 q 0 p

p 0 0 0 0 0 0 q 0

1CCCCCCCCCCCCCAv1

v2

v3v4

v5

v6

v7v8

v9

p

q

p

qp

q

p

q

pq

p

qp

q

p

q

p

q

Definimos a seguir um processo conhecido como cadeia de Markov. O resto desta secao esta destinado a mostrar quea estrutura basica deste processo e determinada em sua totalidade pela matriz P e a distribuicao inicial �.

Definicao 3 (cadeia de Markov). X D .Xn/; n 2 N e uma cadeia de Markov com distribuicao inicial � e matriz deprobabilidade de transicao P , se P e estocastica e

(i) X0 tem distribuicao �,

(ii) Para quaisquer n � 0, e .i0; i1; : : : ; inC2/ 2 SnC1,

P.XnC1 D inC1 jX0 D i0; : : : ;Xn D in/ D P.XnC1 D inC1 jXn D in/ D pininC1:(1)

A relacao em (1) e conhecida como a propriedade de Markov. Intuitivamente esta relacao indica que o processonao apresenta memoria dos lugares visitados no passado. Se o processo X D .Xn/; n 2 N, satisfaz as condicoes (i) e(ii) diremos que X e Markov(�;P ) ou simplesmente uma cadeia de Markov.

Teorema 1. X e uma cadeia de Markov se, e somente se para toda sequencia i0; i1; : : : ; iN 2 SNC1,

P.X0 D i0;X1 D i1; : : : ;XN D iN / D �i0pi0i1

pi1i2� � �piN�1iN

:

Demonstracao. Seja X Markov.�;P /, entao

P.X0 D i0;X1 D i1; : : : ;XN D iN /

D P.XN D iN jX0 D i0; : : : ;XN�1 D iN�1/

� P.XN�1 D iN�1 jX0 D i0; : : : ;XN�2 D iN�2/

� � � P.X1 D i1 jX0 D i0/P.X0 D i0/

D �i0pi0i1


;

onde a ultima igualdade segue (i) e (ii) da Definicao 29, utilizando-se como hipotese que X e Markov .�;P /. Paraverificar a equivalencia no sentido oposto somamos iN sobre todo S a ambos lados da igualdade no Teorema,X

iN2S

P.X0 D i0; : : : ;XN D iN / DX

iN2S

�i0pi0i1


;

o qual implicaP.X0 D i0; : : : ;XN�1 D iN�1/ D �i0

pi0i1pi1i2

� � �piN�2iN�1;

uma vez que P.X0 D i0; : : : ;XN D iN / e a distribuicao conjunta de X0, : : :, XN�1, XN , eP

iN2S piN�1iND 1, ja

que P e estocastica. Utilizando inducao deduzimos que para cada n em 1; : : : ;N � 1,

P.X0 D i0; : : : ;Xn D in/ D �i0pi0i1

� � �pin�1in;

6 1. Tempo discreto

e em particular que P.X0 D i0/ D �i0. Assim, para n D 0; 1; : : : ;N � 1,

P.XnC1 D inC1 jX0 D i0; : : : ;Xn D in/ DP.X0 D i0; : : : ;XnC1 D inC1/

P.X0 D i0; : : : ;Xn D in/

D�i0

pi0i1� � �pininC1

�i0pi0i1

� � �pin�1in

D pininC1;

o qual mostra que X e Markov .�;P /. �

O seguinte resultado fornece uma interpretacao crucial da propriedade referida anteriormente como “perda dememoria”. Seja ıi D .ıij W j 2 S/, uma distribuicao de probabilidade concentrada em i , ou seja ıij D 1 se i D j eıij D 0 se i ¤ j .

Teorema 2 (Propriedade fraca de Markov). Seja X Markov(�;P ). Dado o evento Xm D i , o processo XmCn,n 2 ZC, e Markov(ıi ;P ) e independente de X0, : : :, Xm.

Demonstracao. A prova consiste em mostrar que a seguinte igualdade

P�fXm D im; : : : ;XmCn D imCng \AjXm D i

�D ıiim

pimimC1� � �pimCn�1imCn

P.AjXm D i/

e valida para qualquer evento A determinado pelas variaveis aleatorias X0, : : :, Xm. Isto e consequencia da nocao deindependencia (condicional) de eventos da forma fXm, : : :, XmCng e A. Segue imediatamente desta igualdade e doTeorema 1 que XmCn, n 2 N e Markov.ıi ;P /.

Consideramos primeiro o caso particular A D fX0 D i0; : : : ;Xm D img de tal forma que

P.Xm D im; : : : ;XmCn D imCn \A jXm D i/

DP.Xm D im; : : : ;XmCn D imCn;A; fim D ig/

P.Xm D i/;

mas o numerador e dado por

P.Xm D im; : : : ;XmCn D imCn;A; im D i/

D P.A; im D i/P.Xm D im; : : : ;XmCn D imCn jA; im D i/

D P.A; im D i/P.Xm D im; : : : ;XmCn D imCn jXm D i/

D P.A;Xm D im/ıiimpimimC1

� � �pimCn�1imCn;

A segunda e a terceira igualdade sao consequencia do Teorema 1.

No caso geral temos que qualquer evento A pode ser representado como A DS

k Ak , onde Ak sao eventoselementares disjuntos determinados pelas variaveis aleatorias X0, X1, : : :, Xm�1 e fXm D ig. O resultado neste casosegue utilizando o mesmo argumento mas somando sobre os eventos Ak . �

1.2. Probabilidades de n passos. Voltamos agora a uma das perguntas inicialmente formuladas no Exemplo 1 que ea de como calcular as distribuicoes condicionais e nao condicionais do processo no instante n,

P.Xn D j jX0 D i/ e P.Xn D i/ para i; j 2 S:

A propriedade de Markov e as operacoes basicas do produto matricial permitem obter estas probabilidades de maneiraeficiente. Se representamos a distribuicao inicial como um vetor (fila) em S , entao

.�P /j DP

i2S �ipij DP

i2S P.X0 D i/P.X1 D j jX0 D i/

D P.X esta em j no instante 1/

Utilizando o produto matricial introduzimos agora a seguinte notacao,

.PP /ij D .P2/ij ; i; j 2 S

1. Cadeias de Markov 7

isto e,

.P 2/ij DP

k2S pikpkj D p2ij

DP

k2S P.X2 D j jX1 D k/P.X1 D k jX0 D i/

D P.X realiza uma transicao de i a j em dois passos/

Definicao 4. Para n � 0, definimos o n-esimo iterado da probabilidade de transicao como

pnij D P.Xn D j jX0 D i/

A matriz formada pelos elementos .pnij /, i; j 2 S sera denotada por P n. Denotamos por �n, n � 1, a distribuicao

de X no instante n, isto e, �n D .�ni W i 2 S/ onde �n

i D P.Xn D i/. Com o proposito de enfatizar a condicao inicialX0 D i , as vezes tambem sera empregada a notacao pn

ij D Pi.Xn D j /.

Definicao 5. Seja X uma cadeia de Markov. X e temporalmente homogenea se para quaisquer i; j 2 S e m; n,

P.XmCn D j jXm D i/ D P.Xn D j jX0 D i/:

Todos os processos considerados adiante sao temporalmente homogeneos.

Teorema 3. Seja X Markov(�;P ). Para todo n;m � 0 tem-se

(i ) P.Xn D j / D .�P n/j .

(i i ) Pi.Xn D j / D P.XmCn D j jXm D i/ D P.Xn D j jX0 D i/ D pnij .

Demonstracao. Do Teorema 1 e da Definicao 4 resulta

P.Xn D j / DXio2S

� � �

Xin�12S

P.X0 D i0; : : : ;Xn�1 D in�1;Xn D j /

D

Xio2S

� � �

Xin�12S

�i0pi0i1

� � �pin�1j D .�Pn/j ;

o qual termina a prova do primeiro item. Seguindo a propriedade de Markov exposta no Teorema 2, dado oevento fXm D ig, .XmCn/ e Markov.ıi ;P /. E portanto suficiente considerar � D ıi no primeiro item, ou sejaPi.Xn D j / D .ıiP

n/j D pnij . �

Observamos que P 1 D P e P 0 D I , onde I denota a matriz identidade.

Teorema 4 (Chapman-Kolmogorov). Seja X uma cadeia de Markov com matriz de transicao P . Para quaisquerm; n 2 N,

P mCnD P mP n:

Antes de proceder com a demostracao observamos que este resultado e uma generalizacao de .PP /ij DPk pikpkj para o caso .P mP n/ij D

Pk pm

ikpn

kj.

Demonstracao.

pmCnij D Pi.XmCn D j / D

Xk2S

P.XmCn D j ;Xm D k jX0 D i/

D

Xk2S

P.XmCn D j jXm D k;X0 D i/P.Xm D k jX0 D i/

D

Xk2S

P.Xn D j jX0 D k/P.Xm D k jX0 D i/ DXk2S

pmikpn

kj : �

8 1. Tempo discreto

Exercıcios

Para resolver alguns dos exercıcios desta parte resulta util lembrar que se P e diagonizavel, ou seja se existir umamatriz diagonal D tal que P D NDN �1, entao P n D NDnN �1.

Exercıcio 1. (i) Mostre que .�P / e uma distribuicao de probabilidade em S. (ii) Mostre que P n e uma matrizestocastica em S para qualquer n � 0. (iii) Mostre que .�P n/ e uma distribuicao de probabilidade em S.

Exercıcio 2. Seja .Xn/n�0 uma sequencia de v.a. independentes e identicamente distribuıdas e sejam1

.a/ Sn DPn

iD1 Xi ; .b/ Mn D X1 ^X2 ^ : : : ^Xn;

.c/ Ln D X1 _X2 _ : : : _Xn; .d/ Kn D Xn CXn�1:

(i) Quais das sequencias Xn, Sn, Mn, Ln e Kn e Markov? (ii) Encontre a matriz de probabilidade de transicao para assequencias que sao cadeias de Markov.

Exercıcio 3. Suponha que os movimentos da BOVESPA podam ser modelados por uma cadeia de Markov comvalores em S D f�;+g, onde “� ” representa um dia onde a bolsa fecha em valor negativo e “+” um dia comfechamento positivo. Neste caso, a evolucao dia a dia da BOVESPA e determinada pelas probabilidades de transicaoP.Xn D �jXn�1 D �/ D 1 � ˛, P.Xn D +jXn�1 D �/ D ˛, P.Xn D �jXn�1 D +/ D ˇ e P.Xn D +jXn�1 D

+/ D 1 � ˇ, para 0 < ˛ < 1 e 0 < ˇ < 1. (i) Se a cadeia comeca num dia do tipo �, e ˛ D ˇ D 34

, mostre que

�nD�P.Xn D �/;P.Xn D +/

�D

�1

2.1C 2�n/;

1

2.1 � 2�n/

�(�n e a distribuicao do processo apos n dias de ter iniciado em �, isto e a probabilidade de que a BOVESPA fecheem “�” ou “+” depois de n dias, dada a distribuicao inicial �0 D .1; 0/). (ii) Interpretar limn!1 �

n. (iii) Calcularpn

++ D P.Xn D +jX0 D +/ no caso geral para qualquer 0 < ˛ � 1 e 0 < ˇ � 1. [Sugestao: Tem pelo menos duasmaneiras de resolvermos este problema. metodo A: utilize a equacao de Chapman-Kolmogorov P nC1 D P nP paraobter uma relacao de recorrencia para pn

++. O apendice apresenta brevemente a teoria necessaria para resolver estetipo de recorrencia. Este metodo e eficiente quando desejamos obter algumas das entradas da matriz P n. metodo B:outro metodo que permite calcular P n e a diagonilizacao de P . Recomendamos este metodo quando seja necessariodeterminar todos os elementos de P n.]

Exercıcio 4. Seja .Xn/n�0 uma cadeia de Markov com valores em S D fv1; v2; v3g, e seja o seguinte grafo e matrizde transicao

v1

v2 v3

12

12

1

P D

0@0 0 112

12

0

0 12

12

1A ;

As filas e as colunas de P estao dispostas de acordo a ordem .v1; v2; v3/. Encontre uma equacao geral para pnv1v1

.[Sugestao: utilize a diagonalizacao da matriz P .]

Exercıcio 5. Uma consultora financeira classifica emprestamos de carros em quatro categorias: o emprestimo foipago em sua totalidade (F ), o contrato encontra-se em boas condicoes sendo que todos os juros estao ao dia (G), aconta esta em situacao irregular com um ou mais pagamentos pendentes (A), ou a conta se encontra em pessimascondicoes e foi vendida a uma agencia de colecao do credito (B). O historico indica que cada mes 10% dos contratosdo tipo G paga em sua totalidade os juros, 80% permanecem em G, e 10% viram do tipo B. Logo 10% das contasdo tipo A pagam os juros totalmente, 40% viram do tipo G, 40% permanecem em A, e 10% viram do tipo B. (i)

1Para a;b 2 R, a_ b D maximofa;bg e a^ b D mınimofa;bg.

Exercıcios 9

Calcule a proporcao de contratos do tipo B que pagarao a sua divida totalmente no futuro. (ii) Qual sera a proporcaode contratos de tipo G que num futuro serao do tipo B.

Exercıcio 6. Suponha que Z0;Z1; : : : sao variaveis aleatorias independentes e identicamente distribuıdas tais queZi D 1 com probabilidade p e Zi D 0 com probabilidade 1 � p. Seja S0 D 0 e Sn D Z1 C : : :CZn. Em cada umdos seguintes casos determine se .Xn/n�0 e uma cadeia de Markov:(a) Xn D Zn, (b) Xn D Sn, (c) Xn D S0 C : : :C Sn, (d) Xn D .Sn;S0 C : : :C Sn/.Encontre o espaco de estados e a matriz de probabilidade de transicao nos casos em nos quais .Xn/n�0 e uma cadeiade Markov.

Exercıcio 7. Seja .Xn/n�0 Markov .�;P /. Se Yn D Xkn, mostrar que .Yn/n�0 e Markov .�;P k/. Em geral, aamostragem de .Xn/n�0 a intervalos constantes de comprimento k gera uma cadeia chamada o k-esqueleto de.Xn/n�0.

Exercıcio 8. Uma pulga pula sobre os vertices de um triangulo de maneira que qualquer pulo tem a mesmaprobabilidade. Encontrar a probabilidade de que depois de n pulos a pulga esteja de volta no lugar de partida.Uma segunda pulga tambem decide pular sobre os vertices do triangulo, mas a probabilidade de pular no sentidohorario e duas vezes a probabilidade no sentido contrario. Qual a probabilidade de que apos de n pulos esta ultimaesteja no mesmo lugar onde iniciou. [Observe que e˙i�=6 D

p3=2˙ i=2.]

Exercıcio 9. Seja .Xn/n�0 uma cadeia de Markov em S , e seja I W Sn ! f0; 1g. Mostre que a distribuicao condicionalde Xn;XnC1; : : : dado o evento fI.X1; : : : ;Xn/ D 1 \ fXn D igg e identica a distribuicao de Xn;XnC1; : : : dadofXm D ig.

Exercıcio 10. Seja .Xn/n�0 uma cadeia de Markov com espaco de estados S, e suponha que h W S ! T e bijetiva.Mostre que Yn D h.Xn/ define uma cadeia de Markov em T . h tem que ser bijetiva?

Exercıcio 11.| O seguinte exercıcio mostra como trabalhar com uma cadeia de Markov quando so se tem informacaosobre algumas das transicoes do processo. Seja J � S e seja a seguinte particao da matriz de probabilidade detransicao P ,

J J c

P DJJ c

�A B

C D

�Suponhamos que so seja possıvel registrar as entradas a J , e neste caso e observada uma cadeia de Markov . QXn/

restrita ao conjunto de estados J . (i) Mostre que a matriz de transicao de QXn e

QP D AC BXn�0

DnC D AC B.I �D/�1C:

(ii) O Dr. P. Silva fica a maior parte do seu tempo em Ribeirao Preto no trabalho (T ), no seu flat (F ), em uma boate(B), ou com uma amante (A). Cada hora, ele muda de um destes possıveis estados de acordo com uma matriz deprobabilidade de transicao P . A mulher do Silva, que desconhece da existencia da amante, acredita que as mudancasestao determinadas pela matriz P E ,

T F B A

P D

T

F

B

A

0BB@1=3 1=3 1=3 0

0 1=3 1=3 1=3

1=3 0 1=3 1=3

1=3 1=3 0 1=3

1CCA ;T F B

P ED

T

F

B

0@1=3 1=3 1=3

1=3 1=3 1=3

1=3 1=3 1=3

1A :As pessoas so encontram com o Dr. Silva quando esta se encontra em J D fT;F;Bg. (ii) Calcule a matriz QP queaparentemente controla os movimentos do Dr. Silva. As aventuras do Dr. Silva serao continuadas no Exercıcio 43.

10 1. Tempo discreto

Exercıcio 12.| Seja X0 uma v.a. com valores no conjunto enumeravel S. Seja U1;U2; : : : uma sequencia de v.as.independentes e com distribuicao uniforme em [0,1]. Sejam as funcoes

� W S � Œ0; 1�! S; ' W Œ0; 1�! S

tais que

Xn D

(�.Xn�1;Un/; se n � 1;

.U0/; se n D 0:

(i) Mostre que .Xn/n�0 e uma cadeia de Markov e encontre a matriz de probabilidade de transicao P em termos de�. Escreva a distribuicao inicial � em termos de . (ii) E possıvel construir qualquer cadeia desta forma? O codigomarkov.R (na linguagem R ), implementa as ideias deste exercıcio e pode ser utilizado para resolver alguns exercıciospropostos adiante.

2. Classes de comunicacao

Iniciamos a continuacao o estudo de grupos de estados que apresentam certas caracterısticas em comum. Um dosobjetivos e o de restringir o estudo do processo definido em S a partes mais simples tais que juntas estas permitamfornecer uma visao geral do processo em S.

Definicao 6. Sejam i e j dois pontos quaisquer em S. O estado i conduz a j , denotado i ! j , se existe n > 0 talque pn

ij > 0. Utilizamos a notacao i 9 j para indicar que i nao conduz a j .

Definicao 7. O estado i comunica com o estado j , denotado i $ j , se i ! j e j ! i . Utilizamos a notacao i = j

para indicar i 9 j ou j 9 i , ou i 9 j e j 9 i .

Ressaltamos que na ultima definicao o numero de passos necesarios para estabelecer a comunicacao de i ate j

nao e necessariamente igual ao numero de passos no sentido contrario.

Teorema 5. Para quaisquer dois estados i; j 2 S, i ¤ j , as seguintes afirmacoes sao equivalentes.

(i) i ! j .

(ii) pi0i1pi1i2

� � �pin�1in> 0 para uma seqencia de estados i0; i1; : : : ; in com i0 D i e in D j .

(iii) pnij > 0 para algum n � 0.

Demonstracao. Observamos primeiro que

pnij � Pi.Xn D j para alguns n � 0/ �

1XnD0

pnij ;

ja que

fXn D j jX0 D ig �[

alguns k � n

fXk D j jX0 D ig �

1[k�n

fXk D j jX0 D ig

demonstrando a equivalencia entre (i) e (iii). Segue-se do Teorema 4 que

pnij D

Xi1;i2;:::;in�1

pii1pi1i2

: : :pin�1j ;

o qual implica a equivalencia entre (ii) e (iii). �

E simples verificar que relacao$ e uma relacao de equivalencia em S. A relacao$ pode ser utilizada paraclassificar os elementos de S , uma vez que esta induz una particao de S . Os conjuntos desta particao sao conhecidascomo as classes de comunicacao de S .

http://dcm.ffclrp.usp.br/~rrosales/

2. Classes de comunicacao 11

Definicao 8. Uma classe de comunicacao C e fechada se

i 2 C W i ! j ) j 2 C:

A classe fechada relacionada a i sera denotada por C.i/ D fj 2 S W i ! j g. Uma classe sera chamada de aberta seesta nao e fechada.

Uma classe fechada e uma classe sem saıda ja que se em algum instante X atinge um estado da classe fechada,entao X nao consegue se comunicar com um estado de outra classe.

Definicao 9. Um estado i 2 S e chamado de estado absorvente se o conjunto fig e uma classe fechada.

Neste sentido uma classe de comunicacao fechada e uma classe absorvente.

Definicao 10. X e uma cadeia de Markov irredutıvel se S e a unica classe de comunicacao induzida por$.

Se X e irredutıvel entao diremos que P e uma matriz irredutıvel, ou equivalentemente que S e irredutıvel.

Exemplo 3. A procura das classes de comunicacao e simplificada ao achar o grafo G associado a matriz deprobabilidade de transicao P . Para a seguinte matriz de probabilidade de transicao

P D

0BBBBBBB@

1=2 1=2 0 0 0 0

0 0 1 0 0 0

1=3 0 0 1=3 1=3 0

0 0 0 1=2 1=2 0

0 0 0 0 0 1

0 0 0 0 1 0

1CCCCCCCA:

Consideramos os estados v1, v2, : : :, v6, e os associamos nesta ordem as filas e as colunas de P , o qual imediatamenteiduz o grafo

v3

v1

v2

v4

v5 v6

Diretamente do grafo deduzimos que esta cadeia apresenta as classes de comunicacao fv1; v2; v3g, fv4g e fv5; v6g.A classe fv5; v6g e fechada pois se X entra neste conjunto de estados X nao pode mais sair destes. Os estadosfv1; v2; v3g formam uma classe pois v1 ! v2 e v1 ! v3, v2 ! v1 e v2 ! v3, e finalmente v3 ! v1, v3 ! v2.Observamos tambem que fv4g … fv1; v2; v3g ja que v4 9 v1 (e tambem v4 9 v2 e v4 9 v3). As classes fv1; v2; v3g

e fv4g sao classes abertas desde que estas comunicam com estados de outras classes. Isto conclui a descricao dasclasses de comunicacao de S.


Exercıcios

Exercıcio 13. Seja X uma cadeia de Markov com grafo de transicao

c

a edb

(i) Encontre as classes de estados fechadas. (ii) Diga se X e irredutıvel.

Exercıcio 14. Classifique os estados para o processo no Exemplo 1 e no Exemplo 2. Diga se X em cada um destescasos e irredutıvel.

Exercıcio 15. Mostre que$ e uma relacao de equivalencia em S.

3. Tempos do primeiro retorno e da primeira chegada

Uma parte significativa dos problemas encontrados no estudo das cadeias de Markov pode ser reduzida ao estudo deduas variaveis aleatorias conhecidas como o primeiro tempo de retorno e o primeiro tempo de chegada.

Definicao 11. Seja X Markov(�;P ) com valores em S . O primeiro tempo de chegada ao conjunto A � S e a variavelaleatoria �A W �! ZC [ fC1g dada por

�A.!/ D inffn � 0 W Xn.!/ 2 Ag:

(sendo inff∅g D 1.) . O primeiro tempo de retorno a A � S e a variavel aleatoria �A W �! N [ fC1g definidacomo

�A.!/ D inffn � 1 W Xn.!/ 2 Ag:

Segue diretamente desta definicao que �A D �A1fX0…Ag quase certamente (q.c.2). Condicionando pelo eventoinicial fX0 D ig, a probabilidade de que X eventualmente chegue ate A e denotada por

hAi D Pi.�A <1/ D

Xn�0

Pi.�A D n/:

O tempo esperado para chegar ate A a partir de i e denotado por

kAi D Ei Œ�A� D

Xn�0

nP.�A D n/C1P.�A D1/:

Definicao 12. Se A e uma classe fechada. Para qualquer i 2 S , hAi e chamada de probabilidade de absorcao em A e

kAi e o tempo medio ate a absorcao em A.

Exemplo 4. O seguinte exemplo ilustra o calculo de hAi e kA

i num caso elementar. Seja X uma cadeia com valoresem S D f1; 2; 3; 4g e o seguinte grafo de transicao

2q.c. e a forma abreviada de ‘quase certamente’. A afirmacao ' sobre uma variavel aleatoria se diz quase certa se Pf! W ' e verdadeirag D 1, ou equivalentementese Pf! W ' nao e verdadeirag D 0.

3. Tempos do primeiro retorno e da primeira chegada 13

1 2 3 412

12

12

12

Se X e iniciada no estado 2, qual a probabilidade de X ser absorvida em 4? Quanto tempo demora X para serabsorvida em 1 ou em 4? Seja A D f1; 4g, claramente das definicoes de hi e ki temos

h41 D 0; h4

4 D 1; kA1 D kA

4 D 0:

Suponhamos agora que X0 D 2 e a seguir consideramos as possibilidades apos da primeira transicao, isto e, comprobabilidade 1

2pulamos de 2 a 1 e com 1

2de 2 a 3, logo

h42 D

1

2h4

1 C1

2h4

3;(a)

kA2 D 1C

1

2kA

1 C1

2kA

3 :(b)

A justificativa destas equacoes esta baseada essencialmente na propriedade de Markov. Para (a), seja E D fX eabsorvida em 4g, logo

h42 D P.E jX0 D 2/ D

Xk2SP.E;X1 D k jX0 D 2/

D P.E;X1 D 1 jX0 D 2/C P.E;X1 D 3 jX0 D 2/

D P.E jX1 D 1;X0 D 2/P.X1 D 1 jX0 D 2/C P.E jX1 D 3;X0 D 2/P.X1 D 3 jX0 D 2/

D P.E jX1 D 1/p21 C P.E jX1 D 3/p23:

A ultima linha segue do Teorema 1. Um argumento similar pode ser utilizado para comprovar (b), mais a justificativaformal sera deixada para o Teorema 7 adiante. Com probabilidade p21 D

12

ocorre a primeira transicao ao estado1, logo temos que considerar k4

1como o valor esperado dos passos ate a absorcao. A outra possibilidade, a qual

corresponde a transicao de 2 a 3 inclui as quantidades p23 D12

e h43. Utilizando exatamente este mesmo procedimento

agora obtemos h43 e kA

3 ,

h43 D

1

2h2 C

1

2h4

4(c)

kA3 D 1C

1

2kA

2 C1

2kA

4(d )

Substituindo (c) em (a) e lembrando que h41 D 0, h4

4 D 1, obtemos

h42 D

1

2

�1

2h4

2 C1

2

�; logo h4

2 D1

3:

Finalmente, de (d ) em (b) e kA1D kA

4D 0,

kA2 D 1C

1

2

�1C

1

2kA

2

�; entao kA

2 D 2:

Este exemplo tem por objetivo mostrar o argumento central baseado na decomposicao associada a primeiratransicao. Dependendo da simetria inerente ao grafo de transicao, sucessivas decomposicoes podem levar diretamentea resposta final. Em geral este metodo permite construir uma equacao em diferenca a qual pode ser resolvida utilizandodiversas tecnicas. O apendice a estas notas apresenta um metodo geral para resolver este tipo de equacoes. Em geraltemos o seguinte resultado.

Teorema 6 (probabilidade da primeira chegada). O vetor da probabilidade dos tempos da primeira chegada aoconjunto A � S, hA D .hA

i W i 2 S/, e a solucao nao negativa mınima ao sistema linear

(2) hAi D

(1; se i 2 A;P

j2S pij hAj ; se i … A:


h e a solucao mınima se para uma outra solucao g D .gi W i 2 S/ tal que gi � 0, entao pontualmente gi � hi .

Demonstracao. Mostraremos primeiro que hAi e uma solucao ao sistema indicado. Trivialmente, se X0 D i 2 A

entao �A D 0 implica hAi D 1. Se X0 D i … A, entao �A � 1 e seguindo a propriedade de Markov,

Pi.�A <1jX1 D j / D P.�A <1jX1 D j ;X0/ D P.�A <1jX1 D j /

D Pj .�A <1/ D hAj ;

logo,

hAi D

Xj2S

Pi.�A <1;X1 D j / DXj2S

Pi.�A <1jX1 D j /Pi.X1 D j /

D

Xj2S

pij hAj :

Mostramos agora que hA e a solucao mınima. Suponhamos que g D .gi W i 2 S/ e uma outra solucao qualquerportanto se i 2 A entao gi D 1 D hA

i . Porem, se i … A entao

gi D

Xj2S

pij gj D

Xj2A

pij C

Xj…A

pij gj :

Substituindo da mesma maneira mais uma vez para gj ,

gi D

Xj2A

pij C

Xj…A

pij

�Xk2A

pjk C

Xk…A

pjkgk

�D Pi.X1 2 A/C Pi.X1 … A;X2 2 A/C

Xj…A;k…A

pij pjkgk :

Repetindo este argumento por inducao tem-se

gj D Pi.X1 2 A/C : : :C Pi.X1 … A; : : : ;Xn�1 … A;Xn 2 A/

C

Xj1…A:::jn…A

pij1pj1j2

: : :pjn�1jngjn:

Se g e nao negativa entao o ultimo termo da equacao acima e nao negativo. Por outro lado, os termos restantes temsoma igual a Pi.� � n/, portanto

gi � Pi.�A � n/; n � 1;

Assim, no limite n!1,

gi � limn!1

Pi.�A � n/ D Pi

�[n

f�A � ng�D Pi.�A <1/ D hi : �

Este Teorema quando aplicado ao Exemplo 4 leva diretamente ao seguinte sistema

h44 D 1; h4

2 D1

2h4

1 C1

2h4

3; h43 D

1

2h4

2 C1

2h4

4;

o qual expressa h42 em terminos do valor desconhecido h4

1. Da minimalidade da solucao podemos considerar h41 D 0,

o qual leva ao valor h42D

13

.

Apresentamos a continuacao dois exemplos classicos da aplicacao do principio de decomposicao da primeiratransicao. Cada um destes resulta em uma equacao em diferenca particular.

Exemplo 5 (Ruına do jogador). Seja X Markov.�;P / com valores em ZC e probabilidades de transicao p0;0 D 1,pi;i�1 D q, pi;iC1 D p para 0 < p < 1, q D 1 � p. O processo determinado por estas probabilidades de transicao


corresponde ao modelo descrito informalmente no Exemplo 2. Desejamos calcular a probabilidade da ruına, ou sejade que Xn D 0 dado que X0 D i , i 2 N. Nao e difıcil chegar a seguinte resposta

Pi.Xn chega a 0/ D Pi.�0 <1/ D h0i :

Da decomposicao da primeira transicao obtemos entao que

h00 D 1;

h0i D ph0

iC1 C qh0i�1; i � 1:(3)

Um metodo geral para resolvermos a equacao em diferenca de segunda ordem e apresentado no apendice. Apre-sentamos a seguir um outro metodo parecido com o metodo utilizado para resolver equacoes diferenciais ordinariaslineares, o qual consiste em encontrar duas solucoes, ˛1 e ˛2, linearmente independentes tais que

h0i D c1.˛1/

iC c2.˛2/

i :

Propomos primeiro uma solucao da forma h0i D ˛i , de maneira que a recorrencia em (3) toma a forma ˛i D

p˛iC1 C q˛i�1, i � 1. Em particular para i D 1 temos a equacao caracterıstica

p˛2� ˛ C q D 0

com raızes

˛� D1 �

p1 � 4pq

2p; ˛C D

1Cp

1 � 4pq

2p:

Duas situacoes sao possıveis, A: 1 � 4pq D 0 (quando p D q D 12

), e B: 1 � 4pq ¤ 0. Analisamos cada casoseparadamente.

Caso A. Se p D q entao temos ˛� D ˛C D ˛ D 1. Logo propomos mais uma solucao (linearmente independentede ˛i) da forma i˛i e entao em geral obtemos

h0i D c1.˛/

iC c2i.˛/i D c1 C c2i:

Esta solucao tem que ser valida para todo i � 0, o qual forca c2 D 0 de maneira que no limite i ! 1, h0i ainda

possa satisfazer h0i � 1. A nossa solucao agora apresenta a forma h0

i D c1, mas da condicao inicial do problemah0

0D 1 D c1 C c2 inferimos que c1 D 1, logo finalmente h0

i D 1. Isto implica que mesmo quando o cassino ehonesto, com certeza sempre acabaremos arruinados, independentemente da nossa quantidade inicial de dinheiro. (melhor saber retirarse a tempo!)

Caso B. Se p ¤ q, entao

˛� D1 �

p1 � 4p.1 � p/

2pD

1 �p.2p � 1/2

2pD

q

p

e

˛C D1C

p.2p � 1/2

2pD 1:

Neste caso a solucao geral ja toma a forma desejada

h0i D c1.1/

iC c2

� q

p

�i

;

porem ainda fica por ser determinados os valores de c1 e c2. Observamos que se p < q, entao no limite i !1 temosque .q=p/i diverge, portanto seguindo o mesmo argumento empregado no caso A concluımos que h0

i D 1 para i � 1.Isto e, se a chance de perder cada aposta e maior que a chance de ganhar, entao com certeza tambem acabaremosarruinados! Finalmente se p > q, utilizando a condicao inicial na solucao geral temos

h0i D c1 C .1 � c1/

� q

p

�i

D

� q

p

�i

C c1

�1 �

� q

p

�i�:


Sendo p > q, necessariamente 1 � .q=p/i > 0, o qual implica que c1 � 0 e entao h0i � 0. Utilizamos a propriedade

minimal de h0i demonstrada no Teorema 6 para justificar a escolha c1 D 0. A solucao neste caso e portanto

h0i D

� q

p

�i

:

Concluımos que com probabilidade positiva podemos perder todo o nosso dinheiro mas a mesma diminui geometrica-mente com i , isto e, a medida que entramos com mais dinheiro no cassino. So no limite i !1 podemos garantir quea probabilidade de nao ficar arruinados seja 1.

Exemplo 6 (Cadeia de nascimento e morte simples). Seja X uma cadeia de Markov com valores em ZC e probabili-dades de transicao p0;1 D 0, pi;iC1 D pi , e pi;i�1 D qi . O grafo deste processo e portanto

desenhar o grafo aqui

Este processo e muito parecido com o processo que descreve a ruına do jogador, mas agora as probabilidades detransicao em cada instante dependem do estado atual do processo. A cadeia assim definida pode ser utilizada paramodelar o crescimento de uma populacao a qual no instante n apresenta i indivıduos, i.e., Xn D i . Uma quantidadeimportante nesta aplicacao e a probabilidade de extincao da populacao. Dado que a populacao apresenta inicialmentei indivıduos temos

Pi.chegar a 0 indivıduos/ D Pi.�0 <1/ D h0i :

Utilizando a decomposicao da primeira transicao temos que esta probabilidade satisfaz a seguinte relacao de recorrencia

h0i D pih

0iC1 C qih

0i�1; i D 1; 2; : : :

Observamos que, a diferenca do Exemplo 2, a equacao em diferenca que descreve h0i agora nao e homogenea pois

os coeficientes qi , pi dependem do estado atual do processo. Mesmo assim, neste caso ainda e possıvel encontrar asolucao diretamente. Seja

ıi D h0i�1 � h0

i ;

logo

piıiC1 D pih0i � pih

0iC1 D pih

0i � .h

0i � qih

0i�1/

D �h0i .1 � pi/C qih

0i�1 D qi.h

0i�1 � h0

i / D qiıi ;

e portantoıiC1 D

qi

pi

ıi :

Desta forma, utilizando inducao sobre i conseguimos

ıiC1 Dqi

pi

qi�1

pi�1

� � �q1

p1

ı1:

Se i DQi

kD1 qk=pk , para i � 1, entaoıiC1 D iı1:

Por outro lado observamos queı1 C ı2 C : : :C ıi D h0

0 � h0i :

Combinando estes dois resultados temos a forma geral para a probabilidade de extincao obtemos

h0i D 1 � ı1

i�1XjD0

j :

Para obtermos h0i , ainda temos que calcular ı1. Consideramos a tal fim separadamente os seguintes casos, A:P1

iD0 i D1, e B:P1

iD0 i <1.

Caso A. Para termos h0i � 1, i � 1, e necessario que ı1 D 0. Neste caso, com probabilidade 1, a populacao sera

extinta para qualquer numero inicial de indivıduos.


Caso B. SeP1

iD0 i <1, entao deve existir um ındice k <1 tal que

qkCn � � � q1

pkCn � � �p1

D 0;

para todo n � 0. Portanto e possıvel considerar ı1 > 0 sempre e quando ı1. 0 C : : : C i�1/ < 1, para i � 1.Utilizando o Teorema 6 escolhemos

ı1 D

� 1XiD0

i

��1

;

ja que neste caso obtemos a solucao mınima para h0i . Obviamente a escolha satisfaze ı1. 0C : : :C i�1/ < 1 e entao

da expressao geral para h0i temos

h0i D 1 �

Pi�1jD0 jP1jD0 j

D

P1jDi jP1jD0 j

< 1; i � 1:

Concluımos que para qualquer quantidade inicial de indivıduos, i � 1, a probabilidade de extincao h0i < 1, ou

equivalentemente Pi.sobrevivencia/ D 1 � h0i > 0.

Este exemplo, igualmente ao anterior, mostra como a condicao de minimalidade e util na solucao de equacoesem diferenca para calcular hA

i , em especial quando S nao e finito pois neste caso usualmente nao temos uma dascondicoes de contorno necessarias.

Voltamos agora a considerar os tempos esperados da primeira chegada a um conjunto A � S , isto e kAi . Para esta

quantidade apresentamos o seguinte resultado geral.

Teorema 7 (tempo esperado da primeira chegada). O vetor de tempos esperados de chegada kA D .kAi W i 2 S/, e a

solucao mınima, nao-negativa ao sistema de equacoes lineares

kAi D

(0; se i 2 A;

1CP

j…A pij kAj ; se i … A:

Demonstracao. Mostramos primeiro que kA D .Ei Œ�A� W i 2 S/ satisfaz este sistema. Se X0 D i 2 A entao �A D 0,logo Ei Œ�A� D Ei Œ0� D 0. Se X0 D i … A entao �A � 1. Observamos primeiro que

Ei Œ�A jX1 D j � D Ei Œ�A jX1 D j ;X0 D i �

D EŒinffn � 0 W Xn 2 Ag jX1 D j ;X0 D i �

D EŒinffn � 1 W Xn 2 Ag jX1 D j �

D 1C EŒinffn � 0 W Xn 2 Ag jX0 D j � D 1C Ej Œ�A�

sendo que a primeira e a terceira igualdade seguem da propriedade de Markov. A terceira tambem utiliza X0 D i … A,e a quarta e consequencia da homogeneidade (temporal) do processo. Agora

kAi D Ei Œ�A� D

Xj2S

Ei

��A1fX1Djg

�D

Xj2S

X!

�A.!/1fX1Djg.!/Pi.!/

D

Xj2S

Xn

nPi.�A.!/ D n;X1.!/ D j /

D

Xj2S

Xn

nPi.�A.!/ D n jX1 D j /Pi.X1 D j /

D

Xj2S

Ei Œ�A jX1 D j �pij ;


e portanto da primeira parte da prova

kAi D

Xj2S

.1C Ej Œ�A�/pij D 1CXj2S

Ej Œ�A�/pij D 1CXj…A

pij kAj :

A restricao do somatorio ao complemento de A e devida a que kAj D 0 para j 2 A. Mostramos agora que

.kAi W i 2 S/ e de fato a solucao mınima. Suponhamos que r D .ri W i 2 S/ e qualquer outra solucao ao sistema.

Entao kAi D ri D 0 para qualquer i 2 A. Se i … A, dado que ri satisfaz o sistema,

ri D 1CXj…A

pij rj D 1CXj…A

pij

�1C

Xk…A

pjkrk

�D 1C

Xj…A

pij C

Xj…A;k…A

pij pjkrk

D Pi.�A � 1/C Pi.�A � 2/CX

j…A;k…A

pij pjkrk

Utilizando inducao

ri D

nXkD1

Pi.�A � k/CX

j1…A;:::;jn…A

pij1pj1j2

� � �pjn�1jnrjn:

Se r e nao negativa, entao necessariamente

ri �

nXkD1

Pi.�A � k/;

o qual e valido para todo n � 1, logo no limite

ri �

1XkD1

Pi.�A � k/ D Ei Œ�A� D kAi :

Nesta ultima linha utilizamos a identidade EŒ�� DP

k�0 P.� > k/, valida para qualqer variavel aleatoria tal que� � 0. �

Existe uma outra maneira para calcular os valores esperados do primeiro tempo de retorno, baseada no metodo dafuncao geradora.

Definicao 13. Seja � uma variavel aleatoria com valores em um conjunto enumeravel S. A funcao geradora deprobabilidade de � e definida por

G.z/ D EŒz� � DXi2S

ziP .� D i/;

para tudo jzj � 1 pertencente ao raio de convergencia da serie de potencia a direita da ultima igualdade.

O seguinte Lema apresenta algumas das propriedades basicas destas funcoes. A sua demonstracao e deixadacomo um exercıcio.

Lema 1. Se � tem funcao geradora G.z/, entao .i/ G.1/ D 1, .ii/ G.0/ D P .� D 0/, e .iii/

EŒ�� D G0.1/ DdG.z/

dz

ˇzD1:

Seja hji .n/ a distribuicao do primeiro tempo de retorno de i a j , isto e, h

ji .n/ D Pi.�j D n/, n D 0; 1; 2; : : :

Consideramos agora as seguintes funcoes geradoras

Gij .z/ D1X

nD0

znpnij ; Hi.z/ D

1XnD0

znhii.n/:


Lema 2. Seja X uma cadeia de Markov e i 2 S em estado qualquer. Neste caso, Gii.z/ D 1 C Hi.z/Gii.z/ eGij .z/ D Hi.z/Gjj .z/ se i ¤ j .

Demonstracao. Veja [GS01], pagina 85. �

Estes resultados podem ser utilizados para calcular o tempo medio do primeiro retorno. Do Lema 2 temos queHi.z/ D 1 � .Gii.z//�1, o qual combinado com o Lema 1 resulta em

kii D Ei Œ�i � D H 0i .z/

ˇzD1D

1 �

1

Gii.z/

!0 ˇˇzD1

:

Exemplo 7. Duas cadeias de Markov estao definidas pelas seguintes matrizes de probabilidade de transicao

.a/

0@1 � 2p 2p 0

p 1 � 2p p

0 2p 1 � 2p

1A ; .b/

0BB@0 p 0 1 � p

1 � p 0 p 0

0 1 � p 0 p

p 0 1 � p 0

1CCA :Calculamos a seguir os tempos de recorrencia esperados para cada um dos possıveis estados em (a) e (b). Para(a) encontramos primeiramente a funcao geradora Gii.z/, para o qual calculamos P n D NDnN �1. Da equacaocaracterıstica associada obtemos os tres autovalores 1, .1 � 2p/, e .1 � 4p/, logo

N D

0@1 1 1

1 0 �1

1 �1 1

1A ; N �1D

0@1=4 1=2 1=4

1=2 0 �1=2

1=4 �1=2 1=4

1ADnD

0@1 0 0

0 .1 � 2p/n 0

0 0 .1 � 4p/n

1Ae entao calculando o produto NDnN �1 obtemos os elementos da diagonal

pn11 D

1

4C

1

2.1 � 2p/n C

1

4.1 � 4p/n; pn

22 D1

2C

1

4.1 � 4p/n; pn

33 D pn11:

Assim

G11.z/ DXn�0

zn�1

4C

1

2.1 � 2p/n C

1

4.1 � 4p/n

�D

1

4.1 � z/C

1

2.1 � z.1 � 2p//C

1

4.1 � z.1 � 4p//:

Segundo o Lema 2 temos

k11 D H 01.z/

ˇzD1D

16p4

4p4D 4;

o qual tambem e o valor de k33 . Analogamente para pn

22, temos

G22.z/ DXn�0

zn�1

2C

1

2.1 � 4p/n

�D

1

2.1 � z/C

1

2.1 � z.1 � 4p//;

portanto

k22 D H 02.z/

ˇzD1D

8p2

4p2D 2:

Para a cadeia definida por (b) procedemos da mesma forma. Neste caso os autovalores sao �1,1, i.2p � 1/, e�i.2p � 1/, logo

pnjj D

1

4

�1C .�1/n C .i.2p � 1//n C .�i.2p � 1//n

�;

para qualquer j D 1; 2; 3; 4; e entao finalmente do Lema 2,

k11 D k2

2 D k33 D k4

4 D 4:


Exercıcios

Exercıcio 16. Uma cadeia de Markov com espaco de estados f1; 2; 3g apresenta a seguinte matriz de probabilidadede transicao

P D

0@ 13

13

13

0 12

12

0 0 1

1A :Mostre que o estado 3 e absorvente. Dado que X0 D 1, encontre o tempo esperado ate absorcao.

Exercıcio 17. Uma moeda honesta e lancada repetidas vezes. Calcule o numero esperado de lancamentos ate aparecera sequencia fcara, coroa, carag pela primeira vez.

Exercıcio 18. Seja X uma cadeia de Markov em ZC e probabilidades de transicao

p01 D 1; pi;iC1 C pi;i�1 D 1; pi;iC1 D

� i C 1

i

�2

pi;i�1; i � 1:

Mostre que se X0 D 0 entao a probabilidade de que Xn � 1 para todo n � 1 e 6=�2. [Podemos enchergar o problemacomo um processo de nascimento e morte nao homogeneo. A resolucao pode ser guiada pelo argumento exposto noExemplo 6.]

Exercıcio 19. (i) Calcule a probabilidade da sua ruına sendo que o seu capital inicial e i , isto e calcule h0i , mas

agora suponha que voce se encontra jogando contra uma outra pessoa com capital inicial j D a � i . (ii) Calcule aprobabilidade da ruına do seu oponente.

Exercıcio 20. Responda a pergunta (vii) formulada no Exemplo 1.

Exercıcio 21. Considere o enunciado do Exercıcio 19 e neste caso (i) calcule o tempo esperado da sua ruına. (ii)Calcule o tempo esperado da ruına do seu oponente.

Exercıcio 22. Este exercıcio e uma continuacao do exercıcio Exercıcio 5. Qual e o numero medio de meses no qualuma conta do tipo A permanecera no sistema? (isto e, o numero de meses em media para que esta vire do tipo F ouB.)

Exercıcio 23 (Serpentes e escadas3).

7 8 9

6 5 4

1 32

Um tabuleiro apresenta nove quadros, duas escadas, e duas cobras dispostasde acordo ao desenho ao lado. Suponha que voce inicia o jogo no quadro 1,e logo em cada turno voce joga uma moeda (honesta) de tal maneira que seo resultado e cara entao voce avanca dois quadros, mas se o resultado e coroavoce avanca so um quadro. Se voce se encontra com o pe de uma escada voceimediatamente sobe ate o final dela, mas se voce se encontra com a cabeca deuma cobra voce desce ate o final da cauda. (i) Quantas turnos sao necessariosem media para chegar ate o quadro 9? (ii) Qual a probabilidade de que umjogador que tenha chegado ate ao quadro 5 consiga chegar ate o 9 sem voltarate o quadro 1? (iii) Calcule a quantidade de turnos esperados se em lugar deuma moeda agora e utilizado um dado de tal forma que voce avanca n quadros

quando a face superior e n.

Exercıcio 24 (Duas pulgas).

3Este jogo, popular na Inglaterra Victoriana ao rededor de 1890, esta relacionado a um jogo da India de nome Moksha-Patamu, possıvelmente originado em 200A.C.

4. Propriedade forte de Markov 21

v1

a

v3 v4

b

Duas pulgas pulam independentemente uma da outra sobre os verices do grafo mostrado abaixo.Suponha que as pulgas iniciam o seu percurso nos verices a e b e que cada pulga pode pulara um vertice vizinho ou ficar no mesmo verice com probabilidade 1

3. (i) Encontre a matriz de

probabilidade de transicao associada ao processo correspondente a posicao relativa das duaspulgas em cada instante. (ii) Determine o tempo esperado no qual as duas pulgas se encontram

sobre o mesmo verice pela primeira vez. [Sugestao: considere a variavel aleatoria Xn Ddistancia entre as duas pulgasno instante n, sendo a distancia igual ao menor numero de elos entre as pulgas.]

Exercıcio 25. Demonstre o Lema 1.

Exercıcio 26. Considere novamente as questoes (i) e (ii) do Exercıcio 5. Observe porem que os estados B e F saoabsorventes logo, a resposta a (i) e (ii) pode ser obtida ao considerar respectivamente uma equacao de recorrencia.

Exercıcio 27. || Seja .Xn/n�0 Markov em f0; 1; 2; : : :g com matriz de transicao definida por

p0j D aj se j � 0; pii D r; pi;i�1 D 1 � r se i � 1:

Encontre o valor esperado dos tempos de retorno.

4. Propriedade forte de Markov

Um avanco significativo na teoria e conseguido ao considerar eventos do tipo

fXTC1; : : :XTCn jXT D i; : : : ;X0 D ig

para o instante aleatorio T .!/, em lugar de

fXmC1; : : :XmCn jXm D i; : : : ;X0 D ig

onde m e um instante fixo determinado a priori. Precisamos porem da seguinte restricao para poder condicionar porum instante aleatorio.

Definicao 14. A variavel aleatoria T W �! f0; 1; : : :g [ f1g e um tempo de parada para o processo X , se o eventofT D mg so depende de X0; : : : ;Xm.

Exemplo 8. Seja X um processo aleatorio com valores em S. (i) O primeiro tempo de retorno ao estado i , �i , e umtempo de parada para X uma vez que

f�i D ng D fX0 ¤ i;X1 ¤ i; : : : ;Xn�1 ¤ i;Xn D ig:

(ii) O primeiro tempo de chegada a i , �i , tambem e um tempo de parada para X . (iii) O ultimo tempo de saıda deA � S,

iA D supfn � 0 W Xn 2 Ag

nao e um tempo de parada para X , ja que fiA D ng claramente depende do evento fXnCm 2 A W m � 1g.

A propriedade de Markov ainda e valida se a variavel aleatoria T e um tempo de parada. O ponto crucial eobservar que se B e um evento determinado por X0; : : : ;XT , entao B \ fT D mg esta determinado por X0; : : : ;Xm.

Teorema 8 (Propriedade forte de Markov). Seja X Markov.�;P / e B um evento determinado por X0; : : : ;XT . Dadoo evento fT <1;XT D ig, o processo .XTCn/, n � 0, e Markov.ıi ;P / e independente de X0; : : : ;XT .

Demonstracao. Seja B D fX0; : : : ;XT g entao B \ fT D mg esta determinado por X0; : : : ;Xm. Agora

P.fXT D j0; : : : ;XTCn D jng \ fB;T <1;XT D ig/

D

Xm�0

P.fXT D j0; : : : ;XTCn D jng \ fB;T D m;XT D ig/;


logo

P.XT D j0; : : : ;XTCn D jn;B jT <1;XT D i/

D

Xm�0

P.XT D j0; : : : ;XTCn D jn;B;T D m;XT D i/P.T D m;XT D i/�1

mas se T D m, entao XT D Xm. Desta forma temos queXm�0

P.Xm D j0; : : : ;XmCn D jn;X0; : : : ;Xm;T D m;Xm D i/P.T D m;Xm D i/�1

D

Xm�0

˚P.Xm D j0; : : : ;XmCn D jn jX0; : : : ;Xm;Xm D i;T D m/

P.X0; : : : ;Xm;Xm D i;T D m/P.T D m;Xm D i/�1;

assim, da propriedade fraca de Markov, a expressao a direita da ultima igualdade eXm�0

P.Xm D j0; : : : ;XmCn D jn jXm D i/P.X0; : : : ;Xm jT D m;Xm D i/:

Da homogeneidade do processo, concluımos portanto que

Pi.X0 D j0; : : : ;Xn D jn/Xm�0

P.X0; : : : ;Xm jT D m;Xm D i/

D Pi.X0 D j0; : : : ;Xn D jn/P.B jT <1;XT D i/: �

5. Recorrencia e transitoriedade

Existe uma outra maneira de classificar os estados em S de acordo a se estes podem ser visitados um numero infinitode vezes ou nao. Veremos que esta classificacao e essencial para estudar as propriedades de Xn no limite n!1.Baseamos a exposicao das nocoes de recorrencia e transitoriedade nos tempos do primeiro retorno �A. Posteriormenteveremos que existem caracterizacoes alternativas.

Definicao 15. Seja X Markov.�;P / com valores no conjunto enumeravel S. O estado i 2 S e recorrente4 se

Pi.Xn D i para infinitos n/ D 1:

O estado i 2 S e transitorio sePi.Xn D i para infinitos n/ D 0:

A cadeia e recorrente se S e recorrente.

Um estado e recorrente se este e visitado infinitas vezes, caso contrario este e transitorio. Se um estado e transitorioentao eventualmente existe um instante a partir do qual a cadeia nao visita mas este estado. Mostraremos que S podeser particionado em classes de estados recorrentes e transitorias, porem mais importante-mente desenvolveremosvarios criterios de recorrencia e transitoriedade equivalentes.

Seja �i o primeiro tempo de retorno a i . Se �0i � 0, e �1

i � �i , entao o k-esimo tempo de retorno a i e definidoindutivamente para k D 0; 1; : : : como

�kC1i .!/ D inffn � �k

i .!/C 1 W Xn.!/ D ig

Logo a duracao da k-esima excursao i e

Eki D

(�k

i � �k�1i ; se �k�1

i <1;

0; caso contrario:

A relacao entre �ki e Ek

i e apresentada na Figura 2.

4as vezes tambem denominado persistente

5. Recorrencia e transitoriedade 23

i

�1i

Xn.!/

E1i

E2i

E3i

E5i

E6i

�2i

�3i

�5i�0

i

Figura 2. tempos de excursao e do primeiro retorno ao estado i.

A primeira caracterizacao das nocoes de recorrencia e transitoriedade a ser descrita estara baseada na distribuicaoconjunta da duracao dos tempos de excursao. Com este proposito apresentamos dois resultados preliminares.

Lema 3. Para k D 2; 3; : : :, dado �k�1i <1, Ek

i e independente de fXm W m � �k�1i g, e

P.Eki D n j �k�1

i <1/ D Pi.�i D n/:

Demonstracao. A prova consiste em mostrar as duas igualdades

P�Ek

i D n; fXm W m � �k�1i g j �k�1

i <1�

D P�Ek

i D n j �k�1i <1

�P�fXm W m � �

k�1i g j �k�1

i <1�

(4)

D P.�i D n jX0 D i/P�fXm W m � �

k�1i g j �k�1

i <1�:(5)

Observamos primeiramente que T D �k�1i e um tempo de parada o qual implica

P�fEk

i D ng\ fXm W m � T g jT <1�

D P�f�k

i � T D ng \ fXm W m � T g jT <1�

D P.XT ; : : : ;XTCn D i;X0; : : : ;XT jT <1/:

Embora, no instante T a cadeia esta em i portanto

P.XT ; : : : ;XTCn;X0; : : : ;XT jXT D i;T <1/

D P.XT : : : ;XTCn jXT D i;T <1/P.X0; : : : ;XT jXT D i;T <1/

D P.Eki D n j �k�1

i <1/P.X0; : : : ;XT j �k�1i <1/:

A segunda igualdade segue diretamente ao aplicarmos o Teorema 8 para o tempo de parada T . Isto prova (4). Para (5)e suficiente observar, mais uma vez do Teorema 8, que .XTCn/, n � 0 e Markov.ıi ;P /. Neste caso

Eki D inffn � 1 W XTCn D ig

e o primeiro tempo de retorno a i para esta cadeia, logo o resultado e imediato. �

Consideramos agora a variavel aleatoria

Vi.!/ D

1XnD0

1fXnDig.!/;


com valores em N [ fC1g. Vi denota o numero de vezes nas quais X passa pelo estado i . Observamos que

Ei ŒVi � D Ei

h 1XnD0

1fXnDig

iD

1XnD0

Ei Œ1fXnDig� D

1XnD0

Pi.Xn D i/ D

1XnD0

pnii :

A matriz G com entradas .G/ij D Ei ŒVj �, i; j 2 S, e conhecida como a matriz de potencial da cadeia X .

Definicao 16. Denotamos por f ki , k � 1, a probabilidade do k-esimo retorno a i , isto e,

f ki D Pi.�

ki <1/:

Mostramos a continuacao que e possıvel calcular a distribuicao de Vi a partir da probabilidade do primeiro retornoa i , fi � f

1i .

Lema 4. Pi.Vi > k/ D f ki para k D 0; 1; : : :.

Demonstracao. Observamos primeiro que a igualdade e valida para k D 0. Se X0 D i entao fVi > 0g D f�0i <1g,

ja que neste caso Vi D 1 e por definicao �0 D 0. O resultado segue utilizando inducao sobre k. Suponhamos quecondicionalmente dado X0 D i para k > 0 temos fVi > k C 1g D f�kC1

i < 1g. Agora, se �kC1i � �k

i D EkC1i ,

entao �kC1i D EkC1

i C �ki , assim

Pi.�kC1i <1/ D Pi.E

kC1i <1; �k

i <1/

D Pi.EkC1i <1j �k

i <1/Pi.�ki <1/:

Do Lema 3, o primeiro termo a direta da ultima igualdade e Pi.�i <1/. Desta forma

Pi.Vi > k C 1/ D Pi.�i <1/Pi.�ki <1/ D fif

ki D f

kC1i : �

Exercıcio 28. Suponha que V e uma variavel aleatoria com valores em ZC. Mostre que EŒV � DP1

kD0 P.V > k/.(Esta relacao e conhecida como a formula telescopica para a esperanca.)

Mostramos agora que a recorrencia de um estado pode ser caracterizada utilizando as probabilidades do primeiroretorno fi , ou os n-esimos iterados da matriz de probabilidade.

Teorema 9 (recorrencia-transitoriedade). Seja X Markov com valores em S, e i 2 S. Entao

(i) Se Pi.�i <1/ D 1 entao i e recorrente eP

n�0 pnii D1.

(ii) Se Pi.�i <1/ < 1 entao i e transitorio eP

n�0 p1ii <1.

Demonstracao. Se Pi.�i <1/ D fi D 1, entao f 2i D 1. Isto segue do Teorema 8, ja que se .Xn/ e Markov.�;P /

entao .X�iCn/ e Markov.ıi ;P / e independente de X0; : : : ;X�i , mas, de forma analoga ao Lema 3,

�2i D inffn � 1 W X�iCn D ig

e o primeiro tempo de retorno a i de .X�iCn/. Sendo que os dois processos apresentam a mesma lei, necessariamentea distribuicao de �2

i dado �i <1 e a mesma de �i dado X0 D i . Utilizando este argumento indutivamente obtemos

limk!1

Pi.�ki <1/ D lim

k!1f k

i D 1:

Agora, utilizando o Lema 4 temos

1 D limk!1

f ki D lim

k!1Pi.Vi > k/ D Pi

�\k

fVi > kg�D Pi.Vi D1/;


isto e, com probabilidade 1 Xn visita o estado i infinitas vezes, portanto i e recorrente. Mais ainda, se Pi.Vi > k/ D

f ki D 1, para k � 0, entao X

k�0

pkii D Ei ŒVi � D

Xk�0

Pi.Vi > k/ D1:

Se Pi.�i <1/ < 1 entao fi < 1, o qual implicaXk�0

pkii D

Xk�0

Pi.Vi > k/ DXk�0

f ki D

1

1 � fi

<1:

No sentido contrario, se fi < 1, entao Pi.Vi D 1/ D limn!1 fk

i D 0, i.e., a probabilidade de que X pase por i

infinitas vezes e zero por tanto i e transitorio. �

Observamos que recorrencia ou a transitoriedade sao propriedades de solidariedade no sentido de que estas saocompartilhadas pelos membros de uma classe de comunicacao.

Teorema 10. Seja C � S uma classe de comunicacao. Todos os estados de C sao recorrentes ou transitorios.

Demonstracao. Sejam i; j 2 C portanto existem inteiros n;m (positivos) tais que pnij > 0 e pm

ji > 0. Agora, paratodo k � 0, diretamente da relacao de Chapman-Kolmogorov (Teorema 4) obtemos

pnCkCmii D

Xj2S

pnij pk

jj pmji � pn

ij pkjj pm

ji :

Assim, Xk�0

pnCkCmii �

Xk�0

pnij pk

jj pmji ;

e entao Xk�0

pkjj �

Pk�0 pnCkCm

ii

pnij pm

ji

:

Se i e transitorio, entaoP

k pnCkCmii <1, mas entao da desigualdade acima j tambem e transitorio. �

Teorema 11. Toda classe recorrente e fechada.

Demonstracao. Da definicao, lembramos que C � S e fechada se para qualquer i 2 C , entao i ! j implicaj 2 C . De esta forma se C e aberta e i 2 C , entao existem j … C , m � 1 tais que Pi.Xm D j / > 0. Neste casoPi.fXm D j g \ fXn D i para infinitos ng/ D 0, ja que se a cadeia sai de C a j , entao esta nao pode mais voltara C (caso contrario j 2 C ). Entao Pi.Xn D i para infinitos n/ D Pi.f∅g/ D 0, e entao i nao e recorrente. DoTeorema 10, C e transitoria. �

Teorema 12. Toda classe finita e fechada e recorrente.

Demonstracao. Suponhamos que C e fechada e finita, e que X0 2 C . Seja i 2 C . Necessariamente existe pelomenos um caminho ! 2 � no qual X.!/ visita infinitas vezes o estado i portanto

0 < P.Xn D i para uma infinidade de ındices n/:

Seja T um tempo de parada tal que XT D i . Sem perda de generalidade consideramos T como sendo �i . Assim, secondicionamos por fT <1;XT D ig, segundo a propriedade forte de Markov obtemos

0 < P.X0; : : : ;XT j T <1;XT D i/Pi.Xn D i para uma infinidade de ıdices n/:

Isto implica em 0 < Pi.Xn D i para uma infinidade de ındices n/, portanto da Definicao 15, i e nao transitorioe neste caso, seguindo o Teorema 9 i e necessariamente recorrente. Logo pelo Teorema 10 isto implica que C erecorrente. �


Este Teorema e bastante util pois se C e uma classe finita, entao e possıvel determinar se esta e fechada ouaberta e portanto se e recorrente ou nao. A classificacao e mais delicada se a classe C nao e finita. Neste caso epossıvel encontrar exemplos onde C e fechada e transitoria. Um exemplo disto e a ruına do jogador (Exemplo 2) ondeC D S D ZC e fechada, mas se p > q entao com probabilidade positiva existe a chance de nao visitar a origem, istoe de nao perder todo o dinheiro. Um outro exemplo classico deste fenomeno sera apresentado na proxima secao.

O seguinte resultado sera necessario para mostrar o principal Teorema de convergencia na secao 7.

Teorema 13. Se P e irredutıvel e recorrente, entao P.�i <1/ D 1, para todo i 2 S.

Sob as hipoteses de recorrencia e irredutibilidade, este teorema mostra que independentemente do estado inicial,o primeiro tempo de retorno a um estado e finito. O Teorema 9 em cambio fornece um criterio de recorrencia a partirda probabilidade condicional do primeiro tempo de retorno dado o estado inicial.

Demonstracao. Notamos primeiro que

P.�j <1/ DXi2S

P.�j <1;X0 D i/ DXi2S

Pi.�j <1/P.X0 D i/;

logo sera suficiente verificar que Pi.�j <1/ D 1 para todo i 2 S. Seja m W pmij > 0. Se P e recorrente, entao

1 D Pj .Xn D j infinitas vezes/

D Pj .Xn D j para alguns n � mC 1/

D

Xk2S

Pj .Xn D j para alguns n � mC 1 jXm D k/Pj .Xm D k/

D

Xk2S

Pj .Xn D j para alguns n � mC 1 jXm D k/pmjk D

Xk2S

Pk.�j <1/pmjk :

A ultima igualdade segue da propriedade fraca de Markov. Finalmente, dado queP

k pmjkD 1, necessariamente

temos que Pi.�j <1/ D 1. �

Exercıcios

Exercıcio 29. Identifique as classes recorrentes e transitorias da cadeia definida no Exemplo 3.

Exercıcio 30. Seja X Markov.�;P /, com matriz de probabilidade de transicao

P D

0BBBBB@1=2 0 0 0 1=2

0 1=2 0 1=2 0

0 0 1 0 0

0 1=4 1=4 1=4 1=4

1=2 0 0 0 1=2

1CCCCCA :Clasifique os estados em transitorios e recorrentes.

Exercıcio 31. Seja X uma cadeia de Markov com valores em ZC e probabilidades de transicao

p0;1 D 1; pi;iC1 D p; pi;0 D 1 � p

para 0 < p < 1. (i) Diga se X e irredutıvel. (ii) Determine se X e recorrente ou transitoria. [Sugestao: estude ocomportamento de h1

1 D P.�1 <1jX0 D 1/.]

Exercıcios 27

Exercıcio 32. Mostre que para a cadeia definida no Exercıcio 18,

P.Xn !1 quando n!1/ D 1:

Suponha agora que a cadeia apresenta as seguintes probabilidades de transicao

pi;iC1 D

� i C 1

i

�˛pi;i�1:

Para cada ˛ 2 .0;1/ encontre o valor de P.Xn !1 quando n!1/. [Sugestao: estude a relacao de recorrenciapara a funcao gi.n/ D Pi.�n < �0/, i D 1, de forma parecida a como e feito no exemplo* e no exercıcio * e considereo limite n!1.]

5.1. Passeios aleatorios simples. Apresentamos primeiro o passeio aleatorio simples com valores em Z, ou ZC.Este processo ja foi considerado no Exemplo 2, mas agora o o identificamos explicitamente como uma cadeia deMarkov. Em particular isto permite o estudo da sua recorrencia/transitoriedade.

Seja X0;X1; : : : ;Xn uma seqencia de variaveis aleatorias independentes e identicamente distribuıdas comdistribuicao Bernoulli(p) e valores f�1; 1g tal que P.Xn D 1/ D p. Consideramos agora as somas parciais paran � 0,

Sn D S0 C

nXiD1

Xi ; S0 D 0:

A sequencia .Sn/ assim definida e um passeio aleatorio simples com valores em Z. No caso p D q D 1=2, chamamos.Sn/ de passeio aleatorio simetrico . Este processo restrito a ZC e com valor inicial S0 D k poderia representar afortuna de um jogador no instante n, mas as aplicacoes deste processo sao bem mais amplas. A Figura 2 mostra umcaminho tıpico de um passeio aleatorio simetrico com S0 D i D 0.

E simples observar que .Sn/, n � 0, e uma cadeia de Markov, de fato,

P.SnC1 D j jS0 D 0; : : : ;Sn D i/

D P.XnC1 C i D j jS0 D 0; : : : ;Sn D i/

D P.XnC1 D j � i/ D P.SnC1 D j jSn D i/

sendo que a segunda igualdade e valida uma vez que o incremento XnC1 e independente de S0; : : : ;Sn. Estaobservacao e importante pois mostra que os processos com incrementos independentes apresentam a propriedade deMarkov.

A matriz de probabilidade de transicao do passeio aleatorio simples em Z segue imediatamente da sua definicao,

P D

0BBBBBBBBBBB@

: : :::: . . .

0 p 0 0 0

q 0 p 0 0

� � � 0 q 0 p 0 � � �

0 0 q 0 p

0 0 0 q 0

. . .:::

: : :

1CCCCCCCCCCCADesta matriz podemos observar que o passeio aleatorio simples e irredutıvel (desenhe o grafo associado), sendoS D Z a unica classe fechada.

Voltamos agora a nossa atencao ao estudo da recorrencia-transitoriedade deste processo. Sendo S irredutıvel, doTeorema 10 sabemos que todo S e recorrente ou transitorio, logo e suficiente restringir o estudo da recorrencia a um


unico estado, por exemplo a origem. Neste caso de acordo com o Teorema 9, a quantidade a ser estudada eP

n pn00.

Saindo da origem, o numero de passos requeridos para retornar deve ser par, por exemplo 2n, logo e simples ver que

(6) p2n00 D P.S2n D 0 jS0 D 0/ D

�2n

n

�pnqn:

A fim de facilitar o estudo da serie envolvida, utilizamos a aproximacao de Stirling para n!, isto e,

n! �p

2�ne�nnn;

onde an � bn se limn!1 an=bn D 1. Utilizando esta aproximacao obtemos entao

p2n00 D

.2n/!

n!n!.pq/n �

p2� � 2ne�2n.2n/2n

.p

2�ne�nnn/2.pq/n D

1p�n

.4pq/n:

No caso simetrico p2n00� .�n/�1=2, logoX

n�0

p2n00 D �

�1=2Xn�0

1p

nD1;

e concluımos que o passeio retorna infinitas vezes a origem, portanto este e recorrente. No caso nao simetrico, sejar D 4pq. Observamos que 0 < r < 1, uma vez que r D 4p � 4p2 alcanca o valor maximo de 1 para p D 1=2, maseste ultimo corresponde ao caso simetrico. Logo,

p2n00 �

rn

p�n

<rn

p2�;

entao Xn�0

p2n00 .

1p

2�

Xn�0

rnD

1p

2�

1

1 � r<1:

Desta forma se p ¤ q, o passeio e transitorio. Conseguimos desta maneira uma cadeia de Markov onde S e a unicaclasse fechada, porem dependendo das probabilidades de transicao o processo pode ser recorrente ou transitorio. Sep > q entao com probabilidade positiva “Sn pode chegar a1” para mais nunca retornar a origem.

Consideramos agora o passeio aleatorio simetrico em Z2 D f.i; j / W i; j 2 Zg. O caso nao simetrico sera deixadocomo um exercıcio. A fim de retornar a origem em duas dimenses o passeio deve realizar o mesmo numero detransicoes a direita do que a esquerda e tambem o mesmo numero para acima do que para abaixo. Portanto neste casotambem so sao permitidos tempos de retorno pares. Qualquer caminho que retorna em 2n passos tem probabilidade1=42n. O numero de caminhos que conseguem voltar com k transicoes pra cima, k pra baixo, n � k a esquerda, en � k a direita e �

2n

k; k; n � k; n � k

�D

.2n/!

k!k!.n � k/!.n � k/!:

De esta forma

p2n00 D

1

42n

nXkD0

.2n/!

k!k!.n � k/!.n � k/!

D1

42n

nXkD0

.2n/!

n!n!

n!n!

k!k!.n � k/!.n � k/!

D1

42n

�2n

n

� nXkD0

�n

k

�2

;

masnX

kD0

�n

k

��n

k

�D

nXkD0

�n

n � k

��n

k

�D

�2n

n

�:

Exercıcios 29

O ultimo coeficiente a direita corresponde ao numero de maneiras de escolher n bolas de um total de 2n, e os doiscoeficientes no meio correspondem a escolha sendo que existem n bolas brancas e n pretas5. Entao

(7) p2n00 D

�1

22n

�2n

n

��2

;

o qual e o quadrado do resultado obtido para o passeio em Z. Concluımos desta maneira queXn�0

p2n00 �

Xn�0

1

�nD1

e portanto o passeio aleatorio simetrico em Z2 e recorrente.

Uma comparacao das equacoes (6) e (7) sugere que a probabilidade do retorno a origem do passeio aleatorio emZ2 e igual a probabilidade do retorno de dois passeios aleatorios independentes, um destes no eixo x e o outro em y.Isto e de fato verdade e pode ser mostrado da seguinte maneira. Considere a rotacao em 45 graus dos eixos x;y, oqual gera os eixos Nx; Ny. A seguinte figura mostra estes eixos assim como tambem as coordenadas da possıvel posicaode um passeio apos da primeira transicao em ambos sistemas.

�1

�1

1

1

x

y

NxNy

p2

x;y Nx; Ny

.0; 1/�

1p2; 1p

2

�.0;�1/

��

1p2;� 1p

2

�.1; 0/

�1p2;� 1p

2

�.�1; 0/

��

1p2; 1p

2

�

Suponhamos agora que temos dois pas-seios aleatorios independentes, ambos comvalores em 1p

2Z mas um deste no eixo Nx e o

outro em Ny. Se projetamos as suas posicoesapos da primeira transicao nos eixos x � y,vemos que estas coincidem com as quatropossıveis posicoes do passeio aleatorio sim-ples em Z2. Isto e, nao e possıvel distinguiros movimentos de dois passeios indepen-dentes com valores em 2�

12 Z sobre Nx � Ny,

dos movimentos de um passeio com valoresem Z2 sobre os eixos x � y. Mais ainda, a probabilidade de qualquer uma das quatro posicoes em ambos casos e.1=2/ � .1=2/ D 1=4. Dado que a probabilidade do retorno a origem nao depende da magnitude dos incrementos,concluımos que a probabilidade de que os dois passeios aleatorios independentes iniciados em .0; 0/ se encontremapos de 2n pulos em .0; 0/ e Œ.1=22n/

�2nn

��2. Esta ultima e de fato e a probabilidade do retorno do processo original

em Z2.

Exercıcios

Exercıcio 33. Seja .Sn/ um passeio aleatorio simples. Mostre que para quaisquer dois inteiros positivos a, b,

P.Sn D j jS0 D a/ D P.Sn D j C b jS0 D aC b/:

(o passeio aleatorio simples e espacialmente homogeneo.)

Exercıcio 34. Seja k um inteiro e n um inteiro tais que k � n. Se .Sn/ e um passeio aleatorio simples em Z, mostreque

P.Sn D k/ D

8<:

0 se n e k nao tem a mesma paridade�n

nCk2

�p.nCk/=2q.n�k/=2 caso contrario

5Esta igualdade e conhecida como a convolucao de Vandermonde em honra a A. Vandermonde, quem a finais de 1700 escreveu um artigo sobre varias identidadesrelacionadas. Esta igualdade ja era conhecida por Chu Shih-Chieh na China em 1303. Shis-Chieh tambem conhecia a relacao entre o triangulo de Pascal e os coeficientesbinomiais na expansao de .aC b/n bem antes que Pascal.


[Sugestao: Suponha que s.!/ denota o numero de transicoes a direita (com valor +1) e que t.!/ denota o numerode transicoes a esquerda (com valor -1) ate o instante n. Assim, fSn D kg ocorre se fs.!/ � t.!/ D kg efs.!/C t.!/ D ng.]

Exercıcio 35. Seja Sn D X0 CX1 C : : :CXn um passeio aleatorio simples. Encontre as seguintes probabilidades:(i) P .S4 D k/ para todos os posıveis valores de k, (ii) P .Sn � 0 para n D 1; 2; 3; 4/, (iii) P .Sn ¤ 0 para n D

1; 2; 3; 4/, (iv) P .Sn � 2 para n D 1; 2; 3; 4/, e P .jSnj � 2 para n D 1; 2; 3; 4/.

Exercıcio 36. Suponha que um passeio aleatorio simples e iniciado no vertice central do grafo apresentado noseguente desenho.

Desde um vertice qualquer o passeio apresenta a mesma probabilidade p de pular a qualquer outro dos seus verticesvizinhos. Se o grafo e infinito, isto e, se este apresenta infinitos vertices, mostre que o passeio .Sn/ e transitorio.

Exercıcio 37. | (i) Mostre que o passeio aletorio simples simetrico em Z3 e transitorio. (ii) Generalize para o processocom valores em Zd , d > 3.

A transitoriedade do passeio aleatorio simples em Z3 foi descrita primeiramente pelo matematico G. Polya. Olivro [DS84] contem uma demonstracao deste resultado baseada em um argumentos diferentes dos utilizados aqui.Esta referencia mostra tambem que nao e possıvel utilizar uma projecao de tres passeios aleatorios independentes parao caso em Z3!

6. Distribuicao invariante

As propriedades de uma cadeia de Markov apos de muitas transicoes estam relacionadas com a nocao de distribuicaoinvariante.

Definicao 17. Seja X Markov.�;P / e � uma distribuicao de probabilidade em S. � e uma distribuicao invariantepara X se

�P D �:

Neste caso � tambem e conhecida como distribuicao de equilıbrio de X .

Teorema 14. Seja X Markov.�;P / tal que � e invariante para X . Entao .XmCn/ e Markov.�;P / para qualquerm 2 N.

Demonstracao. Sendo � invariante, do Teorema 3 temos que para qualquer i , �i D .�P m/i D P.Xm D i/.Dado XmCn D i , da propriedade fraca de Markov, temos que fXmCnC1g e independente de Xm; : : : ;XmCn e temdistribuicao .pij W j 2 S/. �

6. Distribuicao invariante 31

Teorema 15 (Limite estacionario). Seja S finito. Se para qualquer i ,

pnij ! �j ; quando n!1;

para todo j , entao � D .�j W j 2 S/ e invariante para P . Neste caso � e chamada de distribuicao estacionaria.

Demonstracao. Mostramos primeiro que � e uma distribuicao de probabilidade. De fatoXj2S

�j D

Xj2S

limn!1

pnij D lim

n!1

Xj2S

pnij D 1:

Mostramos agora que � e invariante para P ,

�j D limn!1

pnij D lim

n!1

Xk2S

pn�1ik pkj D

Xk2S

�kpkj :

Sendo S finito e possıvel trocar a ordem dos somatorios. �

Observamos que se Sn e um passeio aleatorio simetrico em Z ou Z2, entao pnij ! 0 quando n!1 para todo

i; j 2 S. Este limite e portanto invariante ja que0P D 0;

mas 0 nao e uma distribuicao de probabilidade.

Exemplo 9. Sejam 0 < a < 1, 0 < b < 1, logo

P D

�1 � a a

b 1 � b

�:

Para esta matriz obtemos

pn11 D

b

aC bC

a

aC b.1 � a � b/n; pn

22 Da

aC bC

b

aC b.1 � a � b/n;

portanto no limite n!1,

P n!

1

aC b

�b a

b a

�:

Assim, segundo o Teorema 15, a distribuicao invariante para P e .b=.aC b/; a=.aC b// .

Dependendo da forma da matriz ou equivalentemente do grafo de transicao, as vezes resulta bastante simplesencontrar a distribuicao invariante diretamente do sistema �P D � .

Exemplo 10. Para a cadeia do Exercıcio 4, os componentes do sistema �P D � sao

�1 D1

2�3; �2 D

1

2�2 C �1; �3 D

1

2�2 C

1

2�3:

Alem disto temos que 1 D �1 C �2 C �3, ja que � e distribuicao de probabilidade, logo a solucao e � D 15.1; 2; 2/.

A continuacao mostraremos que se P e irredutıvel e recorrente entao P apresenta uma unica distribuicaoinvariante. Para quaisquer dois estados i; k 2 S seja k

i definida por

ki D Ek

h �k�1XnD0

1fXnDig

i;

isto e, ki e o numero esperado de vezes que X passa pelo estado i antes de retornar a k, dado que X e iniciada em k.

Lema 5. Seja P irredutıvel e recorrente, entao

(i ) kkD 1,

(i i ) k D . ki W i 2 S/ e invariante para P ,

(i i i ) 0 < ki <1, para todo i 2 S.


Demonstracao. (i) e direto. (ii) Para n � 1, observamos que fn � �kg so depende de X0;X1; : : : ;Xn�1, entao dapropriedade (fraca) de Markov em n � 1,

Pk.Xn�1 D i;Xn D j ; n � �k/ D P.Xn D j jXn�1 D i/Pk.Xn�1 D i; n � �k/:

Se P e recorrente, condicinando pelo evento fX0 D kg temos que �k <1 quase certamente, i.e. Pk.�k <1/ D 1,portanto P.X0 D X�k D k/ D 1. Entao,

kj D Ek

h �kXnD1

1fXnDjg

iD Ek

h 1XnD1

1fXnDj ; n��kg

iD

1XnD1

Pk.Xn D j ; n � �k/ DXi2S

1XnD1

Pk.Xn�1 D i;Xn D j ; n � �k/;

e da primeira igualdade apresentada na demonstracao este ultimo termo e

Xi2S

1XnD1

P.Xn D j jXn�1 D i/Pk.Xn�1 D i; n � �k/

D

Xi2S

pijEk

h 1XnD1

1fXn�1Di; n��kg

iD

Xi2S

pij

�k�1XnD0

Ek Œ1fXmDig�

D

Xi2S

pij ki :

Concluımos entao que k e invariante, porem devido a (i) nao e uma distribuicao de probabilidade. (iii) Por ultimo, k

i e finito ja que se P e irredutıvel, entao para cada estado i 2 S existem n;m � 0 tais que pnik> 0, pm

ki> 0. Neste

caso,

ki �

kk pn

ki > 0;

e

ki pm

ik � kk D 1: �

O resultado que demonstra a unicidade da distribuicao invariante e finalmente o seguinte.

Teorema 16 (Unicidade da distribuicao invariante). Seja P irredutıvel e � uma distribuicao invariante para P talque �k D 1. Neste caso � � k : Adicionalmente, se P e recorrente entao � D k :

Demonstracao. Para cada j 2 S temos que

�j D

Xi02S

�i0pi0j D

Xi¤k

�i0pi0j C �kpkj D

Xi¤k

�i0pi0j C pkj

D

Xi12S

Xi0¤k

�i1pi1i0

pi0j C pkj D

Xi1¤k

Xi0¤k

�i1pi1i0

pi0j C pkj C

Xi0¤k

�kpki0pi0j

a quarta igualdade segue do fato de que � e invariante. Se iteramos este calculo n vezes obtemos

�j D

Xi0¤k;:::;in¤k

�inpinin�1

� � �pi0j C pkj C

Xi0¤k

pki0pi0j C

Xi1¤k;i0¤k

pki1pi1i0

pi0j

C : : :CX

i0¤k;:::;in�1¤k

pkin�1� � �pi1i0

pi0j

� Pk.X1 D j ; �k � 1/C Pk.X2 D j ; �k � 2/C : : :C Pk.Xn D j ; �k � n/

6. Distribuicao invariante 33

onde a desigualdade segue ja que por hipotese � e uma distribuicao em S, isto e, �i � 0 para qualquer i 2 S.Utilizando inducao, no limite n!1,

1XnD1

Pk.Xn D j ; �k � n/ D

1XnD1

Pk.Xn�1 D j ; �k�1 � n � 1/;

ja que X0 D k, logo fX0 D j ; : : :g D f∅g. Desta forma

�j �

1XnD0

Pk.Xn D j ; �k�1 � n/ D Ek

h �k�1XnD0

1fXnDjg

iD k

j ;

mostrando que k e a solucao mınima. Se agora P e recorrente, pelo Lema 5 sabemos que k e invariante. Seja

� D � � k ;

de forma que�P D �P � kP D � � k

D �

logo � e invariante para P . Da primeira parte da prova temos que � � 0. Se P e irredutıvel, entao existe em inteiropositivo n tal que pn

ik> 0, portanto

�k D �k � kk D 1 � 1 D 0 D

Xj2S

�j pnjk ;

o qual implica que se � D 0 entao � D k . Isto concluı a demonstracao da unicidade da distribuicao invariante k . �

Em conclusao, se uma cadeia de Markov com valores enumeraveis e irredutıvel e recorrente, entao esta apresentauma distribuicao invariante. Neste caso a distribuicao invariante e unica. A existencia de uma distribuicao invariantenao implica necessariamente que esta seja uma distribuicao de probabilidade. Com o objetivo de considerar estapossibilidade introduzimos a nocao de recorrencia nula e positiva.

Definicao 18. Seja i um estado recorrente. Dizemos que i e nulo recorrente se o tempo esperado do primeiro retornoe infinito, isto e, se

mi D Ei Œ�i � D1:

No casomi D Ei Œ�i � <1;

dizemos que i e positivo recorrente.

Teorema 17 (Distribuicao de probabilidade invariante). Seja P irredutıvel. As seguintes afirmacoes sao equivalentes:(i) Todo estado e positivo recorrente, (ii) Um estado i e positivo recorrente, (iii) P tem distribuicao de probabilidadeinvariante � dada por

�i D1

mi

; i 2 S:

Demonstracao. A equivalencia entre (i) e (ii) segue da Definicao 18, da Definicao 15 e do Teorema 10. Mostraremosa continuacao que (ii) e equivalente a (iii). Se i e positivo recorrente entao e recorrente. Se adicionalmente P eirredutıvel, isto implica que P e recorrente. Do Lema 5 temos portanto que i e invariante. Logo,X

j2S

ij D

Xj2S

Ei

h �i�1XnD0

1fXnDjg

iD Ei Œ�i � D mi <1;

de tal forma que uma distribuicao de probabilidade invariante para P e �j D i

j =mi . Sendo P recorrente e irredutıvel,necessariamente do Teorema 16 temos que � e a unica distribuicao de probabilidade invariante.


Por ultimo mostraremos que (iii) e equivalente a (i). Seja k um estado qualquer, logo se P e irredutıvel ePi �i D 1, entao

�k D

Xi2S

�ipnik > 0:

Consideramos agora �i D �i=�k , logo � e invariante ja queXj

�i

�k

pij D�j

�k

D �j ; j 2 S:

Se P e recorrente entao necessariamente � D k , mas no caso que P nao seja recorrente temos do Teorema 16 que� � k . Desta forma,

mk D

Xi2S

ki �

Xi2S

�i D

Xi2S

�i

�k

D1

�k

<1;

e entao k e positivo recorrente, mas se P e irredutıvel entao P e recorrente. Finalmente se � D k entao mk D

��1k

. �

O ultimo item do Teorema 17, o qual mostra a relacao entre a distribuicao de probabilidade invariante e os temposde retorno, e as vezes conhecido como o Lema de Kac.

Exercıcios

Exercıcio 38. Seja P uma matriz estocastica sobre o conjunto finito S . Mostre que a distribuicao � e invariante paraP se, e somente se, �.I � P CA/ D a, onde A D .aij W i; j 2 S/ com aij D 1 para todo i e j , e a D .ai W i 2 S/para tudo i 2 S . Demonstre que se P e irredutıvel, entao I � P CA e invertıvel. Isto permite calcular a distribuicaoinvariante utilizando qualquer metodo existente para inverter matrizes.

Exercıcio 39. Seja .Xn/n�0 um passeio aletorio simples em Z com pi;i�1 D q < p D pi;iC1. Encontre

0i D E0

h �0�1XnD0

1fXnDig

ie verifique que

0i D inf

��i para todo i;

onde o ınfimo e tomado sobre todos os invariantes � tais que �0 D 1.

Exercıcio 40. Seja .Xn/n�0 um passeio aleatorio simples definido sobre os vertices do cubo abaixo,

x �

� �

� �

� z

tal que a probabilidade de ir de um vertice aos vertices adjacentes e p D 1=3. Calcular (i) Ex Œ�x �, (ii) Ex

hP�x�1nD0 1fXnDzg

i,

(iii) Ex Œ�z�, (iv) � , a distribuicao invariante de .Xn/n�0. Observe que para respondermos (i) podemos considerar umarelacao de recorrencia para ux

x D Ex Œ�x �, de fato dado x 2 S, o vetor ux D .uxi W i 2 S/ e a solucao mınima ao

sistemaux

i > 0; uxi D 1C

Xj2S

pij uxj :

7. Convergencia ao equilıbrio 35

A demosntracao disto segue a prova apresentada no Teorema 7. Observamos que ux e em geral diferente de kx pois aprimeira quantidade e definida com �x e a segunda com �x .

Exercıcio 41. Moleculas de gas realizam movimentos aleatorios numa urna particionada em duas partes iguais.Um furo e realizado na parede que comunica os compartimentos. Suponha que existem N moleculas na caixa. (i)Mostre que o numero de moleculas num dos compartimentos evolui como uma cadeia de Markov. (ii) Quais sao asprobabilidades de transicao desta cadeia? (iii) Qual e a distribuicao invariante?

Exercıcio 42. Determine a distribuicao invariante da cadeia com matriz de probabilidade de transicao

P D

0@1 � ˛ ˛ 0

0 1 � ˇ ˇ

0 1 �

1Aonde ˛; ˇ; 2 .0; 1/.

Exercıcio 43. Este exercıcio e uma continuacao do Exercıcio 11. Se o Dr. Silva esta em J D fT;F;Bg e muda delocacao, ele liga a sua mulher. (i) Encontre a matriz de transicao que determina a seqencia de locais desde os quaiso Dr. Silva liga, e calcule a sua distribuicao invariante. A mulher do Dr. Silva anota apos cada ligacao o local dachamada, e atualmente suspeita que algo esta errado: Silva nao fica suficientemente no seu flat! Ante este problema,Silva decide mudar de estrategia assumindo a seguinte matriz de transicao,

T F B A

P� D

T

F

B

A

0BB@1=4 1=4 1=2 0

1=2 1=4 1=4 0

0 3=8 1=8 1=2

2=10 1=10 1=10 6=10

1CCA ;(ii) Levantara esta escolha alguma suspeita na mulher?

Exercıcio 44. Mostre que se P e uma matriz de transicao de probabilidade de uma cadeia irredutıvel entao T D12.ICP / e tambem a matriz de transicao de uma cadeia aperiodica e irredutıvel. Mostre que a distribuicao estacionaria

de P e a distribuicao estacionaria de T .

Exercıcio 45. Seja X uma cadeia de Markov com matriz de probabilidade de transicao

P D

0@ 1 0 0

1=4 1=2 1=4

0 0 1

1A :Mostre que X apresenta mais de uma distribuicao estacionaria. Encontre a matriz P n quando n!1 e verifique queesta nao apresenta todas as linhas iguais. [Sugestao: observe que os estados 1 e 3 sao absorventes (isto evita a procurada forma diagonal para P ).]

Exercıcio 46. Determine a distribuicao invariante do processo definido no exercıcio 31.

7. Convergencia ao equilıbrio

Como consequencia do Teorema 15, se S e finito e se existe o limite pnij quando n!1, entao o limite tem que ser

uma distribuicao invariante. Porem, quais sao as condicoes que garantem a existencia do limite?

Exemplo 11. Este exemplo simples mostra que nao toda matriz estocastica sobre S finito apresenta o limite limn P n.Seja X uma cadeia com a seguinte matriz de probabilidade de transicao

P D

�0 1

1 0

�Neste caso P 2n D I , e P 2nC1 D P para n � 1.


Definicao 19. O estado i e aperiodico se pnii > 0 para todo n suficientemente grande. A matriz P e aperiodica se

todos os estados sao aperiodicos.

Lema 6. Seja P irredutıvel com um estado aperiodico i . Entao para quaisquer dois estados j ; k temos que pnjk> 0

sempre e quando n seja o suficientemente grande.

Demonstracao. Existem r; s � 0 tais que prji > 0 e ps

ik> 0, portanto, para um n suficientemente grande temos que

pnCnCsjk

� prjip

niip

sik> 0. �

Definicao 20. O perıodo di de um estado i e definido por

di D mdcfn � 1 W pnii > 0g:

Se fn � 1 W pnii > 0g D f∅g, entao di D 1.

O perıodo de um estado i e o maximo divisor comum dos tempos do primeiro retorno a i . A definicao deperıodo fornece uma maneira para clasificar os estados em periodicos e aperiodicos. Se di D 1 entao dizemos que i eaperiodico, no caso contrario, di > 1, i e periodico.

Tendo todos estes pre-requisitos chegamos agora ao resultado mais importante desta primeira parte da teoria,o qual afirma que uma cadeia irredutıvel, aperiodica e com invariante � converge a este limite qualquer que seja acondicao inicial �.

Teorema 18 (Convergencia ao equilıbrio). Seja P irredutıvel e aperiodica e com distribuicao de probabilidadeinvariante � . Seja � uma distribuicao inicial e X uma cadeia de Markov.�;P /. Neste caso

(8) P.Xn D j /! �j ; se n!1 para todo j 2 S:

Em particular

(9) pnij ! �j ; se n!1; para todo i; j ;2 S:

Demonstracao. O argumento a ser utilizado para demonstrar o Teorema e conhecido como o metodo de acoplamento6.Seja .X 0n/, n � 0 Markov.�;P / e independente de .Xn/; n � 0. Fixamos um estado de referencia qualquer, porexemplo b, e entao consideramos

Tb D inffn � 1 W Xn D X 0n D bg;

isto e, o primeiro tempo de encontro de Xn e X 0n em b. Observamos que Tb e um tempo de parada para o processoconjunto QXn D .Xn;X

0n/ com valores em S2.

Mostraremos primeiro que P.Tb <1/ D 1. Devido a independencia entre Xn e X 0n, a probabilidade de transicaode QXn e dada por

Qp.i;k/I.j ;l/ D pij pkl ; .i; k/; .j ; l/ 2 S2;

e a distribuicao inicial por�.i; k/ D �i�k :

Se P e aperiodica entao para quaisquer i; j ; k e l

Qp.i;k/I.j ;l/ D pnij pn

kl > 0;

para um n suficientemente grande, portanto QP D . Qp.i;k/I.j ;l/ W i; j ; k; l 2 S/ e irredutıvel. A unica distribuicaoinvariante de QP e

Q�.i; k/ D �i�k :

Agora, seguindo o Teorema 17, se QP e irredutıvel e tem invariante Q� , entao todos os estados em S2 sao positivo-recorrentes. Tb e o primeiro tempo de retorno a .b; b/ do processo QXn, mas se . QXn/ e positivo recorrente entao doTeorema 13 imediatamente temos que P.Tb <1/ D 1.

6O primeiro acoplamento de duas cadeias de Markov foi descrito por W. Doeblin en 1933. Os acoplamentos tem-se constituıdo uma ferramenta fundamental parao estudo dos processos aleatorios, inclusive na teoria contempornea. Maiores detalhes sobre esta tecnica podem ser encontrados em [FG97].


Xn

X 0n

Tb

b

Zn

Figura 3. Um acoplamento de Xn.

Seja

Zn D

(Xn; se n < Tb

X 0n; se n � Tb :

Uma trajetoria do processo Zn e mostrada na Figura 3. Mostraremos agora que .Zn/, n 2 N e Markov(�;P ). Peloexposto anteriormente temos que . QXn/ e Markov.�; QP /, logo da propriedade forte de Markov em Tb temos que.XTbCn;X

0TbCn/ e Markov.ı.b;b/; QP /. Por simetria, podemos substituir o processo .XTbCn;X

0TbCn/ pelo processo

.X 0TbCn;XTbCn/, o qual tambem e Markov.ı.b;b/; QP /. Consideramos agora QZn D .Zn;Z

0n/, onde

Z0n D

(X 0n; se n < Tb

Xn; se n � Tb :

Temos entao que .Zn/, e Markov.�;P /.

Como um ultimo passo na demostracao provaremos uma desigualdade conhecida como a desigualdade doacoplamento. Temos que

P.Zn D j / D P.Xn D j ; n < Tb/C P.X 0n D j ; n � Tb/;

mas, tambem para n < Tb ,ˇP.Xn D j / � �j

ˇDˇP.Xn D j ; n < Tb/ � P.X 0n D j ; n < Tb/

ˇ:

Desta forma a distancia entre a distribuicao de Xn a distribuicao invariante � , e dada porˇP.Zn D j / � �j

ˇDˇP.Xn D j ; n < Tb/C P.X 0n D j ; n � Tb/ � P.X 0n D j /

ˇDˇP.Xn D j ; n < Tb/C P.X 0n D j ; n � Tb/

� P.X 0n D j ; n < Tb/ � P.X 0n D j ; n � Tb/ˇ

DˇP.Xn D j ; n < Tb/ � P.X 0n D j ; n < Tb/

ˇ;

mas esta ultima expressao pode ser escrita comoˇP.Xn D j j n < Tb/P.n < Tb/ � P.X 0n D j j n < Tb/P.n < Tb/

ˇDˇP.Xn D j j n < Tb/ � P.X 0n D j j n < Tb/

ˇP.n < Tb/

� P.n < Tb/:

o qual mostra que distribuicao de Xn coincide com � no limite n!1, uma vez que P.Tb <1/ D 1. �

A fim de entendermos melhor o papel jogado pela aperiodicidade nesta demonstracao podemos considerarnovamente o Exemplo 11, o qual apresenta um exemplo simples de uma cadeia que nao converge ao invariante.Resolvendo o sistema �P D � e utilizando a restricao

Pi �i D 1, encontramos a distribuicao invariante � D


.1=2; 1=2/. Se Xn e iniciada em 0 e X 0n e iniciada de acordo a � , isto e, se P.X 00D 1/ D P.X 0

0D 2/ D 1=2 entao o

Teorema de convergencia pode ser aplicado, porem se P.X 00D 1/ D 1, entao devido a periodicidade as duas cadeias

Xn e X 0n nunca podem se encontrar.

Definicao 21. Uma cadeia de Markov irredutıvel, aperiodica e com uma unica distribuicao de probabilidade invariantecomo a descrita pelo Teorema 18 e chamada de ergodica.

O resto desta secao apresenta a generalizacao do Teorema de convergencia para os casos onde X pode serperiodica, transitoria ou nula-recorrente. Estes resultados nao serao utilizados posteriormente e podem ser omitidosnuma primeira leitura.

Teorema 19. Seja P irredutıvel. Existe um inteiro d � 1 e uma particao

S D C0 [ C1 [ � � � [ Cd�1

tal que, para CndCr D Cr ,

(i) pnij > 0 so se i 2 Cr e j 2 CrCn para algum r ;

(ii) pndij > 0 para todo n suficientemente grande, e para todo i; j 2 Cr , r .

Demonstracao. Seja k 2 S fixo, e entao I D fn � 0 W pnkk> 0g. Escolhemos n1; n2 2 I , n1 < n2, tais que

d D n2 � n1 seja o menor possıvel. Para r D 0; : : : ; d � 1 definimos

Cr D fi 2 S W pndCrki

> 0 para algum n � 0g:

Entao, sob irredutibilidade, C0 [ � � � [ Cd�1 D S . Agora, se pndCrki

> 0 e pndCski

> 0 para alguns r; s 2

f0; 1; : : : ; d � 1g, entao, ao escolher m � 0 tal que pmik> 0, temos que pndCrCm

kk> 0 e pndCsCm

kk> 0 e entao, dada

a minimalidade de d , r D s. Isto implica a existencia da particao.

Para demonstrar (i) suponha que pnij > 0 e i 2 Cr . Considere m tal que pmdCr

ki> 0, entao pmdCrk

ki> 0 e

j 2 CrCn. Se i D j D k, entao d deve dividir cada um dos elementos de I , em particular n1.

Se md � n21, entao e possıvel escrever que nd D qn1 C r para inteiros q � n1 e 0 � r � n1 � 1. Como d

divide n1, entao r D md para algum inteiro m. Neste caso nd D .q �m/n1 Cmn2, logo

pndkk �

�p

n1

kk

�q�m�p

n2

kk

�m> 0

e entao nd 2 I . Para demonstrar (ii) tomemos i; j 2 Cr e fixemos m1 e m2 tal que pm1

ik> 0 e p

m2

kj> 0, logo

pm1CndCm2

ij � pm1

ikpnd

kk pm2

kj> 0

sempre e quando nd � n21. Isto termina a prova ja que m1 Cm2 e necessariamente um multiplo de d . �

Em particular o Teorema mostra que d e o maior divisor comum (mdc) do conjunto fn � 0 W pnii > 0g. O

seguinte resultado constitui a descricao definitiva do comportamento limite para cadeias irredutıveis. Contrariamenteao Teorema 18, agora nao serao feitas as hipoteses de aperiodicidade e recorrencia positiva. O estudo deste resultado eopcional.

Teorema 20. Seja P irredutıvel com perıodo d e seja C0;C1; : : : ;Cd�1 a particao obtida no Teorema 19. Seja �uma distribuicao tal que

Pi2C0

�i D 1. Suponha que .Xn/n�0 e Markov(�;P ). Entao para r D 0; 1; : : : ; d � 1 ej 2 Cr tem-se

P.XndCr D j /! d=mj quando n!1

onde mj e o tempo esperado de retorno a j . Em particular, para i 2 C0 e j 2 Cr

pndCrij ! d=mj quando n!1:


Demonstracao. Paso 1. Consideramos primeiro o caso aperiodico. Fixamos � D �P r . Pelo Teorema A temos queXi2Cr

�i D 1:

Seja Yn D XndCr , entao .Yn/n�0 e Markov(�;P d ) e pelo Teorema A, P d e irredutıvel e aperiodica em Cr . Logopara j 2 Cr o tempo esperado de retorno de .Yn/n�0 a j e mj=d . Agora, se o Teorema e valido no caso aperiodicotemos

P.XndCr D j / D P.Yn D j /! d=mj quando n!1

portanto o Teorema e valido em geral.

Passo 2. Suponhamos que P e aperiodica. Se P e positiva-recorrente entao 1=mj D �j , onde � e a unica distribuicaoinvariante, logo o resultado segue do Teorema 18. No outro caso mj D1, e entao devemos mostrar que

P.Xn D j /! 0 quando n!1:

Se P e transitoria, o resultado e simples e unicamente fica por ser considerado o caso nulo-recorrente.

Passo 3. Suponha que P e aperiodica e nula-recorrente. Logo1X

kD0

Pj .�j > k/ D Ej .�j / D1:

Dado " > 0, escolhemos K tal que1X

kD0

Pj .�j > k/ �2

":

Em consequencia, para n � K � 1

1 �

nXkDn�KC1

P.Xk D j ;Xm ¤ j para m D k C 1;�; n/

D

nXkDn�KC1

P.Xk D j /Pj .�j > n � k/ D

K�1XkD0

P.Xn�k D j /Pj .�j > k/

pelo que deve existir " > 0 tal que P.Xn�k D j / � "=2 para algum k 2 f0; 1; : : : ;K � 1g.

Retornemos ao argumento do acoplamento introduzido no Teorema 18, e so agora consideremos .Yn/n�0 comoMarkov(�;P ), onde � sera escolhida adiante. Seja Wn D .Xn;Yn/. Ao igual que antes, a aperiodicidade de .Xn/n�0

garante a irredutibilidade de .Wn/n�0. Se .Wn/n�0 e transitoria, entao tomando � D � resulta

P.Xn D j /2 D P.Wn D .j ; j //! 0

Suponhamos agora que .Wn/n�0 e recorrente. Entao, seguindo a notacao definida no Teorema 18 temos queP.T <1/ D 1, e o argumento do acoplamento mostra queˇ

P.Xn D j / � .Yn D j /ˇ! 0 quando n!1:

Este tipo de convergencia pode ser utilizada ao considerar

� D �P k ; k D 1; : : : ;K � 1

de modo que P.Yn D j / D P.XnCk D j /. E possıvel encontrar-nos um N tal que para n � N e k D 1; : : : ;K � 1,ˇP.Xn D j / � .XnCk D j /

ˇ�"

2:

Mas para cada n podemos encontrar-nos k 2 f0; 1; : : : ;K � 1g tal que P.XnCk D j / � "=2. Logo, para n � N

P.Xn D j / � ":

Sendo " > 0 arbitrario, isto mostra que P.Xn D j /! 0 quando n!1. �


Exercıcios

Exercıcio 47. Mostre que se i $ j , i.e. i e j comunicam, entao di D dj .

Exercıcio 48. Suponha que a cadeia .Xn/n�0 e aperiodica, isto e di D 1, 8 i 2 S (veja a definicao de di no exercicioanterior). Suponha que S e finito. Mostre que sob estas hipoteses deve existir N <1 tal que

pnii > 0

para todo i 2 S e todo n � N . [Utilize o seguinte resultado elementar de teoria dos numeros: Seja A D fa1; a2; : : :g

um conjunto de inteiros positivos tais que (i) mdcfa1; a2; : : :g D 1, e (ii) se a 2 A e a0 2 A, entao aC a0 2 A. Se A

satisfaze (i) e (ii), entao existe um enteiro N <1 tal que n 2 A para tudo n � N .]

Exercıcio 49. Um dado honesto e jogado repetidas vezes. Seja Xn a soma dos primeiros n lancamentos. Encontre

limn!1

P.Xne multiplo de 13/

enunciando cuidadosamente todos os teoremas utilizados.

Exercıcio 50. Considere uma cadeia de Markov com valores em S D f1; 2; : : : ; 10g e matriz de transicao

P D

0BBBBBBBBBBBBBBB@

12

0 12

0 0 0 0 0 0 0

0 13

0 0 0 0 23

0 0 0

1 0 0 0 0 0 0 0 0 0

0 0 0 0 1 0 0 0 0 0

0 0 0 13

13

0 0 0 13

0

0 0 0 0 0 1 0 0 0 0

0 0 0 0 0 0 14

0 34

0

0 0 14

14

0 0 0 14

0 14

0 1 0 0 0 0 0 0 0 0

0 13

0 0 13

0 0 0 0 13

1CCCCCCCCCCCCCCCA:

(i) Encontre os conjuntos de estados fechados e irredutıveis. (ii) Quais sao os estados transitorios? (iii) Quais estadosnao sao nem transitorios nem nulo-recorrentes? (iv) Os conjuntos f1; 3g, f2; 7; 9g e f6g formam um conjunto fechadode estados irredutıveis recorrentes nao nulos e aperiodicos. Justifique. (v) Existem estados absorventes?

8. Reversibilidade

Suponhamos que uma cadeia de Markov esta distribuıda de acordo a distribuicao invariante. Neste caso, o processoresultante ao inverter o sentido do curso temporal tambem e Markov, porem a sua probabilidade de transicao pode serdiferente.

Teorema 21. Seja P irredutıvel com distribuicao de probabilidade invariante � . Seja X Markov.�;P / e Yn D XN�n,0 � n � N . O processo Y D .Yn/, 0 � n � N e Markov .�; OP / com OP D . Opij / tal que

�j Opji D �ipij :

OP e irredutıvel e possue invariante � .

9. Teorema ergodico 41

9. Teorema ergodico

Os Teoremas ergodicos concernem o comportamento limite esperado de funcoes da cadeia, e constituem umageneralizacao da lei dos grandes numeros para a soma de sequencias de variaveis aleatorias dependentes, em particularquando a dependencia e Markov. A maneira de exemplo, esta secao apresenta um teorema ergodico para a proporcaodo tempo que a cadeia permanece em cada estado quando n!1.

Seja Vi.n/ o numero de visitas a i nos primieros n � 1 passos do processo, isto e

Vi.n/ D

n�1XkD0

1fXkDig:

Logo, Vi.n/=n e a proporcao do tempo durante n � 1 na qual a cadeia permanece em i .

Para estabelecer o resultado lembramos a versao forte da lei dos grandes numeros.

Teorema 22 (Lei forte dos grandes numeros). Sejam �1; : : : ; �n variaveis aleatorias nao negativas, independentes eidenticamente distribuıdas tais que EŒ�1� D � e Var.�1/ <1. Seja Sn D

PniD1 �n, logo

P�n! 2 � W lim

n!1

Sn.!/

nD �

o�D 1:

Demonstracao. Veja o Teorema 5.1 em [Jam02], capitulo 5. �

Teorema 23 (Teorema ergodico). Seja P irredutıvel e � uma distribuicao em S . Se .Xn/n�0 e Markov.�;P /, entaopara qualquer � > 0 tem-se

P

lim

n!1

Vi.n/

nD

1

mi

!D 1

onde mi D Ei Œ�i � e o tempo esperado de retorno a i . Se X e positivo-recorrente, para qualquer funcao limitadaf W S ! R, tem-se

P

lim

n!1

1

n

n�1XkD0

f .Xk/ D Nf

!D 1;

onde Nf DP

i2S �ifi e � D .�i W i 2 S/ e a unica distribuicao invariante.

Demonstracao. Se P e transitoria entao

P�Vi D

1XkD0

1fXkDig <1�D 1

ja que neste caso, da definicao de transitoriedade, para todo i 2 S temos que Ei ŒP1

kD0 Vi.k/� < 1. Logo, se i etransitorio temos que 1=mi D 1=Ei Œ�i � D 1=1D 0 e entao

limn!1

Vi.n/

n� lim

n!1

Vi

nD 0 D

1

mi

:

Suponhamos agora que P e recorrente. Seja i 2 S fixo e � D �i . A recorrencia de P implica que P.� <1/ D 1

(veja a demonstracao do Teorema 18). Da propriedade forte de Markov sobre � temos que .X�Cn/n�0 e Markov.ıi ;P /

e independente de X0;X1; : : : ;X� . Se n!1 entao o tempo de permanencia em i das cadeias .Xn/n�0 e .X�Cn/n�0

e igual. Neste caso o problema da condicao inicial e irrelevante, sendo suficiente considerar a situacao � D ıi . Seja

S ri D

(� r

i � �r�1i ; se � r�1

i <1;

0; caso contrario.


Sob recorrencia, do Lema 1 visto em aula, temos que S ri sao variaveis aleatorias independentes e identicamente

distribuıdas tais que Ei ŒS1i � D Ei Œ�i � D mi . Logo

(10) S1i C : : :C S

Vi .n/�1i � n � 1;

onde o lado esquerdo da desigualdade representa o tempo da ultima visita a i antes de n. Tambem

(11) S1i C : : :C S

Vi .n/i � n;

sendo o lado esquerdo o tempo da primeira visita a i depois de n � 1. De (10) e (11) temos entao

(12)S1

i C : : :C SVi .n/�1i

Vi.n/�

n

Vi.n/�

S1i C : : :C S

Vi .n/i

Vi.n/:

Segue-se das propriedades da sequencia .S ri /, r � 1 e do Teorema 22 que para qualquer � > 0

P

lim

n!1

PnrD1 S r

i

nD mi

!D 1:

Sob recorrencia temos que Pi.�i <1/, o qual implica Pi.Vi D1/ D Pi.limn!1 Vi.n/ D1/ D 1, e assim

P

lim

n!1

PVi .n/

rD1S r

i

Vi.n/D mi

!D P

lim

n!1

PVi .n/�1

rD1 S ri

Vi.n/D mi

!

D P

lim

n!1

PnrD1 S r

i

Vi.n/D mi

!D 1

Deste resultado junto a (12) temos que

P

lim

n!1

n

Vi.n/D mi

!D 1

o qual mostra a primeira afirmacao do Teorema. Para a segunda parte suponhamos que .Xn/n�0 e positiva-recorrente.Seja f W S ! R uma funcao limitada, logo jf j � 1. Para todo conjunto finito Q � S temosˇ

ˇ1nn�1XkD0

f .Xk/ � Nf

ˇˇ D

ˇˇX

i2S

Vi.n/

nfi �

Xi2S

�ifi

ˇˇ �

ˇˇX

i2S

�Vi.n/

n� �i

�ˇˇD

ˇˇX

i…Q

�Vi.n/

n� �i

�C

Xi2Q

�Vi.n/

n� �i

�ˇˇ�

Xi…Q

ˇVi.n/

n� �i

ˇC

Xi2Q

ˇVi.n/

n� �i

ˇ�

Xi…Q

�Vi.n/

nC �i

�C

Xi2Q

ˇVi.n/

n� �i

ˇna qual a primeira igualdade deve-se ao fato de que se fi D f .Xn D i/ para qualquer n entao 1

n

Pi2S Vi.n/fi D

1n

Pn�1kD0 f .Xk/; em quanto que a primeira desigualdade segue da hipotese jf j � 1. Finalmente, da primeira parte da

demonstracao, com probabilidade 1 temos que Vi.n/=n! �i se n!1, logo no limiteXi…Q

�Vi.n/

nC �i

�! 2

Xi…Q

�i q.c.

Dado o valor de � considerado na primeira parte da demonstracao, escolhemos Q tal que

(13)Xi…Q

�i <�

4:

10. Aplicacoes 43

E possıvel escolher tambem N D N.!/ tal que para n � N.!/,

(14)Xi2Q

ˇVi.n/

n� �

ˇ<"

4:

O resultado segue finalmente ao juntar as cotas em (13) e (14) com a primeira parte do Teorema. �

Exercıcios

Exercıcio 51. Um dado e lancado repetidas vezes. Seja Sn o total de pontos obtidos ate a n-esima jogada. Mostreque existe um valor limite para a proporcao dos primeiros n valores de Sn que sao divisıveis por 7. Calcule o valordeste limite. [O limite desejado corresponde a distribuicao estacionaria de uma cadeia de Markov com 7 estados.]

Exercıcio 52. Uma professora tem N guarda-chuvas. Ela caminha ate o escritorio de manha e de volta para casa anoite. Se estiver chovendo, ela leva um guarda-chuvas. No caso contrario ela nao leva gurda-chuvas. Suponha que aprobabilidade de chuva em qualquer um dos percursos, independentemente dos outros, seja p. Qual e a proporcao dasviagens, ao longo prazo, na qual a professora fica molhada?

Exercıcio 53. Utilize o argumento do Exercıcio 12 para simular o processo seguido pelo sapo no Exemplo 1 tomandop D 1=2. (i) Faca um grafico de Xn.!/ versus n para diferentes !. (ii) Utilize a matriz de probabilidade de transicaoapresentada no Exercıcio 4 para simular esta cadeia e estime utilizando as suas simulacoes a probabilidade p50

v1v1.

Sugestao: utilize o seguinte estimador

bp50v1v1D f# vezes em v1 no instante 50g=f# total de caminhos simuladosg:

10. Aplicacoes

Apresentamos nesta secao alguns exemplos e aplicacoes classicas de processos estocasticos em tempo discreto.

10.1. Processos de ramificacao�. Suponha que no instante 0 existe um individuo o qual da origem a k filhos comprobabilidade pk , k � 0. O conjunto dos filhos e a primeira geracao. Seguidamente, cada um dos indivıduos daprimeira geracao procria de forma independente aos outros indivıduos dando origem a k novos indivıduos comprobabilidade pk . Seja X a variavel aleatoria com distribuicao P .X D k/ D pk , k � 0, e Zn o numero de indivıduosda n-esima geracao. Desta forma

ZnC1 D X1 CX2 C : : :CXZn;

onde X1;X2; : : : sao copias independentes da variavel aleatoria X . Para fazer a notacao mais precisa, denotamos porX n

1;X n

2; : : : os indivıduos a serem gerados na n-esima geracao, e neste caso

ZnC1 D X n1 CX n

2 C : : :CX nZn; n � 0:


Z0

Z6

Z5

Z3

Z2

Z1

Oservamos que para qualquer Z0 � 1, o processo .Zn/, n � 0 e uma cadeia de Markov. Para vermos isto,suponhamos que Zn D k, entao ZnC1 D X n

1 CX n2 C : : :CX n

i , porem, mesmo que as variaveis Zn�1;Zn�2; : : : ;Z0

sejam funcoes de X n�11 ;X n�1

2 ; : : :X n�21 ;X n�2

2 ; : : :, temos que X n1 ;X

n2 ; : : : ;X

nk

sao independentes de X n�11 , X n�1

2 ,: : :, X n�2

1 , X n�22 , : : :. Desta forma dado fZn D kg, ZnC1 e independente de Zn�1;Zn�2; : : :.

As propriedades da variavel aleatoria Zn podem ser estudadas considerando a funcao geradora da variavel X

H.z/ D EŒzX � D

1XkD0

zkP.X D k/;

pois Zn e o resultado da somaPZn�1

kD1Xk . Da expressao para Zn temos que

zZnC1 D zX n1 zX 2

2 � � � zX nZn ;

logo

EŒzZnC1 � D EhzX n

1 zX n2 � � � zX n

Zn

iD

1XkD0

E�zX n

1 zX n2 � � � zX n

Zn 1fZnDkg

iD

1XkD0

EŒzX n1 �EŒzX n

2 � � � �EŒzX nk �EŒ1ZnDk � D

1XkD0

H.z/kP.Zn D k/

D EŒH.z/Zn �:

A quarta igualdade segue da independencia das variavel aleatorias fX nj g, j D 1; : : : ; k. Se denotamos por Hn a

funcao geradora de Zn, Hn.z/ DP1

kD0 zkP.Zn D k/, o resultado anterior mostra que

(15) HnC1.z/ D Hn.H.z//

Suponhamos que Z0 D 1. Neste caso temos portanto que H0.z/ D z e logo de (15) segue H1.z/ D H0.H.z// DH.z/. Aplicando (15) mais uma vez resulta H2.z/ D H1.H.z// D H

�H.H.z//

�. Em geral para qualquer n � 1

temos

Hn.z/ D H�Hn�1.z/

�D H ıH ı � � � ıH.z/;

sendo que a operacao de composicao na expressao a direita e efetuada n vezes. Seja �0 o primeiro tempo de retorno aoestado 0. Observamos que 0 e um estado absorvente. O seguinte lema mostra a relacao entre h0

1D P.�0 <1jZ0 D 1/,

a probabilidade de extincao, e a funcao H .

Lema 7. Se EŒX1� � 1, entao h01D 1. Se EŒX1� > 1, entao h0

1< 1 e a unica solucao nao negativa diferente de 1 da

equacao z D H.z/.

10. Aplicacoes 45

Demonstracao. Observamos primeiro que a probabilidade de extincao, h01, e igual a P.Zn D 0/ quando n!1. De

fato,

h01 D P1

� 1[kD1

fZk D 0g

�D lim

n!1P1

� n[kD1

fZk D 0g

�D lim

n!1P1.Zn D 0/

uma vez que fZn D 0g � fZnC1 D 0g. Assim, da definicao de Hn, temos imediatamente que h10D limn!1Hn.0/.

Mostraremos agora que h012 fz W z D H.z/g. Seja h0

1.n/ D P1.Zn D 0/, logo h0

1.n/ e nao decrescente

pois fZn D 0g e nao decrescente. Notamos tambem que h01.n/ ! h0

1quando n ! 1. De (15) temos que

HnC1.0/ D H.Hn.0// portanto h01.nC 1/ D H.h0

1.n//, assim da continuidade de H concluimos que h0

1D H.h0

1/.

A seguir, mostramos que h01 e a menor solucao de z D H.z/. Suponhamos que 0 � w � 1 e uma solucao de

z D H.z/, ou seja, que w D H.w/. Sendo Hn.z/ D H.Hn�1.z//, e Hn.0/ D h01.n/ quando z D 0, entao

h01.1/ D H.h0

1.0// D H.0/ � H.w/ D w;

o qual a sua vez implicah0

1.2/ D H2.0/ D H.h01.1// � H.w/ D w:

Em geral para n � 1 temosh0

1.n/ D Hn.0/ D H.h01.n � 1// � H.w/ D w;

portanto no limite n!1 segue que h01� w.

m < 1

H.z/

z

h01

m � 1

H.z/

z

h01

Figura 4.

A funcao H e convexa pois

H 00.z/ DXk�2

k.k � 1/zk�1P.X D k/ � 0:

Por outro lado, H.0/ D P.X D 0/ D p0 > 0. Isto implica que os graficos das funcoes

y D z; y D H.z/

apresentam no maximo dois pontos em comum. Um destes pontos corresponde a z D 1. Observamos que H 0.z/ D m,logo se supomos que m � 1, entao numa vizinhanca a esquerda de z D 1, o grafico de y D H.z/ nao pode estar porbaixo do grafico de y D z. Pela convexidade de H , isto implica que a unica intercepcao entre as duas funcoes ocorrequando z D 1. No outro caso, quando H 0.1/ D m > 1, temos que em uma vizinhanca a esquerda de 1, o grafico deH.z/ se encontra por baixo do grafico de y D z, logo deve existir um outro ponto de intercepcao a esquerda do 1. AFigura 4 ilustra ambas situacoes. �


Exercıcios

Exercıcio 54. Seja .Zn/, n � 0, um processo de ramificacao e EŒZn� D mn. Mostre que mn D mn, onde m D EŒX1�.Sugestao: observe que mn D H 0n.1/ e logo utilize Hn.z/ D Hn�1.H.z// considerando o limite z ! 1. Seja�2 D Var.X1/, mostre que

Var.ZnC1/ D

8<:�2mn�

1�mnC1

1�m

�; se m ¤ 1;

�2.nC 1/; se m D 1:

Sugestao: pense em como calcular o segundo momento de ZnC1 utilizando H.z/.

Capıtulo 2

Tempo contınuo

Este capıtulo apresenta uma introducao aos processos a tempo contınuo, isto e as sequencias .Xt /, para t 2 Œ0;1/.Um dos objetivos e o de recuperar a maior parte dos resultados do capıtulo anterior como a classificacao de estadosem recorrentes e transitorios, e a convergencia a distribuicao invariante. Com estes objetivos por frente apresentamosprimeiro uma breve introducao aos processos a tempo contınuo e logo varios pre-requisitos entre os quais incluimosprimeiramente um estudo das matrizes Q. Mostraremos como o exponencial da matrix Qt em certa forma joga opapel do n-esimo iterado da matriz P , o qual resultou ser fundamental no caso discreto. Seguidamente apresentaremosalgumas propriedades da distribuicao exponencial, e entao introduziremos o processo de Poisson como o primeiroexemplo de um processo a tempo contınuo. Finalmente apresentamos os processos de Markov.

1. Processos a tempo contınuo

Um processo a tempo contınuo com valores em S e a famılia .Xt W t � 0/ de variaveis aleatorias Xt W � ! S.Seguindo o exposto no prefacio, suponhamos que e possıvel determinar as distribuicoes finito dimensionais doprocesso, isto e, suponhamos que podemos calcular a probabilidade

P.Xt0 D i0;Xt1 D i1; : : : ;Xtn D in/;

para quaisquer tempos 0 � t0 � t1 � : : : � tn, n � 0, e qualquer sequencia de estados i0; : : : ; in 2 S. Observamosque se o processo X toma valores em tempo discreto entao para qualquer evento A determinado pelas trajetorias doprocesso temos que

P�[

n�0

An

�D

Xn

P.An/;

sempre e quando os eventos An sejam disjuntos. Se o processo e a tempo contınuo, entao nao existe uma regraequivalente para calcular a probabilidade do evento f[t�0Atg, sendo que este ultimo considera uma uniao naoenumeravel. Porem neste caso existe uma condicao de regularidade sobre o processo a qual permite calcular aprobabilidade de qualquer evento a partir das distribuicoes finito dimensionais. Esta condicao e conhecida como acontinuidade a direita do processo.

Definicao 22. O processo .Xt /, t � 0, e contınuo a direita se para todo ! 2 � e t � 0 existe um " > 0 tal que

Xs.!/ D Xt .!/ para t � s � t C ":

Toda trajetoria t 7! Xt .!/ de um processo contınuo a direita deve permanecer constante durante um perıodo detempo em cada novo estado, portanto existem tres possıveis formas para as trajetorias destes processos:

(a) A trajetoria apresenta infinitos pulos, mas o numero de transicoes no intervalo Œ0; t � sao finitas.(b) A trajetoria apresenta um numero finito de pulos e portanto existe um instante a partir do qual X nao muda

47

48 2. Tempo contınuo

t

Xt .!/

J0

S1 S2 S3

�J1 J2 J3

: : :

: : :

Figura 1. tempos de transicao .Jn/, tempos de permanencia .Sn/, e tempo da explosao � de um processo contınuo.

mais de estado.(c) O processo Xt realiza um numero infinito de transicoes durante o intervalo finito Œ0; t �; neste caso existe um

tempo � conhecido como o tempo da primeira explosao. Um exemplo deste tempo esta apresentado na Figura 1.Depois da primeira explosao o processo inicia de novo podendo tal vez explodir posteriormente um numero enumeravelde vezes ou nao.

Definicao 23. Sejam J0;J1; : : :, os tempos das transicoes e S1;S2; : : : os tempos de permanencia do processoestocastico .Xt /, t � 0, definidos como

J0 D 0; JnC1 D infft � Jn W Xt ¤ XJng; n D 0; 1; : : :

e para n D 1; 2; : : :

Sn D

(Jn � Jn�1; se Jn�1 <1

1; caso contrario:

Observamos que a propriedade da continuidade a direita implica que Sn > 0 para todo n. Se JnC1 D 1 paraalgum n, definimos X1 D XJn

, como o valor final do processo, no caso contrario X1 nao esta definido.

Definicao 24. O (primeiro) tempo de explosao e definido como

� D supn

Jn D

1XnD1

Sn:

Se � <1, entao .Xt / e um processo explosivo.

Definicao 25. Seja .Xt /, t � 0, um processo estocastico. O processo a tempo discreto .Yn/, n � 0 definido por

Yn D XJn

e chamado de processo de transicao de .Xt / , ou cadeia de transicao, caso este seja uma cadeia de Markov.

Observamos que .Yn/ e simplesmente a sequencia de valores tomados pelo processo .Xt / ate o tempo da primeiraexplosao.

Nao sera considerado o que ocorre com um processo depois da primeira explosao. Neste caso resulta convenienteagregar a S o estado “1” de tal maneira que Xt D1 se t � �. Um processo que satisfaz esta condicao e chamado

2. Matriz Q 49

de processo mınimo. Um processo mınimo pode ser recuperado a partir dos tempos de permanencia e do processo detransicao. Observamos que ao especificar a distribuicao conjunta de S1;S2; : : : e .Yn/, n � 0 temos mais uma formade determinar a distribuicao de .Xt /, t � 0, de uma “maneira enumeravel”. Por exemplo, a probabilidade do eventofXt D ig e dada por

P.Xt D i/ D

1XnD0

P.Yn D i e Jn � t < JnC1/

e tambem

P�Xt D i para algum t 2 Œ0;1/

�D P.Yn D i para alguns n � 0/:

2. Matriz Q

Definicao 26. Seja S um conjunto enumeravel. Uma matriz Q em S e uma matriz com elementos qij , i; j 2 S osquais satisfazem a seguintes condicoes

(i) 0 � �qii <1 para todo i 2 S.

(ii) qij � 0 para todo i ¤ j .

(iii)P

j2S qij D 0 para todo i 2 S.

No caso

qi D

Xj¤i

qij <1;

escrevemos qii D �qi . Consideramos primeiro a relacao de esta matriz com um grafo que agora apresenta os valoresde qij associados aos seus elos,

v1

v2 v3

2

1 1

1

1

Q D

24 �2 1 1

2 �3 1

1 0 �1

35

Cada elemento qij , o qual se encontra sobre um dos elos do grafo associado, corresponde a taxa da transicao dovertice i ate o vertice j . Assim, qij representa o numero de transicoes de i a j por unidade de tempo. Seguindo apropriedade (iii) interpretamos qi como a taxa de saıda do vertice i , isto e, o numero de transicoes de i a qualqueroutro vertice por unidade de tempo.

Naturalmente o conjunto de tempos discretos 0; 1; : : : esta incluıdo no conjunto Œ0;1/. Se 0 < p < 1, podemosinterpolar a sequencia discreta pn, n D 0; 1; : : :, pela funcao etq , t � 0, onde q D log p. Se agora consideramosa matriz P D .pij W i; j ;2 S/, sera entao possıvel interpolar os valores de P n, n D 0; 1; : : :? Obviamente que aresposta a esta pergunta sera essencial para estabelecer o vinculo com a teoria a tempo discreto.

Suponhamos que a serienX

kD0

Qk

k!;


converge para todo n 2 N, e que no limite esta seja igual a eQ. Mais ainda, se Q1 e Q2 comutam1, entao

eQ1CQ2 D

1XnD0

.Q1 CQ2/n

n!D

1XnD0

1

n!

nXkD0

n!

k!.n � k/!Qk

1Qn�k2

D

1XkD0

Qk1

k!

1XnDk

Qn�k2

.n � k/!D eQ1Q2 :

Suponhamos por ultimo que e possıvel encontrar uma matriz Q tal que P D eQ, entao

enQD .eQ/n D P n;

de tal maneira que etQ, para t � 0 pode ser utilizada para interpolar P n. Definimos desta forma

(16) P .t/ D etQ

e a seguir apresentamos algumas das propriedades de P .t/.

Teorema 24. Seja Q uma matriz definida no conjunto finito S. Neste caso .P .t/ W t � 0/ apresenta as seguintespropriedades

(i) P .t/ e um semi-grupo, isto e,

P .s C t/ D P .s/P .t/; para todo s; t � 0:

(ii) .P .t/ W t � 0/ e a unica solucao a equacao de forward

d

dtP .t/ D P .t/Q; P .0/ D I:

(iii) .P .t/ W t � 0/ e a unica solucao a equacao de backward

d

dtP .t/ D QP .t/; P .0/ D I:

(iv) Para k D 0; 1; : : :, temos qued

dtkP .k/.t/

ˇtD0D Qk :

Demonstracao. Para quaisquer s; t 2 R temos que as matrizes sQ e tQ comutam, portanto esQetQ D e.sCt/Q,mostrando a propriedade de semi-grupo. Observamos que

(17) P .t/ D

1XkD0

.tQ/k

k!

apresenta um raio de convergencia infinito2 portanto cada componente e diferenciavel e com derivada dada por

P 0.t/ D

1XkD1

tk�1Qk

.k � 1/!D P .t/Q D QP .t/:

Desta forma P .t/ satisfaze as equacoes de forward e backward. Diferenciando termo a termo obtemos o ultimo item,(iv). So resta mostrar que P .t/ e a unica solucao as equacoes de forward e backward. Se L.t/ satisfaz a equacao deforward, entao

d

dt.L.t/e�tQ/ D

� d

dtL.t/

�e�tQ

CL.t/� d

dte�tQ

�D L.t/Qe�tQ

CL.t/.�Q/e�tQD 0;

1ou seja, se Q1Q2 DQ2Q1

2a ser feito no apendice

2. Matriz Q 51

e entao deduzimos que L.t/e�tQ e constante, portanto L.t/ D P .t/. Um argumento similar mostra a unicidade dasolucao a equacao de backwards. �

O Teorema anterior constitui um resultado importante sobre os exponenciais de uma matriz Q qualquer em Squando S e finito. Quando P .t/ e estocastica para todo t � 0, dizemos que P .t/ e um semi-grupo estocastico. Se Q

apresenta a estrutura da Definicao 26, entao o seu exponencial e um semi-grupo estocastico.

Teorema 25. A matriz Q definida em S , com S finito, apresenta a forma determinada pela Definicao 26 se, e somentese o semi-grupo P .t/ D etQ e estocastico.

Demonstracao. Se t # 0, entao,P .t/ D I C tQCO.t2/:

Neste caso a notacao f .t/ D O.t/ significa que no limite t # 0, f .t/=t < C para todos os valores t suficientementepequenos, e C <1 constante . Dado que P .t/ D .e

tn Q/n D P .t=n/n para todo n, temos qij � 0 para i ¤ j se, e

somente se pij .t/ � 0 para todo i; j e todo t � 0.

Se a soma de cada linha de Q e zero, entao cada linha de Qn tambem e zero,Xk2S

qnik D

Xk2S

Xj2S

qn�1ij qjk D

Xj2S

qn�1ij

Xk2S

qjk D 0:

Para quaisquer dois matrizes A, B em S com elementos aij e bij respectivamente, temos que A D B se aij D bij ,portanto de (17) resulta X

j2S

pij .t/ DXj2S

1XkD0

.tqij /k

k!D 1C

1XkD1

Xj2S

.tqij /k

k!D 1:

No sentido contrario, seP

j pij .t/ D 1 para todo t � 0, entao seguindo o Teorema 24(ii),Xj2S

qij Dd

dt

Xj2S

pij .t/ˇtD0D 0: �

Retornamos agora ao problema de interpolar P n, mas desde o ponto de vista do processo. Suponhamos que P euma matriz estocastica da forma eQ, onde Q apresenta as propriedades (i)-(iii) da Definicao 26. Consideramos uminteiro m grande e entao o processo .X m

n /, n � 0 o qual e Markov(�; eQ=m), isto e, para m fixo, consideramos umprocesso com ındices em fn=m W n D 0; 1; 2; : : :g,

Xm=n D X mn ;

tal que para m D 1 recuperamos .Xn/, o qual e Markov(�; .eQ=m/m), sendo

.eQ=m/m D eQD P:

Desta maneira e possıvel encontrar cadeias de Markov com ındices fn=m W n D 0; 1; 2; : : :g arbitrariamente pequenos,tais que quando amostrados a valores inteiros originam uma cadeia de Markov.�;P /. Veremos adiante que existe umprocesso a tempo contınuo, .Xt /, com esta propriedade.

Apresentamos a continuacao um exemplo onde as probabilidade de transicao sao calculadas explicitamente apartir da matriz Q.

Exemplo 12. Seja X uma cadeia de Markov com a seguinte matriz Q,

Q D

24 �2 1 1

1 �1 0

2 1 �3

35 :Logo a equacao caracterıstica associada e,

0 D det.� �Q/ D �.�C 2/.�C 4/;


portanto Q apresenta os autovalores �1 D 0, �2 D �2, e �3 D �4. Q admite por tanto a representacao diagonal

Q D N

240 0 0

0 �2 0

0 0 �4

35N �1;

onde

N D

241 1 �3

1 �1 1

1 1 5

35 ; N �1D

24 3=8 1=2 1=8

1=4 �1=2 1=4

�1=8 0 1=8

35 :Logo

etQD

1XnD0

.tQ/n

n!D N

1XnD0

1

n!

240n 0 0

0 .�2t/n 0

0 0 .�4t/n

35N �1D N

241 0 0

0 e�2t 0

0 0 e�4t

35N �1

D

266666664

3

8C

1

4e�2tC

3

8e�4t 1

2�

1

2e�2t 1

8C

1

4e�2t�

3

8e�4t

3

8�

1

4e�2t�

1

8e�4t 1

2C

1

2e�2t 1

8�

1

4e�2tC

1

8e�4t

3

8C

1

4e�2t�

5

8e�4t 1

2�

1

2e�2t 1

8C

1

4e�2tC

5

8e�4t

377777775:

Desta maneira obtemos a probabilidade p11.t/ D P.Xt D 1 j X0 D 1/,

p11.t/ D3

8C

1

4e�2tC

3

8e�4t :

3. Propriedades da distribuicao exponencial

A variavel aleatoria T W �! Œ0;1� apresenta distribuicao exponencial com parametro �, 0 � � <1, se

P.T > t/ D e��t ; para todo t � 0:

Neste caso escrevemos T � E.�/. Se � > 0, entao T tem densidade de probabilidade

fT .t/ D

(�e��t se t � 0;

0 se t < 0:

Utilizando a formula telescopica para a media de T obtemos

EŒT � DZ 1

0

P.T > t/ dt D1

�

A distribuicao exponencial joga um papel fundamental na teoria dos processos de Markov. Em particular esta seencontra relacionada com a propriedade da perda de memoria e portanto com a propriedade de Markov em tempocontınuo.

Teorema 26 (Perda de memoria). A variavel aleatoria T W �! .0;1� tem distribuicao exponencial se, e somentese esta apresenta a seguinte propriedade

P.T > s C t jT > s/ D P.T > t/; para todo s; t � 0:

3. Propriedades da distribuicao exponencial 53

Demonstracao. Suponhamos que T � E.�/, entao

P.T > s C t jT > s/ DP.T > s C t;T > s/

P.T > s/D

P.T > s C t/

P.T > s/

De��.sCt/

e��sD e��t

D P.T > t/:

Suponhamos agora que T satisfaze a propriedade da perda de memoria, logo seja neste caso g.t/ D P.T > t/.Observamos que

g.s C t/ D P.T > s C t/ D P.T > s C t;T > s/

D P.T > s C t jT > s/P.T > s/

D g.t/g.s/;

o qual mostra que g.x/ e decrescente em x. Por hipotese temos que T > 0, logo existe um n suficientemente grandetal que P.T > 1=n/ > 0 e desta forma

g.1/ D P.T > 1/ D g�1

nC

1

nC : : :C

1

n

�D g

�1

n

�n

> 0;

o qual implica a sua vez que existe 0 � � <1 tal que g.1/ D e��. Consideramos agora dois inteiros p; q � 1 taisque p=q D r . Entao

P.T > r/ D g.r/ D g�q�1

�p> 0;

portanto g.r/ D e��r , para todo r 2 Q. Por ultimo, consideramos t > 0 real, e dois racionais r e s tais que r � t � s.Neste caso, como g e decresce com o seu argumento,

e��rD g.r/ � g.t/ � g.s/ D e��s;

Como Q e denso em R, podemos escolher r e s tao proximos de t como queramos, logo das desigualdades acimaconcluımos que g.t/ D e��t . �

O seguinte resultado mostra que uma soma de variaveis aleatorias exponenciais independentes pode ser quasecertamente finita ou infinita. Alem disto tambem fornece um criterio para determinar qual destas possibilidades ecerta. Este resultado sera utilizado para determinar se um processo de Markov a tempo contınuo pode realizar umnumero infinito de transicoes num intervalo de tempo infinito ou nao, isto e, se o processo e explosivo ou nao.

Teorema 27. Sejam S1, S2, : : : uma sequencia de variaveis aleatorias tais que Sn � E.�n/, 0 < �n <1 para todon.

(i) Se1X

nD1

��1n <1, entao P

� 1XnD1

Sn <1

�D 1.

(ii) Se1X

nD1

��1n D1, entao P

� 1XnD1

Sn D1

�D 1.

Demonstracao. Suponhamos primeiro queP1

nD1 ��1n <1, logo pelo Teorema de Convergencia Monotona (veja

[Bil95] ou [GS01]) tem-se

E

1X

kD1

Sk

!D lim

kD1E� kX

nD1

Sn

�D

1XkD1

1

�k

<1;

e portanto

P� 1X

kD1

Sk <1

�D 1:


Suponhamos queP1

nD1 ��1n D1. Neste caso

Q1nD1.1C 1=�n/ D1, logo

E�

exp��

1XkD1

Sk

��D E

�lim

n!1

nYkD1

e�Sk

�D lim

n!1E� nY

kD1

e�Sk

�

D

1YkD1

E�

e�Sk

�D

1YkD1

�1C

1

�k

��1

D 0:

A segunda igualdade segue do Teorema de Convergencia Monotona, a terceira segue da independencia das variaveisaleatorias Sn, e a quarta resulta da integral

Ehe�Sk

iD

Z 10

e�t�ke��k t dt D�k

�k C 1:

Desta forma, se Ehe�

Pk�0 Sk

iD 0, entao

P� 1X

kD1

Sk D1

�D 1: �

O seguintes dois resultados serao utilizados adiante.

Lema 8. Seja K um conjunto enumeravel e sejam Tk , k 2 K, variaveis aleatorias exponenciais independentes,Tk � E.qk/, tais que 0 < q D

Pk2K qk < 1. Seja T D infk Tk . O infimo e alcanado para um unico valor

aleatorio K de k com probabilidade 1. Pelo outro lado, as variaveis aleatorias T e K sao independnetes tais queT � E.q/ e P.K D k/ D qk=q.

Demonstracao. Se Tk < Tj para todo j ¤ k, entao seja K D k. Caso nao exista tal indice k, K nao esta definido.Agora, simplesmente da definicao de T e K,

P.K D k;T � t/ D P.Tk � t;Tj > Tk 8j ¤ k/;

porem o termino a direita da igualdade e

P.Tk � t;Tj > t 8j ¤ k/ D P.Tk � t/P.Tj > t 8j ¤ k/

D

Z 1t

qke�qk uP.Tj > u j ¤ k/ du D

Z 1t

qke�qk uYj¤k

e�qj u du

D

Z 1t

qke�qu du Dqk

qe�qt :

Temos portanto que T e K sao variaveis aleatorias independentes com distribuicoes P.T � t/ D e�qt e P.K Dk/ D qk=q. Segue disto ultimo que P.K D k para algum k/ D

Pk2K P.K D k/ D

Pk2K qk=q D 1. �

Lema 9. Sejam S � E.�/ e R � E.�/ para t � 0, entao

�P.S � t < S CR/ D �P.R � t < RC S/:

Demonstracao.

P.S � t < S CR/ D P.S D s;R D r/; s 2 Œ0; t �; r 2 Œt � s;C1/;

4. Processo de Poisson 55

logo, da independencia entre S e R

P.S D s;R D r/ D

Z 1t�s

Z t

0

�P.S D s/�P.R D r/dsdr

D ��

Z t

0

e��s

�Z 1t�s

e��r dr

�ds D ��

Z t

0

e��se��.t�s/ ds

D ��

Z t

0

e��.t�s/e��t ds D P.R � t < RC S/: �

Exercıcios

Exercıcio 55. Sejam S e T duas variaveis aleatorias exponenciais com parametros ˛ e ˇ respectivamente. Quala distribuicao de minfS;T g? Qual a probabilidade do evento fS � T g? Mostre que os dois eventos fS < T g efminfS;T gg sao independentes.

Exercıcio 56. Sejam T1, T2, : : : variaveis aleatorias independentes identicamente distribuidas com distribuicaoexponencial com parametro �. Seja N uma variavel aleatoria geometrica com parametro ˇ,

P.N D n/ D ˇ.1 � ˇ/n�1; n D 1; 2; : : :

Mostre que T DPN

iD1 Ti tem distribuicao exponencial com parametro �ˇ.

Exercıcio 57. Sejam S1, S2, : : : variaveis aleatorias exponenciais independentes com parametros �1, �2, : : : res-pectivamente. Mostre que �1S1 e exponencial com parametro 1. Utilize a lei dos grandes numeros para mostrarque

P� 1X

nD1

Sn D1

�D 1;

quando �n D 1 para tudo n � 1, e logo tambem para o caso quando supn �n < 1. Sera esta ultima condicaonecessaria?

4. Processo de Poisson

O processo de Poisson e um dos exemplos mais simples de uma cadeia de Markov em tempo contınuo o qual a suavez joga um papel fundamental na construcao de outros processos. Na pratica, o processo de Poisson e utilizado paramodelar o numero de ocorrencias de um certo evento em tempo contınuo.

Definicao 27. Um processo .Nt /, t � 0, contınuo a direita com valores em ZC e um processo de Poisson com taxa�, 0 < � < 1 se os seus tempos de permanecia .Sn/, n D 1; 2; : : :, sao variaveis aleatorias independentes, comdistribuicao exponencial de parametro �, e sua cadeia de transicao e dada por Yn D n.

O grafo e a matriz Q do processo de Poisson sao

v1 v2 v3 � � ��

Q D

26664��

��

��

: : :: : :

37775


Observamos que para este processoP1

nD1 1=� D 1, portanto, do Teorema 27, P.P1

nD1 Sn D 1/ D 1, o qualimplica que este processo e nao explosivo e entao que as distribuicoes finito dimensionais do processo .Nt /, t � 0, seencontram unicamente determinadas.

Uma maneira simples de construir o processo de Poisson com taxa � e considerar uma sequencia de variaveisaleatorias exponenciais independentes .Sn/, n D 1; 2; : : : com parametro �, e entao J0 D 0, Jn D Sn de tal formaque

Nt D n se Jn � t < JnC1:

O seguente desenho apresenta uma trajetoria possıvel desta construcao.

S3 S4S1 S2

J0

tJ1 J2 J3 J4

� � �

� � �

Nt .!/

v4

v3

v2

v1

Figura 2. tempos de permanencia e tempos de transicao em uma trajetoria tipica de um processo de Poisson.

Mostramos agora como a propriedade da perda de memoria dos tempos de permanencia exponenciais, Teorema 26,determina a propriedade de perda de memoria do processo de Poisson.

Teorema 28 (Propriedade de Markov do processo de Poisson). Seja .Nt /, t � 0 um processo de Poisson de taxa�. Para qualquer s � 0, o processo .NsCt � Ns/, t � 0, e um processo de Poisson de taxa �, independente de.Nr W r � s/.

Demonstracao. Suponhamos, sem perda de generalidade que Xs D i . Seja . QSn/, n � 1, a sequencia de temposdefinida por

QS1 D SiC1 � .s � Ji/; QSn D SiCn; n � 2;

O seguente desenho ilustra esta definicao.

0 Ji s JiC1 JiC2 t

QS1QS2

4. Processo de Poisson 57

Claramente a sequencia . QSn/, n � 0, corresponde aos tempos de permanencia do processo QNt D NsCt �Ns , t � 0.Notamos que se ocorre fNs D ig D fJi � s < JiC1g, entao necessariamente SiC1 > s � Ji . Logo,

P. QS1 > ujNs D i;S1 D t1; : : : ;Si D ti/

D P.SiC1 > uC .s � Ji/jNs D i;S1 D t1; : : : ;Si D ti/

D P�

SiC1 > uC�s �

iXnD1

tn

�ˇSiC1 > s �

iXnD1

tn

�D P.SiC1 > u/;

A ultima igualdade segue da propriedade da perda de memoria de SiC1, o qual a sua vez segue por hipotese pois SiC1

e exponencial. Isto mostra que QS1 dado Ns D i e independente de S1; : : :Si e tambem que QS1 � E.�/. Diretamenteda sua definicao, os tempos QS2, QS3, : : : sao independentes de S1, S2, : : :, Si , e exponencialmente distribuıdos comparametro �. Assim, dado o evento fNs D ig, os tempos de permanencia QS1, QS2, : : : sao independentes E.�/ eindependentes de S1; : : : ;Si . Concluımos desta forma que . QNt /, t � 0 e Poisson com parametro � e incrementosindependentes de .Nu W u � s/. �

O seguinte resultado considera a generalizaao do Teorema anterior para um tempo de parada T .

Teorema 29 (Propriedade de Markov forte do processo de Poisson). Seja .Nt /, t � 0 um processo de Poisson comtaxa � e seja T um tempo de parada para este processo. Dado o evento fT <1g, o processo .NTCt �NT /, t � 0 eum processo de Poisson com taxa �, independente de .Ns W s � T /.

Demonstracao. Veja [Nor97], Teorema 6.5.4.3 �

O seguinte Teorema fundamental fornece tres maneiras diferentes de caraterizar um processo de Poisson: (a) apartir de processo de transicao e os tempos de permanencia, veja a secao 1, (b) uma definicao “infinitesimal”, e (c)utilizando a probabilidade de transicao. Em (b) utilizamos a notacao f .t/ D o.t/, com o significado f .t/=t ! 0

quando t ! 0.

Teorema 30 (Caraterizacao do processo de Poisson). Seja .Nt /, t � 0, um processo contınuo a direita com valoresinteros iniciado na origem. As seguintes condicoes sao equivalentes.

(a) Os tempos de permanencia S1, S2, : : : de .Nt / sao variaveis aleatorias independentes e identicamentedistribuıdas com distribuicao E.�/, a cadeia de transicao associada e dada por Yn D n;

(b) .Nt /, t � 0, apresenta incrementos independentes, e quando h # 0, uniformemente em t , temos que

P.NtCh �Nt D 0/ D 1 � �hC o.h/;

P.NtCh �Nt D 1/ D �hC o.h/I

(c) .Nt /, t � 0 apresenta incrementos estacionarios independentes, e, para cada t , Nt tem distribuicao Poissoncom parametro �t .

Se o processo fNt W t 2 RCg satisfaz qualquer uma destas tres condicoes, entao este e chado de processo dePoisson de taxa �.

Demonstracao. Mostramos primeiro (a)) (b). Suponhamos que (a) seja certa, entao da propriedade de Markov,para quaisquer s; t � 0, o incremento NhCt �Nt tem a mesma distribuicao de Nh e e independete de .Ns W s � t/.

3Para esta demonstracao e necessario ter conhecimentos da teoria da medida.


Portanto .Nt /, t � 0, tem incrementos independentes e no limite h # 0, temos

P.NtCh �Nt � 1/ D P.Nh � 1/ D P.J1 � h/ D 1 � e��hD �hC o.h/;

P.NtCh �Nt � 2/ D P.Nh � 2/ D P.J2 � h/

� P.S1 � h e S2 � h/ D .1 � e��h/2 D o.h/;

o qual implica (b).

Mostramos agora .b/) .c/. Se (b) e valida, entao, para i D 2; 3; : : :, temos que uniformemente em t ,

P.NtCh �Nt D i/ D o.h/ quando h # 0:

Seja pj .t/ D P.Nt D j /. temos entao que para j D 1; 2; : : :,

pj .t C h/ D P.NtCh D j / D

jXiD0

P.NtCh D j ;Nt D j � i/

D

jXiD0

P.NtCh �Nt D i/P.Nt D j � i/

D

�1 � �hC o.h/

�pj .t/C

��hC o.h/

�pj�1.t/C o.h/:

Assim,pj .t C h/ � pj .t/

hD ��pj .t/C �pj�1.t/C

o.h/

h;

e entao no limite h! 0 temos finalmente o seguinte sistema de equacoes para j D 1; 2; : : :,

d pj .t/

dtD ��pj .t/ � �pj�1.t/:

O caso j D 0 pode ser considerado de forma parecida, resultando

p0.t/ D ��0.t/:

Dado que N0 D 0, as concicoes iniciais dos sistema sao pj .0/ D 0, j � 0, e p0.0/ D 1. Neste caso e possıvelencontrar uma solucao analıtica ao sistema. Observamos primeiro que p0.t/ D e��t . Logo para j D 1 temos que.e�t p1.t//

0 D e�t p0.t/, assim p1.t/ D e�t=1!. Em geral para j � 1 temos .e�t pj .t//0 D e�t pj�1.t/, portanto

ressolvendo de maneira recursiva obtemos

pj .t/ D e��t .�t/j

j !; j � 0:

Concluımos desta forma que Nt apresenta distribuicao Poisson com parametro �t . Agora, se Nt satisfaze (b), entaoeste apresenta incrementos independentes. Por outro lado, como .NsCt �Ns/ satisfaze (b), entao para qualquer s > 0

temos que NsCt �Ns �Poisson.�t/, o qual implica .c/.

Mostramos por ultimo que .c/) .a/. Sejam .Jn/, n � 1, os tempos de transicao do processo de Possoin Nt .Suponhamos que a distribuicao conjunta de J D .J1; : : : ;Jk/, e dada por

fJ .t1; : : : ; tk/ D �ke��tk 1f0�t1�:::�tkg;

Neste caso, os tempos de permanencia S D .S1; : : : ;Sk/, tem distribuicao

fS .s1; s2; : : : ; sk/ D fJ .s1; s1 C s2; : : : ; s1 C : : :C sk/

D �ke��.s1C:::Csk /1fs1>0;:::;sk>0g

D

kYiD1

�e��si 1fsi>0g;

Exercıcios 59

o qual mostra que as variaveis aleatorias Sn sao independentes e identicamente distribuıdas com distribuicao ex-ponencial de parametro �. Desta forma so fica por ser mostrado que fJ de fato apresenta a forma assumidaacima. A distribuicao de J , pode ser derivada ao considerar o limite h D .h1; : : : ; hk/ ! 0 na quantidadeP.\k

iD1Ji 2 .ti ; ti C hi �/=h. Sejam Ai D fNtiChi

�Nti D 1g e Bi D fNtiC1�NtiChi

D 0g, logo

n k\iD1

Ji 2 .ti ; ti C hi �oD

nNt1 D 0

o k�1\iD1

.Ai \ Bi/ \nNtkChk

�Ntk � 1o;

sempre e quando h1; : : : ; hk sejam o suficientemente pequenos. Neste caso, seguindo a independencia entre osincrementos temos que o evento a direita da ultima igualdade tem probabilidade

P.Nt1 D 0/

k�1YiD1

P.Ai \ Bi/P.NtkChk�Ntk � 1/

mas, sob (c), os incrementos de Nt sao estacionarios e Nt apresenta distribuicao Poisson.�t/, assim a probabilidadeacima e

e�t1e��h1�h1e��.t2�t1�h1/e��h2�h2e��.t3�t2�h2/ � � � .1 � e��hk /;

isto e,

e��t1

k�1YiD1

�e��hi�hie

��.tiC1�ti�hi /�.1 � e��hk /

D �k�1h1 � � � hk�1e��tk .1 � e��hk /:

Temos portanto que

limhi!0

�k�1h1 � � � hk�1e��tk .1 � e��hk /

h1 � � � hk�1hk

D �k�1e��tk limhk!0

1 � e��hk

hk

D �ke��tk : �

Exercıcios

Exercıcio 58. Seja fN.t/ W t � 0g um processo de Poisson com taxa � e seja fX.t/ W t � 0g com valores emS D f�1; 1g o processo definido por

X.t/ D X.0/ � .�1/N.t/:

(i) Verifique se fX.t/g e uma cadeia de Markov. (ii) Encontre o semigrupo de fX.t/g. (iii) Encontre o gerador Q.

Exercıcio 59. Seja fN.t/ W t � 0g um processo de Poisson com taxa �, e probabilidades de transicao pij .t/ D .Pt /ij .(i) Mostre que fPtg e um semigrupo. (ii) Verifique se fPtg e uniforme. (iii) Encontre o gerador do processo Q.

Exercıcio 60 (Processo de nascimento (simples)). Seja �n D n�. O seguinte modelo descreve uma populacao na qualcada individuo tem um descendente com probabilidade �hC o.h/ no intervalo .t; t C h/. O numero de nascimentosM no intervalo .t; t C h/ satisfaz

P.M D mjN.t/ D n/ D

�n

m

�.�h/m.1 � �h/n�m

C o.h/;


isto e,

P.M D mjN.t/ D n/ D

8<:�nhC o.h/ D 1 � n�hC o.h/ se m D 0;

o.h/ se D m > 1;

�nhC o.h/ D n�hC o.h/ se m D 1:

Analogamente ao processo de Poisson, sejam as probabilidades de transicao

pij .t/ D P.N.s C t/ D j jN.s/ D i/ D P.N.t/ D j jN.0/ D i/:

(i) Deduzir o sistema de equacoes adiantadas (forward),

p0ij .t/ D �j�1pi;j�1.t/ � �j pij .t/; j � i

e o sistema retardado (backward),

p0ij .t/ D �ipiC1;j .t/ � �ipij .t/; j � i:

Exercıcio 61. Resolva os sistemas forwards e backwards para o processo de nascimento simples, considerando amesma condicao inicial pij .0/ D ıij onde ıij D 1 se i D j e ıij D 0 se i ¤ j .

Exercıcio 62. Um processo de Poisson nao homogeneo e um processo N.t/ definido da mesma forma que o processode Poisson exceto que neste caso a probabilidade de uma chegada no intervalo .t; t C h/ e �.t/hC o.h/, onde �.t/varia com t . Obtenha as equacoes de forward e backward para N .

Exercıcio 63. Mostre partindo da definicao da probabilidade de transicao do processo de Poisson que

P.t1 < J1 � t2 < J2/ D e��t1�.t2 � t1/e��.t2�t1/

e portanto que J2 � J1 D S2 apresenta distribuicao exponencial com parametro �, independentemente de J1.

Exercıcio 64. As chegadas dos onibuses da linha 1 formam um processo de Poisson com taxa 1 (1 onibus por hora), eindependentemente dos da linha 1 os da linha 7 seguem um processo de Poisson com taxa 7. (i) Qual e a probabilidadede que exatamente 3 onibus chegem durante a primeira hora? (ii) Qual e a probabilidade de que exatamente 3 onibusda linha 7 cheguem ao ponto quando voce esta esperando por uno da linha 1? (iii) Qual e a probabilidade de que vocefique aguardando por 30 minutos sem que passe nenhum onibus?

5. Processos de Markov

5.1. Cadeia de transicao e tempos de permanencia. Nesta secao damos inicio propriamente a teoria dos processosde Markov. Estes processos serao definidos apartir da distribuicao conjunta do processo de transicao e os tempos depermanencia. Observamos que esta abordagem corresponde a seguida em uma das definicoes do processo de Poisson,i. e., em Teorema 30 (a).

Seja S um conjunto enumeravel. A informacao essencial que determina um processo de Markov com valores em Se dada por uma matriz Q, isto e, pelos numeros qij , i; j 2 S , os quais satisfazem as condicoes: (i) 0 � qi D �qii <1

para todo i 2 S, (ii) qij � 0 para todo i ¤ j , e (iii)P

j2S qij D 0 para todo i 2 S.

Definicao 28. A matriz estocastica … D .�ij W i; j 2 S/, e a matriz de probabilidade de transicao associada a matrizQ de acordo as sequintes regras

�ij D

(qij=qi ; se j ¤ i e qi ¤ 0

0; se j ¤ i; e qi D 0

�ii D

(0; se qi ¤ 0

1; se qi D 0

5. Processos de Markov 61

Desta forma para a i-esima fila de Q tomamos todos os elementods nao diagonais e os re-escalamos de formaque a sua soma seja igual a 1. Este procedimento nao e possıvel se todos os elementos no diagonais sao 0, neste casofazemos os elementos no diagonais iguais a 0 e a diagonal igual a 1. Por exemplo, para a seguinte matriz Q e o seugrafo

v1

v2 v3

2

1 1

1

1

Q D

24 �2 1 1

2 �3 1

1 0 �1

35

temos

v1

v2 v3

23

12

12

1

13

… D

24 0 1=2 1=2

1 0 0

2=3 1=3 0

35 :

Definicao 29 (Processo de Markov). Um processo mınimo contınuo a direita .Xt /, t � 0, com valores em S, eum processo de Markov com distribuicao inicial � e matriz geradora Q se a sua cadeia de transicao .Yn/, n � 0,e uma cadeia de Markov(�;…), e dado fY0;Y1; : : : ;Yn�1g, os seus tempos de permanencia S1;S2; : : : ;Sn saovariaveis aleatorias independetes e exponencias com parametros q.Y0/; q.Y1/; : : : ; q.Yn�1/ respectivamente. Nestecaso dezimos que .Xt / e Markov(�;Q).

Apresentamos a seguir tres maneiras diferentes para construir um processo de Markov, cada uma fornece umainterpretacao complementar e permitem identificar quando um determinado processo e uma processo de Markov.

Construicao A. Seja .Yn/, n � 0, uma cadeia de Markov.�;…/ e T1;T2; : : : variaveis aleatorias independentes,exponencialmente distribuıdas com parametro 1, e independentes de .Yn/, n � 0. Consideramos Sn D Tn=q.Yn�1/,Jn D S1 C : : :C Sn, e logo

Xt D

(Yn se Jn � t < JnC1 para algum n

1 caso contrario:

Neste caso .Xt /, t � 0, e Markov.�;…/. Para vermos isto e suficiente observar que se Tn � E.1/, entao Sn �

E.q.Yn�1//. Seja � a bijecao � W Tn ! Sn dada por �.Sn/ D Tn=q.Yn�1/, e em particular sejam Tn D t , Sn D s eq.Yn�1/ D �. A densidade de Sn pode ser calculada utilizando a densidade de Tn,

fSn.s/ D jJ j�1fTn

.��1.s//;

onde fTn.t/ D e�t , se t � 0 (e fTn

.t/ D 0 se t < 0), e jJ j e o determinante do Jacobiano da transformacao �,jJ j D jd�.s/=dt j D 1=�.

Construicao B. Definimos primeiro X0 D Y0, com distribuicao �, e logo consideramos a colecao .T jn W n �

1; j 2 S/ de variaveis aleatorias independentes e com distribuicao exponencial com parametro 1. Inductivamente


para n � 0 fazemos

SjnC1D T

jnC1

=qij ; quando j ¤ i;

SnC1 D infj¤i

SjnC1

;

YnC1 D

(j se S

jnC1D SnC1 <1;

i se SnC1 D1:

Assim, dado o evento fYn D ig, temos que as variaveis SjnC1

sao independentes e exponencialmente distribuıdascom paratremo qij para tudo j ¤ i . Assim, dado fYn D ig, do Lema 8 temos que SnC1 e exponencial comparametro qi D

Pj¤i qij , YnC1 tem distribuicao .�ij W j 2 S/, e SnC1 e YnC1 sao independentes, e independentes

de Y0; : : : ;Yn e S1; : : : ;Sn.

5.2. Equacoes de Forward e Backward. A definicao de um processo de Markov baseada nos tempos de permanenciae transicao e util para desenvolver a intuicao, embora esta nao permite encontrar propriedades fundamentais comoas probabilidade de transicao Pi.Xt D j /. De maneira analogo ao feito com o processo de Poison, deduzimosprimeiramente a propriedade (forte) de Markov para a cadeia dos tempos de transicao.

Teorema 31 (Propriedade forte de Markov, tempo continuo). Seja .Xt /, t � 0, Markov.�, Q/ e seja T um tempode parada de .Xt /, t � 0. Dados fT < 1g e fXT D ig, .XTCt /, t � 0, e Markov.ıi ;Q/, e independente deXu W u � T .

Demonstracao. Veja [Nor97], Teorema 6.5.4, p. 227. �

Apresentamos a seguir um resultado chave para caraterizar um processo de Markov. Analogamente a o apresentadono Teorema 30, a caraterizacao consiste em fornecer tres possıveis maneiras diferentes de definir o processo.

Teorema 32 (Caraterizacao do processo de Markov). Seja .Xt /, t � 0, um processo contınuo a direita com valoresem S finito. Seja Q uma matriz Q sobre S com matriz de transicao …. As seguintes tres condicoes sao equivalentes.

(a) (definicao pela cadeia de transicao e os tempos de permanencia) dado o evento fX0 D ig, a cadeiade transicao .Yn/, n � 0, de .Xt /, t � 0, e uma cadeia de Markov.ıi ;…/, e para cada n � 1 dadosY0; : : : ;Yn�1, os tempos de permanencia S1; : : : ;Sn sao variaveis aleatorias independentes, exponencial-mente distribuıdas com parametros q.Y0/, : : :, q.Yn�1/ respectivamente.

(b) (definicao infinitesimal) para todo t; h � 0, dado fXt D ig, fXtChg e independente de .Xu W u � t/ equando h # 0 uniformemente em t , temos que

P.XtChj jXt D i/ D ıij C qij hC o.h/;

(c) (definicao pela probabilidade de transicao) para todo n � 0, e 0 � t0 � t1 � : : : � tij .t/ e quaisquerestados i0; : : : ; inC1,

P.XtnC1D inC1jXt0 D i0; : : : ;Xtn D in/ D pininC1

.tnC1 � tn/;

onde .pij .t/ W i; j 2 I; t � 0/ e a solucao da equacao de forward

dP .t/

dtD P .t/Q; P .0/ D I:

Se .Xt /, t � 0, satisfaze qualquer uma destas condicoes, entao chamamos este proceso de uma cadeia de Markovcom gerador Q, e o denotamos por Markov.�;Q/, sendo � a distribuicao de X0.

Demonstracao. (Teorema 32) Veja [Nor97], Teorema 2.8.2. �

Exercıcios 63

Exercıcios

Exercıcio 65. Seja X uma cadeia de Markov a tempo continuo com semigrupo fPtg e valores em S (enumeravel).(i) Mostre que pij .t/ e uma funcao continua de t . (ii) Seja

q.t/ D � ln pii.t/:

Mostre que q e uma funcao continua tal que q.0/ D 1 e

q.s C t/ � q.s/q.t/:

Neste case q e chamada sub-aditiva. E conhecido que estas funcoes obedecem

limt!0

q.t/

tD � existe e � D sup

t>0

q.t/

t� 1:

(iii) Demostre que qii D limt!0.1=t/.pii.t/ � 1/ existe, mas pode ser �1.

Exercıcio 66. (i) Mostre que nao toda cadeia de Markov com ındice discreto pode ser embebida numa cadeia comındice continuo. Isto e, seja

P D

�˛ 1 � ˛

1 � ˛ ˛

�; 0 < ˛ < 1

uma matriz de transicao. Mostre que existe um semigrupo uniforme fPtg de probabilidades de transicao a tempocontinuo tais que P1 D P se, e somente se 1

2< ˛ < 1. Neste caso mostre que fPtg e unico. Calcule Pt em termos

de ˛.

Exercıcio 67. Mostre da definicao do processo de nascimento que se j < i ou j > i C 1, entao,

qii D ��i ;

qi;iC1 D �i ;

qij D 0:

Logo

Q D

26664��0 �0 0 0 0 � � �

0 ��1 �1 0 0 � � �

0 0 ��2 �2 0 � � �

::::::

::::::

:::

37775(i) Mostre que

limh!0

1

h.Ph � I/ D Q

(ii) Obtenha as equacoes de forward e backward

p0ij .t/ DX

k

pik.t/qkj ou P 0t D Pt Q

p0ij .t/ DX

k

qikpkj .t/ ou P 0t D QPt :


6. Estrutura de classe

Quando .Xt /, t � 0, e um processo de Markov mınimo, as suas classes de comunicacao correspondem as classes decomunicacao da cadeia de transicao .Yn/, n � 0.

Definicao 30. O estado i conduz ao estado j , denotado i ! j , se P.Xt D j para algum t � 0jX0 D i/ > 0. i

comunica com j , denotado i $ j , se i ! j e j ! i .

As nocoes de classe de comunicacao, classe aberta, classe fechada, estado absorvente, e irredutibilidade seguemdas nocoes para a cadeia de transicao .Yn/, n � 0.

Teorema 33. Sejam i; j 2 S dois estados diferentes. As seguintes afirmacoes sas equivalentes.

(a) i ! j .

(b) i ! j para a cadeia de transicao.

(c) qi0i1qi1i2

: : : qin�1in> 0 para alguma sequencia de estados i0; i1; i2; : : : ; in com i0 D i , in D j .

(d ) pij .t/ > 0 para todo t > 0.

(e) pij .t/ > 0 para algum t > 0.

7. Tempos da primeira chegada e probabilidades deabsorcao

Seja .Xt /, t � 0, uma cadeia de Markov com matriz geradora Q.

Definicao 31. O primeiro tempo de chegada ao conjunto A � S, denotado DA e dado pela expressao

DA.!/ D infft � 0 W Xt .!/ 2 Ag

(onde inf∅ D1)

Se .Xt /, t � 0, e mınimo e H A denota o primeiro tempo de chegada ao conjunto A para a cadeia de transicao,entao fH A < 1g D fDA < 1g, logo para os ! neste conjunto temos que DA D JH A . A probabilidade de que.Xt /, t � 0, chegue ate A dado que X0 D i e

hAi D Pi.D

A <1/ D Pi.HA <1/:

Se A e uma classe fechada, entao hAi e uma . Como as probabilidades do retorno correspondem as probabilidades de

retorno da cadeia de transicao, estas sao calculadas da mesma maneira ao descrito no caso discreto.

Teorema 34. O vetor das probabilidades da primeira chegada a A, hA D .hAi W i 2 S/ e a solucao mınima nao

negativa ao seguinte sistema linear

hAi D

(1; se i 2 A;P

j2S qij hAj ; se i … A:

Demonstracao. A prova segue ao aplicarmos diretamente o argumento do Teorema 6 para a cadeia de transicao aore-escrever (2) em terminos de Q. �

Definicao 32. O tempo esperado para que .Xt /, t � 0, atinja o conjunto A � S e

kAi D Ei ŒD

A�

Para calcularmos kAi devemos considerar os tempos de permanencia, f.Sn W n � 1/g. O seguinte fornece um

exemplo para um caso simples.


Exemplo 13. Seja .Xt / um processo de Markov com o seguinte grafo de transicao4

v11 v22

v44v33

Calculamos o tempo medio para que o processo chegue de v1 ate v4. Seja ki D Ei Œ tempo ate v4�. Se X0 D 1, oprocesso fica um tempo medio igual a 1=q1 D 1=2 em v1, logo com a mesma probabilidade realiza uma transicao atev2 ou v3. Assim

k1 D1

2C

1

2k2 C

1

2k3

e analogamente

k2 D1

6C

1

3k1 C

1

3k3; k3 D

1

9C

1

3k1 C

1

3k2:

e portanto k1 D 17=12.

De forma geral tem-se o seguinte resultado.

Teorema 35 (Tempo esperado da primeira chegada). Seja qi > 0 para i … A � S . O vetor do valor esperado para oprimeiro tempo de chegada a A, kA D .kA

i W i 2 S/ e a menor solucao nao negativa do sistema,

(18)kA

i D 0; se i 2 A

�

Xj2S

qij kAj D 1 se i … A:

Exercıcio 68. Seja .Xt / um processo de Markov com valores em S D f1; 2; 3; 4g e gerador

Q D

2664�1 1=2 1=2 0

1=4 �1=2 0 1=4

1=6 0 �1=3 1=6

0 0 0 0

3775 :(i) Calcule a probabilidade de chegar pela primeira vez ate o estado 3 dado que inicialmente X0 D 1. (ii) Calcule otempo esperado para chegar pela primeira vez ate o estado 4 desde o estado inicial 1.

8. Recorrencia e transitoriedade

Definicao 33. Suponhamos que .Xt /, t � 0, e um processo de Markov mınimo com matriz geradora Q. O estado i erecorrente se

Pi.ft � 0 W Xt D ig e nao limitado/ D 1:

O estado i e transitorio sePi.ft � 0 W Xt D ig e nao limitado/ D 0:

Observamos que .Xt / explode dado que X0 D i entao i nao e recorrente. Da mesma maneira como a estruturade classe e determinada pela cadeia de transicao, a recorrencia e a transitoriedade de um processo de Markov tambeme dada pela cadeia de transicao.

Teorema 36. Seja .Xt /, t � 0, um processo de Markov.

4colocar as taxas


(i ) Se i e um estado recorrente para a cadeia de transicao .Yn/, n � 0, entao i e recorrente para .Xt /.

(i i ) Se i e transitorio para a cadeia de transicao, entao i e transitorio para .Xt /, t � 0.

(i i i ) Todo estado e recorrente ou transitorio.

(iv) A recorrencia e a transitoriedade sao propriedades de classe.

Definicao 34. Seja Ti o primeiro tempo de retorno de .Xt /, t � 0 ao estado i ,

Ti.!/ D infft � J1.!/ W Xt .!/ D ig:

e Ti D1, caso nao exista f! W Xt .!/ D ig.

O seguinte resultado fornece condicoes de recorrencia e transitoriedade em tempo contınuo analogas as descritasno Teorema 9

Teorema 37. Seja .Xt /, t � 0 um processo de Markov com gerador Q. Neste caso,

(i ) se qi D 0 ou Pi.Ti <1/ D 1, entao i e recorrente eR1

0pii.t/dt D1.

(i i ) se qi > 0 e Pi.Ti/ < 1, entao i e transitorio eR1

0pii.t/dt <1.

Mostramos finalmente que as propriedades de recorrencia e transitoriedade se encontram determinadas porqualquer k-esqueleto de .Xt /, t � 0.

Teorema 38. Seja k > 0 uma constante e entao Zn D Xnk , n � 0.

(i ) se i e recorrente para .Xt /, t � 0, entao i e recorrente para .Zn/, n � 0.

(i i ) se i e transitorio para .Xt /, t � 0, entao i e transitorio para .Zn/, n � 0.

9. Distribuicao invariante

Apresentamos brevemente a nocao de distribuicao invariante no caso contınuo. Se � e uma distribuicao em S , dezimosque � e invariante se

�Q D 0

Teorema 39. Seja Q uma matriz Q com matriz de transicao … e seja � uma distribuicao. As seguintes afirmacoessao equivalentes,

(i ) � e invariante.

(i i ) �… D �, onde �i D �iqi .

A relacao entre invarincia e a matriz de transicao… observada acima, junto as condicoes de existencia e unicidadeestudadas na secao 6, fornecem a unicidade do invariante no caso contınuo.

Teorema 40. Suponha que Q e irredutıvel e recorrente. Neste caso Q apresenta um invariante � unico sobmultiplicacao por uma constante.

Lembramos que um estado i e recorrente se qi D 0 ou se Pi.Ti < 1/ D 1 . Quando qi D 0 ou mi D Ei ŒTi �,o tempo do retorno esperado, e finito entao dezimos que i e positivo recorrente.. No caso contrario dezimos que i

e nulo recorrente.. Analogamente a situacao em tempo discreto, a nocao de recorrencia positiva esta estreitamenterelacionada a existencia de uma distribuicao de probabilidade invariante.

Teorema 41. Seja Q uma matriz irredutıvel. As seguintes afirmacoes sao equivalentes,

(i ) cada estado e positivo recorrente,

(i i ) algum estado i e positivo recorrente,

10. Convergencia 67

(i i ) Q e nao explosiva e apresenta distribuicao de probabilidade invariante �. Neste caso temos quemi D 1=.�iqi/ para tudo i 2 S.

No caso a tempo contınuo, a existencia de uma distribuicao de probabilidade invariante nao e sufficiente paragarantir recorrencia positiva ou recorrencia. Isto pode ser mostrado mediante um contra-exemplo.

O seguinte teorema mostra por que a distribuicao �, �Q D 0 e conhecida como a distribuicao invariante.

Teorema 42. Seja Q irredutıvel e recorrente, e seja � uma distribuicao. Seja u > 0 uma constante. As seguintesafirmacoes sao equivalentes,

(i ) �Q D 0,

(i i ) �P .u/ D �.

Teorema 43. Seja Q uma matriz irredutıvel, nao explossiva, e com distribuicao invariante �. Se .Xt /, t � 0, eMarkov.�;Q/, entao .XtCu/, t � 0 tambem e Markov.�;Q/ para qualquer u � 0.

10. Convergencia

Estudamos a seguir o comportamento limite de pij .t/ quando t !1 e a sua relacao as distribuicoes invariantes. Aanalise e similar ao caso do tempo discreto, so que agora nao existe o problema da periodicidade. Apresentamosprimeiramente um ressultado auxiliar.

Lema 10. Seja Q uma matriz Q com semigrupo fP .t/ W t � 0g. Para tudo t; h � 0,

jpij .t C h/ � pij .t/j � 1 � e�qi h:

Teorema 44. Seja Q uma matriz irredutıvel, nao explosiva, com semi-grupo P .t/, e com distribuicao invariante �.Neste caso, para todo i; j 2 S tem-se que

pij .t/! �j quando t !1:

A descricao completa do comportamento limite para processos de Markov irredutıveis e fornecido pelo seguinteresultado. A demonstracao utiliza um argumentos similar ao apresentado no Teorema 20 e a cota fornecida peloLema 10.

Teorema 45. Seja Q uma matriz Q irredutıvel e seja � uma distribuicao qualquer em S . Suponha que .Xt /, t � 0, eMarkov.�;Q/, entao

P.Xt D j /!1

qj mj

quando t !1 para tudo i; j ;2 S:


Exercıcios

Exercıcio 69. Encontre a distribuicao invariante � para a seguinte matriz Q

Q D

24 �2 1 1

4 �4 0

2 1 �3

35 ;e verifique que limt!1 p11.t/ D �1.

Exercıcio 70. Calcule o limite limt!1 P.Xt D 2jX0 D 1/ onde .Xt / e um processo de Markov com valores emS D f1; 2; 3; 4g e a seguinte matriz Q,

Q D

2664�2 1 1 0

0 �1 1 0

0 0 �1 1

1 0 0 �1

377511. Teorema Ergodico

A medias temporais para certas funcoes de um processo de Markov apresentam o mesmo tipo de comportamento aodescrito no caso do tempo discreto.

Teorema 46 (Theorema ergodico). Seja Q irredutıvel e � uma distribuicao em S. Se .Xt /, t � 0 e Markov.�;Q/,entao

P�

1

t

Z t

0

1fXuDigdu!1

miqi

quando t !1

�D 1

onde mi D Ei ŒTi � denota o tempo do retorno esperado a i . No caso positivo recorrente, para qualquer funcaof W S ! R limitada, tem-se que

P�

1

t

Z t

0

f .Xu/du! f � quando t !1

�D 1

paraf � D

Xi2S

�ifi ;

e .�i W i 2 S/ e a unica distribuicao invariante.

Apendice A

1. Relacoes de Recorrencia

Revisamos neste apendice a teoria necessaria para resolver equacoes da forma

(19) xnCk D c1xnCk�1 C c2xnCk�2 C : : :C ckxn

onde ci sao constantes em R. Este tipo de equacao e conhecida com uma relacao de recorrencia linear homogeneade ordem k. Dados x0, x1, : : :, xk�1, (19) e conhecida como um problema de valor inicial. Observamos que dadosos valores de x0; : : : ;xk�1, sempre e posıvel calcularmos xk utilizando (19). Subsequentemente, com x1; : : : ;xk

podemos calcular xkC1 e assim por diante qualquer termino da sequencia (xn), n � 0, a qual chamaremos de solucaode (19). Consideremos o seguinte exemplo de um problema inicial de segunda ordem,

xnC2 D 3xnC1 � 2xn; x0 D 2;x1 D 3:

A sequencia gerada e.2; 3; 5; 9; 17; 33; 65; 129; 257; 513; : : :/

Suponhamos agora temos interesse os problemas iniciais x0 D 2; x1 D 5 e x0 D 3; x1 D 1, ambos definidostambem por meio da recorrencia acima. As solucoes geradas nestes casos sao respectivamente

.2; 5; 11; 23; 47; 95; 191; 383; 767; 1535; : : :/

.3; 1;�3;�11;�27;�59;�123;�251;�507;�1019; : : :/

Para o primeiro problema resulta simples encontrar uma frmula para xn, de fato xn D 2n C 1. Se observamos que23 D 24 � 1, 47 D 48 � 1, 95 D 96 � 1, : : : entao deduzimos que a sequencia para o segundo problema inicial exn D 2n3 � 1. Analogamente, para o terceiro problema temos xn D 5 � 2nC1. Estes exemplos simples tem comoproposito mostrar que os tres problemas iniciais apresentam frmulas similares, todas contem 2n, pois estes foramtodos definidos a partir da mesma equacao de recorrencia.

O problema a ser estudado consiste em entender a estrutura do espaco de todas as solucoes a uma equacao derecorrencia linear homogenea de ordem k quando as condicoes iniciais pertencem ao conjunto de todas a k-tuplasde numeros reais. Sabemos que o espaco de todas as sequencias reais, i.e. das funcoes x W N ! R, forma umespaco vetorial pois para quaisquer duas sequencias .xn/, .yn/ temos que .xn/C .yn/ D .xnC yn/ e para um escalarqualquer �, �.xn/ D .�xn/. Logo o conjunto de todas as solucoes de (19) forma um subespaco do espaco de todas assequencias. Denotamos este conjunto por H. Observamos a seguir que cada sequencia em H se encontra determinadapelos seus k primeiros elementos. Neste caso existe um mapa � W H! Rk o qual escolhe estes elementos e formaum vetor em Rk , ou seja,

(20) ��.xn/

�D .xk�1; : : : ;x1;x0/

T :

Lema 11. Seja H o espaco das solucoes de uma recorrencia linear homogenea de ordem k. O mapa � e umisomorfismo entre os espacos vetoriais H e Rk . Em particular, H e um espaco real k-dimensional.

69

70 A

Demonstracao. Qualquer sequencia inicial de k terminos x0;x1; : : : ;xk�1 pode ser extendida pela relacao (19) auma sequencia infinita em H, portanto � e sobrejetora. Por outro lado, como cada problema inicial apresenta umaunica solucao em H, entao � e um a um, isto e, se �.x/ D �.y/ para x, y 2 H, entao necessariamente x D y.Decorre disto que � e uma bijecao e portanto apresenta uma inversa. A inversa de � e o mapa ��1 o qual leva o vetor˛ D .˛k�1; : : : ; ˛0/

T 2 R a sequencia em H com terminos iniciais x0 D ˛0, x1 D ˛1, : : :, xk�1 D ˛k�1.

Observamos agora que para duas solucoes .xn/, .yn/ em H, e dois escalares c1 e c2 quaisquer em R temos que

c1��.xn/

�C c2�

�.yn/

�D c1

0B@xk�1

:::

x0

1CAC c2

0B@yk�1

:::

y0

1CA D0B@c1xk�1 C c2yk�1

:::

c1x0 C c2y0

1CAD �

�c1.xn/C c2.yn/

�:

Isto mostra que � e linear e assim portanto um isomorfismo. �

Cada elemento de um espaco vetorial pode ser escrito de forma unica como uma combinacao linear dos elementosda base do espaco. Assim, o lemma anterior fornece um metodo para construir as solucoes .xn/ em H utilizando as k

sequencias geradas pelas condicoes iniciais e1 D .1; 0; : : : ; 0/, e2 D .0; 2; 0; : : : ; 0/, : : :, ek D .0; : : : ; 0; 1/. A pre-imagem de ��1.ei/ D .xn/ e dada pela solucao cujas condicoes iniciais sao todas iguais a 0, exceto xk�i D 1. Umavez que fe1; : : : ; ekg forma uma base para Rk e � e um isomorfismo entre Rk e H, entao f��1.e1/; : : : ; �

�1.ek/g

forma uma base para H. A importncia disto e que a solucao .xn/ ao problema inicial determinado por

x0 D ˛0;x1 D ˛1; : : : ;xkD1 D ˛k�1

pode ser calculada como˛0�

�1.ek/C ˛1��1.e2/C : : :C ˛k�1�

�1.e1/:

Mesmo que possa parecer mais dificil do que aplicar diretamente a recursao (19), esta representacao e realmentevantajosa como sera visto adiante. Illustramos esta tecnica utilizando dois exemplos. Seja o problema inicial

FnC2 D FnC1 C Fn; F1 D 1;F0 D 0:

e a sua solucao dada pela sequencia1

.0; 1; 1; 2; 3; 5; 8; 13; 21; 34; 55; 89; : : :/:

Temos assim as sequencias basicas

��1.e1/ D .0; 1; 1; 2; 3; 5; 8; 13; 21; : : :/

��1.e2/ D .1; 0; 1; 1; 2; 3; 5; 8; 13; : : :/

e portantoFn D �

�1.e1/C ��1.e2/ D .1; 1; 2; 3; 5; 8; 13; 21; : : :/:

Se agora consideramos a condicao inicial F0 D �1 e F1 D 3, a solucao assome a forma

Fn D 3��1.e1/ � ��1.e2/

D 3.0; 1; 1; 2; 3; 5; : : :/ � .1; 0; 1; 1; 2; 3; 5; : : :/

D .�1; 3; 2; 5; 7; 12; 19; 31; : : :/

O conhecimento das sequencias basicas de uma relacao de recorencia linear homogenea permitem calcular on-esimo termino da solucao de qualquer problema inicial determinado pela recorencia. Assim, o espaco das solucoesH pode ser estudado ao estudar combinacoes lineares das sequencias basicas. Para proseguirmos com este argumentoe necessario procurar uma maneira geral para calcular estas sequencias, ou seja, para determinar a base de H.

1Esta sequencia e conhecida como sequencia de Fibonacci, em honra ao seu descobridor Leonardo Fibonacci (1170 - 1250)

1. Relacoes de Recorrencia 71

1.1. Forma matricial. Consideremos novamente a recorencia xnC2 D 3xnC1 � 2xn com os valores iniciais x0 D 2

e x1 D 3. Em forma matricial podemos escrever,�xnC2

xnC1

�D

�3 �2

1 0

��xnC1

xn

�;

�x1

x0

�D

�3

2

�:

Da mesma maneira, para a recorencia de Fibonacci temos�FnC2

FnC1

�D

�1 1

1 0

��FnC1

Fn

�;

�F1

F0

�D

�1

0

�:

De forma geral, para a relacao de ordem k definimos para todo n � 0,

(21) Xn D

0BBBBB@xnCk�1

xnCk

:::

xnC1

xn

1CCCCCA e A D

0BBBBB@c1 c2 � � � ck�1 ck

1 0 � � � 0 0

0 1 � � � 0 0:::

: : ::::

:::

0 0 � � � 1 0

1CCCCCAverifica-se que XnC1 D AXn. Assim, podemos encontrar a sequencia de interesse recursivamente como X1 D AX0,X2 D AX1, : : :, isto e,

Xn D AnX0:

Para os dois exemplos acima temos�xnC1

xn

�D

�3 �2

1 0

�n �3

2

�e

�FnC1

Fn

�D

�1 1

1 0

�n �1

0

�:

Desta maneira estamos forcados a calcular An, n � 0, o qual na maioria do casos e possıvel quando A e diagonalizavel.Para o primeiro exemplo temos que o polinomio caracteristico de A e

PA.�/ D det.A � �I/ D det�

3 � � �2

1 ��

�D �2

� 3�C 2 D .� � 2/.� � 1/:

Assim, os autovalores para A sao �1 D 2 e �2 D 1, e os autovetores correspondentes v1 D .2; 1/T e v2 D .1; 1/

T .Logo An admite a forma diagonal

AnD PDnP�1; para D D

�2 0

0 1

�; P D

�2 1

1 1

�:

Desta maneira obtemos a solucao

Xn D

�2nC1 � 1 �2nC1 C 2

2n � 1 �2n C 2

��3

2

�D

�2nC1 C 1

2n C 1

�;

e deduzimos de imediato que xn D 2n C 1, n � 0.

Exercıcio 71. Mostre que para n � 0, a sequencia de Fibonacci e dada pela seguinte frmula

Fn D1p

5

��1Cp

5

2

�n

�

�1 �p

5

2

�n�:

Esta formula e conhecida como a formula de Binet.

Vimos na secao anterior como os autovalores da matriz A jogam um papel fundamental para encontrar a solucaode uma relacao de recorrencia. O estudo mais detalhado dos autovalores de A permite encontrar uma base para H.Seja

PA.�/ D �k� c1�

k�1� : : : � ck�1� � ck

72 A

o polinomio caracterıstico associado a A. As raızes f�1; : : : ; �kg deste polinomio sao conhecidas como os autovaloresda recorrencia. Decorre da forma da matriz A, que o aoutovalor �i apresenta aoutovector

v�iD .�k�1

i ; �k�2i ; : : : ; 1/T :

De fato, se Av � �Iv D 0, para v D .vi ; : : : ; vk/T , entao

c1v1 C : : : ckvk D �v1

v1 D �v2; v2 D �v3; : : : ; vk�1 D �vk :

Substituındo sucessivamente estas equacoes umas nas outras obtemos

vk

kXiD1

ci�k�iD �kvk ;

logo

A.�k�1; �k�2; : : : ; �; 1/T D

� kXiD1

ci�k�i ; �k�1; : : : ; �2; �

�T

D .�k ; �k�1; : : : ; �2; �/T

D �.�k�1; �k�2; : : : ; �; 1/T :

Deduzimos portanto que o vetor v� D .�k�1; �k�2; : : : ; �; 1/T e o autovetor de A correspondente ao autovalor �.

Teorema 47. Seja a seguinte recorrencia linear homogenea de ordem k,

xn D c1xn�1 � : : : � ck�1xn�kC1 � ckxn�k :

(i) Seja � um autovalor da recorrencia, logo ��1.v�/ D .�n/, onde � e o isomorfismo entre H e Rk definido por(20). Neste caso .�n/ 2 H.

(ii) Se a recorrencia apresenta k autovalores diferentes, f�1; �2; : : : ; �kg, entao as k sequencias .�1/; : : : ; .�k/

formam uma base para H e cada solucao .xn/ apresenta a forma

(22) xn D a1�n1 C a2�

n2 C : : :C ak�

nk ;

para algumas constantes a1; a2; : : : ; ak 2 R.

Demonstracao. Consideramos para tudo n � 0, xn D �n, e logo definimos os vetores Xn seguindo (21). AssimXn D �

nv�, portantoAXn D �

nAv� D �nC1v� D XnC1;

Deduzimos disto que .xn/ 2 H, onde .x0/ apresenta a condicao inicial X0 D v�. Para a parte (ii), se a recorrenciaapresenta k autovalores diferentes f�ig, entao os vetores fv�i

g formam uma base para Rk . Dado que � e umisomorfismo entre H e Rk , entao f��1.v�i

/g D f.�ni /g e uma base para H. Isto implica que qualquer elemento de H

pode ser escrito como uma combinacao linear das sequencias .�ni /. �

Suponhamos que a condicao inicial ˛ D .x0;x1; : : : ;xk�1/T e conhecida. Descrevemos a continucao um metodo

geral para calcular os valores ai em (22). Primeiro, das propriedades de � obtemos v�iD �

�.�n

i /�, entao

˛ D ��a1.�1/C : : :C ak.�

nk/�D a1�

�.�n

1/�C : : :C ak�

�.�n

k/�

D a1v�1C : : : akv�k

Na forma matricial podemos escrever esta igualdade como

(23) ˛ D

0BBB@1 1 1 � � � 1

�1 �2 �3 � � � �k

::::::

:::: : :

:::

�k�11

�k�12

�k�13

� � � �k�1k

1CCCA0BBB@

a1

a2

:::

ak

1CCCA

1. Relacoes de Recorrencia 73

A matriz de coeficientes em (23) e conhecida como a matriz de Vandermonde de �1; : : : ; �k . Como cada vetor decondicoes iniciais ˛ corresponde a uma unica solucao em H, entao, dado ˛, o sistema (23) apresenta uma unicasolucao. Isto implica que a matrix de Vandermonde sempre e invertivel. Se denotamos por V a matriz de Vandermonde,entao

.a1; : : : ; ak/TD V �1˛:

Exemplo 14. Suponhamos que c21¤ �4c2, logo consideremos a seguinte recorrencia,

xnC2 D c1xnC1 C c2xn; x0 D ˛1;x1 D ˛2:

Este problema inicial apresenta polinomio caracterıstico P.�/ D �2 � c1� � c2, com dois autovalores �1 ¤ �2 (poiso discriminante D D c2

1C 4c2 ¤ 0). Neste caso,

�1 D .c1 Cp

D/=2; �2 D .c1 �p

D/=2:

Po outro lado, a matriz de Vandermonde associada e a sua inversa sao

V D

�1 1

�1 �2

�; V �1

D1p

D

��2 1

�1 �1

�:

Assim �a1

a2

�D V �1

�˛1

˛2

�D

1p

D

��2x0 x1

�1x0 �x1

�:

Existe em geral uma maneira eficiente para invertir V . Sejam os polinomios

li.�/ D

kYjD1;j¤i

.� � �j / D bi;1 C bi;2�C : : :C bi;k�k�1;

definidos para todo i D 1; : : : ; k. Como os autovalores �j sao tudos diferentes, entao li.�i/ ¤ 0 para todo i , e emparticular para j ¤ i temos que li.�j / D 0.

Teorema 48. Seja B uma matrix k � k cuja i-esima linha apresenta os coeficientes de li.�/, dispostos seguindoas potencias crescentes de �. Entao V �1 D DB, onde D corresponde a matriz diagonal com entradas 1= li.�i/,i D 1; : : : ; k.

Demonstracao. Veja o Teorema 2.3.2 na pagina 20 em [CFR05]. �

Exemplo 15. Seja xnC2 D xnC1C 2xn, e x0 D 1, x1 D 5. Nesta caso temos ch.�/ D x2�x� 2 D .x� 2/.xC 1/,logo �1 D 2; �2 D �1, portanto l1.�/ D 1C �, e l2.�/ D �2C �. Assim

B D

�1 1

�2 1

�;

e para l1.2/ D 3; l2.�1/ D �3 resulta

D D1

3

�1 0

0 �1

�; V �1

D1

3

�1 1

2 �1

�:

Desta forma obtemos os coeficientes�a1

a2

�D V �1

�1

5

�D

1

3

�1 1

2 �1

��1

5

�D

�2

�1

�;

e seguindo (22)xn D 2�n

1 � �n2 D 2nC1

C .�1/nC1:

Exercıcio 72. Mostre que qualquer combinacao linear de solucoes de (19) tambem e uma solucao.

74 A

Exercıcio 73. Seja xnC2 D c1xnC1C c2xn uma recorrencia de segundo ordem com autovalores �1 D .c1Cp

D/=2,�2 D .c1 �

pD/=2, onde D D c2

1C 4c2. Se D ¤ 0, mostre que a squencia cujo n-esimo termino e

1p

D

�� ˛0�1�2.�

n�11 � �n�1

2 /C ˛1.�n1 � �2/

�;

e a unica solucao com condicoes iniciais x0 D ˛0, x1 D ˛1.

Referencias Bibliograficas

[Bil95] P. Billingsley. Probability and Measure. Wiley & Sons, New York, 1995.

[CFR05] P. Cull, M. Flahive, and R. Robson. Difference Equations. From Rabbits to Chaos. Undergraduate Texts in Mathematics.Springer Verlag, 2005.

[DS84] P. G. Doyle and J. L. Snell. Random Walks and Electric Networks. Carus Mathematical Monographs. MathematicalAssociation of America, 1984. http://arxiv.org/abs/math/0001057.

[FG97] P. A. Ferrari and A. Galves. Acoplamento em Processos Estocasticos. SBM, IMPA, Rio de Janeiro, 1997.http://www.ime.usp.br/˜pablo.

[GS01] G. Grimmett and P. Stirzacker. Probability and Random Processes. Oxford University Press, Oxford, 3a edition, 2001.

[Jam02] B. J. James. Probabilidade: um curso intermediario. Projeto Euclides. IMPA, Rio de Janeiro, 2002.

[Nor97] J. R. Norris. Markov chains. Cambridge Series in Statistical and Probabilistic Mathematics. Cambridge University Press,Cambridge, UK, 1997.

[Shr04] S. Shreve. Stochastic Calculus for Finance I: The Binomial Asset Pricing Model. Springer Finance. Springer Verlag,2004.

[Wil91] D. Williams. Probability with Martingales. Cambridge University Press, Cambridge, UK, 1991.

75

Indice Remissivo

acoplamento, 36aproximacao de Stirling, 28

cadeiade transicao de .Xt /, 48

cadeia de Markovk-esqueleto, 9definicao, 5ergodica, 38irredutıvel, 11recorrente, 23temporalmente homogenea, 7

Chapman-Kolmogorov, 7classe

aberta, 64fechada, 64

classe de comunicacao, 10, 64aberta, 11fechada, 11

finita, recorrente, 25continuidade a direita, veja processo, 47

decomposicao da primeira transicao, 13desigualdade do acoplamento, 37distribuicao

de equilıbrio, 31do primeiro tempo de retorno, 18estacionaria, 31exponencial, 52finito dimensional, 47inicial �, 4invariante, 31, 66

unicidade, 32Doeblin, W., 36

equacaode backward

semigrupo, 50de forward

Markov, 62semigrupo, 50

em diferenca, 13ergodicidade, 38, 41espaco

das trajetorias,�, 1

de probabilidade, 1espaco

de estados, S, 4esqueleto

cadeia de Markov, 9estado, 4

absorvente, 11, 64aperiodico, 36numero de visitas, V , 24nulo recorrente

tempo contınuo, 66nulo recorrente

tempo discreto, 33periodico, 36positivo recorrente

tempo contınuo, 66tempo discreto, 33

recorrentetempo contınuo, 65tempo discreto, 23

transitoriotempo contınuo, 65tempo discreto, 23

formulade Binet, 71

Fibonaccirecorrencia de, 70sequencia de, 70

funcao O, 51funcao o, 57funcao geradora

de probabilidade, 18de hi

i.n/, 18

de pnij

, 18

grafo, 4

homogeneidade temporal, 7

irredutibilidade, 11, 64

Lei forte dos grandes numeros, 41Lema de Kac, 34

maior divisor comum, mdc, 39

77

78 Indice Remissivo

matrizQ, 49…, 60aperiodica, 36de probabilidade de transicao, P , 5de Vandermonde, 73estocastica, 4geradora, 61potencial, 24

passeio aleatoriorecorrencia em Z, 28recorrencia em Z2, 28simetrico, 27simples, 27

perıodo, 36perda de memoria, 5perda de memoria

da distribuicao exponencial, 52do processo de Poisson, 56

Polya, G., 30primeiro tempo de chegada, � , 12primeiro tempo de retorno, � , 12probabilidade

de absorcao, 12da primeira chegada, h, 12de absorcao, 64de extincao, 16do k-esimo retorno, f k , 24do primeiro retorno, f , 24

problema inicial, 69processo

contınuo a direita, 47de ramificacao, 43de Markov, 60

construcao, 61definicao, 61

de nascimento e morte simples, 16de nascimento simples, 59de Poisson, 55–60

definicao, 55nao homogeneo, 60

de transicao de .Xt /, 48estocastico, 1explosivo, 48mınimo, 49

propriedade de Markov, 5propriedade forte de Markov, 21propriedade fraca de Markov, 6

recorrenciade um estado, 22de uma cadeia de Markov, 23

relacao de recorrencia, 69ruına do jogador, 14

semi-grupo, 50estocastico, 51

solidariedade, 25

taxa de transicao, qij , 49taxa de saıda de i, qi , 49tempo

da primeira chegada, � , 12da primeira chegada, D, 64da primeira explosao, �, 48de excursao, E, 23de explosao, 48de parada, 21de permanencia, Sn, 48de transicao, Jn, 48do primeiro retorno

caso discreto, � , 12do primeiro retorno

caso contınuo, T , 66esperado da primeira chegada, 12esperado do primeiro retorno, m, 33

TeoremaChapman-Kolmogorov, 7classe finita e fechada, 25classe recorrente, 25Convergencia ao equilıbrio, 36distribuicao de probabilidade invariante, 34ergodico


limite estacionario, 31perda de memoria, 52perda de memoria do processo de Poisson, 56probabilidade da primeira chegada

tempo discreto, 13processo de Markov, 62processo de Poisson, 57Propriedade forte de Markov

do processo de Poisson, 57tempo continuo, 62tempo discreto, 22

Propriedade fraca de Markov, 6Recorrencia-Transitoriedade, 24tempo esperado da primeira chegada


transitoriedade, 22

variavel aleatoria, 1exponencial, 52

Processos Estocasticos, Notas de auladcm.ffclrp.usp.br/~rrosales/aulas/processos2016.pdf · Notas...

Documents

Transcript of Processos Estocasticos, Notas de auladcm.ffclrp.usp.br/~rrosales/aulas/processos2016.pdf · Notas...