Cadeia de Markov: modelo probabil´ıstico e …...tecnicas de resoluc¸´ ao para recorr˜ encias...

ISSN 2316-9664Volume 11, dez. 2017

Amanda Silvieri Leite deOliveiraUNESP - Universidade EstadualPaulista “Julio de MesquitaFilho”, Bauru/[email protected]

Thaıs Saes Giuliani RibeiroUNESP - Universidade EstadualPaulista “Julio de MesquitaFilho”, Bauru/SPthais [email protected]

Fabiano Borges da SilvaUNESP - Universidade EstadualPaulista “Julio de MesquitaFilho”, Bauru/[email protected]

Cadeia de Markov: modelo probabilıstico econvergencia das distribuicoes de probabilidade

Markov chain: probabilistic model and convergence ofprobability distributions

ResumoNeste artigo, mostramos como construir um processo estocasticode Markov e seu espaco de probabilidade a partir das probabi-lidades de transicao e da distribuicao inicial. Alem disso, mos-tramos a convergencia das distribuicoes de probabilidade parauma cadeia com dois estados e probabilidades de transicao po-sitivas, usando tecnicas de resolucao de recorrencias lineares nao-homogeneas para sequencias.Palavras-chave: Cadeia de Markov, processos estocasticos,espaco de probabilidade, convergencia, probabilidade condicio-nal.

AbstractIn this article, we show how to construct a stochastic Markov pro-cess and its probability space from the transition probabilities andthe initial distribution. In addition, we show the convergence ofprobability distributions to a chain with two states and positivetransition probabilities, using non-homogeneous linear recurrenceresolution techniques for sequences.Keywords: Markov chain, stochastic processes, probabilityspace, convergence, conditional probability.

Edição Iniciação Científica

1 Introducao

Processos de Markov descrevem a evolucao de sistemas dinamicos aleatorios sem memoria.Mais precisamente, considere um espaco de estados com um numero finito (ou enumeravel) deelementos E = e1, ...,en. Um processo estocastico discreto (Xn)n∈N e uma cadeia (ou processo)de Markov se a probabilidade condicional satisfizer

P(Xn+1 = xn+1|X0 = x0, ...,Xn = xn) = P(Xn+1 = xn+1|Xn = xn), (1)

para todo n≥ 1 e para toda sequencia x0,x1, ...,xn+1 de elementos do espaco de estados E . Essacondicao (1) significa, em linguagem natural, pensando que n indica o tempo, que o futuro doprocesso, uma vez conhecido o estado presente, e independente do passado.

As probabilidades condicionais

P(Xn+1 = ei|Xn = e j),

sao chamadas probabilidades de transicao. E se para cada i, j

P(Xn+1 = ei|Xn = e j) = P(X1 = ei|X0 = e j),

para todo natural n, a cadeia de Markov e dita estacionaria e as probabilidades de transicao, quenao mudam ao longo do tempo, sao denotadas por pi j.

Um processo de Markov esta completamente definido a partir do momento em que se espe-cifica as probabilidades de transicao e a distribuicao inicial de probabilidades dos estados, comopode ser visto em Brezezniak e Zastawniak (1999, p.85). Ao processo associa-se uma matrizde probabilidades de transicao T , onde as entradas da matriz sao dadas pelas probabilidades detransicao pi j, ou seja,

T = [pi j]r×r.

As entradas da matriz T n correspondem a probabilidade de, saindo do estado e j, chegar-se aoestado ei depois de n passos. Desta maneira, dada uma distribuicao inicial, representada matrici-almente por

v0 = [v1...vr]t ,

a distribuicao do processo no tempo n≥ 1 e dada por

vn = T nv0.

Neste artigo estamos interessados basicamente em dois topicos:

1. Estudar convergencia das distribuicoes de probabilidade vn, que evoluem em tempos dis-cretos n ∈ N, para uma cadeia finita com dois estados (Teorema 4). Para isto, usaremostecnicas de resolucao para recorrencias lineares nao-homogeneas.

2. Mostrar como construir um espaco de probabilidade e um processo estocastico Xn de Mar-kov, isto e, que verifica (1), a partir de um modelo em que e apenas dado as probabilidadesde transicao e uma distribuicao inicial (Teorema 5).

OLIVEIRA, A. S. L. de.; RIBEIRO, T. S. G.; SILVA. F. B. da. Cadeia de Markov: modelo probabilístico e convergência das distribuições de probabilidade.

C.Q.D.– Revista Eletrônica Paulista de Matemática, Bauru, v. 11, p. 49-61, dez. 2017. Edição Iniciação Científica.

DOI: 10.21167/cqdvol11ic201723169664aslotsgrfbs4961 Disponível em: http://www.fc.unesp.br/#!/departamentos/matematica/revista-cqd/

50

2 Espaco de probabilidade e processos estocasticos

Nesta secao, daremos alguns resultados que serao necessarios, na construcao do processoestocastico a partir das probabilidades de transicao.

O conjunto de todos os resultados possıveis de um experimento e o espaco amostral Ω, e umsubconjunto A ⊂ Ω deste espaco e chamado de evento aleatorio. Os eventos Ω, /0 sao chamadosde evento certo e evento impossıvel, respectivamente. Uma maneira de definir uma probabilidadeP em um determinado evento A, e a maneira “frequentista” ou “estatıstica”. Mais precisamente,

P(A) = limn→∞

1n× numero de ocorrencias de A em n “ensaios” independentes.

Esta maneira, a qual nao usaremos neste trabalho, nao e unica (ver por exemplo James (1996)).Neste artigo, usaremos a definicao que se deve a Kolmogorov. Para isto, iremos admitir que aclasse F dos eventos aleatorios possuı as seguintes propriedades:

1. Ω ∈F ;

2. Se A ∈F , entao Ac ∈F ;

3. Se A ∈F e B ∈F , entao A∪B ∈F .

Esta classe F de subconjuntos de Ω e chamada de algebra. E quando a terceira propriedadeacima vale para unioes enumeraveis, ou seja, se An ∈ A para n = 1,2, . . . , temos que

∞⋃n=1

An ∈F ,

entao, neste caso, a classe F e chamada de σ -algebra, e o par ordenado (Ω,F ) de espacomensuravel. Neste espaco definimos uma medida de probabilidade como sendo uma funcaoP : F → [0,1], tal que

1. P( /0) = 0;

2. Se (An)n≥1 e uma sequencia de subconjuntos disjuntos, An ∈F , entao

P(∞⋃

k=1

Ak) =∞

∑k=1

P(Ak).

Sendo F uma σ -algebra, a tripla (Ω,F ,P) e chamada de espaco de probabilidade. Se B∈Fe P(B)> 0, a probabilidade condicional do evento A dado B e definida por

P(A|B) = P(A∩B)P(B)

, A ∈F .

Proposicao 1 Se a sequencia (finita ou enumeravel) de eventos aleatorios A1,A2, ... formam umaparticao de Ω, entao para todo B ∈F temos que

P(B) =∞

∑i=1

P(B∩Ai)

=∞

∑i=1

P(Ai)P(B|Ai)

A demonstracao do resultado acima, pode ser visto por exemplo, em James (1996, p.17).




51

2.0.1 Processo estocastico com tempo discreto

Vamos assumir primeiramente que Ω e um espaco amostral finito e F e uma σ -algebra paraeste espaco amostral. Uma funcao X : Ω→R e chamada F -mensuravel ou variavel aleatoria em(Ω,F ) se os conjuntos

X = xi= ω ∈Ω : X(ω) = xi, i = 1,2, ...,k,

pertencem a F , onde x1,x2, ...,xk sao elementos da imagem da funcao X . Isto significa que,se temos a informacao descrita por F , isto e, sabemos que o evento ocorreu, entao sabemos qualo valor de X ocorreu. E facil ver, por exemplo, que se F = 2Ω (conjunto das partes de Ω), entaoqualquer funcao em Ω e uma variavel aleatoria. Um processo estocastico e uma sequencia devariaveis aleatorias Xn, ou seja, para cada tempo n ∈ N, Xn e uma variavel aleatoria em (Ω,F ).

Para ilustrar tal conceito, considere uma sequencia de experimentos: o lancamento de umamoeda nao viciada em dois instantes, t = 1,2. Denotemos por α e β , os resultados obtidos paracara e coroa, respectivamente. Neste caso temos que nosso espaco amostral e dado por

Ω = ω1 = (α,β ), ω2 = (α,α), ω3 = (β ,α), ω4 = (β ,β ).

Seja A o evento onde se obtem no primeiro experimento cara, isto e, A = ω1,ω2. Alem disso,considere as σ -algebras F1 = Ø, Ω, A, AC, F2 = 2Ω, e as seguintes funcoes:

(a) X : Ω→ R dada por

X(ω1) = X(ω2) = 15; X(ω3) = X(ω4) = 45.

(b) Y : Ω→ R dada por

Y (ω1) = 17, Y (ω2) = Y (ω3) = 36, Y (ω4) = 42.

Temos entao que X e variavel aleatoria em (Ω,F1). De fato, temos que

X = 15= A ∈F1;

X = 45= AC ∈F1.

Enquanto que a funcao Y nao e F1-mensuravel, uma vez que, por exemplo,

Y = 36= ω2,ω3 /∈F1.

Por outro lado, Y e F2-mensuravel ja que todo subconjunto de Ω pertence a F2 = 2Ω, pordefinicao.

Uma filtracao F e uma colecao de σ -algebras,

F= F0,F1,F2, ...,Fn, ...,FN, Fn ⊂Fn+1,

a qual e usada para modelar um fluxo de informacoes do processo. Em geral, se toma F0 = /0,Ω, ou seja, no instante n = 0 nao temos nenhuma informacao. Conforme o tempo passa,




52

um observador consegue saber mais detalhes sobre os acontecimentos dos experimentos, ou seja,particoes “mais finas” de Ω. Na ilustracao acima, temos que

F= F0,FA,2Ω

e uma filtracao.Dizemos que um processo estocastico Xn e adaptado a filtracao F, se cada Xn : Ω → R

e variavel aleatoria em (Ω,Fn), ou equivalentemente, Xn e Fn-mensuravel. Por exemplo, asequencia de variaveis aleatorias (X ,Y ), formada com as mesmas funcoes mencionadas anterior-mente, itens (a) e (b), e um processo estocastico adaptado a filtracao F= F1,F2.

Seja (Ω,2Ω) um espaco amostral com a algebra de todos os eventos, e X uma variavelaleatoria com valores xi, i = 1,2, ...k. Considere

Ai = ω : X(ω) = xi ⊆Ω. (2)

A algebra gerada pela particao A0,A1, ...,An, isto e, via unioes e interseccoes destes conjuntos,e chamada algebra gerada por X . Ela e a menor algebra que contem todos os conjuntos da formaAi = X = xi e e denotada por FX ou σ(X). A algebra gerada por X representa a informacaoque podemos extrair observando X .

Ao leitor interessado em mais detalhes sobre processos estocasticos (discretos ou contınuos),sugerimos, entre outros, Ruffino (2009).

2.0.2 Probabilidade no espaco das sequencias

Para uma sequencia infinita (enumeravel) de variaveis aleatorias, podemos construir o espacode probabilidade da seguinte forma. Seja Ω o conjunto de todas as sequencias de elementos doespaco de estados E . Um elemento ω ∈Ω pode entao ser escrito da forma

ω = (e0,e1,e2, . . .),

onde cada ei ∈ E . A funcao Xn : Ω→ E , dada por

Xn(e0,e1,e2, . . .) = en,

e chamada de funcao saıda ou avaliacao da trajetoria ω .Fixado n, seja Fn a famılia de todas as unioes de Ω da forma

ω : X0(ω) ∈ E0,X1(ω) ∈ E1, , . . .Xn(ω) ∈ En,

onde E0,E1, . . .En sao subconjuntos do espaco de estados E . Neste caso, nao e difıcil verificarque cada Fn e uma σ -algebra. Alem disso, Fn ⊂Fn+1 forma uma filtracao natural na qual oprocesso Xn e adaptado. Considere agora F a famılia de conjuntos definida por

F =∞⋃

n=0

Fn.

Cada elemento em F e um conjunto de trajetorias para as quais um numero finito de entradas dasequencia sao restritas a pertencer a certos subconjuntos de E , e as demais infinitas entradas saoirrestritas.




53

Um conjunto de F e chamado de cilindro. Apesar de F ser uma algebra, nao e uma σ -algebra. Porem, existe a menor σ -algebra G , tal que F ⊂ G . Associado a G existe uma unicamedida de propabilidade µ tal que

µ(Cni ) = µω : X0(ω) = e0,X1(ω) = e1, . . . ,Xn(ω) = en

e dado pelo produto das probabilidades condicionais entre os estados e0,e1, . . . ,en. Cada conjuntoCn

i e chamado de cilindro basico de F . Para maiores detalhes ver Kemeny, Snell e Knapp (1976,p.43).

2.1 Cadeia de Markov e matriz de transicao

Uma cadeia de Markov, como mencionamos na introducao deste artigo, e um processo es-tocastico (Xn)n∈N, associado a um espaco de probabilidade (Ω,F ,P) que satisfaz a equacao(1). Daremos a seguir algumas definicoes e propriedades basicas das probabilidades de transicaoe suas matrizes associadas. Para maiores detalhes ver Allen (2003), Brezezniak e Zastawniak(1999) e Kemeny, Snell e Knapp (1976).

Definicao 2 A probabilidade de transicao em um passo, denotada por pi j(k), e definida comocomo a seguinte probabilidade condicional:

pi j(k) = P(Xk+1 = i|Xk = j).

Isto e, a probabilidade de estar no estado i no tempo k + 1, dado que estava no estado j nomomento anterior k, para i, j = 1,2, ...

Se a probabilidade de transicao pi j(k) numa cadeia nao depende do tempo k, dizemos queela e homogenea. Neste caso, usaremos a notacao pi j. Ao longo deste artigo somente iremostrabalhar com cadeias homogeneas.

Para uma cadeia de Markov com um numero finito de estados, E = 1,2, . . . ,m, associa-seuma matriz de transicao T , que e dada pelas probabilidades de transicao, isto e,

T = (pi j).

Definicao 3 A probabilidade de transicao em n-passos (n≥ 0), denotada por p(n)i j , e a probabi-lidade de transferencia do estado j para o estado i em n etapas de tempo discreto, isto e,

p(n)i j = PXn = i|X0 = j.

Novamente, para uma quantidade de estados finitos, podemos associar uma matriz T (n), onde ai j-esima posicao e dada por p(n)i j . Note que T (0) e a matriz identidade, uma vez que p(0)ii = 1 e

p(0)i j = 0 quando i 6= j.Existe uma relacao entre as probabilidades de transicao em n-passos, s-passos e (n− s)-

passos. Essas relacoes sao conhecidas como as equacoes de Chapman-Kolmogorov:

p(n)i j =∞

∑k=1

p(n−s)ik p(s)k j , 0 < s < n.




54

Em termos matriciais, essas equacoes podem ser escritas da forma

T (n) = T (n−s)T (s).

Como T (1) = T , segue-se entao que

T (2) = T (2−1)T (1)

= T (1)T (1)

= T T= T 2.

E fazendo este processo sucessivamente tem-se que T (n) = T n, para todo n ≥ 0. Portanto, umamaneira facil de se obter as probabilidades p(n)i j e por meio da matriz T n.

Alem disso, um outro aspecto interessante em conhecer T n, e que o vetor vn de distribuicaode probabilidades do processo, no tempo n, e igual ao produto matricial T nv0, com a distribuicaoinicial v0 escrita de forma transposta.

3 Modelo probabilıstico e convergencia da sequencia de pro-babilidades

Nesta secao, inicialmente iremos estudar convergencia das distribuicoes de probabilidade parauma cadeia finita E = 1,2, cujas probabilidades de transicao sao todas positivas. Para talestudo usaremos tecnicas de resolucao para recorrencias lineares nao-homogeneas como apareceem Morgado e Carvalho (2013, p.73).

A seguir, apresentamos um modelo que descreve a dinamica de uma partıcula de eletron quesalta entre dois atomos. Neste modelo e dado as probabilidades de transicao e a distribuicaoinicial da partıcula. Apesar de simples, ele e suficiente e interessante para os propositos desteartigo.

Exemplo 1 Suponha que uma determinada partıcula de eletron, salta em tempos discretos n =0,1,2, . . . , entre dois atomos, que representaremos por 1 e 2, com as seguintes condicoes:

(a) Se a partıcula esta no atomo 1 em um perıodo de tempo n, entao com probabilidade p, elasalta para o atomo 2, onde 0 < p < 1;

(b) Se a partıcula esta no atomo 2 no tempo n, entao ela salta com probabilidade q para oestado 1, onde 0 < q < 1;

(c) A partıcula se encontra no atomo 1 no instante inicial (n = 0).

Neste modelo acima, no contexto das cadeias de Markov, podemos interpretar os atomoscomo estados, portanto, E = 1,2, e a matriz de transicao e dada por

T =

[1− p q

p 1−q

].




55

Na proxima secao construiremos um processo estocastico Xn com estas probabilidades de transicaoe provaremos que verifica (1).

Ainda com relacao ao modelo acima, seja xn a probabilidade da partıcula estar no estado 1no tempo n. Neste caso, temos que (1− xn) e a probabilidade da partıcula estar no estado 2 notempo n. Ou seja, a distribuicao da partıcula no tempo n, em notacao vetorial, e dada por

vn = (xn,1− xn),

sendo v0 = (1,0) a distribuicao inicial, conforme escolhida no item (c) do exemplo acima.

Teorema 4 A sequencia xn converge para qp+q quando n tende ao infinito.

Demonstracao. Denotemos por An o evento em que a partıcula esta no estado 1 no tempo n eseja Bn= Ω−An, isto e, o evento em que a partıcula esta no estado 2 no tempo n. Sendo assim,nas condicoes do modelo apresentado no Exemplo 1, temos

P(Bn+1|An) = p; P(An+1|Bn) = q; P(A0) = 1.

Alem disso, como An e Bn fazem uma particao em Ω segue da Proposicao 1 que

xn+1 = P(An+1)

= P(An+1|An)P(An)+P(An+1|Bn)P(Bn)

= (1− p)xn +q(1− xn)

= q+(1− p−q)xn. (3)

Note que a igualdade (3) e uma recorrencia linear nao-homogenea de primeira ordem, ou seja, euma recorrencia do tipo xn+1 = g(n)xn +h(n), sendo as funcoes h(n) = 1− p−q e f (n) = q.

Para resolver esta recorrencia, iremos transforma-la em uma outra nao homogenea da formaxn+1 = xn + f (n), que e facil de resolve-la. Com efeito, temos

x1 = x0 + f (0)

x2 = x1 + f (1)...

xn = xn−1 + f (n−1)

Somando ambos os membros, obtemos xn = x0 +n−1

∑k=0

f (k).

Para isto, considere an uma solucao nao nula da recorrencia xn+1 = g(n)xn. A substituicaoxn = anyn, transforma

xn+1 = g(n)xn +h(n)

eman+1yn+1 = g(n)anyn +h(n).

Mas, an+1 = g(n)an, pois an e solucao de xn+1 = g(n)xn. Portanto, a equacao se transforma em

g(n)anyn+1 = g(n)anyn +h(n),




56

ou seja,yn+1 = yn +h(n)[g(n)an]

−1.

Agora, resolvendo a equacao yn+1 = yn + h(n)[g(n)an]−1, que esta na forma yn+1 = yn + f (n),

como mencionado anteriormente, basta depois tomar xn = anyn.Voltando a recorrencia dada pela equacao (3), vamos resolve-la utilizando os passos men-

cionados no paragrafo anterior. Inicialmente, devemos encontrar uma solucao nao nula da re-correncia

xn+1 = (1− p−q)xn. (4)

Temos entao quex1 = (1− p−q)x0

x2 = (1− p−q)x1

...

xn = (1− p−q)xn−1.

Multiplicando todos os termos de cada lado das igualdades, resulta em

xn = (1− p−q)nx0.

Logo, tomando a condicao inicial x0 = 1 temos que an = (1− p−q)n e uma solucao nao nula darecorrencia (4). Facamos a substituicao de xn = (1− p−q)nyn em (3). Obtemos entao que

(1− p−q)n+1yn+1 = q+(1− p−q)(1− p−q)nyn,

e, portanto,yn+1 =

q(1− p−q)n+1 + yn.

Como x0 = (1− p−q)0y0 segue que y0 = 1. Temos entao que

y1 =q

(1− p−q)1 +1

y2 =q

(1− p−q)2 + y1

...

yn =q

(1− p−q)n + yn−1

Somando os termos de cada lado das igualdades, resulta em

yn = 1+q

(1− p−q)+

q(1− p−q)2 +

q(1− p−q)3 + . . .+

q(1− p−q)n .




57

Note que os termos do segundo membro da igualdade acima, apos a condicao inicial y0 = 1, e asoma dos n primeiros termos de uma progressao geometrica de razao 1

1−p−q . Logo

yn = 1+q

1− p−q

[( 1

1−p−q)n−1

11−p−q −1

]

= 1+q

1− p−q

1−(1−p−q)n

(1−p−q)n

p+q1−p−q

= 1+

q(1− (1− p−q)n)

(p+q)(1− p−q)n

Como xn = (1− p−q)nyn, segue que

xn = (1− p−q)n +(1− p−q)nq(1− (1− p−q)n)

(p+q)(1− p−q)n

= (1− p−q)n +q(1− (1− p−q)n)

p+q

= (1− p−q)n +q−q(1− p−q)n

p+q

=q

p+q+

(p+q)(1− p−q)n−q(1− p−q)n

p+q

=q

p+q+

p(1− p−q)n

p+q.

Agora, como 0 < p < 1 e 0 < q < 1 segue que |1− p−q|<1, e assim (1− p−q)n→ 0 paran→ ∞. Portanto,

xn→q

p+q,

quando n→ ∞.2

Portanto, a distribuicao da partıcula no tempo n, dada pelo vetor de probabilidade vn =(xn,1−xn)converge para (

qp+q

,p

p+q

)quando n→ ∞.

Uma abordagem diferente desta demonstracao acima, pode ser visto, por exemplo, em Silvae Rota (2016). Como a matriz de transicao T e regular, por uma versao do Teorema de Perron-Frobenius, e possıvel mostrar que a distribuicao dada por vn = T nv0 converge para um unico vetorw, tal que Tw = w, independentemente da distribuicao inicial v0. Alem disso, caso o leitor tenhacuriosidade, em Brezezniak e Zastawniak (1999, p.86), tambem tem uma outra demonstracaoem que nao se usa solucoes de recorrencias lineares nao-homogeneas (como apresentamos nesteartigo) e nem Perron-Frobenius.

O objetivo principal agora, e mostrar que de fato o modelo apresentado no Exemplo 1 e umacadeia de Markov. Para isto, considere o processo estocastico Xn como na Secao 2.0.2.




58

Teorema 5 O modelo apresentado no Exemplo 1 e uma cadeia de Markov, isto e, verifica (1).

Demonstracao. Considere o espaco de estados E = 1,2. Tomaremos Ω como sendo o con-junto de todas as sequencias como mencionamos na Secao 2.0.2.

A fim de construir a probabilidade nos cilindros, tomemos ν0 como sendo alguma proba-bilidade em E . Apenas, para simplificar, vamos escolher ν0(1) = 1 e ν0(2) = 0. A medida ν0escolhida, corresponde a distribuicao inicial do processo estocastico que iremos definir. Podemosentao definir a probabilidade P da seguinte forma. Se ω = (e0,e1, ...) ∈Ω, tomemos

P(ω ∈Ω : ω0 = e0) = ν0(e0);

P(ω ∈Ω : ωi = ei, i = 0, ...,n+1) = p(en+1|en)P(ω ∈Ω : ωi = ei, i = 0, ...,n), (5)

onde p(en+1|en) e a probabilidade de transicao do estado en para en+1, podendo ser p(1|1) =1− p, p(1|2) = q, p(2|1) = p ou p(2|2) = 1−q.

Notemos que P esta definida por meio de um processo indutivo que so depende da distribuicaoinicial e das probabilidades de transicao. Por exemplo, a medida para o conjunto das sequenciasem que restringimos os dois primeiros estados, e0 e e1, e dada pelo produto da probabilidadeinicial de e0 pela probabilidade de transicao de e0 para e1, isto e

P(ω ∈Ω : ω0 = e0,ω1 = e1) = p(e1|e0)ν0(e0).

Analogamente, para o caso em que restringimos aos estados e0,e1 e e2, temos

P(ω ∈Ω : ω0 = e0,ω1 = e1,ω2 = e2) = p(e2|e1)P(ω ∈Ω : ω0 = e0,ω1 = e1)= p(e2|e1)p(e1|e0)ν0(e0).

E fazendo isso, sucessivamente, para mais estados, nota-se que de fato a formula (5) so dependedas probabilidades de transicao e da distribuicao inicial. Alem disso, como

Ω = ω ∈Ω : ω0 = 1∪ω ∈Ω : ω0 = 2,

segue que P(Ω) = ν0(Ω) = 1.Como na Secao 2.0.2, considere o processo estocastico Xn : Ω−→ R, n ∈ N, dado por

Xn(ω) = ωn,

onde ω = (ω0,ω1, ...,ωn, ...). Primeiro vamos mostrar que as probabilidades de transicao de Xnsao o que deveriam ser, isto e,

P(Xn+1 = 2|Xn = 1) = p, (6)

P(Xn+1 = 1|Xn = 2) = q. (7)

Da definicao de P temos que

P(Xn+1 = 2,Xn = 1) = P(ω ∈Ω : ωn = 1,ωn+1 = 2)= ∑

e0,...,en−1∈EP(ω ∈Ω : ωi = ei, i = 0, ...,n−1,ωn = 1,ωn+1 = 2)

= ∑e0,...,en−1∈E

p(2|1)P(ω ∈Ω : ωi = ei, i = 0, ...,n−1,ωn = 1)

= p ∑e0,...,en−1∈E

P(ω ∈Ω : ωi = ei, i = 0, ...,n−1,ωn = 1)

= pP(Xn = 1). (8)




59

A segunda igualdade, em que aparece a soma sobre os estados, segue da Proposicao 1 tomandouma particao em Ω, por meio de conjuntos formados de trajetorias em que se fixa os primeiros nestados e0,e1, . . . ,en−1.

Pela definicao de probabilidade condicional e da igualdade (8) segue que

P(Xn+1 = 2|Xn = 1) =P(Xn+1 = 2,Xn = 1)

P(Xn = 1)= p.

Pelos mesmos argumentos segue que P(Xn+1 = 1|Xn = 2) = q.Vamos agora verificar que

P(Xn+1 = en+1|X0 = e0, ...,Xn = en) = P(Xn+1 = en+1|Xn = en).

De fato,

P(Xn+1 = en+1|X0 = e0, ...,Xn = en) =P(X0 = e0, ...,Xn = en,Xn+1 = en+1)

P(X0 = e0, ...,Xn = en)

=P(ω ∈Ω : ωi = ei, i = 0, ...,n+1)P(ω ∈Ω : ωi = ei, i = 0, ...,n)

=p(en+1|en)P(ω ∈Ω : ωi = ei, i = 0, ...,n)

P(ω ∈Ω : ωi = ei, i = 0, ...,n)= p(en+1|en).

Por outro lado, de (6) e (7) temos que

P(Xn+1 = en+1|Xn = en) = p(en+1|en).

2

Apesar de trabalhosa, a demonstracao acima poderia ser adaptada para um processo commais de dois estados, desde que E seja finito. Boa parte da demonstracao acima foi baseada emtecnicas que aparecem em Brezezniak e Zastawniak (1999, p.88).

4 Agradecimentos

Agradecemos as contribuicoes dadas pela Comissao Cientıfica e Editorial da revista C.Q.D..A primeira autora agradece a FAPESP, processo 2016/21006-5, pelo suporte financeiro para

desenvolver as atividades de Iniciacao Cientıfica.A segunda autora agradece a bolsa de estudo fornecida pela CAPES durante a vigencia do

programa de pos-graduacao em matematica (PROFMAT), perıodo de realizacao deste trabalho.

5 Referencias Bibliograficas




60

ALLEN, L. J. S. An introduction to stochastic processes with applications to biology. UpperSaddle River: Pearson Education Inc., 2003.

JAMES, B. R. Probabilidade: Um curso em nıvel intermediario. 2. ed. Rio de Janeiro: IMPA,1996.

BRZEZNIAK, Z.; ZASTAWNIAK, T. Basic stochastic processes: a course through exercises.London: Springer, 1999. (Springer undergraduate mathematics series).

KEMENY, J. G.; SNELL, J. L.; KNAPP, A. W. Denumerable Markov chains. New York:Springer-Verlag, 1976.

MORGADO, A. C.; CARVALHO, P. C. P. Matematica discreta. Rio de Janeiro: SBM, 2013.

RUFFINO, P. R. C. Uma iniciacao aos sistemas dinamicos estocasticos. 2. ed. Rio de Janeiro:IMPA, 2009.

SILVA, F. B.; ROTA, I. S. Convergencia de matrizes estocasticas regulares. C.Q.D. RevistaEletronica Paulista de Matematica, Bauru, v. 8, p. 4-14, dez. 2016. Edicao Iniciacao Ci-entıfica.

__________________________________________

Artigo recebido em jul. 2017 e aceito em set. 2017.



DOI: 10.21167/cqdvol11ic201723169664aslotsgfbs4961 Disponível em: http://www.fc.unesp.br/#!/departamentos/matematica/revista-cqd/

61

Cadeia de Markov: modelo probabil´ıstico e …...tecnicas de resoluc¸´ ao para recorr˜ encias...

Documents

Transcript of Cadeia de Markov: modelo probabil´ıstico e …...tecnicas de resoluc¸´ ao para recorr˜ encias...