Álgebra Linear Davi Lay

10 Cadeias de Markov de Estados Finitos

WEB

EXEMPLO INTRODUTRIO

Google e Cadeias de MarkovGoogle significa muitas coisas: um mecanismo de busca na Internet, a companhia que produz esse mecanismo e uma pesquisa na Internet por alguma informao. Embora possa parecer difcil de acreditar, h no muito tempo, as pessoas no podiam usar o Google para encontrar a capital de Botsuana, ou uma receita de ovos cozidos ou outras questes de importncia vital. Usurios da Internet dependem de mecanismos de busca confiveis a quantidade de informao disponvel to imensa que o pesquisador depende do mecanismo de busca no s para encontrar as pginas na rede que contm as palavras da pesquisa, mas tambm para indicar primeiro as pginas que, possvel, sero mais relevantes para a pesquisa. Os mecanismos de busca mais antigos no tinham um modo de determinar quais pginas seriam, provavelmente, mais relevantes para a pesquisa. As pessoas tinham de verificar as pginas indicadas uma por uma, um processo enfadonho e frustrante. Esta situao melhorou muito em 1998, quando os mecanismos de busca comearam a usar a informao contida na estrutura de hiperlink da rede World Wide Web para ajudar a ordenar as pginas. O primeiro dessa nova gerao de mecanismos de busca foi o Google, um projeto de dois alunos de ps-graduao em cincia da computao na Universidade de Stanford: Sergey Brin e Lawrence Page.

Brin e Page raciocinaram que uma pgina na rede era importante se tivesse hiperlinks a partir dela para outras pginas importantes. Eles usaram a ideia de um surfista aleatrio: um surfista na rede movendo-se de pgina para pgina, escolhendo aleatoriamente o link que seguir. O movimento do surfista entre as pginas pode ser modelado usando-se cadeias de Markov, que foram introduzidas na Seo 4.9. As pginas visitadas com mais frequncia por esse surfista aleatrio devem ser mais importantes e, portanto, mais relevantes, se seu contedo contiver as palavras da pesquisa. Embora Brin e Page no soubessem disso na poca, eles estavam tentando encontrar o vetor estado estacionrio para uma cadeia de Markov particular, cuja matriz de transio modelava a estrutura de hiperlinks da rede. Depois de algumas modificaes importantes dessa matriz imensa (detalhadas na Seo 10.2), pode-se encontrar um vetor estado estacionrio e seus componentes podem ser interpretados como a quantidade de tempo que um surfista aleatrio vai gastar em cada pgina da Web. O clculo desse vetor estado estacionrio a base para o algoritmo PageRank do Google.

Ento, da prxima vez que voc usar o Google para pesquisar sobre a capital da Botsuana, saiba que est usando os resultados deste captulo para encontrar a pgina certa na rede.

Embora o nmero de pginas da Web seja imenso, ainda assim finito. Quando a estrutura de links da rede World Wide Web modelada por uma cadeia de Markov, cada pgina na rede um estado da cadeia de Markov. Este captulo continua o estudo das cadeias de Markov iniciado na Seo 4.9, focalizando nas cadeias com um nmero finito de estados. A Seo 10.1 introduz a terminologia e desenvolve alguns exemplos de cadeias de Markov: modelos de transmisso de sinais, modelos de difuso da fsica e caminhos aleatrios em diversos conjuntos. Caminhos aleatrios em grafos dire-cionados tero uma aplicao especfica no algoritmo PageRank. A Seo 10.2 define o vetor estado estacionrio para uma cadeia de Markov. Embora toda a cadeia de Markov tenha um vetor estado estacionrio, nem toda a cadeia de Markov converge para um vetor estado estacionrio. Quando a cadeia de Markov converge para um vetor estado estacionrio, esse vetor pode ser interpretado como indicando a quantidade de tempo que a cadeia gastar em cada estado. Essa interpretao necessria para o algoritmo PageRank, de modo que sero estudadas as condies sob as quais uma cadeia de Markov ir convergir para um vetor estado estacionrio. O modelo para a estrutura de links da rede World Wide Web ser ento modificado para satisfazer essas condies, formando a chamada matriz do Google. As Sees 10.3 e 10.4 discutem cadeias de Markov que no convergem para um vetor

Cadeias de Markov de Estados Finitos 49

estado estacionrio. Essas cadeias de Markov podem ser usadas para modelar situaes nas quais a cadeia acaba restrita a um estado ou a um conjunto de estados. A Seo 10.5 introduz a matriz funda-mental. Essa matriz pode ser usada para calcular o nmero esperado de passos para a cadeia mudar de estado, assim como a probabilidade de que a cadeia fique restrita a um estado particular. Na Seo 10.6, a matriz fundamental aplicada a um modelo para estatsticas em beisebol: o nmero de bate-dores em um meio turno e o estado no qual esse meio turno ir terminar sero muito importantes para calcular o nmero esperado de pontos ganhos.

10.1 INTRODUO E EXEMPLOSLembre-se da Seo 4.9 que uma cadeia de Markov um modelo matemtico para o movimento entre estados. Um processo que comea em um desses estados e se move de estado para estado. Os movimentos entre estados so chamados passos ou transies. As palavras cadeia e processo sero usadas com o mesmo significado, de modo que se pode dizer que a cadeia se move entre esta-dos, ou est em um estado depois de determinado nmero de passos.

O estado da cadeia em qualquer instante dado no conhecido; o que conhecido a probabili-dade de a cadeia se mover do estado j para o estado i em um nico passo. Essa probabilidade cha-mada uma probabilidade de transio para a cadeia de Markov. As probabilidades de transio so colocadas em uma matriz chamada matriz de transio P para a cadeia: o elemento (i, j) da matriz P a probabilidade de transio do estado j para o estado i. Ento, se existirem m estados 1, 2, , m, a matriz de transio seria a matriz m m

As probabilidades de que a cadeia esteja em cada um dos estados possveis depois de n passos esto listadas em um vetor de estado xn. Se existissem m estados possveis, o vetor de estado seria

Um vetor de estado um vetor probabilidade, j que a soma de suas componentes igual a 1. O vetor de estado x

0 chamado vetor probabilidade inicial.

Note que a j-sima coluna de P um vetor probabilidade suas componentes listam as probabi-lidades de um movimento do estado j para um dos estados da cadeia de Markov. Assim, a matriz de transio uma matriz estocstica, j que cada uma de suas colunas um vetor probabilidade.

Os vetores de estado para a cadeia esto relacionados pela equao

(1)

para n = 1, 2, Note que a equao (1) pode ser usada para se mostrar que (2)

Ento, qualquer vetor de estado xn pode ser calculado do vetor probabilidade inicial x0 e de uma po-tncia apropriada da matriz de transio P.

Este captulo trata de cadeias de Markov com um nmero finito de estados , ou seja, cadeias para as quais a matriz de transio tem tamanho finito. Para usar uma cadeia de Markov de estado finito para modelar um processo, o processo tem de ter as seguintes propriedades, implicadas com as equaes (1) e (2):

1. Como os valores no vetor xn+1 dependem apenas da matriz de transio P e de xn, o estado da ca-deia antes do instante n no tem efeito sobre seu estado no instante n + 1 e depois.

2. Como a matriz de transio no varia com o tempo, a probabilidade de uma transio de estado depende apenas de quantos passos a cadeia j executou.

50 CaPTULO 10

Mesmo com essas restries, cadeias de Markov podem ser usadas para modelar uma variedade in-crvel de processos. A seguir, algumas amostras.

Transmisso de SinaisConsidere o problema de transmitir um sinal por meio de uma linha telefnica ou por ondas de rdio. Cada trecho dos dados tem de passar por um processo em diversos estgios para ser transmitido e, em cada estgio, existe uma probabilidade de que um erro de transmisso ir corromper os dados. Suponha que a probabilidade de que um erro na transmisso no seja afetado por erros de transmis-so que ocorreram anteriormente nem dependa do tempo e o nmero de trechos possveis de dados finito. O processo de transmisso ento pode ser modelado por uma cadeia de Markov. O objeto de interesse a probabilidade de que um trecho de dados passe pelo processo com vrios estgios sem erro. Veja exemplo de tal modelo a seguir.

EXEMPLO 1 Suponha que cada bit de dados seja 0 ou 1 e, em cada estgio, exista uma probabilidade p de que o bit ir passar sem modificao. Assim, a probabilidade de que o bit ser transposto 1 p. O processo de transmisso modelado por uma cadeia de Markov com estados 0 e 1 e matriz de transmisso

Muitas vezes possvel visualizar a ao de uma cadeia de Markov representando suas probabilida-des de transio graficamente, como na Figura 1. Os pontos so os estados da cadeia, e os caminhos indicados por setas representam as transies.

Suponha que p = 0,99. Encontre a probabilidade de que o sinal 0 ainda ser 0 depois de um pro-cesso de transmisso em dois estgios.

1 p

p p

1 p

10

FIGURa 1 Diagrama de transio para a transmisso de sinais.

SOLUO Como o sinal comea em 0, a probabilidade de que a cadeia comece em 0 de 100%, ou

igual a 1; ou seja, o vetor de probabilidade inicial x0 = . Para encontrar a probabilidade em um

processo de transmisso em dois estgios, calcule

Ento, a probabilidade de que o sinal ainda seja 0 depois de um processo em dois estgios 0,9802. Note que isso no o mesmo que a probabilidade de que 0 seja transmitido sem erro; essa ltima probabilidade seria (0,99)2 = 0,9801. Nossa anlise inclui a probabilidade muito pequena de que 0 seja mudado erroneamente para 1 no primeiro estgio, depois, de volta para 0 no segundo estgio da transmisso.

DifusoConsidere dois compartimentos cheios com gases diferentes separados apenas por uma membrana que permite a passagem de molculas de cada gs para o outro compartimento. Ao longo do tempo, os dois gases iro se misturar, de modo que cada compartimento conter uma mistura desses gases. O problema mais interessante qual a mistura que estar em cada compartimento em algum instante aps o incio da interao. Um modelo matemtico famoso para este processo foi descrito original-mente pelos fsicos Paul e Tatyana Ehrenfest. Como o termo preferido deles para compartimento era urna, o modelo conhecido como o modelo da urna de Ehrenfest para a difuso.

De:

Para:


Vamos chamar as urnas A e B e colocar k molculas de gs em cada urna. Em cada instante de tem-po, selecione uma das 2k molculas de forma aleatria, mova-a de uma urna para a outra e mantenha um registro do nmero de molculas na urna A. Esse processo pode ser modelado por uma cadeia de Markov de estado finito: o nmero de molculas na urna A depois de n + 1 instantes de tempo s depende do nmero de molculas na urna depois de n instantes de tempo, as probabilidades de tran-sio no variam com o tempo e o nmero de estados finito.

EXEMPLO 2 Para este exemplo, suponha que k = 3. Ento as duas urnas contm um total de 6 molculas e os estados possveis para a cadeia de Markov so 0, 1, 2, 3, 4, 5 e 6. Em primeiro lugar, note que, se a urna A contiver 0 molculas no instante n, ento a urna A conter 1 molcula no instante n + 1 e, se a urna A contiver 6 molculas no instante n, ento a urna A conter 5 molculas no instante n + 1. Em termos da matriz de transio P, isso significa que as colunas de P correspondentes aos estados 0 e 6 so

Se a urna A contiver i molculas no instante n, com 0 < i < 6, ento a urna A conter i + 1 ou i 1 molculas no instante n + 1. Para que ocorra uma transmisso de i para i 1 molculas, uma das i molculas na urna A tem de ser selecionada para se mover; esse evento ocorre com probabilidade i/6. Analogamente, uma transmisso de i para i + 1 molculas ocorre quando uma das 6 i molculas na urna B selecionada, e isso ocorre com probabilidade (6 i)/6. Fazendo i variar de 1 a 5, gera-se as colunas de P correspondente a esses estados, e a matriz de transio para o modelo da urna de Ehrenfest com k = 3

A Figura 2 mostra o diagrama de transio dessa cadeia de Markov. Outros modelos para a difuso sero considerados nos Exerccios para esta seo.

FIGURa 2 Diagrama de transmisso para o modelo da urna de Ehrenfest.

Passeios Aleatrios em {1, , n}H muito tempo que o movimento molecular vem sendo estudado em fsica. Einstein e outros investi-garam o Movimento Browniano, um modelo matemtico para o movimento de uma molcula exposta a colises com outras molculas. A anlise do Movimento Browniano bem complicada, mas uma verso discreta, chamada passeio aleatrio, fornece uma introduo a esse modelo importante. Pense nos estados {1, 2, , n} como contidos em uma reta. Coloque uma molcula em um ponto que no est em uma das extremidades. Em cada passo, a molcula se move uma unidade para a esquerda com probabilidade p e uma unidade para a direita com probabilidade 1 p. Veja a Figura 3. A molcula en-to passeia aleatoriamente ao longo da reta. Se p = , o passeio simples ou imparcial. Se p , o passeio dito tendencioso.

52 CaPTULO 10

......

p p p p

1 p 1 p 1 p 1 p

k 2 k 1 k k + 1 k + 2

FIGURa 3 Uma representao grfica de um passeio aleatrio.

A molcula tem de se mover para a esquerda ou para a direita nos estados 2, , n 1, mas no pode fazer isso nas extremidades 1 e n. As possibilidades de movimento para as molculas nas extre-midades 1 e n tm de ser especificadas. Uma possibilidade que elas permaneam para sempre em uma extremidade quando chegam l: isto chamado passeio aleatrio com fronteiras absorven-tes e as extremidades 1 e n so chamadas estados absorventes. Outra possibilidade ter a molcula quicando de volta uma unidade ao atingir uma extremidade: isto chamado passeio aleatrio com fronteiras refletoras.

EXEMPLO 3 Um passeio aleatrio em {1, 2, 3, 4, 5} com fronteiras absorventes tem matriz de transio

j que uma molcula no estado 1 tem probabilidade 1 de permanecer no estado 1 e uma molcula no estado 5 tem probabilidade 1 de permanecer no estado 5. Um passeio aleatrio em {1, 2, 3, 4, 5} com fronteiras refletoras tem matriz de transio

j que uma molcula no estado 1 tem probabilidade 1 de se mover para o estado 2 e uma molcula no estado 5 tem probabilidade 1 de se mover para o estado 4.

Alm de sua utilizao em fsica, passeios aleatrios tambm ocorrem em problemas relacionados a jogos e suas variaes mais aceitveis socialmente: a bolsa de valores e a indstria de seguros.

EXEMPLO 4 Considere um jogo de cassino muito simples. Um jogador (que ainda tem algum dinheiro para jogar) joga uma moeda imparcial dizendo se vai dar cara ou coroa. Se ele estiver correto, ganhar um real; se estiver errado, perder um real. Suponha que o jogador ir parar de jogar quando tiver ganhado n reais ou quando tiver perdido todo seu dinheiro.

Suponha que n = 7 e o jogador comeou com R$4,00. Note que os ganhos aumentam ou diminuem de um real a cada jogada da moeda e, uma vez que os ganhos do jogador chegam a 0 ou 7, eles no variam mais, pois o jogador vai parar de jogar. Assim, os ganhos do jogador podem ser modelados por um passeio aleatrio em {0, 1, 2, 3, 4, 5, 6, 7} com fronteiras absorventes. Como a probabilidade de o ganho aumentar ou diminuir a mesma, p = e o passeio simples.

Passeios Aleatrios em Grafos til efetuar passeios aleatrios em objetos geomtricos diferentes de uma reta unidimensional. Por exemplo, um grafo uma coleo de pontos e segmentos de reta ligando alguns dos pontos. Os pon-tos em um grafo so chamados vrtices ou ns, e as arestas que ligam os vrtices so denominadas arestas. Na Figura 4, os vrtices esto numerados de 1 a 7.

FIGURa 4 Um grafo com sete vrtices.

1

3 42

5 6

7


Para definir um passeio aleatrio em um grafo, permita que a cadeia se mova de vrtice em vrti-ce. Em cada estgio, a cadeia tem a mesma probabilidade de se mover ao longo de qualquer uma das arestas ligadas ao vrtice. Por exemplo, se a molcula estiver no estado 5 na Figura 4, ela tem proba-bilidade de se mover para o estado 2 e probabilidade de se mover para o estado 6. Esta cadeia de Markov chamada um passeio simples em um grafo.

EXEMPLO 5 O passeio aleatrio simples no grafo na Figura 4 tem matriz de transio

Encontre a probabilidade de que a cadeia na Figura 4 mude do estado 6 para o estado 2 em exata-mente trs passos ou estgios.

SOLUO Calcule

Logo, a probabilidade de se mover do estado 6 para o estado 2 em exatos trs passos 0,0417.

Algumas vezes, pode ser til interpretar um processo aleatrio como um passeio aleatrio em um grafo.

EXEMPLO 6 Suponha que um camundongo percorra o labirinto de cinco compartimentos esquerda na Figura 5. Em cada instante (ou estgio), o camundongo se move para um compartimento diferente. Quando ele estiver em um compartimento, ele pode escolher qualquer uma das portas do compartimento com a mesma probabilidade. Note que o movimento do camundongo pode ser modelado por uma cadeia de Markov. Encontre a probabilidade de que um camundongo comeando no compartimento 3 retorne a ele em exatamente cinco estgios.

1 23

5

41 2

35

4

FIGURa 5 Labirinto com cinco compartimentos com grafo sobreposto.

SOLUO A Figura 5 direita mostra um grafo sobreposto ao labirinto. Note que o movimento do ca-mundongo idntico a um passeio aleatrio simples no grafo, de modo que a matriz de transio

54 CaPTULO 10

e

Logo, a probabilidade de um retorno ao compartimento 3 depois de exatamente cinco estgios 0,2701.

Outro objeto interessante no qual se efetua um passeio aleatrio um grafo direcionado. Um grafo direcionado um grafo no qual as arestas contm setas indicando o sentido de percurso. Veja a Figura 6.

Para efetuar um passeio aleatrio simples em um grafo direcionado, permita que a cadeia se mova entre os vrtices apenas nos sentidos indicados pelas setas. Em cada estgio, as probabilidades de movimento do vrtice (estado) atual ao longo de qualquer aresta saindo desse vrtice so iguais. Por exemplo, se a molcula estiver no estado 6 na Figura 6, ela ter probabilidade de se mover para o estado 3, para o estado 5 ou para o estado 7.

O algoritmo PageRank usado pelo Google para ordenar a importncia das pginas na rede World Wide Web (veja a Introduo deste captulo) comea com um passeio aleatrio simples em um grafo direcionado. A rede modelada como um grafo direcionado em que os vrtices so as pginas, e desenhada uma seta da pgina j para a pgina i se existir um hiperlink na pgina j levando pgina i. Uma pessoa surfa aleatoriamente da seguinte maneira: quando chega a uma pgina, escolhe um link contido na pgina com a mesma probabilidade de qualquer outro link saindo. A pessoa ento segue o link, chegando a outra pgina. A pessoa que surfa a rede dessa forma est efetuando um passeio aleatrio simples no grafo direcionado que a rede World Wide Web.

EXEMPLO 7 Considere um conjunto de sete pginas com hiperlinks como os indicados na Figura 6. Se a pessoa que vai fazer o passeio aleatrio comear na pgina 5, encontre a probabilidade de que estar na pgina 3 depois de clicar quatro vezes no mouse seguindo um hiperlink.

SOLUO A matriz de transio para o passeio aleatrio simples no grafo direcionado

Note que no h arestas saindo do estado 4 nem do estado 7 na Figura 6. Se a pessoa acessar um link que chega a uma dessas pginas, no haver mais links a seguir.1 Por essa razo, as probabilidades de transio p

44 e p77 so iguais a 1 a cadeia tem de permanecer no estado 4 ou no estado 7 para

sempre quando entra em um desses estados. Calculando x4, obtm-se

de modo que a probabilidade de estar na pgina 3 depois de exatamente quatro cliques no mouse 0,0880.

FIGURa 6 Um grafo direcio-nado com sete vrtices.

1

3 42

5 6

7

1No permitido o uso da tecla que volta para a pgina anterior: o estado da cadeia antes do instante n no pode ter efeito em seu estado no instante n + 1 ou mais adiante.


Os estados 4 e 7 so estados absorventes para a cadeia de Markov no exemplo anterior. Em termos tcnicos, esses vrtices so chamados ns pendurados e so bastante comuns na rede; pginas de dados, em particular, no contm links em geral. Os ns pendurados iro aparecer na prxima seo, em que o algoritmo PageRank ser explicado.

Como observado na Seo 4.9, as perguntas mais interessantes sobre cadeias de Markov so as relacionadas com seu comportamento em longo prazo ou seja, o comportamento de xn quando n aumenta. Esse estudo ocupar uma boa parte deste captulo. As questes mais importantes em nosso estudo sero se a sequncia de vetores {xn} est convergindo para algum limite quando n aumenta e como interpretar esse vetor limite se existir. A convergncia ser discutida na prxima seo.

PROBLEMAS PRTICOS

1. Complemente os elementos que esto faltando na matriz estocstica a seguir.

2. No modelo de transmisso de sinal no Exemplo 1, suponha que p = 0,97. Encontre a probabilidade de que o sinal 1 ser um 0 depois de um processo de transmisso em trs estgios.

10.1 EXERCCIOS

Nos Exerccios 1 e 2, determine se P uma matriz estocstica. Se no for, explique por qu.

Nos Exerccios 3 e 4, calcule x

3 de duas maneiras: calculando x

1 e x

2, e

calculando P3.

Nos Exerccios 5 e 6, dada a matriz de transio P de uma cadeia de Markov com estados 0 e 1. Suponha que, em cada caso, a cadeia comece no estado 0 no instante n = 0. Encontre a probabilidade de que a cadeia estar no estado 1 no instante n.

Nos Exerccios 7 e 8, dada a matriz de transio P de uma cadeia de Markov com estados 0, 1 e 2. Suponha que, em cada caso, a cadeia co-mece no estado 0 no instante n = 0. Encontre a probabilidade de que a cadeia estar no estado 1 no instante n.

9. Considere um par de urnas de Ehrenfest A e B. Existem agora 3 molculas na urna A e uma na urna B. Qual a probabilidade de que exatamente a mesma situao ocorrer depois de

a. 4 selees? b 5 selees?

10. Considere um par de urnas de Ehrenfest A e B. Agora, a urna A no contm nenhuma molcula e a urna B contm 5 molculas. Qual a probabilidade de que exatamente a mesma situao ocorrer depois de

a. 4 selees? b. 5 selees?11. Considere um passeio aleatrio imparcial no conjunto {1, 2, 3, 4}.

Qual a probabilidade de se mover de 2 para 3 em exatamente 3 passos se o passeio tiver

a. fronteiras refletoras? b. fronteiras absorventes?12. Considere um passeio aleatrio tendencioso no conjunto {1, 2, 3,

4} com probabilidade p = 0,2 de se mover para a esquerda. Qual a probabilidade de se mover de 2 para 3 em exatamente 3 passos se o passeio tiver

a. fronteiras refletoras? b. fronteiras absorventes?Nos Exerccios 13 e 14, encontre a matriz de transio para o passeio aleatrio simples no grafo dado.

1 2

4 3

5

1 2

34

Nos Exerccios 15 e 16, encontre a matriz de transio para o passeio aleatrio simples no grafo direcionado dado.

1 2

3 4

1 4

2 5

3

Nos Exerccios 17 e 18, suponha que um camundongo perambule pelo labirinto dado. O camundongo tem de se mover para um compartimento

56 CaPTULO 10

diferente em cada instante de tempo e igualmente provvel que escolha qualquer uma das portas disponveis.17. O camundongo colocado no compartimento 2 do labirinto a

seguir. a. Construa uma matriz de transio e um vetor de probabilidade

inicial para o movimento do camundongo. b. Quais as probabilidades de que o camundongo estar em cada

um dos compartimentos depois de 3 movimentos?

3

4 5

1 2

18. O camundongo colocado no compartimento 3 do labirinto a seguir.

a. Construa uma matriz de transio e um vetor de probabilidade inicial para o movimento do camundongo.

b. Quais as probabilidades de que o camundongo estar em cada um dos compartimentos depois de 4 movimentos?

1 2 3

54

Nos Exerccios 19 e 20, suponha que um camundongo perambule pelo labirinto dado e algumas dessas portas so de mo nica: s tem lar-gura suficiente para o camundongo se espremer em apenas um sentido. O camundongo ainda tem de se mover para um compartimento diferente em cada instante de tempo, se possvel. Ao encontrar aberturas acessveis em dois ou mais compartimentos, o camundongo escolher com a mesma probabilidade qualquer uma delas.

19. O camundongo colocado no compartimento 1 do labirinto a seguir.

a. Construa uma matriz de transio e um vetor de probabilidade inicial para o movimento do camundongo.

b. Quais as probabilidades de que o camundongo estar em cada um dos compartimentos depois de 4 movimentos?

1 32

4 65

20. O camundongo colocado no compartimento 1 do labirinto a seguir. a. Construa uma matriz de transio e um vetor de probabilidade

inicial para o movimento do camundongo. b. Quais as probabilidades de que o camundongo estar em cada

um dos compartimentos depois de 3 movimentos?

3

4 5

1 2

Nos Exerccios 21 e 22, marque cada afirmao como Verdadeira ou Fal-sa. Justifique cada resposta.

21. a. A soma dos elementos em cada coluna de uma matriz de transi- o para uma cadeia de Markov tem de ser igual a 1.

b. A matriz de transio P pode variar com o tempo. c. O elemento (i, j) em uma matriz de transio P fornece a proba-

bilidade de um movimento do estado j para o estado i.22. a. A soma dos elementos em cada linha de uma matriz de transio

para uma cadeia de Markov tem de ser igual a 1. b. Se {xn} denotar uma cadeia de Markov, ento xn+1 s poder de-

pender da matriz de transio e de xn. c. O elemento (i, j) em P3 fornece a probabilidade de um movimento

do estado i para o estado j em exatamente trs instantes.23. Em qualquer dia, o tempo em Charlotte, na Carolina do Norte, pode

ser classificado como ensolarado, nublado ou chuvoso. Dados de 20032 mostram que

Se um dia est ensolarado, ento o dia seguinte estar ensolarado com probabilidade 0,65, estar nublado com probabilidade 0,1 e estar chuvoso com probabilidade 0,25.

Se um dia est nublado, ento o dia seguinte estar ensolarado com probabilidade 0,25, estar nublado com probabilidade 0,25 e estar chuvoso com probabilidade 0,5.

Se um dia est chuvoso, ento o dia seguinte estar ensolarado com probabilidade 0,25, estar nublado com probabilidade 0,15 e estar chuvoso com probabilidade 0,60.

Suponha que o dia est nublado em uma segunda-feira. Use uma cadeia de Markov para determinar as probabilidades de cada um dos tipos de tempo na sexta-feira seguinte.

24. Suponha que se vai chover ou no em Charlotte amanh depende das condies do tempo hoje e ontem. Dados de 20032 mostram que

Se choveu ontem e hoje, ento a probabilidade de que chova amanh ser de 0,58.

Se choveu ontem, mas no hoje, ento a probabilidade de que chova amanh ser de 0,29.

Se choveu hoje, mas no ontem, ento a probabilidade de que chova amanh ser de 0,47.

Se no choveu ontem nem hoje, ento a probabilidade de que chova amanh ser de 0,31.

Embora o tempo dependa dos dois ltimos dias nesse caso, podemos criar um modelo de cadeia de Markov usando os estados

1 choveu ontem e hoje 2 choveu ontem, mas no hoje 3 choveu hoje, mas no ontem 4 no choveu ontem nem hoje Ento, por exemplo, a probabilidade de transio do estado 1 para

o estado 1 de 0,58 e a probabilidade de transio do estado 1 para o estado 3 0.

a. Complete a matriz de transio para essa cadeia de Markov. b. Se chover na tera-feira e no chover na quarta, qual ser a pro-

babilidade de que no ir chover no prximo fim de semana?25. Considere um conjunto de quatro pginas da rede com hiperlinks

dados pelo grafo direcionado no Exerccio 15. Se uma pessoa que surfa aleatoriamente comear na pgina 1, quais sero as probabi-lidades de que a pessoa estar em cada uma das pginas depois de 3 cliques?

26. Considere um conjunto de cinco pginas da rede com hiperlinks dados pelo grafo direcionado no Exerccio 16. Se uma pessoa que surfa aleatoriamente comear na pgina 2, quais sero as probabi-lidades de que a pessoa estar em cada uma das pginas depois de 4 cliques?

27. Considere um modelo de transmisso de sinais no qual os dados so enviados como bytes de dois bits. Ento, existem quatro bytes possveis: 00, 01, 10 e 11, que so os estados da cadeia de Markov.

2http://www.wunderground.com/history/airport/KCLT/2003/1/1/MonthlyHis-tory.html.


Em cada estgio, existe uma probabilidade p de que cada bit pas-sar sem mudana.

a. Construa a matriz de transio para esse modelo. b. Suponha que p = 0,99. Encontre a probabilidade de que o sinal

01 ainda ser 01 depois de uma transmisso em trs estgios.

28. Considere um modelo para a transmisso de sinais no qual os da-dos so transmitidos como bytes de trs bits. Construa a matriz de transio para esse modelo.

29. Outra verso para o modelo de Ehrenfest para a difuso comea com k molculas de gs em cada urna. Uma das 2k molculas selecionada aleatoriamente como no modelo de Ehrenfest no texto. A molcula escolhida movida para a outra urna com probabilidade p e colo-cada de volta em sua prpria urna com probabilidade 1 p. (Note que o modelo de Ehrenfest no texto igual a este com p = 1.)

a. Seja k = 3. Encontre a matriz de transmisso para esse modelo. b. Seja k = 3 e p = . Se atualmente a urna A no contm molculas,

qual a probabilidade de que haver 3 molculas na urna A depois de 5 selees?

30. Outro modelo para a difuso conhecido como o modelo de Ber-noulli-Laplace. Duas urnas (A e B) contm um total de 2k mol-culas. Neste caso, k molculas so de um tipo (chamadas molculas do tipo I) e k so de outro tipo (molculas do tipo II). Alm disso, cada urna tem de conter k molculas em todos os instantes. Em cada instante, seleciona-se um par de molculas, um de cada urna, e es-sas molculas mudam de urna. Considere a cadeia de Markov que modela o nmero de molculas do tipo I na urna A (que igual ao nmero de molculas do tipo II na urna B).

a. Suponha que existam j molculas do tipo I na urna A, com 0 < j < k. Explique por que a probabilidade de transio de j 1 molculas do tipo I na urna A (j/k)2 e por que probabilidade de transio de j + 1 molculas do tipo I na urna A ((k j)/k)2.

b. Seja k = 5. Use o resultado no item (a) para criar a matriz de transio para a cadeia de Markov que modela o nmero de molculas do tipo I na urna A.

c. Seja k = 5 e comece com todas as molculas de tipo I na urna A. Qual a distribuio de molculas de tipo I depois de 3 instantes de tempo?

31. Para ganhar uma partida no tnis, um dos jogadores tem de marcar quatro pontos e, alm disso, pelo menos dois pontos a mais que seu oponente. Se os dois jogadores fizerem o mesmo nmero de pon-tos (quatro ou mais), com o escore iguais no jargo do tnis, um dos jogadores tem de fazer mais dois pontos seguidos para ganhar a partida. Suponha que dois jogadores A e B estejam jogando uma partida que est em iguais. Se A ganhar o prximo ponto, o escore ser vantagem para A, enquanto, se B vencer o prximo ponto, o escore ser vantagem para B. Se A estiver em vantagem e ganhar o prximo ponto, A ganhar a partida. Se A estiver em vantagem e B ganhar o prximo ponto, a partida voltar a ter escore iguais.

a. Suponha que a probabilidade de o jogador A ganhar qualquer ponto seja p. Modele o progresso de uma partida de tnis comeando com o escore iguais e usando uma cadeia de Markov com os cinco estados a seguir:

1 iguais 2 vantagem para A 3 vantagem para B 4 A ganha a partida 5 B ganha a partida

Encontre a matriz de transio para essa cadeia de Markov. b. Seja p = 0,6. Encontre a probabilidade de que a partida esteja

no escore vantagem para B depois de trs pontos, comeando em iguais.

32. O jogo de voleibol usa dois sistemas diferentes de contagem de pontos* nos quais um dos times tem de vencer por pelo menos dois pontos. Em ambos os sistemas, um rali comea com o gol-pe do saque pelo sacador at a bola estar fora do jogo ou tocar o cho, ou um jogador cometer uma falta. O time que ganhar o rali o prximo a sacar. As partidas podem ser de 15, 25 ou 30 pontos.

a. Em uma pontuao por rali, o time que ganha um rali ganha um ponto, independente de qual time sacou. Suponha que o time A tenha probabilidade p de ganhar um rali no qual sacou, e o time B tenha probabilidade q de ganhar um rali no qual sacou. Modele o progresso de um jogo de voleibol usando uma cadeia de Markov com os seis estados a seguir.

1 empate saque de A

2 empate saque de B

3 A ganhando de um ponto saque de A

4 B ganhando de um ponto saque de B

5 A ganha a partida

6 B ganha a partida

Encontre a matriz de transio para esta cadeia de Markov

b. Suponha que os dois times esto empatados 15-15 em uma partida de 15 pontos, e o time A esteja servindo. Sejam p = q = 0,6. Encontre a probabilidade de que a partida ainda no ter terminado depois de trs ralis.

c. Na pontuao por fora, o time s ganha um ponto ao final do rali se for o time que serviu o saque. Suponha que o time A tenha probabilidade p de ganhar um rali no qual sacou, e o time B tenha probabilidade q de ganhar um rali no qual sacou. Mo- dele o progresso de um jogo de voleibol usando uma cadeia de Markov com os oito estados a seguir.

1 empate saque de A

2 empate saque de B

3 A ganhando de um ponto saque de A

4 A ganhando de um ponto saque de B

5 B ganhando de um ponto saque de A

6 B ganhando de um ponto saque de B

7 A ganha a partida

8 B ganha a partida

Encontre a matriz de transio para essa cadeia de Markov.

d. Suponha que os dois times estejam empatados 15-15 em uma partida de 15 pontos, e o time A esteja servindo. Sejam p = q = 0,6. Encontre a probabilidade de que a partida ainda no ter terminado depois de trs ralis.

33. Suponha que P seja uma matriz estocstica com todos seus elemen-tos maiores ou iguais a p. Mostre que todos os elementos em Pn so maiores ou iguais a p para n = 1, 2, .

*Nas regras oficiais aprovadas em 2010, os sets so de 25 pontos e a pontu-ao por rali. (N.T.)

SOLUES DOS PROBLEMAS PRTICOS

1. Como uma matriz estocstica tem de ter a soma de cada coluna igual a 1,

58 CaPTULO 10

2. A matriz de transio para o modelo

Como o sinal comea em 1, o vetor de probabilidade inicial

Para encontrar a probabilidade de uma transio em trs estgios, calcule

A probabilidade de uma mudana para 0 0,0847.

10.2 O VETOR ESTaDO ESTaCIONRIO E O PaGERaNK Da GOOGLEComo vimos na Seo 4.9, o aspecto mais interessante de uma cadeia de Markov seu comporta-mento no longo prazo: o comportamento de xn quando n aumenta indefinidamente. Em muitos casos, a sequncia de vetores {xn} converge para um vetor chamado vetor estado estacionrio para a ca-deia de Markov. Esta seo far uma reviso do clculo do vetor estado estacionrio de uma cadeia de Markov, explicar como interpretar esse vetor, caso exista, e oferecer uma verso expandida do Teorema 18 na Seo 4.9, que descreve as circunstncias sob as quais {xn} converge para um vetor estado estacionrio. Esse teorema ser aplicado ao modelo de cadeia de Markov usado para a rede World Wide Web na seo precedente e mostrar como obter o mtodo PageRank para a ordem de relevncia de pginas da rede.

Vetores Estado EstacionrioEm muitos casos, a cadeia de Markov xn e a matriz Pn variam muito pouco para valores grandes de n.

EXEMPLO 1 Para comear, lembre o Exemplo 3 na Seo 4.9. Aquele exemplo tratava de uma

cadeia de Markov com matriz de transio e vetor de probabilidade inicial

L foi visto que os vetores xn convergem para o vetor Esse resultado pode

ser escrito como Potncias cada vez maiores da matriz de transio tambm podem ser calculadas:

de modo que a sequncia de matrizes {Pn} tambm parece estar convergindo a uma matriz quando n aumenta, e essa matriz tem a propriedade estranha de que todos as suas colunas so iguais a q. O exemplo tambm mostrou que Pq = q. Essa equao forma a definio do vetor estado estacionrio e fornece uma maneira direta de calcul-lo.


DEFINIO Se P for uma matriz estocstica, ento um vetor estado estacionrio (ou vetor de equilbrio ou vetor de probabilidade invariante) para P ser um vetor de probabilidade q tal que

Pq = q

Os Exerccios 36 e 37 mostraro que toda matriz estocstica P tem um vetor estado estacionrio q. Note que 1 tem de ser um autovalor de qualquer matriz estocstica e o vetor estado estacionrio um vetor probabilidade que tambm um autovetor de P associado ao autovalor 1.

Embora a definio de vetor estado estacionrio torne o clculo de q direto, ela tem uma grande des-vantagem, j que existem cadeias de Markov que tm um vetor estado estacionrio q, mas a definio no suficiente para que xn convirja. Os Exemplos de 3 a 5 a seguir mostram coisas di-ferentes que podem acontecer para que xn no convirja. Mais adiante, nesta seo, enunciaremos de novo as condies sob as quais . Por enquanto, considere que q significa que ,

como no exemplo anterior. Quando , existem dois modos de interpretar este vetor:

Como xn aproximadamente igual a q para valores grandes de n, as coordenadas de q aproximam a probabilidade de que a cadeia esteja em cada estado depois de n instantes de tempo. Assim, no exem-plo anterior, independente do valor do vetor de probabilidade inicial, depois de muito tempo, a pro-babilidade de que a cadeia esteja no estado 1 aproximadamente igual a q

1 = 0,3. De forma anloga,

a probabilidade de que a cadeia esteja no estado 2, no futuro distante, aproximadamente igual a q2 =

0,6, e a probabilidade de que a cadeia esteja no estado 3, no futuro distante, aproximadamente igual a q

3 = 0,1. Ento, as coordenadas de q fornecem as probabilidades no longo prazo.

Quando N grande, q aproxima xn para quase todos os valores de n N. Logo, as coordenadas de q aproximam a proporo de instantes de tempo que a cadeia gasta em cada estado. No exemplo ante-rior, a cadeia acabar ficando 0,3 dos instantes de tempo no estado 1, 0,6 dos instantes de tempo no estado 2 e 0,1 dos instantes de tempo no estado 3. Isso significa que as coordenadas de q fornecem a proporo de tempo gasta em cada estado, chamada tempo de ocupao para cada estado.

EXEMPLO 2 Para uma aplicao do clculo de q, considere o exemplo do camundongo em um labirinto (Exemplo 6, Seo 10.1). Nesse exemplo, a posio do camundongo em um labirinto com cinco compartimentos modelada por uma cadeia de Markov com cinco estados {1, 2, 3, 4, 5} e matriz de transio

O vetor estado estacionrio pode ser calculado resolvendo-se o sistema Pq = q, que equivalente ao sistema homogneo (P I)q = 0. Escalonando a matriz, obtm-se

de modo que a soluo geral

Escolhendo q5 igual ao inverso da soma das coordenadas do vetor resulta no vetor estado estacionrio

60 CaPTULO 10

De novo, existem duas interpretaes para q: probabilidades no longo prazo e tempos de ocupao. Depois de muitos movimentos, a probabilidade de que o camundongo estar no compartimento 1 em determinado instante 1/7 independente de onde o camundongo comeou sua jornada. Dito de outra forma, espera-se que o camundongo fique no compartimento 1 durante 1/7 (aproximadamente 14,3%) do tempo.

Mais uma vez, note que as potncias altas da matriz de transio P so matrizes cujas colunas convergem para q; por exemplo,

As colunas de P10 so praticamente iguais umas s outras, e cada coluna tambm quase igual a q.

Interpretao do Vetor Estado EstacionrioComo j observamos, toda matriz estocstica tem um vetor estado estacionrio, mas, em alguns casos, esse vetor no pode ser interpretado como um vetor de probabilidades no longo prazo nem como um vetor de tempos de ocupao. Os exemplos a seguir mostram algumas dificuldades.

EXEMPLO 3 Considere um passeio aleatrio imparcial em {1, 2, 3, 4, 5} com fronteiras absorventes. A matriz de transio

Note que s existem duas possibilidades no longo prazo para essa cadeia: ela tem de terminar no es-tado 1 ou no estado 5. Ento, a probabilidade de que a cadeia esteja em um dos estados 2, 3 ou 4 fica cada vez menor medida que n aumenta, como Pn ilustra:

Parece que Pn converge para a matriz

quando n aumenta. Mas as colunas dessa matriz no so iguais; a probabilidade de terminar em 1 ou em 5 depende de onde a cadeia comeou. Embora a cadeia tenha vetores estado estacionrios, eles no podem ser interpretados como no Exemplo 1. O Exerccio 31 confirma que, se 0 q 1, o vetor


um vetor estado estacionrio para P. Essa matriz tem um nmero infinito de vetores estado estacio-nrios possveis, o que mostra de outra forma que no se pode esperar que xn tenha um comportamento convergente independente de x

0.

EXEMPLO 4 Considere um passeio aleatrio imparcial em {1, 2, 3, 4, 5} com fronteiras refletoras. A matriz de transio

Se a cadeia xn comear no estado 1, note que ela s poder retornar a 1 quando n for par, enquanto a cadeia s poder estar no estado 2 quando n for mpar. De fato, a cadeia tem de estar em um estado par quando n for mpar e tem de estar em um estado mpar quando n for par. Se a cadeia comear no estado 2, no entanto, esta situao ficar invertida: a cadeia ter de estar em um estado mpar quando n for mpar e ter de estar em um estado par quando n for par. Portanto, Pn no pode convergir para uma nica matriz, j que Pn tem uma aparncia muito diferente dependendo se n for par ou mpar:

Embora Pn no convirja para uma nica matriz, P tem um vetor estado estacionrio. De fato,

um vetor estado estacionrio para P (veja o Exerccio 32). Esse vetor pode ser interpretado como fornecendo probabilidades no longo prazo e tempos de ocupao em um sentido que ficar preciso na Seo 10.4.

EXEMPLO 5 Considere uma cadeia de Markov em {1, 2, 3, 4, 5} com matriz de transio

Se essa cadeia de Markov comear no estado 1, 2 ou 3, ento ela sempre ter de estar em um desses estados. Analogamente, se ela comear no estado 4 ou 5, ento sempre ter de estar em um desses esta-dos. A cadeia se divide em duas cadeias separadas, cada uma delas com seu prprio vetor estado esta-cionrio. Nesse caso, Pn converge para uma matriz cujas colunas no so iguais. Ambos os vetores

satisfazem a definio de vetor estado estacionrio (Exerccio 33). O primeiro vetor fornece as pro-babilidades limites se a cadeia comear em um dos estados 1, 2 ou 3, e o segundo faz o mesmo para os estados 4 e 5.

62 CaPTULO 10

Matrizes RegularesOs Exemplos 1 e 2 mostram que, em alguns casos, uma cadeia de Markov xn com matriz de transio P tem um vetor estado estacionrio q para o qual

Nesses casos, q pode ser interpretado como um vetor de probabilidades no longo prazo ou como um vetor de tempos de ocupao para a cadeia. Essas probabilidades ou tempos de ocupao no depen-dem do vetor de probabilidade inicial, ou seja, para qualquer vetor de probabilidade x

0,

Note tambm que q o nico vetor de probabilidade que tambm um autovetor de P associado ao autovalor 1.

Nos Exemplos 3, 4 e 5, tal vetor estado estacionrio q no existe. Nos Exemplos 3 e 5, o vetor estado estacionrio no nico; em todos os trs exemplos, a matriz Pn no converge para uma ma-triz tendo as colunas iguais quando n aumenta. O objetivo, ento, encontrar alguma propriedade da matriz de transio P que leva a esses comportamentos diferentes e mostrar que essa propriedade causa as diferenas no comportamento.

Alguns clculos mostram que, nos Exemplos 3, 4 e 5, todas as matrizes da forma Pk tem alguns elementos nulos. Nos Exemplos 1 e 2, no entanto, alguma potncia de P tem todos os elementos po-sitivos. Como mencionado na Seo 4.9, esta a exata e propriedade necessria.

DEFINIO Uma matriz estocstica P regular se alguma potncia Pk contiver apenas elementos estrita-mente positivos.

Como a matriz Pk contm as probabilidades de movimentos em k estgios (ou passos) de um esta-do para outro, uma cadeia de Markov com uma matriz de transio regular tem a propriedade de que, para algum k, possvel a cadeia se mover de qualquer estado para qualquer outro estado em exata-mente k passos. O teorema a seguir expande o contedo do Teorema 18 na Seo 4.9. Uma ideia tem de ser apresentada antes de apresentar o teorema. O limite de uma sequncia de matrizes m n a matriz m n (se existir) cujo elemento (i, j) o limite dos elementos (i, j) na sequncia de matrizes. Com essa compreenso, eis o teorema.

TEOREMA 1 Se P for uma matriz de transio regular m m com m 2, as afirmaes a seguir sero todas verdadeiras.

a. Existe uma matriz estocstica tal que b. Todas as colunas de so iguais ao mesmo vetor de probabilidade q.c. Para qualquer vetor de probabilidade inicial x

0,

d. O vetor q o nico vetor de probabilidade que um autovetor de P associado ao autovalor 1.e. Todos os autovalores de P diferentes de 1 satisfazem || < 1.

O Apndice 1 contm uma demonstrao do Teorema 1. Esse teorema um caso particular do Teo-rema de Perron-Frobenius, que usado em aplicaes da lgebra linear economia, teoria dos grafos e anlise de sistemas. O Teorema 1 mostra que uma cadeia de Markov com uma matriz de transio regular tem as propriedades encontradas nos Exemplos 1 e 2. Por exemplo, como a matriz de tran-sio P no Exemplo 1 regular, o Teorema 1 justifica a concluso que Pn converge a uma matriz

estocstica com todas as colunas iguais a como a evidncia numrica parecia indicar.

PageRank e a Matriz do GoogleNa Seo 10.1, foi definida a noo de passeio aleatrio simples em um grafo. A rede World Wide Web pode ser modelada como um grafo direcionado com os vrtices representando as pginas e as arestas representando os links entre as pginas. Seja P a matriz de transio imensa para essa cadeia de Markov. Se a matriz P fosse regular, o Teorema 1 mostraria que existe um vetor estado estacionrio q para a cadeia e as coordenadas de q poderiam ser interpretadas como tempos de ocupao para cada estado. Em termos do modelo, as coordenadas de q diriam que frao do tempo da pessoa surfando


seria gasta em cada pgina. Os fundadores do Google, Sergey Brin e Lawrence Page, raciocinaram que pginas importantes receberiam links de pginas importantes. Assim, a pessoa surfando de forma aleatria gastaria mais tempo em pginas importantes e menos tempo em pginas menos importantes. Mas a quantidade de tempo gasta em cada pgina simplesmente o tempo de ocupao daquele esta-do na cadeia de Markov. Essa observao a base para o algoritmo PageRank, que o modelo usado pelo Google para ordenar por importncia todas as pginas na rede catalogadas por ele.

A importncia de uma pgina na rede medida pelo tamanho relativo da coordenada correspondente no vetor estado estacionrio q para uma cadeia de Markov escolhida de modo apropriado.

Infelizmente, um passeio aleatrio simples no modelo de grafo direcionado para a rede no a cadeia de Markov apropriada, porque a matriz P no regular. Ento, o Teorema 1 no pode ser aplicado. Por exemplo, considere o modelo de rede com sete pginas na Seo 10.1 usando o grafo direcionado na Figura 1. A matriz de transio

As pginas 4 e 7 so ns pendurados, de modo que so estados absorventes para a cadeia. Como no Exemplo 3, a presena de estados absorventes implica os vetores de estado xn no tenderem a um nico limite quando n . Para tratar ns pendurados, preciso fazer um ajuste em P:AJUSTE 1: Se a pessoa surfando na rede chegar a um n pendurado, ela ir escolher qualquer pgina na rede com a mesma probabilidade e mover para aquela pgina. Em termos da matriz de transio P, se o estado j for um estado absorvente, substitua a coluna j de P pelo vetor

no qual n o nmero de linhas (e colunas) em P.No exemplo com sete pginas, a matriz de transio agora

Mas esse ajuste ainda no suficiente para garantir que a matriz de transio seja regular: embora no existam mais ns pendurados, ainda possvel existirem ciclos de pginas. Se a pgina j s ti-ver links para a pgina i e a pgina i s tiver links para a pgina j, uma pessoa que chegue a qualquer uma dessas pginas ficar condenada a passar a eternidade clicando da pgina i para a pgina j e de volta. Assim, as colunas de P

*k correspondentes a essas pginas sempre teriam elementos nulos nelas

e a matriz de transio P* no seria regular. necessrio outro ajuste

AJUSTE 2: Seja p um nmero entre 0 e 1. Suponha que a pessoa surfando a rede esteja agora na pgina j. Com probabilidade p, a pessoa ir escolher uma pgina entre todos as que recebem links da pgina j com probabilidades iguais e ir se mover para aquela pgina. Com probabilidade 1 p,

FIGURa 1 Uma rede com sete pginas.

1

3 42

5 6

7

64 CaPTULO 10

a pessoa ir escolher qualquer pgina na rede com probabilidades iguais e ir se mover para aquela pgina. Em termos da matriz de transio P

*, a nova matriz de transio ser

em que K uma matriz n n com todas as colunas iguais a3

A matriz G chamada matriz do Google e G agora uma matriz regular, j que todos os elementos em G1 = G so positivos. Embora qualquer valor de p entre 0 e 1 seja permitido, dizem que o Google usa um valor de p = 0,85 para seus clculos no algoritmo PageRank. No exemplo da rede com sete pginas, a matriz do Google

Agora possvel encontrar o vetor estado estacionrio q pelos mtodos desta seo:

de modo que a pgina mais importante de acordo com PageRank a pgina 3, que corresponde maior coordenada de q. A ordenao completa 3, 2 e 6, 5, 1, 4 e 7.

COMENTRIO NUMRICO

O clculo de q no trivial, j que a matriz do Google tem mais de 8 bilhes de linhas e colu-nas. O Google usa uma verso do mtodo da potncia introduzido na Seo 5.8 para calcular q. Embora o mtodo da potncia tenha sido usado naquela seo para estimar os autovalores de

3PageRank usa, de fato, uma matriz K com todas as colunas iguais a um vetor de probabilidade v, que poderia estar ligado a um pesquisador especfico ou a um grupo de pesquisadores. Esta modificao tambm torna mais fcil a verificao de sites tentando gerar trfego na rede. Para mais informao, veja Googless PageRank and Beyond:The Science of Search Engine Rankings de Amy N. Langville e Carl D. Meyer (Princeton: Princeton University Press, 2006).


uma matriz, ele tambm pode ser usado para fornecer estimativas para os autovetores. Como q um autovetor de G correspondente ao autovalor 1, o mtodo da potncia aplicvel. Acontece que so necessrias apenas 50 ou 100 iteraes do mtodo para obter o vetor q com a preciso que o Google necessita para sua ordenao. Ainda assim, o Google demora dias para calcular um novo q, o que feito todo ms.

PROBLEMA PRTICO

1. Considere a cadeia de Markov em {1, 2, 3} com matriz de transio.

a. Mostre que P uma matriz regular. b. Encontre o vetor estado estacionrio para essa cadeia de Markov. c. Que frao de tempo essa cadeia gasta no estado 2? Explique sua resposta.

10.2 EXERCCIOS

Nos Exerccios 1 e 2, considere a cadeia de Markov em {1, 2} com a matriz de transio P dada. Em cada exerccio, use dois mtodos para en-contrar a probabilidade de que, no longo prazo, a cadeia esteja no estado 1. Primeiro, eleve P a uma potncia grande. Depois, calcule diretamente o vetor estado estacionrio.

1. P =

0 2 0 40 8 0 6

, ,

, ,

Nos Exerccios 3 e 4, considere uma cadeia de Markov em {1, 2, 3} com a matriz de transio P dada. Em cada exerccio, use dois mtodos para encontrar a probabilidade de que, no longo prazo, a cadeia esteja no estado 1. Primeiro, eleve P a uma potncia grande. Depois, calcule diretamente o vetor estado estacionrio.

Nos Exerccios 5 e 6, encontre a matriz para a qual Pn converge quando n aumenta.

Nos Exerccios 7 e 8, determine se a matriz dada regular. Explique sua resposta.

9. Considere um par de urnas Ehrenfest com um total de 4 molculas

divididas entre elas. a. Encontre a matriz de transio para a cadeia de Markov que

modela o nmero de molculas na urna A e mostre que essa matriz no regular.

b. Supondo que o vetor estado estacionrio possa ser interpretado como tempos de ocupao para essa cadeia de Markov, em qual estado ela ficar mais tempo?

10. Considere um par de urnas Ehrenfest com um total de 5 molculas divididas entre elas.

a. Encontre a matriz de transio para a cadeia de Markov que modela o nmero de molculas na urna A e mostre que essa matriz no regular.


11. Considere um passeio aleatrio imparcial com fronteiras refletoras em {1, 2, 3, 4}.

a. Encontre a matriz de transio para a cadeia de Markov e mostre que essa matriz no regular.

b. Supondo que o vetor estado estacionrio possa ser interpretado como tempos de ocupao para esta cadeia de Markov, em qual estado ela ficar mais tempo?

12. Considere um passeio aleatrio tendencioso com fronteiras refle-toras em {1, 2, 3, 4} e probabilidade p = 0,2 para se mover para a esquerda.

a. Encontre a matriz de transio para a cadeia de Markov e mostre que essa matriz no regular.


Nos Exerccios 13 e 14, considere um passeio aleatrio simples no grafo dado. No longo prazo, que frao de tempo o passeio ficar em cada um dos diversos estados?

1 2

4 3

5

1 2

34

Nos Exerccios 15 e 16, considere um passeio aleatrio simples no grafo dado. No longo prazo, que frao de tempo o passeio ficar em cada um dos diversos estados?

1 2

3 4

1 4

2 5

3

17. Considere o camundongo no labirinto a seguir do Exerccio 17 da Seo 10.1.

66 CaPTULO 10

3

4 5

1 2

O camundongo tem de se mover em um compartimento diferente em cada instante de tempo e igualmente provvel que saia do com-partimento por qualquer uma das passagens disponveis. Se voc se afastar do labirinto por algum tempo, qual a probabilidade de o camundongo estar no compartimento 3 quando voc voltar?

18. Considere o camundongo no labirinto a seguir do Exerccio 18 da Seo 10.1.

1 2 3

54

Que frao de tempo ele passa no compartimento 3?19. Considere o camundongo no labirinto a seguir, que inclui passagens

de mo nica, do Exerccio 19 da Seo 10.1.

1 32

4 65

Mostre que

um vetor estado estacionrio para a cadeia de Markov associada e interprete este resultado em termos dos deslocamentos do camun-dongo pelo labirinto.

20. Considere o camundongo no labirinto a seguir, que inclui passagens de mo nica.

3

4 5

1 2

Que frao de tempo o camundongo gasta em cada compartimento do labirinto?

Nos Exerccios 21 e 22, marque cada afirmao como Verdadeira ou Fal-sa. Justifique cada resposta.21. a. Toda matriz estocstica tem um vetor estado estacionrio. b. Se sua matriz de transio for regular, ento o vetor estado es-

tacionrio fornecer informao sobre as probabilidades no longo prazo da cadeia de Markov.

c. Se = 1 for um autovalor de uma matriz P, ento P ser regular.22. a. Toda matriz estocstica regular. b. Se P for uma matriz estocstica regular, ento Pn se aproximar

de uma matriz com colunas iguais quando n aumenta. c. Se ento as coordenadas de q podero ser interpretadas com tempos de ocupao.23. Suponha que o tempo em Charlotte seja modelado pela cadeia de

Markov do Exerccio 23 na Seo 10.1. Ao longo de um ano, aproxi-

madamente quantos dias em Charlotte foram ensolarados, quantos fo-ram nublados e quantos foram chuvosos de acordo com o modelo?

24. Suponha que o tempo em Charlotte seja modelado pela cadeia de Markov do Exerccio 24 na Seo 10.1. Ao longo de um ano, apro-ximadamente quantos dias em Charlotte foram chuvosos de acordo com o modelo?

Nos Exerccios 25 e 26, considere um conjunto de pginas na rede com os hiperlinks dados pelo grafo direcionado. Encontre a matriz do Google para cada grfico e calcule a ordem de cada pgina no conjunto.

1 2 5

3 4

1 4

2 5 6

3

27. Uma caracterstica gentica governada, muitas vezes, por um par de genes, um herdado de cada progenitor. Os genes podem ser de dois tipos, muitas vezes marcados com A e a. Um indivduo pode ter, ento, trs pares diferentes: AA, Aa (que igual a aA) ou aa. Em muitos casos, os indivduos AA e Aa no podem ser distingui-dos de outra forma; nesses casos, o gene A dominante e o gene a recessivo. Analogamente, um indivduo AA dito dominante e um indivduo aa dito recessivo. Um indivduo Aa chamado h-brido.

a. Mostre que, se um indivduo dominante cruzar com um hbrido, a probabilidade de um filho ser dominante ser e a probabilidade de um filho ser hbrido ser .

b. Mostre que, se um indivduo recessivo cruzar com um hbrido, a probabilidade de um filho ser recessivo ser e a probabilidade de um filho ser hbrido ser .

c. Mostre que, se um indivduo hbrido cruzar com outro hbrido, a probabilidade de um filho ser dominante ser , a probabilidade de um filho ser recessivo ser e a probabilidade de um filho ser hbrido ser .

28. Considere comear com um indivduo de tipo conhecido e cruz-lo com um hbrido, depois cruzar um filho dessa cruza com um hbri-do, e assim por diante. Em cada estgio, um descendente cruzado com um hbrido. O tipo de descendente pode ser modelado por uma cadeia de Markov com estados AA, Aa e aa.

a. Encontre a matriz de transio para essa cadeia de Markov. b. Se esse processo de cruza continuar por um longo perodo de

tempo, que percentual dos descendentes ser de cada tipo?29. Considere a variao do modelo de urnas de Ehrenfast para a di-

fuso estudado no Exerccio 29 da Seo 10.1, em que uma das 2k molculas escolhida aleatoriamente e depois movida de urna com uma probabilidade fixa p.

a. Seja k = 3 e suponha que p = . Mostre que a matriz de transi- o para a cadeia de Markov que modela o nmero de molculas na urna A regular.

b. Seja k = 3 e suponha que p = . Em que estado a cadeia ficar mais tempo e que frao de tempo a cadeia gastar nesse estado?

c. A resposta no item (b) vai mudar se for usado um valor diferente de p com 0 < p < 1?

30. Considere o modelo de difuso de Bernoulli-Laplace estudado no Exerccio 30 da Seo 10.1.

a. Seja k = 5. Mostre que a matriz de transio para a cadeia de Markov que modela o nmero de molculas do tipo I na urna A regular.

b. Seja k = 5. Em que estado essa cadeia ficar mais tempo e que frao de tempo a cadeia gastar nesse estado?


31. Seja 0 q 1. Mostre que um vetor estado estacionrio

para a cadeia no Exemplo 3.32. Considere a cadeia de Markov no Exemplo 4.

a. Mostre que um vetor estado estacionrio para essa

cadeia de Markov. b. Calcule a mdia dos elementos em P20 e P21 dados no Exemplo

4. O que voc encontrou?

33. Mostre que so vetores estado estacionrios

para a cadeia de Markov no Exemplo 5. Se for igualmente provvel que a cadeia comece em qualquer um dos estados, qual a proba-bilidade de estar no estado 1 depois de muito tempo?

34. Sejam 0 p, q 1 e defina

a. Mostre que 1 e p + q 1 so autovalores de P. b. Pelo Teorema 1, para que valores de p e q a matriz P no re-

gular? c. Encontre um vetor estado estacionrio para P.35. Sejam 0 p, q 1 e defina

a. Para que valores de p e q a matriz P uma matriz estocstica regular?

b. Dado que P regular, encontre um vetor estado estacionrio para P.

36. Sejam A uma matriz estocstica m m, x pertencente a m e y = Ax. Mostre que

com a igualdade sendo vlida se e somente se todos as coordenadas

no nulas de x tiverem o mesmo sinal.37. Mostre que toda matriz estocstica tem um vetor estado estacionrio

usando o itinerrio a seguir. a. Seja P uma matriz estocstica. Pelo Exerccio 30 na Seo 4.9,

= 1 um autovalor para P. Seja v um autovetor de P associado ao autovalor = 1. Use o Exerccio 36 para concluir que todas as coordenadas no nulas de v tm o mesmo sinal.

b. Mostre como produzir um vetor estado estacionrio para P a partir de v.

38. Considere um passeio aleatrio simples em um grafo conexo finito. (Um grafo conexo se for possvel se mover de qualquer vrtice no grafo para outro vrtice qualquer ao longo das arestas do grafo.)

a. Explique por que essa cadeia de Markov tem de ter uma matriz de transio regular.

b. Use os resultados dos Exerccios 13 e 14 para conjecturar uma frmula para o vetor estado estacionrio de tal cadeia de Markov.

39. Pelo Teorema 1(e), todos os autovalores de uma matriz regular diferentes de 1 satisfazem || < 1, ou seja, o autovalor 1 um auto-valor estritamente dominante. Suponha que P seja uma matriz re-gular n n com autovalores

1 = 1, , n ordenados de modo que

|1| > |

2| |

3| |n|. Suponha que x0 = c1q + c2v2 + + cnvn

seja uma combinao linear de autovetores de P. a. Use a Equao (2) na Seo 5.8 para deduzir uma expresso

para xk = Pkx0. b. Use o resultado do item (a) para deduzir uma expresso para

xk c1q e explique como o valor de |2| afeta a velocidade segundo a qual {xk} converge para c1q.

SOLUO DO PROBLEMA PRTICO

1. a. Como

P regular por definio, com k = 2. b. Resolva a equao Pq = q, que pode ser escrita na forma (P I)q = 0. Como

e o escalonamento da matriz aumentada fornece

a soluo geral q

3 . Como q tem de ser um vetor de probabilidade, escolha q

3 = 1/(1 + 1 +

1) = 1/3 para obter

c. A cadeia gastar 1/3 de seu tempo no estado 2, j que a coordenada correspondente ao estado 2 em q 1/3, e podemos interpretar as coordenadas como tempos de ocupao.

68 CaPTULO 10

10.3 CLaSSES DE COMUNICaOA Seo 10.2 mostrou que, se a matriz de transio para uma cadeia de Markov for regular, ento xn ir convergir para um nico vetor estado estacionrio qualquer que seja a escolha do vetor de pro-babilidade inicial. Colocado de outra forma, em que q o nico vetor estado estacion-

rio para a cadeia de Markov. Os Exemplos 3, 4 e 5 ilustram o fato de que, embora toda a cadeia de Markov tenha um vetor estado estacionrio, nem toda a cadeia de Markov tem a propriedade de que

. O objetivo desta e da prxima seo estudar esses exemplos mais a fundo e mostrar que os Exemplos 3, 4 e 5 na Seo 10.2 descrevem todas as maneiras segundo as quais uma cadeia de Markov deixa de convergir para um vetor estado estacionrio. O primeiro passo estudar quais estados da cadeia de Markov podem ser acessados a partir de outros estados na cadeia.

Estados que se ComunicamSuponha que j e i sejam dois estados de uma cadeia de Markov. Se o estado j puder ser acessado em um nmero finito de passos a partir do estado i e se o estado i puder ser acessado em um nmero fi-nito de passos a partir do estado j, dizemos que os estados i e j se comunicam. Se P for a matriz de transio para a cadeia, ento os elementos de Pk fornecero as probabilidades de se ir de um estado para outro em k passos:

e as potncias de P podem ser usadas para se fazer a definio a seguir.

DEFINIO Sejam i e j dois estados em uma cadeia de Markov com matriz de transio P. Ento, o estado i se comunica com o estado j se existirem inteiros no negativos m e n tais que o elemento (j, i) de Pm e o elemento (i, j) de Pn sejam ambos estritamente positivos. Em outras palavras, o estado i se comunica com o estado j se for possvel ir do estado i para o estado j em m passos e do estado j para o estado i em n passos.

Esta definio implica trs propriedades que iro permitir que se organize os estados de uma cadeia de Markov em grupos denominados classes de comunicao. Note, primeiro, que a defi-nio permite que os inteiros m e n sejam nulos, caso em que o elemento (i, i) de P0 = I igual a 1, que positivo. Isso garante que todo estado se comunique consigo mesmo. Como ambos (i, j) e (j, i) esto includos na definio, claro que, se o estado i se comunicar com o estado j, ento o estado j se comunicar com o estado i. Finalmente, voc ir mostrar, no Exerccio 36, que, se o estado i se comunicar com o estado j e o estado j se comunicar com o estado k, ento o estado i se comunicar com o estado k. Essas trs propriedades so chamadas, respectivamente, refletividade, simetria e transitividade.

a. (Propriedade reflexiva) Cada estado se comunica consigo mesmo.b. (Propriedade simtrica) Se o estado i se comunicar com o estado j, ento o estado j se comunicar

com o estado i.c. (Propriedade transitiva) Se o estado i se comunicar com o estado j e o estado j se comunicar com

o estado k, ento o estado i se comunicar com o estado k.

Uma relao que tem essas trs propriedades chamada uma relao de equivalncia. A relao de comunicao uma relao de equivalncia no espao de estados de uma cadeia de Markov. A utilizao das propriedades listadas anteriormente simplifica a determinao de quais estados se comunicam.

EXEMPLO 1 Considere um passeio aleatrio imparcial com fronteiras absorventes em {1, 2, 3, 4, 5}. Encontre quais estados se comunicam.


SOLUO A matriz de transio dada a seguir, e a Figura 1 mostra o diagrama de transio para essa cadeia de Markov.

q q q

q q q

11 2 3 14 5

FIGURa 1 Passeio aleatrio imparcial com fronteiras absorventes.

Note, em primeiro lugar, que, pela refletividade, cada estado se comunica consigo mesmo. Isto fica claro a partir do diagrama que os estados 2, 3 e 4 se comunicam entre si. Pode-se chegar mesma concluso usando a definio, j que os elementos (2, 3), (3, 2), (3, 4) e (4, 3) na matriz P so posi-tivos, o que significa que os estados 2 e 3 se comunicam, assim como os estados 3 e 4. Ento, pela transitividade, os estados 2 e 4 tambm se comunicam. Agora, considere os estados 1 e 5. Se a cadeia comear no estado 1, ela no poder se mover para outro estado alm de si mesmo. Ento no ser possvel ir do estado 1 para outro estado e o estado 1 no se comunicar com nenhum outro estado. Analogamente, o estado 5 no se comunicar com outro estado. Resumindo,

O estado 1 se comunica com o estado 1.O estado 2 se comunica com os estados 2, 3 e 4.O estado 3 se comunica com os estados 2, 3 e 4.O estado 4 se comunica com os estados 2, 3 e 4.O estado 5 se comunica com o estado 5.

Note que, embora os estados 1 e 5 no se comuniquem com os estados 2, 3 e 4, possvel ir de um desses estados para o estado 1 ou o estado 5 em um nmero finito de passos: isto fica claro a partir do diagrama ou pela confirmao de que os elementos apropriados nas matrizes P, P2 ou P3 so po-sitivos.

No Exemplo 1, o espao de estados {1, 2, 3, 4, 5} pode ser dividido agora nas classes {1}, {2, 3, 4} e {5}. Os estados em cada uma dessas classes s se comunicam com membros da mesma classe. Essa diviso do espao de estados ocorre porque a relao de comunicao uma relao de equivalncia. A relao de comunicao define uma partio do espao de estados em classes de comunicao. Cada estado em uma cadeia de Markov s se comunica com os membros de sua classe de comunicao. Para a cadeia de Markov no Exemplo 1, as classes de comunicao so {1}, {2, 3, 4} e {5}.

EXEMPLO 2 Considere um passeio aleatrio imparcial com fronteiras refletoras em {1, 2, 3, 4, 5}. Encontre as classes de comunicao para essa cadeia de Markov.

SOLUO A matriz de transio P para essa cadeia e suas potncias P2, P3 e P4 esto mostradas a seguir:

70 CaPTULO 10

O diagrama de transio para essa cadeia de Markov dado na Figura 2.

FIGURa 2 Passeio aleatrio imparcial com fronteiras refletoras.

Note que o elemento (i, j) em pelo menos uma dessas matrizes positivo para qualquer escolha de i e j. Assim, todo estado acessvel de qualquer outro estado em quatro passos ou menos e todo estado se comunica com todos os outros. Existe apenas uma classe de comunicao: {1, 2, 3, 4, 5}.

EXEMPLO 3 Considere a cadeia de Markov dada no Exemplo 5, na Seo 10.2. Encontre as classes de comunicao para essa cadeia de Markov.

SOLUO A matriz de transio para essa cadeia de Markov

e a Figura 3 mostra o diagrama de transio.

FIGURa 3 Diagrama de transio para o Exemplo 3.

impossvel se mover de qualquer dos estados 1, 2 e 3 para um dos estados 4 ou 5, de modo que esses estados tm de estar em classes de comunicao diferentes. Ento as classes de comunicao para essa cadeia de Markov so {1, 2, 3} e {4, 5}.

As cadeias de Markov nos Exemplos 1 e 3 tm mais de uma classe de comunicao, enquanto a cadeia de Markov no Exemplo 2 tem apenas uma classe de comunicao. Esta distino leva s se-guintes definies.

DEFINIO Uma cadeia de Markov com uma nica classe de comunicao dita irredutvel. Uma cadeia de Markov com mais de uma classe de comunicao dita redutvel.


Assim, as cadeias de Markov nos Exemplos 1 e 3 so redutveis, enquanto a cadeia de Markov no Exemplo 2 irredutvel. Cadeias de Markov irredutveis e matrizes de transio regulares esto re-lacionadas pelo teorema a seguir.

TEOREMA 2 Se uma cadeia de Markov tiver uma matriz de transio regular, ento ela ser irredutvel.

DEMONSTRAO Suponha que P seja uma matriz de transio regular de uma cadeia de Markov. Ento, pela definio, existir um k tal que Pk ter todos os seus elementos positivos. Ou seja, quais-quer que sejam os estados i e j, os elementos (i, j) e (j, i) de Pk so estritamente positivos. Ento, existe uma probabilidade positiva de se mover de i para j e de j para i em exatamente k passos, de modo que i e j se comunicam. Como i e j so arbitrrios e tm de estar na mesma classe de comu-nicao, s pode existir uma classe para a cadeia de Markov, de modo que a cadeia de Markov tem de ser irredutvel.

O Exemplo 2 mostra que a recproca do Teorema 2 no verdade, j que a cadeia de Markov nesse exemplo irredutvel, mas a matriz de transio no regular.

EXEMPLO 4 Considere a cadeia de Markov cujo diagrama de transio dado na Figura 4. Determine se essa cadeia de Markov redutvel ou irredutvel.

0,8 0,6

51 1

0,2

1

0,6

3

20,3

40,4

0,1


SOLUO O diagrama mostra que os estados 1 e 2 se comunicam, assim como os estados 4 e 5. Note que os estados 1 e 2 no podem se comunicar com os estados 3, 4 ou 5, j que a probabilidade de se mover do estado 2 para o estado 3 nula. De forma anloga, os estados 4 e 5 no podem se comunicar com os estados 1, 2 ou 3, j que a probabilidade de se mover do estado 4 para o estado 3 nula. Finalmente, o estado 3 s pode se comunicar consigo mesmo, j que impossvel voltar de qualquer outro estado para o estado 3. Ento as classes de comunicao para essa cadeia de Mar- kov so {1, 2}, {3} e {4, 5}. Como existe mais de uma classe de comunicao, essa cadeia de Markov redutvel.

Tempo de Retorno MdioSeja q o vetor estado estacionrio para uma cadeia de Markov irredutvel. Pode-se mostrar, usando-se mtodos avanados na teoria de probabilidades, que as coordenadas de q podem ser interpretadas como tempos de ocupao, ou seja, qi a frao de tempo que a cadeia gasta no estado i. Por exemplo,

considere uma cadeia de Markov em {1, 2, 3} com vetor estado estacionrio No longo

prazo, a cadeia gastar metade do seu tempo no estado 2. Se a cadeia estiver agora no estado 2, levar cerca de dois (1/0,5) passos para voltar ao estado 2. Analogamente, como a cadeia gasta em torno de 1/5 do seu tempo no estado 1, ela deve visitar o estado 1 a cada cinco passos.

Dada uma cadeia de Markov e estados i e j, uma quantidade bem interessante o nmero de pas-sos (ou instantes de tempo) nij que vai levar para o sistema visitar pela primeira vez o estado i dado que comeou no estado j. No possvel saber o valor de nij poderia ser qualquer inteiro positivo dependendo de como a cadeia de Markov evolui. Tal quantidade conhecida como uma varivel aleatria. Como impossvel conhecer nij, estuda-se o valor esperado de nij. O valor esperado de

72 CaPTULO 10

uma varivel aleatria funciona como uma espcie de valor mdio da varivel aleatria. A definio a seguir ser usada nas sees subsequentes.

DEFINIO O valor esperado de uma varivel aleatria X que assume os valores x1, x

2,

em que P(X = xk) denota a probabilidade de que a varivel aleatria X seja igual ao valor xk.

Agora, seja tii = E[nii] o valor esperado de nii, que o nmero esperado de passos que ir levar para o sistema retornar ao estado i dado que comeou no estado i. Infelizmente, a Equao (1) no vai ajudar aqui. Em vez disso, procedendo de maneira intuitiva, o sistema deve gastar um passo no estado i para cada tii passos em mdia. Parece razovel dizer que o sistema, no longo prazo, gasta cerca de 1/tii do tempo no estado i. Mas essa quantidade qi, logo o nmero esperado de passos para retornar ao estado i, ou o tempo de retorno mdio, o inverso de qi. Este argumento informal pode ser tornado rigoroso usando-se mtodos da teoria de probabilidade; veja o Apndice 2 para uma de-monstrao completa.

TEOREMA 3 Considere uma cadeia de Markov irredutvel com um espao finito de estados, seja nij o nmero de passos at que a cadeia visite pela primeira vez o estado i dado que ela comeou no estado j, e seja tii = E[nii]. Ento

(2)

em que qi a coordenada no vetor estado estacionrio q correspondente ao estado i.

O exemplo anterior est de acordo com a Equao 2: t11

= 1/0,2 = 5, t22

= 1/0,5 = 2 e t33

= 1/0,3 = 10/3. Lembre que o tempo de retorno mdio um valor esperado, de modo que no deve ser perturbador o fato de que t

33 no inteiro. A Seo 10.5 incluir uma discusso de tij = E[nij] com i j.

PROBLEMA PRTICO

1. Considere a cadeia de Markov em {1, 2, 3, 4} com matriz de transio

Determine as classes de comunicao para essa cadeia.

10.3 EXERCCIOS

Nos Exerccios 1 a 6, considere uma cadeia de Markov com espao de estados {1, 2, , n} e a matriz de transio dada. Encontre as classes de comunicao para cada cadeia de Markov e diga se a cadeia redutvel ou irredutvel.


7. Considere o camundongo no labirinto a seguir do Exerccio 19 na

Seo 10.1.

1 32

4 65

Encontre as classes de comunicao para a cadeia de Markov que modela a movimentao do camundongo no labirinto. Essa cadeia de Markov redutvel ou irredutvel?

8. Considere o camundongo no labirinto a seguir do Exerccio 20 na Seo 10.1.

3

4 5

1 2

Encontre as classes de comunicao para a cadeia de Markov que modela a movimentao do camundongo no labirinto. Essa cadeia de Markov redutvel ou irredutvel?

Nos Exerccios 9 e 10, considere o conjunto de pginas na rede com os hiperlinks dados pelo grafo direcionado. Encontre as classes de comuni-cao para a cadeia de Markov que modela o progresso de uma pessoa surfando aleatoriamente este conjunto de pginas. Use a matriz de tran-sio obtida do grafo, em vez da matriz do Google.

1 2 5

3 4

1 4

2 5 6

3

11. Considere um passeio aleatrio imparcial com fronteiras refletoras em {1, 2, 3, 4}. Encontre as classes de comunicao para essa cadeia de Markov e determine se ela redutvel ou irredutvel.

12. Considere um passeio aleatrio imparcial com fronteiras absorven-tes em {1, 2, 3, 4}. Encontre as classes de comunicao para essa cadeia de Markov e determine se ela redutvel ou irredutvel.

Nos Exerccios 13 e 14, considere um passeio aleatrio simples no grafo dado. Mostre que a cadeia de Markov irredutvel e calcule o tempo de retorno mdio para cada estado.

1 2

4 3

5

1 2

34

Nos Exerccios 15 e 16, considere um passeio aleatrio simples no grafo dado. Mostre que a cadeia de Markov irredutvel e calcule o tempo de retorno mdio para cada estado.

1 2

3 4

1 4

2 5

3


3

4 5

1 2

Se o camundongo comear no compartimento 3, quanto tempo vai levar, em mdia, para ele retornar para o compartimento 3?


1 2 3

54

Se o camundongo comear no compartimento 2, quanto tempo vai levar, em mdia, para ele retornar para o compartimento 2?

Nos Exerccios 19 e 20, considere o camundongo no labirinto a seguir do Exerccio 20 na Seo 10.2.

3

4 5

1 2

19. Se o camundongo comear no compartimento 1, quanto tempo, em mdia, ele vai levar para voltar ao compartimento 1?

20. Se o camundongo comear no compartimento 4, quanto tempo, em mdia, ele vai levar para voltar ao compartimento 4?

Nos Exerccios 21 e 22, marque cada afirmao como Verdadeira ou Fal-sa. Justifique cada resposta.21. a. Se for possvel ir do estado i para o estado j em n passos, em

que n 0, ento os estados i e j se comunicam. b. Se uma cadeia de Markov for redutvel, ento ela no poder ter

uma matriz de transio regular. c. As coordenadas no vetor estado estacionrio so os tempos de

retorno mdio para cada estado.22. a. Uma cadeia de Markov irredutvel tem de ter uma matriz de

transio regular. b. Se os elementos (i, j) e (j, i) em Pk forem positivos para algum

k, ento os estados i e j se comunicaro. c. Se o estado i se comunicar com o estado j e o estado j se comu-

nicar com o estado k, ento o estado i se comunicar com o estado k.

23. Suponha que o tempo em Charlotte seja modelado usando a cadeia de Markov no Exerccio 23 na Seo 10.1. Aproximadamente quan-tos dias se passam entre dias consecutivos de chuva em Charlotte?

24. Suponha que o tempo em Charlotte seja modelado usando a cadeia de Markov no Exerccio 24 na Seo 10.1. Aproximadamente quan-tos dias se passam entre dias consecutivos de chuva em Charlotte?

74 CaPTULO 10

25. O conjunto de pginas na rede cujos hiperlinks so dados pelo grafo direcionado a seguir foi estudado no Exerccio 25 na Seo 10.2,

1 2 5

3 4

Considere uma pessoa surfando aleatoriamente nesse conjunto de pginas usando a matriz do Google como matriz de transio.

a. Mostre que essa cadeia de Markov irredutvel. b. Suponha que a pessoa comece na pgina 1. Quantos cliques no

mouse, em mdia, a pessoa vai dar at voltar pgina 1?26. O conjunto de pginas na rede, cujos hiperlinks so dados pelo

grafo direcionado a seguir, foi estudado no Exerccio 26 na Se-o 10.1.

1 4

2 5 6

3

Repita o Exerccio 25 para esse conjunto de pginas.27. Considere o par de urnas de Ehrenfest estudado no Exerccio 9 na

Seo 10.2. Suponha que haja agora 2 molculas na urna A. Quantos passos, em mdia, sero necessrios at a quantidade de molculas na urna A ser novamente igual a 2?

28. Considere o par de urnas de Ehrenfest estudado no Exerccio 10 na Seo 10.2. Suponha agora que a urna A est vazia. Quantos passos, em mdia, sero necessrios at a urna A estar novamente vazia?

29. Uma variao do modelo de Ehrenfast de difuso foi estudada no Exerccio 29 da Seo 10.2. Considere esse modelo com k = 3 e p = . Suponha que existam agora 3 molculas na urna A. Quantas escolhas, em mdia, sero necessrias para a quantidade de mol-culas na urna A ser novamente igual a 3?

30. Considere o modelo de Bernoulli-Laplace de difuso estudado no Exerccio 30 da Seo 10.2. Seja k = 5. Suponha que todas as mo-lculas de tipo I estejam agora na urna A. Quantas escolhas, em m-dia, sero necessrias para que todas as molculas de tipo I estejam novamente na urna A?

31. No Exerccio 31 da Seo 10.1, foi estudado um modelo de cadeia de Markov para os pontos em uma partida de tnis. Quais so as classes de comunicao para essa cadeia de Markov?

32. Foi estudado, no Exerccio 32 da Seo 10.1, uma cadeia de Mar-kov para a pontuao por rali de uma partida de vlei. Quais so as classes de comunicao para esta cadeia de Markov?

Nos Exerccios 33 e 34, considere a cadeia de Markov em {1, 2, 3, 4, 5} com matriz de transio

33. Mostre que essa cadeia de Markov irredutvel.34. Suponha que a cadeia comece no estado 1. Qual o nmero espe-

rado de passos para que ela se encontre novamente no estado 1?35. Como a presena de ns pendurados em um conjunto de pginas na

rede com hiperlinks afeta as classes de comunicao da cadeia de Markov associada?

36. Mostre que a relao de comunicao transitiva. Sugesto: Mos-tre que o elemento (i, k) em Pn+m tem de ser maior ou igual que o produto do elemento (i, j) de Pm com o elemento (j, k) de Pn.

SOLUO DO PROBLEMA PRTICO

1. Note, primeiro, que os estados 1 e 3 se comunicam, assim como os estados 2 e 4. No entanto, no possvel sair do estado 1 ou do estado 3 e chegar ao estado 2 ou ao estado 4, de modo que as classes de comunicao so {1, 3} e {2, 4}.

10.4 CLaSSIFICaO DE ESTaDOS E PERIODICIDaDEAs classes de comunicao de uma cadeia de Markov tm propriedades importantes que ajudam a determinar se os vetores de estado convergem para um nico vetor estado estacionrio. Essas proprie-dades sero estudadas nesta seo e ser mostrado que os Exemplos 3, 4 e 5 na Seo 10.2 mostram tudo que pode ocorrer quando os vetores de estado de uma cadeia de Markov no convergem para um nico vetor estado estacionrio.

Estados Recorrentes e Estados TransientesUm modo de descrever as classes de comunicao determinar se possvel para a cadeia de Markov sair de uma classe uma vez dentro dela.

DEFINIO Seja C uma classe de comunicao de estados para uma cadeia de Markov e seja j um estado em C. Se existir um estado i no pertencente a C e um inteiro k > 0 tal que o elemento (i, j) em Pk seja positivo, ento a classe C ser chamada uma classe transiente e cada estado em C ser um estado transiente. Se uma classe de comunicao no for transiente, ela ser chamada uma classe recorrente e cada estado na classe ser um estado recorrente.


Suponha que C seja uma classe transiente. Note que, se o sistema se mover da classe C para outra clas-se D, ento ele nunca poder retornar a C. Isso verdade porque D no pode conter um estado i do qual possvel se mover para algum estado em C. Se existisse tal estado i em D, ento a transitividade da relao de comunicao implicaria todo estado em C se comunicar com todo estado em D. Isso impossvel.

EXEMPLO 1 Considere a cadeia de Markov em {1, 2, 3, 4, 5} estudada no Exemplo 4, na Seo 10.3. Seu diagrama de transio dado na Figura 1. Determine se cada uma das classes transiente ou recorrente.

SOLUO As classes de comunicao encontradas foram {1, 2}, {3} e {4, 5}. Considere, primeiro, a classe {3}. A probabilidade de transio do estado 3 para o estado 2 positiva, de modo que a defi-nio com k = 1 mostra que a classe {3} transiente. Considere, agora, a classe {1, 2}. A probabili-dade de uma transio em um passo do estado 1 ou do estado 2 para um dos estados 3, 4 ou 5 zero e isso tambm verdade para qualquer nmero de passos. Se o sistema comear no estado 1 ou no estado 2, ele sempre vai permanecer em um dos estados 1 ou 2. Ento a classe {1, 2} recorrente. Um argumento semelhante mostra que a classe {4, 5} tambm recorrente.

0,8 0,6

51 1

0,2

1

0,6

3

20,3 0,1

40,4

FIGURa 1 Diagrama transiente para o Exemplo 1.

EXEMPLO 2 Considere o passeio aleatrio com fronteiras refletoras estudado no Exemplo 2, na Seo 10.3. Determine se cada uma das classes de comunicao transiente ou recorrente.

SOLUO Essa cadeia de Markov irredutvel: a nica classe de comunicao para a cadeia {1, 2, 3, 4, 5}. Por definio, essa classe no pode ser transiente. Logo, a classe de comunicao recor-rente.

O resultado do Exemplo precedente pode ser generalizado para qualquer cadeia de Markov irre-dutvel.

Observao: Todos os estados em uma cadeia de Markov irredutvel so recorrentes.

Suponha que uma cadeia de Markov redutvel tenha duas classes de comunicao transientes C1

e C2 e nenhuma classe recorrente. Como C

1 transiente, tem de existir um estado em C

2 que pode

ser acessado a partir de um estado em C1. Como C

2 transiente, tem de existir um estado em C

1 que

pode ser acessado a partir de um estado em C2. Assim, todos os estados em C

1 e em C

2 se comunicam,

o que impossvel. Portanto, a cadeia de Markov tem de ter pelo menos um estado recorrente. Esse argumento pode ser generalizado para qualquer cadeia de Markov redutvel com qualquer nmero de classes transientes, o que, junto com a observao anterior, prova o seguinte.

Observao: Toda cadeia de Markov tem de ter pelo menos uma classe recorrente.

EXEMPLO 3 Considere a cadeia de Markov estudada no Exemplo 3, na Seo 10.3. Determine se cada classe de comunicao transiente ou recorrente.

SOLUO A matriz de transio para essa cadeia de Markov

76 CaPTULO 10

e as duas classes de comunicao so {1, 2, 3} e {4, 5}. A matriz P pode ser escrita como uma matriz

em blocos em que

e O uma matriz nula de tamanho apropriado. Usando multiplicao em blocos,

para todo k > 0. Assim, se o estado j pertencer a uma classe e o estado i pertencer a outra, os elemen-tos (i, j) e (j, i) de Pk so nulos para todo k > 0. Portanto, ambas as classes dessa cadeia de Markov so recorrentes.

EXEMPLO 4 Altere ligeiramente o exemplo anterior para obter uma cadeia de Markov com matriz de transio

e o diagrama de transio dado na Figura 2. Determine se cada classe de comunicao transiente ou recorrente.


SOLUO As classes de comunicao ainda so {1, 2, 3} e {4, 5}. Agora, o elemento (3, 5) dife-rente de zero, logo {4, 5} uma classe transiente. Pela observao anterior, a cadeia tem de ter pelo menos uma classe recorrente, logo {1, 2, 3} tem de ser a classe recorrente. Este resultado tambm

pode ser demonstrado usando-se matrizes em blocos. Seja em que P1 como no

exemplo anterior,

A submatriz sozinha P1 uma matriz de transio: ela descreve as transies dentro da classe recor-

rente {1, 2, 3}. A matriz S contm as probabilidades de transio da classe transiente {4, 5} na classe


recorrente {1, 2, 3}. A matriz Q registra as probabilidades das transies dentro da classe transiente {4, 5}. Multiplicao em blocos (veja a Seo 2.4) fornece

para alguma matriz no nula Sk. Como o bloco embaixo esquerda O para todas as matrizes Pk, impossvel sair da classe {1, 2, 3} depois de entrar nela, e {1, 2, 3} uma classe recorrente.

Nos Exemplos 3 e 4, os estados foram ordenados de modo que os elementos em cada classe es-tavam juntos. No Exemplo 4, a classe recorrente foi listada em primeiro lugar, seguida da classe transiente. Essa ordem foi conveniente, pois permitiu o uso de matrizes em blocos para determinar a classe recorrente e a transiente. Tambm possvel usar multiplicao em blocos para calcular as potncias da matriz de transio P se os estados forem ordenados como nos Exemplos 3 e 4: os esta-dos em cada classe de comunicao so consecutivos e, se existir alguma classe transiente, as classes recorrentes so listadas na frente, seguidas das classes transientes. Uma matriz com os estados orde-nados dessa forma dita em forma cannica. Para ver como essa ordenao funciona, considere o exemplo a seguir

EXEMPLO 5 A cadeia de Markov no Exemplo 1 tem matriz de transio

e suas classes de comunicao so {1, 2}, {3} e {4, 5}. Para colocar a matriz em forma cannica, coloque as classes na ordem {1, 2}, {4, 5}, {3}, ou seja, reordene os estados como 1, 2, 4, 5, 3. Para efetuar essa mudana, primeiro arrume as colunas, o que produz a matriz

Um rearranjo das linhas coloca a matriz de transio em forma cannica:

A matriz de transio pode ser dividida da seguinte forma:

Em geral, suponha que P seja a matriz de transio de uma cadeia de Markov redutvel com r classes e uma ou mais classes transientes. Uma forma cannica de P

78 CaPTULO 10

Aqui, Pi a

Álgebra Linear Davi Lay

Documents

Transcript of Álgebra Linear Davi Lay