UECE – Universidade Estadual do CearáCurso de Mestrado Acadêmico em C.C.

PROCESSOS ESTOCÁSTICOS E CADEIAS DE MARKOV

Prof. A. Clecio F. Thomaz

Fortaleza, 01/06/2010

Exemplos:

1/3 0 2/3 a) 3/4 1/2 -1/4 não é matriz estocástica

1/3 1/3 1/3

b) 1/4 3/4 não é matriz estocástica1/3 1/3

0 1 0

c) 1/2 1/6 1/3 é uma matriz estocástica1/3 2/3 0

Obs: Se P é estocástica, Pn é também estocástica

Uma matriz quadrada P(pij) é chamada de matriz estocástica se cada uma de suas linhas é um vetor de probabilidade, isto é, se cada entrada de P é não negativa e a soma das entradas em cada linha é 1

1 CONCEITOS E DEFINIÇÕES:

2 CADEIAS DE MARKOV:

Consideremos agora uma sequência de ensaios cujos resultados, x1, x2, ..., satisfazem as seguintes propriedades:

(i) Cada resultado pertence a um conjunto finito de resultados (a1, a2, ...,am), é chamado de experimento ou espaço dos estados do sistema; se o resultado da n-ésima tentativa é ai dizemos que o sistema se encontra no estado ai no instante n.(ii) O resultado de qualquer ensaio depende no máximo do resultado do ensaio imediatamente anterior e não de qualquer outro dos precedentes; a cada par de estados (ai, aj) está associada a probabilidade Pij de que aj ocorre imediatamente após ter ocorrido ai.

Um processo estocástico com as propriedades acima é chamado Cadeia de Markov (finita). Os números Pij chamados probabilidades de transição, podem ser dispostos segundos a matriz

P =

P11 P12 ... P1n

P21 P22 ... P2n ... ... ... ...Pm1 Pm2 ... Pmn

chamada Matriz de Transição

OBS: A matriz de transição P da cadeia de Markov é uma matriz estocástica

3 EXEMPLOS:

1 - Um homem diariamente vai para o trabalho de carro ou de trem. Suponha que ele nunca toma o trem 2 dias seguidos; mas, se vai de carro para o trabalho, no dia seguinte é tão provável que vá de trem quanto de automóvel. Montar o processo estocástico e escrever a matriz da cadeia de Markov associada.SoluçãoO espaço de estados do sistema é {t(trem), c(carro)}. Este processo estocástico é uma cadeia de Markov, pois o resultado em qualquer dia depende somente do que aconteceu no dia anterior. A matriz de transição da cadeia de Markov é:

A primeira linha da matriz corresponde ao fato de que ele nunca toma o trem duas vezes seguidas, de modo que definitivamente vai de carro no dia seguinte ao que tomou o trem. A segunda linha da matriz corresponde ao fato de que no dia seguinte ao que foi de carro, ele vai novamente de carro ou tomará o trem com probabilidades iguais.

t

t

c

c

0 1

1/2 1/2

A B C

A 0 1 0

B 0 0 1

C 1/2 1/2 0

2 - Considere a matriz de transição da cadeia de markov apresentada abaixo:

Suponhamos que a distribuição de probabilidade no estado inicial é p(0) = (0,0,1). Determine a distribuição de probabilidade dos estados 1, 2 e 3Solução 0 1

0

0 0 1

1/2 1/2 0

p(1) = p(0) P = ( 0, 0, 1) = ( 1/2 , 1/2, 0 )

0 1 0

0 0 1

1/2 1/2 0

p(2) = p(1) P = (1/2 , 1/2, 0 ) = ( 0 , 1/2, 1/2 )

0 1 0

0 0 1

1/2 1/2 0

p(3) = p(2) P = ( 0 , 1/2, 1/2 ) = ( 1/4, 1/4, 1/2 )

3 – A cobrança de um Pênalti:

Estado 1: O jogador converte o pênalti: G(gool)Estado 2: O jogador não converte o pênalti: NG(não gool)

Vamos supor que em 10 cobranças de pênaltis, o jogador consiga converter 7 ou seja: a probabilidade de converter o pênalti é de 0.7 isto é P(G)=0.7 e a probabilidade de não converter (entre as 10) é de 0.3 ou seja P(NG)=1-P(G) = 0.3

Vamos considerar agora o caso das probabilidades condicionais: Quando um jogador converte o pênalti numa determinada tentativa, ele fica motivado (estimulado) para tentativa seguinte. Consideremos as seguintes situações: a) Se o jogador converte o pênalti numa cobrança, a probabilidade

de que ele converta a próxima cobrança é de 0.9 e é claro que a prob. de não converter é de 1-0.9 =0.1

b) Se ele não converte o pênalti numa ocasião, a probabilidade de converter a próxima cobrança cai para 0.6 enquanto sua prob. de não converter é de 0.4

Os estados do sistema podem ser observados na MATRIZ DE PROBABILIDADE DE TRANSIÇÃO seguinte:

Converter Não converterEstado 1: converter 0.9 0.1 Estado 2: NãoConv. 0.6 0.4

Probabilidades condicionais:P(G/G) = 0.9 P(NG/G) = 0.1P(G/NG) = 0.6 P(NG/NG) = 0.4

MATRIZ DE PROBABILIDADE DE ESTADO:

Definiremos num determinado instante t a matriz de probabilidades (após vários experimentos) de converter P(G) = 0.7 ou não converter pênaltis P(NG) = 0.3 como:

MEt = [0.7 0.3]

Obs: Esta matriz é composta de apenas um vetor linha contendo tantas colunas quanto forem os estados. Note que ΣP1j = 1

CADEIAS DE MARKOV:

Def. Cadeias de Markov são sequências de resultados (estados) em que a probabilidade de cada resultado (estado) depende do que aconteceu no estado imediatamente anterior.

Retomemos o problema da cobrança de pênaltis e calculemos a evolução dos estados no tempo onde se conhece a matriz de probabilidade do estado inicial t.

No momento t+1: 0.9 0.1

[0.7 0.3] = [0.81 0.19] 0.6 0.4

No momento t+2:

0.9 0.1 [0.81 0.19] = [0.843 0.157]

0.6 0.4Árvore de Decisão e Matriz de Transição entre Estados:

Est. t Est t+1 Est. T+2

0.81 o o

0.7 0.19 o

o 0.843 o

0.3 o

0.157 o

Diagrama de Transição de Estado

Consideremos a matriz estocástica de transição entre 4 estados conforme disposição abaixo:

1 2 3 4----------------

1 1 0 0 0 2 0.4 0 0.6 0 3 0.2 0 0.1 0.7 4 0 0 0 1

Seu diagrama associado é representado por:

1 2 3 41

0.4

0.2

0.6

0.1

0.7

1

Nos exemplos que se seguem, pede-se:

a) Escrever um programa computacional que possa gerar a cadeia de Markov (genérica).

b) Execute para cada caso a cadeia de Markov considerando cinco estados: t=1,2,...5

c) Verifique a estabilidade isto é determine os valores limites das probabilidades de estado para os dois casos