Cadeias e Processos de Markov

UNIVERSIDADE SÃO

JUDAS TADEU

PROCESSOS ESTOCÁSTICOS E CADEIAS DE MARKOV

FERNANDO MORI

http://sites.google.com/site/fmoripro

[email protected]



mailto:[email protected]

Processos Estocásticos

Um processo estocástico é definido como um conjunto indexado de variáveis aleatórias em que o índice t percorre dado conjunto T. Normalmente admite-se que T seja o conjunto dos inteiros não negativos e represente uma característica mensurável de interesse no instante t. Por exemplo, poderia medir o nível de estoque de determinado produto ao final da semana t.

Os processos estocásticos são de interesse por descreverem o comportamento de um sistema operando ao longo de um período.

FERNANDO MORI - USJT 2012 2

tX

tX

tX

Processos Estocásticos Um processo estocástico normalmente apresenta a seguinte

estrutura:

O estado atual do sistema pode cair em qualquer uma das M + 1 categorias mutuamente exclusivas denominadas de estados. Esses estados são identificados como 0,1,2,......,M. A variável aleatória representa o estado do sistema no instante t de modo que os seus únicos valores possíveis sejam 0,1,2,......,M. O sistema é observado em pontos determinados no tempo, identificados por t = 0,1,2,......Portanto o processo estocástico

fornece uma representação matemática de como o sistema físico evolui ao longo do tempo.


tX

0 1 2, , ,...........tX X X X


Este tipo de processo é conhecido como um processo estocástico em tempo discreto com um espaço de estado finito.

Exemplo:

O tempo em uma certa cidade pode mudar de maneira rápida. Entretanto as chances em termos de tempo seco (sem chuvas) amanhã são ligeiramente maiores, caso esteja seco hoje do que se chover hoje. Particularmente a probabilidade de termos tempo seco amanhã é de 0,8, caso hoje esteja seco, porém é de apenas 0,6 caso amanhã chova.

A evolução do tempo, dia a dia, é um processo estocástico. Começando em dado dia inicial (chamado dia 0), o tempo



é observado em cada dia t, para t = 0,1,2,...... O estado do sistema no dia t pode ser:

Estado = 0 dia t é seco

Estado = 1 dia t com chuva

Portanto para t = 0,1,2,...., a variável aleatória assume os seguintes valores:

O processo estocástico fornece uma representação matemática de como o estado do tempo na cidade evolui ao longo do tempo.


tX

0 se o dia t estiver seco

1 se o dia t estiver chovendo

t

t

X

X

0 1 2, , ,........tX X X X


Um processo estocástico é dito ter a propriedade markoviana se a probabilidade condicional de qualquer evento futuro , dados quaisquer eventos do passado e o estado presente é independente dos eventos passados e depende apenas do estado atual.

Um processo estocástico é uma cadeia de Markov se possuir a propriedade markoviana.

As probabilidades condicionais para uma cadeia de Markov são chamadas de probabilidades de transição(uma etapa). Se para cada i e j ,


( 0,1,2,......)tX t

1 /t tP X j X i

1 1 0/ /t tP X j X i P X j X i

Cadeias de Markov

Então as probabilidades de transição ( uma etapa) são ditas estacionárias. Portanto, ter probabilidades de transição estacionárias implica que as probabilidades de transição não mudam ao longo do tempo. A existência de probabilidades de transição estacionarias também implicam o mesmo para cada i, j e n (n = 0,1,2,....).

Para todo t = 0,1,2,.....Essas probabilidades condicionais são denominadas probabilidades de transição em n etapas.


0/ /t n t nP X j X i P X j X i

Cadeias de Markov

Para simplificar a notação com probabilidades de transição estacionarias usamos:

Assim a probabilidade de transição em n etapas é simplesmente a probabilidade condicional de que o sistema estará no estado j após exatamente n etapas (unidades de tempo), dado que ele inicia no estado i a qualquer instante j.

Como são probabilidades condicionais, elas têm de ser não negativas e já que o processo deve realizar uma transição para algum estado elas devem satisfazer as seguintes propriedades:


1

( )

/

/

ij t t

n

ij t n t

p P X j X i

p P X j X i

( )n

ijp

( )n

ijp

Cadeias de Markov

Uma maneira conveniente de mostrar as probabilidades de transição é usar o formato de matriz:


( )

( )

0

0, para todo i,j;n=0,1,2,......

1 para todo i;n=0,1,2,......

n

ij

Mn

ij

j

p

p

Cadeias de Markov


( ) ( ) ( ) ( )

00 01 02 0

( ) ( ) ( ) ( )

10 11 12 1

( ) ( ) ( ) ( ) ( )

20 21 22 2

( ) ( ) ( ) ( )

0 1 2

estado 0 1 2 . . .

0 . . .

1 . . .

2 . . .

. . . . . . . .

. . . . . . . .

. . . . . . . .

. . .

n n n n

M

n n n n

M

n n n n n

M

n n n n

M M M MM

M

p p p p

p p p p

P p p p p

M p p p p

Cadeias de Markov


00 01 02

10 11 12( )

20 21 22

30 31 32

A matriz de transição será então dada por:

. .

. .

.. .

. ..

. . . . .

n

p p p

p p p

P p p p

p p p

Cadeias de Markov

Note que a probabilidade de transição em determinada linha e coluna é para a transição do estado da linha para o estado da coluna. Quando n = 1 eliminamos n e simplesmente nos referimos a matriz como matriz de transição.

As cadeias de Markov que iremos estudar possuem as seguintes propriedades :

1) Um número finito de estados.

2) Probabilidades de transição estacionárias.

3) Partimos da hipótese de que conhecemos as probabilidades iniciais para todo i.



PROCESSO DE MARKOV

Propriedade dos sistemas sem memória:

• Dado o estado atual , o próximo estado só depende deste estado e de nenhum outro estado em que o sistema tenha estado no passado (ausência de memória espacial).

• O tempo em que o sistema se encontra no estado atual não é relevante para se determinar o próximo estado (ausência de memória temporal).

kx


Cadeia de Markov

Já foi visto que para especificar uma cadeia de Markov deve-se:

• Identificar um espaço de estados.

• Conhecer a probabilidade inicial de estado para cada estado pertencente ao espaço de estados.

• Conhecer a probabilidade de transição.


Sistema de Tempo Discreto

• Considerando o espaço de estado como um conjunto contável, ele pode ser representado pelo conjunto dos números inteiros não negativos: (1,2,3,.......).

• As letras i e j são usadas para representar o estado atual e o próximo estado;

• No caso de sistemas com tempo discreto representa-se os instantes pelo conjunto de números inteiros, sendo k a variável utilizada para representar estes instantes discretos.


Probabilidade de transição de Estado

• Probabilidade de Transição:

1( ) /

onde i,j pertencem aos estados de tempo discreto.

As seguintes prpriedades são válidas:

0 ( ) 1;

e para todo estado i e instante de tempo k:

( ) 1, para todo j.

ij k K

ij

ij

p k P X j X i

p k

p k


Probabilidade de transição de n passos

( , ) /

Vamos condicionar esta transição de n passos a passagem por um estado

intermediário r num determinado instante u, entre k e k+n, ou seja:

( , ) / , .

ij k n k

ij K n u k utodor

p k k n P X j X i

p k k n P X j X r X i P X r

/

Pela propriedade da ausênci de memória temos:

/ , / ( , )

onde:

( , ) /

k

k n u k k n u rj

ir u k

X i

P X j X r X i P X j X r p u k n

p k u P X r X i


Equação de Chapman-Kolmogorov

( , ) ( , ). ( , ),

Esta é a equação de Chapman-Kolmogorov, que determina a evolução,

trajetória dos estados da cadeia de Markov.

Esta relação é válida para cadeias de Markov com tem

ij ir rjr

p k k n p k u p u k n k u k n

po discreto.

Ela pode ser escrita na forma matricial.


Equação na forma de Matriz

Portanto podemos reescrever a equação de

Chapman-Kolmogorov:

Define-se a matriz H como sendo:

( , ) ( , ) , , 0,1,2,....

Esta é a matriz das probabilidades de transição

de estados em n passos.

ijH k k n p k k n i j

( , ) ( , ). ( , )

ou escolhendo-se 1, tem-se:

( , ) ( , 1). ( 1, )

esta é a relação de evolução direta de Kolmogorov.

H k k n H k u H u k n

u k n

H k k n H k k n H k n k n


Cadeia de Markov Homogênea

• Quando as probabilidades de transição forem independentes do tempo k, para todo i,j, tem-se uma cadeia de markov homogênea.

• Neste caso escreve-se:

Onde o elemento da matriz de transição é independente de k.

• Ou seja, a transição de i para j sempre ocorre com a mesma probabilidade p , independente do instante de tempo que ela venha a ocorrer.

1 /ij k k ip P X j X


Exemplo

• Considere uma máquina que pode estar em um dos dois estados: up e down.

• Considere o conjunto de estados (0,1) para representar os estados dessa máquina.

• O estado dessa máquina é observado (verificado) a cada hora. Estes instantes de observação são representados pela seqüência k=0,1,2,3,...... .

• Desta forma temos uma cadeia estocástica, onde temos o estado da máquina na k-ésima hora de observação.


Exemplo: Continuação Considere ainda que:

- se a máquina estiver no estado up a probabilidade

dela falhar na próxima hora é dada por .

- se a máquina estiver no estado down a probabilidade

dela ser consertada na próxima hora

10 11 01 00

é .

Com estas definições obtemos uma cadeia de Markov

homogênea.

A matriz de transição de probabilidades possui os

seguintes elementos:

p 1 1

onde 0 1 e 0 1.

p p p


Exemplo: Diagrama de transição

• Uma maneira conveniente de se representar uma cadeia de markov é através de um diagrama de transição de estados:

1 0 1

1


Exemplo:Cadeia não homogênea

• Considere agora a situação onde, com o passar do tempo, a probabilidade da máquina falhar na próxima hora aumenta devido ao seu envelhecimento;

• Neste caso as probabilidades de transição poderiam ser escritas na forma:


Cadeia não Homogênea

10

11

1

1

para 0 1 e 0,1,2,.....

Neste caso a probabilidade de falha aumenta e tende

a 1 quando k tende a infinito. Esta nova cadeia de

Markov não é mais homogenea.

k

k

p

p

k


Transição de estados em n-passos

• Numa cadeia homogênea a matriz de transição de estado também é independente do tempo k. Neste caso pode-se escrever:

• Se fizermos u=k+m e escolhendo m=n-1, na equação de Chapman-Kolmogorov, tem-se:

/ , 1,2,...nij k n kp P X j X i n

( ) ( 1). (1),

onde ( ) nij

H n H n H

H n p


Exemplo: Chamadas telefônicas

• Considere os intervalos de tempo discretos, k=0,1,2,...., chamados de “time-slots”;

• O processo de chamada telefônica opera da seguinte maneira:

No máximo uma chamada telefônica pode ocorrer no time-slot com probabilidade

Se o telefone estiver ocupado a chamada é perdida(não há transição de estado) se não, a chamada é processada;

Uma chamada sendo processada pode ser encerrada dentro de um time-slot com probabilidade


Exemplo: Continuação

• Se ocorrer a chegada de uma nova chamada e o término de uma outra dentro de um mesmo time-slot, a nova chamada será aceita e o seu processamento iniciado.

• Assume-se que a chegada ou o término das chamadas são independentes entre si;

• Seja a representação do estado deste processo estocástico no k-ésimo time-slot, o qual pode assumir valor 0 (telefone livre) ou 1(telefone ocupado);

kX



• As probabilidades de transição de estado são:

00

01

10

1 : O telefone permanece livre se nenhuma

chamada chega no time-slot;

: O telefone fica ocupado se uma nova chamada

chega no time-slot.

.(1 ): O telefone fica livre se uma chamada

é comp

p

p

p

11

letada e não chega nenhuma nova chamad no

time-slot;

(1 ).(1 ) O telefone permanece ocupado

se a chamada não completa ou a chamada completa,

porém chega uma nova chamada no time-slot.

p



A matriz de transição P é dada por:

1

.(1 ) (1 ) .P



.(1 )

(1 )

1


Cadeias de Markov

Resumo

• Um processo de Markov (processo Estocástico) consiste em um conjunto de estados tais que:

1. A qualquer instante cada objeto deve estar em um único estado.

2. A probabilidade de que um objeto passe de um estado para outro em um período de tempo depende apenas desses dois estados.


Classificação de Estados em uma

Cadeia de Markov

• Dados dois estados i e j, uma trajetória de i para

j é uma sequência de transições que iniciam em

i e terminam em j, de tal maneira que cada

transição na sequência tem uma probabilidade

positiva de ocorrência.

• Um estado j é acessível do estado i se existir

uma trajetória que leva de i para j.

• Dois estados i e j são chamados comunicantes

se j é acessível de i e i é acessível de j.


• Um estado i é chamado absorvente se

• Um estado i é chamado estado transiente se existe um estado j acessível a partir de i, mas o estado i não é acessível a partir de j.

• Um estado é periódico com período k, se k for um número inteiro positivo tal que a trajetória do estado i que volta para esse mesmo estado i tem comprimento que é um múltiplo de k.

1iip


Estado Estacionário ou Longo

Prazo

• Seja P a matriz de transição que dá origem a uma cadeia de Markov. Se os estados não forem periódicos, todos comunicarem-se entre si e não houver nenhum estado absorvente, então existe um estado

tal que a seguinte igualdade matricial é verificada:

1 2 3 ...


1 2 3

1 2 3 4

.

onde:

....

é a matriz de transição

e

....... 1

P

P


• Tal estado é chamado de estado estacionário do processo.

• Isto significa que após um tempo longo, o processo de Markov estaciona, para de ocorrer mudanças nos estados e atinge-se um estado estacionário (ou de equilíbrio) independente do estado inicial.

• A condição de que a soma dos elementos de uma linha na matriz estado de ter soma 1 deve ser usada na resolução do sistema linear.


Cadeias de Markov

Resumo • Os processos de Markov ocorrem sempre em

uma base de tempo a qual depende do problema analisado.

• O número inteiro de períodos de tempo decorridos desde o início do processo representa o número de estágios do processo, que pode ser finito ou infinito.

• Se o número de estados é finito o processo de Markov recebe o nome de uma cadeia de Markov.


Cadeias de Markov

Resumo • Denotamos a probabilidade de transição do estado i para

o estado j em um período de tempo por .

• Para uma cadeia de Markov com n estados (n é um

número inteiro), a matriz n x n formada pelas

probabilidades de transição é a matriz estocástica

associada ao processo.

• Necessariamente a soma dos elementos de cada linha

da matriz de transição P é igual a 1.

• O valor representa a probabilidade de que o

processo quando no estado i faça uma transição para o

estado j.

ijp

ijp


Cadeias de Markov

Resumo

00 01 02

10 11 12

20 21 22

30 31 32

. .

. .

.. .

. ..

. . . . .

p p p

p p p

P p p p

p p p


Cadeias de Markov

Resumo • Os estados de um processo de Markov

são armazenados em uma matriz linha

que possui tantas colunas quantos forem

os estados do processo de Markov.

• A evolução do processo se faz através da

multiplicação da matriz de estados pela

matriz de transição.

• A matriz de estados será:


Cadeias de Markov

Resumo

( )1 2 3

1 2,...

..

Onde , são as probabilidades estarmos

no estado 1, 2, ...

nX p p p

p p


Cadeias de Markov

Resumo • Teorema: Se P é a matriz de transição de um

processo de Markov então a matriz linha de

estados no periodo (n+1) da

observação pode ser determinado a partir da

matriz linha de estados no período n da

observação a partir da relação:

•

( 1)nX

( )nX

( 1) ( ).n nX X P


Exercícios


1) Os dados de uma pesquisa dividem as famílias

em economicamente estáveis e

economicamente instáveis. Num período de 10

anos, a probabilidade de uma família estável

permanecer estável é 0,92 enquanto a

probabilidade de ficar economicamente instável

é 0,08. A probabilidade de que uma família

instável se torne estável é de 0,03, enquanto a

probabilidade de que ela assim permaneça é

0,97. Qual a probabilidade de que daqui a 20

anos uma família hoje economicamente estável

torne-se economicamente instável ?

Solução:

Diagrama de estados


estável instável

0,92

0,08

0,03

0,97


(0)

(1) (0)

(1)

(1)

(2) (1)

(2)

2

0,92 0,08

0,03 0,97

estado inicial

1 0

primeiro período = 10 anos

.

0,92 0,081 0 .

0,03 0,97

0,92 0,08

segundo período = 20 anos

.

0,92 0,080,92 0,08 .

0,03 0,97

P

X

X X P

X

X

X X P

X

X

0,8488 0,1512

probabilidade de se tornar instável é 0,1512 ou 15,12%


2) O fabricante de um produto controla atualmente

60% do mercado de uma determinada cidade.

Dados do ano anterior mostram que 88% dos

seus clientes permanecem leais a sua marca

enquanto 12% mudam para outras marcas.

Além disso 85% dos usuários de marcas da

concorrência permaneceram leais a marca da

concorrência enquanto os outros 15% mudaram

para o produto do fabricante. Assumindo que

essa tendência se mantém, determine a parcela

de mercado do fabricante daqui a 3 anos.


clientes não clientes

0,88

0,85

0,12

0,15


0

1 0

1

1

Matriz de transição:

0,88 0,12

0,15 0,85

Estado inicial:

0,6 0,4

primeiro período = 1 ano

.

0,88 0,120,6 0,4 .

0,15 0,85

0,5880 0,4120

P

X

X X P

X

X


2 1

2

2

3 2

3

3

segundo período = 2 anos

.

0,88 0,120,5880 0, 4120 .

0,15 0,85

0,5792 0, 4208

Terceiro período = 3 anos

.

0,88 0,120,5792 0,4208 .

0,15 0,85

0,5728 0, 4272

parcela de mercado = 57,28%.

X X P

X

X

X X P

X

X


3) Em um certo dia qualquer, João pode estar de bom

humor (BH), mais ou menos(MM) ou de mal

humor(MH). Se ele estiver de bom humor hoje então

ele estará BH, MM ou MH amanhã com

probabilidades 0.5, 0.4, 0.1. Se ele estiver mais ou

menos hoje então ele estará BH, MM ou MH amanhã

com probabilidades 0.3, 0.4, 0.3. Se ele estiver MH

hoje então as probabilidades de estar amanhã BH,

MM ou MH serão 0.2, 0.3 e 0.5.

Sabendo que hoje ele está de bom humor, qual a

probabilidade de João estar de mau humor daqui a

dois dias?

M V MH MM

C

0.5

0.1

0.2

0.3

0.3

0.3

0.4

0.4

0.5

BH

BH MM MH

BH 0.5 0.4 0.1

MM 0.3 0.4 0.3

MH 0.2 0.3 0.5

53 FERNANDO MORI - USJT 2012


0

1 0

1

1

2 1

2

matriz de transição

0,5 0,4 0,1

0,3 0,4 0,3

0, 2 0,3 0,5

estado inicial

1 0 0

.

0,5 0, 4 0,1

1 0 0 . 0,3 0, 4 0,3

0, 2 0,3 0,5

0,5 0,4 0,1

segundo dia

.

0,5 0, 4 0,1

0,5 0,4 0,1 . 0,3 0, 4 0,3

0, 2 0,3 0,5

P

X

X X P

X

X

X X P

X

20,39 0,39 0, 22

A probabilidade de estar de mau humor

daqui a 2 dias é 22%

X


4) Suponha que uma indústria produza dois tipos de

produtos: tipo 1 e tipo 2. Sabendo que se uma pessoa

comprou o tipo 1, existe 90% de chance que sua

próxima compra seja tipo 1.

Sabendo que se uma pessoa comprou o tipo 2 existe

80% de chance que na próxima compra seja do tipo 2.

a) Se uma pessoa comprou o tipo 2, qual a probabilidade

dela comprar tipo 1 num intervalo de 2 compras?

b) Se uma pessoa comprou o tipo 1, qual a probabilidade

dela comprar tipo 1 num intervalo de 3 compras?

Tipo 1 Tipo 2

0.2

0.1

0.9 0.8

Tipo 1 Tipo 2

Tipo 1 0.9 0.1

Tipo 2 0.2 0.8

P =



0

1 0

1

1

2 1

2

2

0,9 0,1

0,2 0,8

a) início:

0 1

primeira compra

.

0,9 0,10 1 .

0, 2 0,8

0, 2 0,8

segunda compra

.

0,9 0,10, 2 0,8 .

0,2 0,8

0,34 0,66

A probabilidade de comprar tipo 1

após 2 compras é

P

X

X X P

X

X

X X P

X

X

34%.


0

1 0

1

1

2 1

2

2

b) início:

1 0

primeira compra

.

0,9 0,11 0 .

0,2 0,8

0,9 0,1

segunda compra

.

0,9 0,10,9 0,1 .

0, 2 0,8

0,83 0,17

X

X X P

X

X

X X P

X

X


3 2

3

3

terceira compra

.

0,9 0,10,83 0,17 .

0,2 0,8

0,781 0,219

A probabilidade fe comprar o tipo 1 na

terceira compra é 78,1%.

X X P

X

X


5) Em uma cidade sabemos que 90% de

todos os dias ensolarados são seguidos

por outro dia ensolarado, e 75% de todos

os dias nublados são seguidos por outro

dia nublado. Construa a matriz de

transição e calcule a probabilidade de

daqui a 3 dias termos um dia nublado

sendo que hoje está um dia ensolarado.


ensolarado nublado

0,9

0,75

0,1

0,25


0

1

1

2

2

3

3

0,9 0,1

0,25 0,75

estado inicial:

1 0

primeiro dia

0,9 0,11 0 .

0,25 0,75

0,9 0,1

segundo dia

0,9 0,10,9 0,1 .

0,25 0,75

0,8350 0,1650

terceiro dia

0,9 0,10,8350 0,1650 .

0,25 0,75

0,79

P

X

X

X

X

X

X

X

28 0,2073

A probabilidade de termos dia ensolarado

é 20,73%.


6) Um vendedor tem as cidades A, B, C e D em seu território. Ele nunca fica numa cidade mais do que uma semana. Se ele está na cidade A ele tem a mesma probabilidade de ir para qualquer uma das três na próxima semana. Se ele está na B, então na próxima semana ele pode estar nas cidades A, C ou D com probabilidades respectivamente iguais a ½, ¼ e ¼ . Se ele está em C então na próxima semana ele não irá a B porém pode ir com a mesma probabilidade a A ou D. Se ele está na cidade D então na próxima semana ele não estará em A, porém tem probabilidade 2/3 e 1/3 de estar respectivamente em B ou C.

a) Represente esse processo por uma cadeia de Markov.

b) Se o vendedor está em A esta semana, qual a probabilidade de estar em C daqui a duas semanas?

A B C D

0

1/ 3

1/ 2

1/

3

1/

2

1/ 3

1/ 4

0

1/

4 2/ 3 1/ 2

1/

5

A B C D

A 0 1/ 3 1/ 3 1/ 3

B 1/ 2 0 1/ 4 1/ 4

C 1/ 2 0 0 1/ 2

D 0 4/ 5 1/ 5 0



7) A ala geriátrica de um hospital classifica os seus pacientes como acamados ou ambulatórios. Dados históricos indicam que durante o período de uma semana, 30% de todos os pacientes ambulatórios tem alta, 40% permanecem em regime ambulatório e 30% tem de ser acamados para repouso completo. Durante o mesmo período, 50% dos pacientes acamados tornam-se ambulatórios, 20% permanecem acamados e 30% morrem. Presentemente o hospital tem 100 pacientes na sua ala geriátrica, com 30% de acamados e 70% de ambulatórios.

Determine o estado desses pacientes: a) Após 2 semanas b) A longo prazo

(o estado de um paciente com alta não muda se o paciente morrer).

M 2 AMB ALTA

0, 3 0,

3

0, 3

0,

2

0, 4

0, 5

AC

Matriz de

transição: AC AMB M ALTA

AC 0, 2 0, 5 0, 3 0

AMB 0, 3 0, 4 0 0, 3

M 0 0 1 0

ALTA 0 0 0 1



8)Uma companhia aérea com um vôo às 7:15 da

manhã entre SP e RJ não quer que o vôo se

atrase na partida em dois dias seguidos. Se o vôo

sair atrasado num dia, a companhia faz um

esforço adicional no dia seguinte para que o vôo

cumpra o horário e é bem sucedida em 90% das

vezes. Se o vôo não sair atrasado num dia a

companhia não toma providências especiais para

o dia seguinte e o vôo cumprirá o horário em

60% das vezes. Qual a porcentagem de vezes que

o vôo parte atrasado?


atrasado no horário

0,1

0,6

0,9

0,4

69

1 2 1 2

matriz de transição:

0,1 0,9

0, 4 0,6

No longo prazo o comportamento do

sistema será obtido resolvendo-se o sistema

linear:

.

0,1 0,9.

0,4 0,6

Esta é uma equação matricial que se resolve

P

X X P

x x x x

1 1 2

2 1 2

1 2

1 1 2

1 2

igualando-se

os termos:

0,1 0,4

0,9 0,6

A condição fundamental é que

1

Usando esta condição e descartando uma das equações

ficamos com o sistema linear:

0,1 0,4

1

Resolvendo e

x x x

x x x

x x

x x x

x x

1 2

ste sistema linear pelo método da substituição

obtemos o seguinte resultado:

0,6923 e 0,3074

Os voos sairão atrasados 30,7% das vezes.

x x FERNANDO MORI - USJT 2012


9) Os proprietários de um grande edifício de apartamentos para alugar pretendem entregar a sua gestão a uma companhia imobiliária com excelente reputação. Com base nas classificações de boa, média e fraca condição dos edifícios geridos por essa imobiliária foi documentado que 50% de todas as construções que começaram um ano em boas condições assim permaneceram até o fim do ano, enquanto que as 50% restantes deterioraram para uma condição média. De todas as construções que começaram o ano com condição média 30% assim permaneceram até o fim do ano, enquanto que 70% foram melhoradas para uma boa condição. De todas as construções que começaram o ano com uma condição fraca, 90% assim permaneceram até o fim do ano, enquanto que as outras 10% foram melhoradas para uma boa condição. Considerando que essa tendência se mantém se a empresa for contratada, determine a condição dos apartamentos sob a administração dessa firma esperada a longo prazo.

B M

0.

7

0. 5

0. 5

0. 3

Matriz de

transição:

0, 9 0 0, 1 F

0 0, 3 0, 7 M

0 0, 5 0, 5 B

F M B

0. 9

0. 1

F



10) Um banco resolveu investir em uma estratégia de

marketing.

A estratégia 1 tem um custo de $58,00 por cliente

conseguido. Consegue-se avaliar que 12% dos que não

eram clientes e foram submetidos a estratégia 1

tornam-se clientes.

A estratégia 2 tem um custo de $37,00 por cliente novo.

Com o uso desta estratégia, 21% dos não clientes

tornam-se clientes. Para as duas estratégias, 88% dos

que eram clientes, continuam clientes.

Sabendo que a receita do banco é $98,00 por novo

cliente, decida qual estratégia deverá ser adotada.


cliente não cliente

0,88

0,88

0,12

0,12

Primeira estratégia:

0,88 0,12

0,12 0,88P


cliente Não cliente

0,1

0,6

0,9

0,4

0,88 0,12

0,21 0,79P


11) Uma pesquisa realizada recentemente com os assinantes de uma revista de viagens mostrou que 65% deles têm pelo menos um cartão de crédito associado a uma companhia aérea. Quando comparou-se com uma pesquisa semelhante realizada 5 anos atrás, os dados indicaram que 40% das pessoas que não tinham cartão de crédito associado a uma empresa aérea obtiveram um posteriormente, enquanto 10% dos que então tinham cartão já não os têm mais. Assumindo que essas tendências se manterão no futuro, determine a proporção de assinantes que terão cartão de crédito associado a uma empresa aérea:

a) daqui a 10 anos.

b) a longo prazo.


12) Um banco resolveu investir em uma estratégia de marketing.

A estratégia 1 tem um custo de $58,00 por cliente conseguido.

Consegue-se avaliar que 12% dos que não eram clientes e foram submetidos a estratégia 1 tornam-se clientes.

A estratégia 2 tem um custo de $37,00 por cliente novo. Com o uso

desta estratégia, 21% dos não clientes tornam-se clientes. Para as

duas estratégias, 88% dos que eram clientes, continuam clientes.

Sabendo que a receita do banco é $98,00 por novo cliente, decida

qual estratégia deverá ser adotada.

Comércio Eletrônico

Considere uma loja on-line que vende computadores,

software e produtos eletrônicos pela internet. O site

possui uma interface simples para o consumidor e o

processo de compras é executado em 3 etapas:

a) Procure um produto;

b) Cadastramento;

c) Colocação do pedido.

Uma outra maneira de se selecionar um produto é através

das ofertas existentes na home page.


Comércio Eletrônico

Baseado nos logs do site o administrador do sistema pode

determinar as freqüências ou probabilidade com que os

usuários navegam pelas diversas alternativas da loja;

Essas probabilidade definem uma cadeia de Markov que

descreve o comportamento dos usuários que navegam

na loja;

Usando-se os métodos tradicionais de resolução de

cadeias de Markov pode-se ter uma visão quantitativa

do comportamento dos usuários dentro da loja.



Bem Vindo entrada

Busca

Browse

Registre-se

Ofertas

Especiais

Check Out

Adicionar ao

carrinho

selecionar

0,7

0,3 0,1

0,15

0,15

0,3

0,3

0,3

0,2

0,35

0,25

0,1 1

0,3 0,1

0,9

0,1

0,1 0,1

0,6 0,2

0,3 0,05

0,1

0,1

0,3

0,2

0,35

0,25

0,06

0,06

0,15

0,1

0,1

0,2

0,1

No sistema de comércio eletrônico descrito acima, as setas

indicam transições e os números associados são as

probabilidades de transição.

A matriz de transição será dada por:



ent bv bus br re of.es ch.out ad.car sel sai

ent 0 0,7 0,15 0,15 0 0 0 0 0 0

bv 0 0 0,3 0,3 0,1 0,2 0 0 0 0,1

bus 0 0,1 0,3 0,3 0 0 0 0 0,2 0,1

br 0 0,1 0,3 0,3 0 0 0 0 0,2 0,1

re 0 0,9 0 0 0 0 0 0 0 0,1

of.es 0 0,6 0 0 0 0,1 0 0,3 0 0

ch.out 0 0 0 0 0 0 0 0 0 1

ad.car 0 0 0,25 0,25 0,05 0,

P

15 0,05 0,05 0,1 0,1

sel 0 0 0,35 0,35 0 0 0 0,2 0 0,1

sai 0 0 0 0 0 0 0 0 0 0


Biografia Markov Andrei Andreyevich Markov nasceu no dia 14

de junho de 1856 em Ryazan, na Rússia.

Morreu no dia 20 de julho de 1922 em Petrograd

(agora St Petersburg), Rússia. Se formou na

universidade de St Petersburg (1878), onde se

tornou professor em 1886. Os primeiros

trabalhos de Markov foram principalmente em

teoria dos números e análise, frações contínuas,

limites de integrais, teoria da aproximação e a

convergência de séries.


• Após 1900 Markov aplicou o método das frações contínuas, inicialmente desenvolvido por Pafnuty Chebyshev, na teoria da probabilidade. Ele também estudou sequências de variáveis mutuamente independentes, esperando estabelecer as leis da probabilidade de forma mais geral. Ele também provou o teorema do limite central.

• Markov é particularmente lembrado pelo seu estudo de cadeias de Markov. Cadeias de Markov são um formalismo de modelagem de sistemas que descrevem o sistema como um processo estocástico. Deste ponto de vista o sistema modelado é caracterizado pelos seus estados e a forma pela qual eles se alternam..

• Em 1923 Norbert Winter se tornou o primeiro a tratar rigorosamente um processo contínuo de Markov. A fundação da teoria geral ocorreu em 1930 por Andrei Kolmogorov.

Cadeias e Processos de Markov

Documents

Transcript of Cadeias e Processos de Markov