Cadeias e Processos de Markov2014

UNIVERSIDADE SO

JUDAS TADEU

PROCESSOS ESTOCSTICOS E CADEIAS DE MARKOV

FERNANDO MORI

http://sites.google.com/site/fmoripro

[email protected]

Processos Estocsticos

Um processo estocstico definido como um conjunto indexado de variveis aleatrias em que o ndice t percorre dado conjunto T. Normalmente admite-se que T seja o conjunto dos inteiros no negativos e represente uma caracterstica mensurvel de interesse no instante t. Por exemplo, poderia medir o nvel de estoque de determinado produto ao final da semana t.

Os processos estocsticos so de interesse por descreverem o comportamento de um sistema operando ao longo de um perodo.

FERNANDO MORI - USJT 2014 2

tX

tX

tX

Processos EstocsticosUm processo estocstico normalmente apresenta a seguinte

estrutura:

O estado atual do sistema pode cair em qualquer uma das M + 1 categorias mutuamente exclusivas denominadas de estados. Esses estados so identificados como 0,1,2,......,M. A varivel aleatria representa o estado do sistema no instante t de modo que os seus nicos valores possveis sejam 0,1,2,......,M. O sistema observado em pontos determinados no tempo, identificados por t = 0,1,2,......Portanto o processo estocstico

fornece uma representao matemtica de como o sistema fsico evolui ao longo do tempo.


tX

0 1 2, , ,...........tX X X X


Este tipo de processo conhecido como um processo estocstico em tempo discreto com um espao de estado finito.

Exemplo:

O tempo em uma certa cidade pode mudar de maneira rpida. Entretanto as chances em termos de tempo seco (sem chuvas) amanh so ligeiramente maiores, caso esteja seco hoje do que se chover hoje. Particularmente a probabilidade de termos tempo seco amanh de 0,8, caso hoje esteja seco, porm de apenas 0,6 caso amanh chova.

A evoluo do tempo, dia a dia, um processo estocstico. Comeando em dado dia inicial (chamado dia 0), o tempo



observado em cada dia t, para t = 0,1,2,...... O estado do sistema no dia t pode ser:

Estado = 0 dia t seco

Estado = 1 dia t com chuva

Portanto para t = 0,1,2,...., a varivel aleatria assume os seguintes valores:

O processo estocstico fornece uma representao matemtica de como o estado do tempo na cidade evolui ao longo do tempo.


tX

0 se o dia t estiver seco

1 se o dia t estiver chovendo

t

t

X

X

0 1 2, , ,........tX X X X


Um processo estocstico dito ter a propriedade markoviana se a probabilidade condicional de qualquer evento futuro , dados quaisquer eventos do passado e o estado presente independente dos eventos passados e depende apenas do estado atual.

Um processo estocstico uma cadeia de Markov se possuir a propriedade markoviana.

As probabilidades condicionais para uma cadeia de Markov so chamadas de probabilidades de transio(uma etapa). Se para cada i e j ,


( 0,1,2,......)tX t

1 /t tP X j X i

1 1 0/ /t tP X j X i P X j X i

Cadeias de Markov

Ento as probabilidades de transio ( uma etapa) so ditas estacionrias. Portanto, ter probabilidades de transio estacionrias implica que as probabilidades de transio no mudam ao longo do tempo. A existncia de probabilidades de transio estacionarias tambm implicam o mesmo para cada i, j e n (n = 0,1,2,....).

Para todo t = 0,1,2,.....Essas probabilidades condicionais so denominadas probabilidades de transio em n etapas.


0/ /t n t nP X j X i P X j X i

Cadeias de Markov

Para simplificar a notao com probabilidades de transio estacionarias usamos:

Assim a probabilidade de transio em n etapas simplesmente a probabilidade condicional de que o sistema estar no estado j aps exatamente n etapas (unidades de tempo), dado que ele inicia no estado i a qualquer instante j.

Como so probabilidades condicionais, elas tm de ser no negativas e j que o processo deve realizar uma transio para algum estado elas devem satisfazer as seguintes propriedades:


1

( )

/

/

ij t t

n

ij t n t

p P X j X i

p P X j X i

( )n

ijp

( )n

ijp

Cadeias de Markov

Uma maneira conveniente de mostrar as probabilidades de transio usar o formato de matriz:


( )

( )

0

0, para todo i,j;n=0,1,2,......

1 para todo i;n=0,1,2,......

n

ij

Mn

ij

j

p

p

Cadeias de Markov


( ) ( ) ( ) ( )

00 01 02 0

( ) ( ) ( ) ( )

10 11 12 1

( ) ( ) ( ) ( ) ( )

20 21 22 2

( ) ( ) ( ) ( )

0 1 2

estado 0 1 2 . . .

0 . . .

1 . . .

2 . . .

. . . . . . . .

. . . . . . . .

. . . . . . . .

. . .

n n n n

M

n n n n

M

n n n n n

M

n n n n

M M M MM

M

p p p p

p p p p

P p p p p

M p p p p

Cadeias de Markov


00 01 02

10 11 12( )

20 21 22

30 31 32

A matriz de transio ser ento dada por:

. .

. .

.. .

. ..

. . . . .

n

p p p

p p p

P p p p

p p p

Cadeias de Markov

Note que a probabilidade de transio em determinada linha e coluna para a transio do estado da linha para o estado da coluna. Quando n = 1 eliminamos n e simplesmente nos referimos a matriz como matriz de transio.

As cadeias de Markov que iremos estudar possuem as seguintes propriedades :

1) Um nmero finito de estados.

2) Probabilidades de transio estacionrias.

3) Partimos da hiptese de que conhecemos as probabilidades iniciais para todo i.



PROCESSO DE MARKOV

Propriedade dos sistemas sem memria:

Dado o estado atual , o prximo estado s depende deste estado e de nenhum outro estado em que o sistema tenha estado no passado (ausncia de memria espacial).

O tempo em que o sistema se encontra no estado atual no relevante para se determinar o prximo estado (ausncia de memria temporal).

kx


Cadeia de Markov

J foi visto que para especificar uma cadeia de Markov deve-se:

Identificar um espao de estados.

Conhecer a probabilidade inicial de estado para cada estado pertencente ao espao de estados.

Conhecer a probabilidade de transio.


Sistema de Tempo Discreto

Considerando o espao de estado como um conjunto contvel, ele pode ser representado pelo conjunto dos nmeros inteiros no negativos: (1,2,3,.......).

As letras i e j so usadas para representar o estado atual e o prximo estado;

No caso de sistemas com tempo discreto representa-se os instantes pelo conjunto de nmeros inteiros, sendo k a varivel utilizada para representar estes instantes discretos.


Probabilidade de transio de Estado

Probabilidade de Transio:

1( ) /

onde i,j pertencem aos estados de tempo discreto.

As seguintes prpriedades so vlidas:

0 ( ) 1;

e para todo estado i e instante de tempo k:

( ) 1, para todo j.

ij k K

ij

ij

p k P X j X i

p k

p k


Probabilidade de transio de n passos

( , ) /

Vamos condicionar esta transio de n passos a passagem por um estado

intermedirio r num determinado instante u, entre k e k+n, ou seja:

( , ) / , .

ij k n k

ij K n u k utodor

p k k n P X j X i

p k k n P X j X r X i P X r

/

Pela propriedade da ausnci de memria temos:

/ , / ( , )

onde:

( , ) /

k

k n u k k n u rj

ir u k

X i

P X j X r X i P X j X r p u k n

p k u P X r X i


Equao de Chapman-Kolmogorov

( , ) ( , ). ( , ),

Esta a equao de Chapman-Kolmogorov, que determina a evoluo,

trajetria dos estados da cadeia de Markov.

Esta relao vlida para cadeias de Markov com tem

ij ir rjr

p k k n p k u p u k n k u k n

po discreto.

Ela pode ser escrita na forma matricial.


Equao na forma de Matriz

Portanto podemos reescrever a equao de

Chapman-Kolmogorov:

Define-se a matriz H como sendo:

( , ) ( , ) , , 0,1,2,....

Esta a matriz das probabilidades de transio

de estados em n passos.

ijH k k n p k k n i j

( , ) ( , ). ( , )

ou escolhendo-se 1, tem-se:

( , ) ( , 1). ( 1, )

esta a relao de evoluo direta de Kolmogorov.

H k k n H k u H u k n

u k n

H k k n H k k n H k n k n


Cadeia de Markov Homognea

Quando as probabilidades de transio forem independentes do tempo k, para todo i,j, tem-se uma cadeia de markov homognea.

Neste caso escreve-se:

Onde o elemento da matriz de transio independente de k.

Ou seja, a transio de i para j sempre ocorre com a mesma probabilidade p , independente do instante de tempo que ela venha a ocorrer.

1 /ij k k ip P X j X


Exemplo

Considere uma mquina que pode estar em um dos dois estados: up e down.

Considere o conjunto de estados (0,1) para representar os estados dessa mquina.

O estado dessa mquina observado (verificado) a cada hora. Estes instantes de observao so representados pela seqncia k=0,1,2,3,...... .

Desta forma temos uma cadeia estocstica, onde temos o estado da mquina na k-sima hora de observao.


Exemplo: ContinuaoConsidere ainda que:

- se a mquina estiver no estado up a probabilidade

dela falhar na prxima hora dada por .

- se a mquina estiver no estado down a probabilidade

dela ser consertada na prxima hora

10 11 01 00

.

Com estas definies obtemos uma cadeia de Markov

homognea.

A matriz de transio de probabilidades possui os

seguintes elementos:

p 1 1

onde 0 1 e 0 1.

p p p


Exemplo: Diagrama de transio

Uma maneira conveniente de se representar uma cadeia de markov atravs de um diagrama de transio de estados:

1 01

1


Exemplo:Cadeia no homognea

Considere agora a situao onde, com o passar do tempo, a probabilidade da mquina falhar na prxima hora aumenta devido ao seu envelhecimento;

Neste caso as probabilidades de transio poderiam ser escritas na forma:


Cadeia no Homognea

10

11

1

1

para 0 1 e 0,1,2,.....

Neste caso a probabilidade de falha aumenta e tende

a 1 quando k tende a infinito. Esta nova cadeia de

Markov no mais homogenea.

k

k

p

p

k


Transio de estados em n-passos

Numa cadeia homognea a matriz de transio de estado tambm independente do tempo k. Neste caso pode-se escrever:

Se fizermos u=k+m e escolhendo m=n-1, na equao de Chapman-Kolmogorov, tem-se:

/ , 1,2,...nij k n kp P X j X i n

( ) ( 1). (1),

onde ( ) nij

H n H n H

H n p


Exemplo: Chamadas telefnicas

Considere os intervalos de tempo discretos, k=0,1,2,...., chamados de time-slots;

O processo de chamada telefnica opera da seguinte maneira:

No mximo uma chamada telefnica pode ocorrer no time-slot com probabilidade

Se o telefone estiver ocupado a chamada perdida(no h transio de estado) se no, a chamada processada;

Uma chamada sendo processada pode ser encerrada dentro de um time-slot com probabilidade


Exemplo: Continuao

Se ocorrer a chegada de uma nova chamada e o trmino de uma outra dentro de um mesmo time-slot, a nova chamada ser aceita e o seu processamento iniciado.

Assume-se que a chegada ou o trmino das chamadas so independentes entre si;

Seja a representao do estado deste processo estocstico no k-simo time-slot, o qual pode assumir valor 0 (telefone livre) ou 1(telefone ocupado);

kX


Exemplo: Continuao

As probabilidades de transio de estado so:

00

01

10

1 : O telefone permanece livre se nenhuma

chamada chega no time-slot;

: O telefone fica ocupado se uma nova chamada

chega no time-slot.

.(1 ): O telefone fica livre se uma chamada

comp

p

p

p

11

letada e no chega nenhuma nova chamad no

time-slot;

(1 ).(1 ) O telefone permanece ocupado

se a chamada no completa ou a chamada completa,

porm chega uma nova chamada no time-slot.

p


Exemplo: Continuao

A matriz de transio P dada por:

1

.(1 ) (1 ) .P


Exemplo: Continuao

.(1 )

(1 )

1


Cadeias de Markov

Resumo

Um processo de Markov (processo Estocstico) consiste em um conjunto de estados tais que:

1. A qualquer instante cada objeto deve estar em um nico estado.

2. A probabilidade de que um objeto passe de um estado para outro em um perodo de tempo depende apenas desses dois estados.


Classificao de Estados em uma

Cadeia de Markov

Dados dois estados i e j, uma trajetria de i para j uma sequncia de transies que iniciam em

i e terminam em j, de tal maneira que cada

transio na sequncia tem uma probabilidade

positiva de ocorrncia.

Um estado j acessvel do estado i se existir uma trajetria que leva de i para j.

Dois estados i e j so chamados comunicantes se j acessvel de i e i acessvel de j.


Um estado i chamado absorvente se

Um estado i chamado estado transiente se existe um estado j acessvel a partir de i, mas o estado i no acessvel a partir de j.

Um estado peridico com perodo k, se k for um nmero inteiro positivo tal que a trajetria do estado i que volta para esse mesmo estado i tem comprimento que um mltiplo de k.

1iip


Estado Estacionrio ou Longo

Prazo

Seja P a matriz de transio que d origem a uma cadeia de Markov. Se os estados no forem peridicos, todos comunicarem-se entre si e no houver nenhum estado absorvente, ento existe um estado

tal que a seguinte igualdade matricial verificada:

1 2 3 ...


1 2 3

1 2 3 4

.

onde:

....

a matriz de transio

e

....... 1

P

P


Tal estado chamado de estado estacionrio do processo.

Isto significa que aps um tempo longo, o processo de Markov estaciona, para de ocorrer mudanas nos estados e atinge-se um estado estacionrio (ou de equilbrio) independente do estado inicial.

A condio de que a soma dos elementos de uma linha na matriz estado de ter soma 1 deve ser usada na resoluo do sistema linear.


Cadeias de Markov

Resumo Os processos de Markov ocorrem sempre em

uma base de tempo a qual depende do problema analisado.

O nmero inteiro de perodos de tempo decorridos desde o incio do processo representa o nmero de estgios do processo, que pode ser finito ou infinito.

Se o nmero de estados finito o processo de Markov recebe o nome de uma cadeia de Markov.


Cadeias de Markov

Resumo Denotamos a probabilidade de transio do estado i para

o estado j em um perodo de tempo por .

Para uma cadeia de Markov com n estados (n um nmero inteiro), a matriz n x n formada pelas

probabilidades de transio a matriz estocstica

associada ao processo.

Necessariamente a soma dos elementos de cada linha da matriz de transio P igual a 1.

O valor representa a probabilidade de que o processo quando no estado i faa uma transio para o

estado j.

ijp

ijp


Cadeias de Markov

Resumo

00 01 02

10 11 12

20 21 22

30 31 32

. .

. .

.. .

. ..

. . . . .

p p p

p p p

P p p p

p p p


Cadeias de Markov

Resumo Os estados de um processo de Markov

so armazenados em uma matriz linha

que possui tantas colunas quantos forem

os estados do processo de Markov.

A evoluo do processo se faz atravs da multiplicao da matriz de estados pela

matriz de transio.

A matriz de estados ser:


Cadeias de Markov

Resumo

( ) 1 2 3

1 2,...

..

Onde , so as probabilidades estarmos

no estado 1, 2, ...

nX p p p

p p


Cadeias de Markov

Resumo Teorema: Se P a matriz de transio de um

processo de Markov ento a matriz linha de

estados no periodo (n+1) da

observao pode ser determinado a partir da

matriz linha de estados no perodo n da

observao a partir da relao:

( 1)nX

( )nX

( 1) ( ).n nX X P


Exerccios


1) Os dados de uma pesquisa dividem as famlias

em economicamente estveis e

economicamente instveis. Num perodo de 10

anos, a probabilidade de uma famlia estvel

permanecer estvel 0,92 enquanto a

probabilidade de ficar economicamente instvel

0,08. A probabilidade de que uma famlia

instvel se torne estvel de 0,03, enquanto a

probabilidade de que ela assim permanea

0,97. Qual a probabilidade de que daqui a 20

anos uma famlia hoje economicamente estvel

torne-se economicamente instvel ?

Soluo:

Diagrama de estados


estvel instvel

0,92

0,08

0,03

0,97


(0)

(1) (0)

(1)

(1)

(2) (1)

(2)

2

0,92 0,08

0,03 0,97

estado inicial

1 0

primeiro perodo = 10 anos

.

0,92 0,081 0 .

0,03 0,97

0,92 0,08

segundo perodo = 20 anos

.

0,92 0,080,92 0,08 .

0,03 0,97

P

X

X X P

X

X

X X P

X

X

0,8488 0,1512

probabilidade de se tornar instvel 0,1512 ou 15,12%


2) O fabricante de um produto controla atualmente

60% do mercado de uma determinada cidade.

Dados do ano anterior mostram que 88% dos

seus clientes permanecem leais a sua marca

enquanto 12% mudam para outras marcas.

Alm disso 85% dos usurios de marcas da

concorrncia permaneceram leais a marca da

concorrncia enquanto os outros 15% mudaram

para o produto do fabricante. Assumindo que

essa tendncia se mantm, determine a parcela

de mercado do fabricante daqui a 3 anos.


clientes no clientes

0,88

0,85

0,12

0,15


0

1 0

1

1

Matriz de transio:

0,88 0,12

0,15 0,85

Estado inicial:

0,6 0, 4

primeiro perodo = 1 ano

.

0,88 0,120,6 0, 4 .

0,15 0,85

0,5880 0, 4120

P

X

X X P

X

X


2 1

2

2

3 2

3

3

segundo perodo = 2 anos

.

0,88 0,120,5880 0, 4120 .

0,15 0,85

0,5792 0, 4208

Terceiro perodo = 3 anos

.

0,88 0,120,5792 0, 4208 .

0,15 0,85

0,5728 0, 4272

parcela de mercado = 57,28%.

X X P

X

X

X X P

X

X


3) Em um certo dia qualquer, Joo pode estar de bom

humor (BH), mais ou menos(MM) ou de mal

humor(MH). Se ele estiver de bom humor hoje ento

ele estar BH, MM ou MH amanh com

probabilidades 0.5, 0.4, 0.1. Se ele estiver mais ou

menos hoje ento ele estar BH, MM ou MH amanh

com probabilidades 0.3, 0.4, 0.3. Se ele estiver MH

hoje ento as probabilidades de estar amanh BH,

MM ou MH sero 0.2, 0.3 e 0.5.

Sabendo que hoje ele est de bom humor, qual a

probabilidade de Joo estar de mau humor daqui a

dois dias?

M VMH MM

C

0.5

0.1

0.2

0.3

0.3

0.3

0.4

0.4

0.5

BH

BH MM MH

BH 0.5 0.4 0.1

MM 0.3 0.4 0.3

MH 0.2 0.3 0.5

53FERNANDO MORI - USJT 2014


0

1 0

1

1

2 1

2

matriz de transio

0,5 0, 4 0,1

0,3 0, 4 0,3

0, 2 0,3 0,5

estado inicial

1 0 0

.

0,5 0, 4 0,1

1 0 0 . 0,3 0, 4 0,3

0, 2 0,3 0,5

0,5 0, 4 0,1

segundo dia

.

0,5 0, 4 0,1

0,5 0, 4 0,1 . 0,3 0, 4 0,3

0, 2 0,3 0,5

P

X

X X P

X

X

X X P

X

2 0,39 0,39 0, 22

A probabilidade de estar de mau humor

daqui a 2 dias 22%

X


4) Suponha que uma indstria produza dois tipos de produtos: tipo 1 e tipo 2. Sabendo que se uma pessoa

comprou o tipo 1, existe 90% de chance que sua

prxima compra seja tipo 1.

Sabendo que se uma pessoa comprou o tipo 2 existe

80% de chance que na prxima compra seja do tipo 2.

a) Se uma pessoa comprou o tipo 2, qual a probabilidade

dela comprar tipo 1 num intervalo de 2 compras?

b) Se uma pessoa comprou o tipo 1, qual a probabilidade

dela comprar tipo 1 num intervalo de 3 compras?

Tipo 1 Tipo 2

0.2

0.1

0.90.8

Tipo 1 Tipo 2

Tipo 1 0.9 0.1

Tipo 2 0.2 0.8

P =



0

1 0

1

1

2 1

2

2

0,9 0,1

0, 2 0,8

a) incio:

0 1

primeira compra

.

0,9 0,10 1 .

0, 2 0,8

0, 2 0,8

segunda compra

.

0,9 0,10, 2 0,8 .

0, 2 0,8

0,34 0,66

A probabilidade de comprar tipo 1

aps 2 compras

P

X

X X P

X

X

X X P

X

X

34%.


0

1 0

1

1

2 1

2

2

b) incio:

1 0

primeira compra

.

0,9 0,11 0 .

0, 2 0,8

0,9 0,1

segunda compra

.

0,9 0,10,9 0,1 .

0, 2 0,8

0,83 0,17

X

X X P

X

X

X X P

X

X


3 2

3

3

terceira compra

.

0,9 0,10,83 0,17 .

0, 2 0,8

0,781 0, 219

A probabilidade fe comprar o tipo 1 na

terceira compra 78,1%.

X X P

X

X


5) Em uma cidade sabemos que 90% de

todos os dias ensolarados so seguidos

por outro dia ensolarado, e 75% de todos

os dias nublados so seguidos por outro

dia nublado. Construa a matriz de

transio e calcule a probabilidade de

daqui a 3 dias termos um dia nublado

sendo que hoje est um dia ensolarado.


ensolarado nublado

0,9

0,75

0,1

0,25


0

1

1

2

2

3

3

0,9 0,1

0, 25 0,75

estado inicial:

1 0

primeiro dia

0,9 0,11 0 .

0, 25 0,75

0,9 0,1

segundo dia

0,9 0,10,9 0,1 .

0, 25 0,75

0,8350 0,1650

terceiro dia

0,9 0,10,8350 0,1650 .

0, 25 0,75

0,79

P

X

X

X

X

X

X

X

28 0, 2073

A probabilidade de termos dia ensolarado

20,73%.


6) Um vendedor tem as cidades A, B, C e D em seu territrio. Ele nunca fica numa cidade mais do que uma semana. Se ele est na cidade A ele tem a mesma probabilidade de ir para qualquer uma das trs na prxima semana. Se ele est na B, ento na prxima semana ele pode estar nas cidades A, C ou D com probabilidades respectivamente iguais a , e . Se ele est em C ento na prxima semana ele no ir a B porm pode ir com a mesma probabilidade a A ou D. Se ele est na cidade D ento na prxima semana ele no estar em A, porm tem probabilidade 2/3 e 1/3 de estar respectivamente em B ou C.

a) Represente esse processo por uma cadeia de Markov.

b) Se o vendedor est em A esta semana, qual a probabilidade de estar em C daqui a duas semanas?

AB C D

0

1/ 3

1/ 2

1/

3

1/

2

1/ 3

1/ 4

0

1/

4 2/ 31/ 2

1/

5

A B C D

A 0 1/ 3 1/ 3 1/ 3

B 1/ 2 0 1/ 4 1/ 4

C 1/ 2 0 0 1/ 2

D 0 4/ 5 1/ 5 0



7) A ala geritrica de um hospital classifica os seus pacientes como acamados ou ambulatrios. Dados histricos indicam que durante o perodo de uma semana, 30% de todos os pacientes ambulatrios tem alta, 40% permanecem em regime ambulatrio e 30% tem de ser acamados para repouso completo. Durante o mesmo perodo, 50% dos pacientes acamados tornam-se ambulatrios, 20% permanecem acamados e 30% morrem. Presentemente o hospital tem 100 pacientes na sua ala geritrica, com 30% de acamados e 70% de ambulatrios. Determine o estado desses pacientes:

a) Aps 2 semanasb) A longo prazo(o estado de um paciente com alta no muda se o paciente morrer).

M 2 AMB ALTA

0, 30,

3

0, 3

0,

2

0, 4

0, 5

AC

Matriz de

transio: AC AMB M ALTA

AC 0, 2 0, 5 0, 3 0

AMB 0, 3 0, 4 0 0, 3

M 0 0 1 0

ALTA 0 0 0 1



8)Uma companhia area com um vo s 7:15 da

manh entre SP e RJ no quer que o vo se

atrase na partida em dois dias seguidos. Se o vo

sair atrasado num dia, a companhia faz um

esforo adicional no dia seguinte para que o vo

cumpra o horrio e bem sucedida em 90% das

vezes. Se o vo no sair atrasado num dia a

companhia no toma providncias especiais para

o dia seguinte e o vo cumprir o horrio em

60% das vezes. Qual a porcentagem de vezes que

o vo parte atrasado?


atrasado no horrio

0,1

0,6

0,9

0,4

69

1 2 1 2

matriz de transio:

0,1 0,9

0, 4 0,6

No longo prazo o comportamento do

sistema ser obtido resolvendo-se o sistema

linear:

.

0,1 0,9.

0, 4 0,6

Esta uma equao matricial que se resolve

P

X X P

x x x x

1 1 2

2 1 2

1 2

1 1 2

1 2

igualando-se

os termos:

0,1 0, 4

0,9 0,6

A condio fundamental que

1

Usando esta condio e descartando uma das equaes

ficamos com o sistema linear:

0,1 0, 4

1

Resolvendo e

x x x

x x x

x x

x x x

x x

1 2

ste sistema linear pelo mtodo da substituio

obtemos o seguinte resultado:

0,6923 e 0,3074

Os voos sairo atrasados 30,7% das vezes.

x x FERNANDO MORI - USJT 2014


9) Os proprietrios de um grande edifcio de apartamentos para alugar pretendem entregar a sua gesto a uma companhia imobiliria com excelente reputao. Com base nas classificaes de boa, mdia e fraca condio dos edifcios geridos por essa imobiliria foi documentado que 50% de todas as construes que comearam um ano em boas condies assim permaneceram at o fim do ano, enquanto que as 50% restantes deterioraram para uma condio mdia. De todas as construes que comearam o ano com condio mdia 30% assim permaneceram at o fim do ano, enquanto que 70% foram melhoradas para uma boa condio. De todas as construes que comearam o ano com uma condio fraca, 90% assim permaneceram at o fim do ano, enquanto que as outras 10% foram melhoradas para uma boa condio. Considerando que essa tendncia se mantm se a empresa for contratada, determine a condio dos apartamentos sob a administrao dessa firma esperada a longo prazo.

B M

0.

7

0. 5

0. 5

0. 3

Matriz de

transio:

0, 900, 1F

00, 30, 7M

00, 50, 5B

FMB

0. 9

0. 1

F



10) Um banco resolveu investir em uma estratgia demarketing.

A estratgia 1 tem um custo de $58,00 por cliente

conseguido. Consegue-se avaliar que 12% dos que no

eram clientes e foram submetidos a estratgia 1

tornam-se clientes.

A estratgia 2 tem um custo de $37,00 por cliente novo.

Com o uso desta estratgia, 21% dos no clientes

tornam-se clientes. Para as duas estratgias, 88% dos

que eram clientes, continuam clientes.

Sabendo que a receita do banco $98,00 por novo

cliente, decida qual estratgia dever ser adotada.


cliente no cliente

0,88

0,88

0,12

0,12

Primeira estratgia:

0,88 0,12

0,12 0,88P


cliente No cliente

0,1

0,6

0,9

0,4

0,88 0,12

0, 21 0,79P


11) Uma pesquisa realizada recentemente com os assinantes de uma revista de viagens mostrou que 65% deles tm pelo menos um carto de crdito associado a uma companhia area. Quando comparou-se com uma pesquisa semelhante realizada 5 anos atrs, os dados indicaram que 40% das pessoas que no tinham carto de crdito associado a uma empresa area obtiveram um posteriormente, enquanto 10% dos que ento tinham carto j no os tm mais. Assumindo que essas tendncias se mantero no futuro, determine a proporo de assinantes que tero carto de crdito associado a uma empresa area:

a) daqui a 10 anos.

b) a longo prazo.


12) Um banco resolveu investir em uma estratgia de marketing.A estratgia 1 tem um custo de $58,00 por cliente conseguido.

Consegue-se avaliar que 12% dos que no eram clientes e foramsubmetidos a estratgia 1 tornam-se clientes.

A estratgia 2 tem um custo de $37,00 por cliente novo. Com o uso

desta estratgia, 21% dos no clientes tornam-se clientes. Para as

duas estratgias, 88% dos que eram clientes, continuam clientes.

Sabendo que a receita do banco $98,00 por novo cliente, decida

qual estratgia dever ser adotada.

Comrcio Eletrnico

Considere uma loja on-line que vende computadores,

software e produtos eletrnicos pela internet. O site

possui uma interface simples para o consumidor e o

processo de compras executado em 3 etapas:

a) Procure um produto;

b) Cadastramento;

c) Colocao do pedido.

Uma outra maneira de se selecionar um produto atravs

das ofertas existentes na home page.


Comrcio Eletrnico

Baseado nos logs do site o administrador do sistema pode

determinar as freqncias ou probabilidade com que os

usurios navegam pelas diversas alternativas da loja;

Essas probabilidade definem uma cadeia de Markov que

descreve o comportamento dos usurios que navegam

na loja;

Usando-se os mtodos tradicionais de resoluo de

cadeias de Markov pode-se ter uma viso quantitativa

do comportamento dos usurios dentro da loja.



Bem Vindoentrada

Busca

Browse

Registre-se

Ofertas

Especiais

Check Out

Adicionar ao

carrinho

selecionar

0,7

0,30,1

0,15

0,15

0,3

0,3

0,3

0,2

0,35

0,25

0,11

0,30,1

0,9

0,1

0,10,1

0,60,2

0,30,05

0,1

0,1

0,3

0,2

0,35

0,25

0,06

0,06

0,15

0,1

0,1

0,2

0,1

No sistema de comrcio eletrnico descrito acima, as setas

indicam transies e os nmeros associados so as

probabilidades de transio.

A matriz de transio ser dada por:



ent bv bus br re of.es ch.out ad.car sel sai

ent 0 0,7 0,15 0,15 0 0 0 0 0 0

bv 0 0 0,3 0,3 0,1 0, 2 0 0 0 0,1

bus 0 0,1 0,3 0,3 0 0 0 0 0, 2 0,1

br 0 0,1 0,3 0,3 0 0 0 0 0, 2 0,1

re 0 0,9 0 0 0 0 0 0 0 0,1

of.es 0 0,6 0 0 0 0,1 0 0,3 0 0

ch.out 0 0 0 0 0 0 0 0 0 1

ad.car 0 0 0, 25 0, 25 0,05 0,

P

15 0,05 0,05 0,1 0,1

sel 0 0 0,35 0,35 0 0 0 0, 2 0 0,1

sai 0 0 0 0 0 0 0 0 0 0


Biografia MarkovAndrei Andreyevich Markov nasceu no dia 14

de junho de 1856 em Ryazan, na Rssia.

Morreu no dia 20 de julho de 1922 em Petrograd

(agora St Petersburg), Rssia. Se formou na

universidade de St Petersburg (1878), onde se

tornou professor em 1886. Os primeiros

trabalhos de Markov foram principalmente em

teoria dos nmeros e anlise, fraes contnuas,

limites de integrais, teoria da aproximao e a

convergncia de sries.


Aps 1900 Markov aplicou o mtodo das fraes contnuas, inicialmente desenvolvido por Pafnuty Chebyshev, na teoria da probabilidade. Ele tambm estudou sequncias de variveis mutuamente independentes, esperando estabelecer as leis da probabilidade de forma mais geral. Ele tambm provou o teorema do limite central.

Markov particularmente lembrado pelo seu estudo de cadeias de Markov. Cadeias de Markov so um formalismo de modelagem de sistemas que descrevem o sistema como um processo estocstico. Deste ponto de vista o sistema modelado caracterizado pelos seus estados e a forma pela qual eles se alternam..

Em 1923 Norbert Winter se tornou o primeiro a tratar rigorosamente um processo contnuo de Markov. A fundao da teoria geral ocorreu em 1930 por Andrei Kolmogorov.

Cadeias e Processos de Markov2014

Documents

Transcript of Cadeias e Processos de Markov2014