Processos Estocasticos

Treinamento em Processamento

Digital de Imagens

Prof. Wheidima Carneiro de Melo

[email protected]

Curso: Probabilidade e Processos

Estocsticos

Probabilidade e Processos

Estocsticos

Ementa:

Probabilidade

Definies e axiomas

Probabilidade condicional

Probabilidade total

Variveis aleatrias

Processos estocsticos

Parte 1

Probabilidade

Introduo

Nas engenharias h um interesse no estudo de sistemas que variam de forma aleatria, no determinstica da

tica do observador.

Modelos probabilsticos so formas matemticas para descrever o comportamento de variveis associadas ao

fenmeno.

Processos estocsticos so modelos probabilsticos para descrever sistemas que se desenvolvem no tempo

de forma aleatria.

Conceitos Bsicos

Experimento aleatrios: so fenmenos (experimentos) que repetidos sob as mesmas condies apresentam

variaes em seus resultados, onde impossvel afirmar

exatamente o resultado que ocorrer.

Espao Amostral (S): o conjunto que contm todos os resultados possveis do experimento.

Evento: qualquer resultado de interesse para o experimento.

Reviso de Conjuntos

Conjunto definido como uma coleo de objetos.

Mtodo de enumerao:

Mtodo de descrio:

Os objetos so denominados elementos.

O elemento distinto

A ordem no importa

Algumas definies:

Ax

D

SD cA

AB

Reviso de Conjuntos

Operaes bsicas:

(Conjuntos disjuntos).

cBABA

AA cc SAA c

cAA

SSA

ASA

cS

Sc

BA

Reviso de Conjuntos

Propriedades:

I. Comutatividade:

II. Associatividade:

III. Distributividade:

Leis de Morgan:

a) .

b)

Conjuntos contveis (finitos e infinitos).

Conjuntos incontveis.

ABBA

CBACBA )()(

)()()( CABACBA

ccc BABA )(

ccc DCDC )(

Probabilidade

Evento um subconjunto do espao amostral.

Dois eventos, e , que no possam ocorrer conjuntamente so denominados mutuamente

exclusivos.

denominado evento certo.

denominado evento impossvel.

Os elementos em so denominados eventos elementares.

Exemplos de eventos.

A B

SSS ;

;S

,...,, 321 sssS

Probabilidade

Probabilidade uma funo que atribui um nmero entre 0 e 1 aos conjuntos.

Axiomas:

1. para cada evento

2.

3. Se so mutuamente exclusivos, ento

Exemplos.

(.)P

0)( EP E

1)( SP

kAAA ,...,, 21

k

i

ik APAAAP1

21 ...

Propriedades da Funo de

Probabilidade

.

.

.

Se e so eventos quaisquer,

Se , ento

Se so eventos quaisquer,

EPEP c 1 0P

10 APA B

)()()( BAPBPAPBAP

BA )()( BPAP

kAAA ,...,, 21

k

i

ik APAAAP1

21 ...


Probabilidade

Exerccio: O circuito chaveador consiste de duas chaves defeituosas, onde cada chave possui a probabilidade de 0,5 de fechar. A probabilidade das duas chaves fecharem de 0,25. Qual a probabilidade do circuito operar corretamente?


Probabilidade

Exerccio: Sendo ; e determine:

a)

b)

c)

9,0AP 8,0BP 75,0BAP

BAP

cBAP

cc BAP

Probabilidade com o Espao

Amostral Discreto

Seja finito e todos os seus elementos equiprovveis, isto , pode-se assumir que cada evento elementar tem a mesma probabilidade de ocorrncia.

Defini-se, para todo

onde o nmero de elementos no evento e o nmero de elementos no espao amostral.

S

SA

)(

)()(

Sn

AnAP

)(An )(Sn

Probabilidade com o Espao

Amostral Discreto

Exemplo: considere um experimento de lanar dois dados (idnticos e honestos) e observar os pontos obtidos em cada um.

a) Descreva o espao amostral do experimento.

b) Qual a probabilidade dos dados apresentarem iguais nmeros de pontos?

Exemplo: uma urna possui 3 bolas vermelhas e 2 bolas pretas. Calcule a probabilidade de em duas retiradas, com reposio da primeira bola, sair uma bola vermelha e depois uma bola preta. Obs.: a escolha equiprovvel.

Propriedade com o Espao

Amostral Discreto

Pode-se recorrer ao mtodos de contagem.

1. Permutao de objetos:

2. Arranjos: objetos de um conjunto com elementos

(a ordem diferencia).

3. Combinao: objetos de um conjunto com (a

ordem no diferencia).

n

12...)2()1(! nnnn

n N

)1(...)2()1()( nNNNNN nn N

)!(!

!

nNn

N

n

N

Existem situaes onde h interesse em conhecer a probabilidade de um evento , sob a condio de

ocorrncia de outro evento .

Definio: A probabilidade condicional da ocorrncia de dado que tenha ocorrido, dada por

, onde

Probabilidade marginal

Probabilidade conjunta

Probabilidade Condicional

A

AB

B

)(

)()|(

BP

BAPBAP

0)( BP

)(BP

)( BAP

Sejam uma partio de , isto , eventos em tais que

Sendo um outro evento qualquer em , ento

Teorema da Probabilidade Total

kAAA ,...,, 21 S

SA

jiAA

i

k

i

ji

1

,S

B S

)()|()(

)}({)(

1

1

i

k

i

i

i

k

i

APABPBP

ABPBP

Exemplo: Duas urnas contm diferentes propores de bolas vermelhas e pretas. A urna 1 possui a proporo de

bolas vermelhas e de bolas pretas. A urna 2 possui

proporo de e de bolas vermelhas e pretas,

respectivamente. Encontre a probabilidade de uma bola

vermelha ser selecionada.

Teorema da Probabilidade Total

1p)1( 1p

2p )1( 2p

Tm-se situaes em experimentos onde a ocorrncia de um evento no afeta a probabilidade da ocorrncia de um outro evento .

e

Definio: Diz-se que dois eventos e so independentes, se somente se,

Eventos independentes so diferentes de eventos mutuamente exclusivos.

Independncia de Eventos

AB

)()|( APBAP )()|( BPABP

A B

)()()( BPAPBAP

Teorema de Bayes

Da probabilidade condicional tem-se

e

Portanto,

Sendo uma partio e um evento qualquer de , pelo teorema da probabilidade total, tem-se

)(

)()|(

BP

BAPBAP

)(

)()|(

AP

BAPABP

)(

)()|()|(

AP

BPBAPABP

kBBB ,..., 21 AS

kj

BPBAP

BPBAPABP

k

i

ii

jj

j ,..,2,1,

)()|(

)()|()|(

1

Exemplo: Um teste de laboratrio efetivo em 95% dos casos (detectar corretamente a doena) e apresenta falso positivo em 1% dos casos (indicar falsamente a doena). Se em uma populao, onde 5% das pessoas tem a doena, uma pessoa selecionada ao acaso e submetida ao teste. a) Qual a probabilidade do resultado ser positivo?

b) Qual a probabilidade da pessoa ter doena se o teste for positivo?

Teorema de Bayes

Parte 2

Variveis Aleatrias

Em problemas reais, emprega-se modelos probabilsticos para descrever o comportamento de ocorrncias. As observaes so tratadas como resultantes de um experimento aleatrio e associa-se nmeros reais a cada resultado do experimento.

Definio: Uma varivel aleatria uma funo que associa um nmero real a cada elemento .

Variveis Aleatrias

(.)X)(sX Ss

O mapeamento pode ser um para um.

Variveis Aleatrias

O mapeamento pode ser de muitas amostras para uma.

Variveis Aleatrias

Variveis Aleatrias

Exemplo: Faa um desenho representando um mapeamento dos padres de pontos num dado, para os

nmeros 1,2,3,4,5,6.

Repetir o exemplo anterior, mapeando os lados com 1, 2 e 3 dots para o nmero 0 e os remanescentes lados para

o nmero 1.

Classificao de Variveis

Aleatrias

Discreta se o conjunto dos seus valores finito ou infinito contvel (enumervel).

Exemplo: Contar o nmero de vezes que o resultado igual a cara em M lanamentos de uma moeda.

Contnua se assume valores em um intervalo, ou uma coleo de intervalos, de nmeros reais.

Exemplo: Realizar experimentos para medir o consumo de energia na execuo de cdigos em sistemas

embarcados.

O objetivo obter as probabilidades da ocorrncia de valores de interesse para a varivel aleatria.

Para v.a discreta , com valores , definia a funo massa de probabilidade (f.m.p.).

para cada

Propriedades:

1.

2.

3.

Varivel Aleatria Discreta

X ,...,, 321 xxx

)()( iiX xXPxp ,...},,{ 321 xxxxi

,...3,2,1,1)(0 ixXP i,...3,2,1,,0)( ixxxXP i

i ixXP 1)(

Modelo de Bernoulli:

Experimentos que admitem apenas dois resultados possveis, definidos por

A varivel denominada v.a. de Bernoulli com parmetro , onde a f.m.p. dada por

Notao:

Importantes Funes Massa de

Probabilidade


Probabilidade

Exemplo: Considere o experimento de selecionar ao acaso uma pea em um lote com 96 peas boas e 4

defeituosas.


Probabilidade

Modelo Binomial

Em um experimento com dois resultados de interesse com repeties independentes com probabilidades constantes em

todas as repeties. Define-se a varivel aleatria por

A funo de massa de probabilidade dada por

Notao:


Probabilidade

Exemplo-1: Uma remessa de 800 estabilizadores de tenso recebida pelo controle de qualidade de uma

empresa. So inspecionados 20 aparelhos da remessa,

que ser aceita se ocorrer no mximo um defeituoso. H

80 defeituosos no lote. Qual a probabilidade de o lote

ser aceito?


Probabilidade

Exemplo-2: Acredita-se que 20% dos moradores das proximidades de uma grande indstria siderrgica tm

alergia aos poluentes lanados ao ar. Admitindo que

este percentual de alrgicos real (correto), calcule a

probabilidade de que pelo menos 4 moradores tenham

alergia entre 13 selecionados ao acaso.


Probabilidade

Modelo Geomtrico

Em um experimento com dois resultados de interesse com repeties independentes com probabilidades constantes em

todas as repeties. Define-se a varivel aleatria por


Notao:

Importantes Funes de Massa

de Probabilidade

Exemplo-1: Se uma varivel aleatria com , qual a probabilidade de ? 0.4219

Importantes Funes de Massa

de Probabilidade

Modelo de Poisson

Uma varivel aleatria com valores em


Notao:

Observao: a taxa mdia de ocorrncia do evento no intervalo considerado.

Modelo de Poisson

Exemplo-1: Suponha que Xt, o n de partculas emitidas em t horas por uma fonte radioativa, tenha uma

distribuio de Poisson com parmetro 20t. Qual ser a

probabilidade de que exatamente 5 partculas sejam

emitidas durante um perodo de 15 min?

Modelo de Poisson

Exemplo-2: Uma indstria de tintas recebe pedidos de seus vendedores atravs de fax, telefone e internet. A

taxa mdia de 5 pedidos por hora. (a) Qual a

probabilidade da indstria receber mais de dois pedidos

por hora? Digamos que, no horrio do almoo, a

indstria fica impossibilitada de atender a mais de dois

pedidos por hora. Voc acha que deveria aumentar o n

de atendentes nesse perodo? (b) Em um dia de

trabalho (8 horas) qual seria a probabilidade de haver 50

pedidos? A indstria deveria aumentar o n de

atendentes para receber mais de 50 pedidos por dia?

Modelo de Poisson

Exemplo-3: A chegada de nibus em um terminal acontece a razo de 3 por minuto. Supondo que tenha

uma distribuio de Poisson, determine a probabilidade

de:

a) chegarem exatamente 8 nibus em 2 minutos

b) chegarem exatamente 4 nibus em 5 minutos

Transformao de Variveis

Aleatrias

H em alguns experimentos interessante realizar uma transformao da varivel aleatria.

Seja uma transformao de tem-se que

Exemplo: Considere que os lados de um dado so rotulados com os nmeros 0,0,1,1,2,2. Encontre a f.m.p

dos resultados.

Funo de Distribuio

Acumulada

A funo de distribuio cumulativa (f.d.a.) descreve a funo de probabilidade de uma varivel aleatria:

Exemplo: Considere o experimento de lanar trs vezes um moeda honesta.

Obter o espao amostral para o experimento.

Considere a varivel aleatria igual ao nmero de caras.

, , a f.d.a. da varivel aleatria.

Funo de Distribuio

Acumulada

Funo de Distribuio

Acumulada - Propriedades

A funo de distribuio acumulada monotonicamente crescente

.

. Para

Esperana de uma Varivel

Aleatria Discreta

A esperana, ou valor mdio, de uma varivel aleatria definida por

Indica a regio dos valores da varivel aleatria com a maior concentrao de probabilidade.

Exemplo: Considere o experimento de lanar trs vezes um moeda. Defina a varivel aleatria como o nmero

de caras obtidos. Qual a esperana para o nmero de

caras?


Aleatria Discreta

Exemplo: Obtenha o valor esperado de uma varivel aleatria modelada por Bernoulli.

Exemplo: Obtenha o valor esperado de uma varivel aleatria Binomial.

Varincia de uma Varivel

Aleatria Discreta

A varincia de uma varivel aleatria discreta definida por

Utilizando a formula da esperana

Mede a disperso da distribuio da varivel aleatria em relao a esperana (valor mdio).


Aleatria Discreta

Exemplo: Obtenha a varincia d , onde o nmero de caras obtidos no experimento de lanar uma moeda trs vezes.

Obtenha a varincia de uma varivel aleatria modelada por Bernoulli.

Propriedades da Varincia e

Esperana

Variveis Aleatrias Contnuas

Definio: a varivel que assume valores em um intervalo, ou conjunto de intervalos, de nmero reais.

Exemplo: Realizar experimentos para medir a latncia na execuo de cdigos.


A descrio da varivel aleatria contnua dada pela funo densidade de probabilidade (f.d.p.)

Propriedades:


Exemplo: (a) Vamos testar a funo para ver se ela pode ser um f.d.p. vlida. (b) Suponha e

calcule a probabilidade do evento

Modelo Uniforme Contnuo

Uma varivel aleatria continua tem distribuio uniforme em se sua f.d.p. definida por

A funo constante em .

As probabilidades dos intervalos so proporcionais aos seus comprimentos.

Notao:

Modelo Uniforme Contnuo

Exemplo: Seja

Modelo Exponencial

Uma varivel aleatria continua tem distribuio exponencial se sua f.d.p. dada por

Pode ser utilizada para modelar o tempo de vida de componentes, durao de processos.

Notao:

Modelo Exponencial

Mostre que para e

Suponha que o tempo de durao de ligaes telefnicas em uma empresa que trabalha com vendas

pode ser modelada por .

Determine a probabilidade de:

A ligao demorar menos de 5 minutos?

A ligao demorar de cinco a dez minutos?

Modelo Gaussiano (Normal)

Uma varivel aleatria continua tem distribuio Gaussiana se sua f.d.p. definida por

onde e .

A distribuio simtrica em torno de .

O tamanho da densidade dado pelo valor de .

Considera-se como a distribuio mais importante.

Notao:


Exemplo: Se , calcule


Exemplo: O Saldo mdio dos clientes de um banco uma varivel aleatria normal com mdia R$ 2.000,00

de desvio padro R$ 250,00. Os clientes com os 10%

maiores saldos mdios recebem tratamento VIP,

enquanto aqueles com os 5% menores saldos sero

convidados a mudar de banco.

Quanto voc precisa de saldo mdio para se tornar um cliente VIP?

Abaixo de qual saldo mdio o cliente ser convidado a mudar de banco?


Uma mquina fabrica tubos metlicos cujos dimetros podem ser considerados uma varivel aleatria normal

com mdia 200mm e desvio padro 2 mm. Verifica-se

que 15% dos tubos esto sendo rejeitados como

grandes e 10% como pequenos

Quais so as tolerncias de especificao para esse dimetro?


Aleatria Contnua

Esperana (valor esperado) de uma varivel aleatria contnua, com f.d.p. , definida por

Caracteriza a regio central da distribuio de probabilidade da varivel aleatria contnua

Se a distribuio possuir um ponto de simetria, a esperana ser igual a este ponto.


Aleatria Contnua

Calcule o valor esperado de


Aleatria Contnua




Aleatria Contnua

A varincia de uma varivel aleatria contnua definida por

Calcule a varincia de

Mltiplas Variveis Aleatria

Discretas

O interesse medir mais que um atributo dos resultados.

Duas variveis aleatrias que so definidas no mesmo espao amostral so classificadas como

conjuntamente distribudas.


Discretas

Exemplo: Mapeamento do lanamento de duas moedas.


Discretas

As variveis aleatrias podem ser denominadas de vetor aleatrio .

Elementos do vetor aleatrio e tamanho do espao amostral:


Discretas

Funo Massa de probabilidade conjunta

Exemplo: Faa a f.m.p. conjunta de um lanamento de duas moedas.


Discretas

Mapeamento de um para um:

Mapeamento de mais de um para um:


Discretas

Exemplo: Lanamento de um dado azul e um vermelho. O dado que possuir o maior nmero escolhido. Se os

resultados forem iguais, o dado vermelho escolhido.

Qual a probabilidade de o dado vermelho ser

escolhido e o resultado ser igual a trs. Obs.: utilize

estas variveis aleatrias:


Discretas

Funo massa de probabilidade marginal:

Exemplo:


Discretas

Exemplo: Considere a f.m.p conjunta

Encontre as f.m.p. marginais.

Observe que e


Discretas

Funo de distribuio acumulada conjunta dada por

Escrevendo em funo do somatrio da f.m.p conjunta

As f.d.a marginais so dadas por:

Funo de Distribuio

Acumulada Conjunta

Propriedades:

. monotonicamente crescente quando e/ou aumenta.

Funo de Distribuio

Acumulada Conjunta

A f.m.p pode ser obtida por:

Exemplo:

Independncia de Mltiplas

Variveis Aleatrias

Se e variveis aleatrias independentes, ento

Exemplo: Lanamento de uma moeda de R$0,25 e R$1,00 onde as f.m.p

Transformao de Mltiplas

variveis aleatrias

Considere as variveis aleatrias e transformadas em

Exemplo: Considere (variveis independentes). Realize a transformao e encontre

f.m.p conjunta.

Transformao de Mltiplas

variveis aleatrias

Considere a transformao do vetor aleatrio na varivel aleatria . A f.m.p conjunta

Valor Esperado de g(x,y)

Seja um vetor aleatrio e uma funo real, ento

Exemplo: valor esperado da soma de variveis aleatrias

Exemplo: valor esperado do produto das variveis aleatrias

Valor Esperado de g(x,y)

Exemplo: calcule . Suponha

A varincia da soma no em geral a soma das varincias.

Novo conceito: Covarincia.

Covarincia

Definio: A covarincia entre duas variveis aleatrias definida por

Verifica a variabilidade conjunta entre as variveis aleatrias.

Valores positivos indicam que as variveis aleatrias tendem a crescer no mesmo sentido, e valores

negativos indicam sentidos opostos.

Expresso alternativa:

Covarincia

Exemplo: Encontre a covarincia da f.m.p. conjunta

Obtenha a covarincia da f.m.p conjunta

Coeficiente de Correlao

O coeficiente de correlao entre duas variveis aleatrias definido por

uma medida que quantifica a associao linear entre as variveis aleatrias

.

.

Coeficiente de Correlao

Exemplo: Obtenha o coeficiente de correlao entre as variveis aleatrias.

Funo Massa de Probabilidade

Condicional

Para e com distribuio conjunta discreta defini-se

Uma vez que so distribuies de probabilidade


Condicional

Exemplo: Resultado de lanamento de dois dados. Qual a f.m.p condicional da soma dos resultados dado que

a soma par?

Dado que a soma mpar?


Condicional

Algumas relaes

Probabilidade conjunta

Probabilidade marginal

Esperana Condicional

Definio:

Calcule a esperana condicional do exemplo do resultado de dois dado.


Condicional

Probabilidade Condicional:

Substituindo N por N-1:

Igualando as equaes:


Condicional

Regra da Cadeia:

Caso especial:

Propriedade de Markov:

Teorema Central do Limite

Sejam variveis aleatrias independentes e identicamente distribudas (iid), com mdia e

varincia finita. Seja , ento com ,

tem-se

Pelo teorema central do limite, a distribuio da soma de uma quantidade grande de variveis aleatria iid pode

ser aproximada por uma distribuio Normal, sem ser

necessrio conhecer a distribuio das variveis

aleatrias.

Teorema Central do Limite

Exemplo: Encontre uma aproximao para funo densidade de probabilidade da v.a. , se so iid

com

Encontre a probabilidade aproximada de exceder 7, se as so iid com f.d.p.

Reviso para Variveis

Aleatrias Contnuas

Funo de distribuio acumulada

Transformao:


Aleatrias Contnuas

Esperana:

Varincia:


Aleatrias Contnuas

Distribuio conjunta:

Probabilidade marginal:

Valor esperado de um vetor aleatrio


Aleatrias

Matriz de covarincia:

Se a matriz diagonal, ento as variveis so independentes.

Processos Estocsticos

Processo estocstico o mapeamento de , o qual um conjunto de seqncia infinitas de resultados, para , o

qual um conjunto de seqncia infinitas de nmeros.

Exemplo:

Notao: o processo e a realizao.


Exemplo: Processos de Bernoulli.


Exemplo: A probabilidade dos cinco primeiro resultados serem cara.

Exemplo: Lanamento de um dado, repetidamente. Quais so e ? Qual a funo massa de

probabilidade conjunta?


Tipos de processos Estocsticos:

Processos de Tempo Contnuo: A varivel pode alterar o seu valor em qualquer instante de tempo.

Processos de Tempo Discreto: A varivel altera o seu valor em intervalos fixos de tempo.

Varivel Continua: A varivel pode assumir qualquer valor dentro de um determinado intervalo.

Varivel Discreta: A varivel pode assumir apenas alguns valores discretos.


Random walk

onde

Qual a funo densidade de probabilidade para um n grande?


O processo estocstico pode ser classificado em:

Estacionrio (a estatstica no depende do tempo).

No-estacionrio (caso contrrio.)

Condio para o processo ser estacionrio:

Exemplo: Prove que um processo estocstico iid um caso especial de um processo estocstico estacionrio.


Os valores esperados das funes do processo estocstico devem ser estacionrios

Nos processos estocsticos estacionrios a esperana e a varincia so constantes no tempo.


Processo Random Walk

Soma de n variveis aleatrias iid

A distribuio de probabilidades das variveis

Exemplo: Qual a distribuio de probabilidade?

1

11][

kp

kpkpU


Processo estocstico estacionrio no sentido amplo (WSS- wide sense stationary)

Um processo estocstico definido como WSS se

como

Ento as condies equivalentes so


Se o processo estocstico WSS, pode-se definir a autocorrelao:

A autocorrelao mede a correlao entre duas amostras do mesmo processo estocstico.

Exemplo: Processo estocstico definido por

onde iid, com mdia e varincia


Propriedades da autocorrelao:

positiva para k=0.

uma sequncia par

O maior valor encontrado em k=0.

Exemplo: Um processo estoca. de Bernoulli onde os valores das variveis aleatrias so +1 e -1. Qual a

autocorrelao da seqncia?


O processo dito ergdico se sua mdia temporal igual a mdia do conjunto.


Densidade Espectral de Potncia (PSD Power Spectral Density).

Para um sinal determinstico os componentes espectrais so obtidos a partir da transformada de Fourier.

Para sinais WSS essa informao obtida a partir da PSD:


Exemplo: Encontre a PSD do sinal rudo branco definido por

Exemplo: Encontre a PSD do sinal definido por


Processos estocsticos Gaussianos:

Modela muitos sinais aleatrios.

Teorema central do limite

onde


Continuao

Notao


Processo estocstico de Poisson

Descreve o nmero de vezes que algum evento ocorreu em funo do tempo.

Definio:

Exemplo: Os clientes chegam na fila de um caixa a uma taxa de 0.1 clientes por segundo de acordo com um processo aleatrio

de Poisson. Determine a probabilidade de 5 clientes chegarem

durante o primeiro minuto da fila do caixa estar aberta.

Processos Estocasticos

Documents

Transcript of Processos Estocasticos