Fundamentos para processos estocásticos

19
EA932 - Prof. Von Zuben DCA/FEEC/Unicamp Tópico 8 - Fundamentos para Processos Estocásticos 1 Fundamentos para Processos Estocásticos 1 O papel da estatística na engenharia e na ciência As teorias científicas lidam com conceitos, não com a realidade. Embora elas sejam formuladas para corresponder à realidade, esta correspondência é aproximada e a justificativa para todas as conclusões teóricas é baseada em alguma forma de raciocínio indutivo. Athanasios Papoulis métodos estatísticos fornecem ferramentas importantes para a engenharia, com teor descritivo e analítico para operar com a variabilidade presente nos dados observados. a estatística lida com a coleta, apresentação, análise e uso de dados em tomada de decisão e na solução de problemas. EA932 - Prof. Von Zuben DCA/FEEC/Unicamp Tópico 8 - Fundamentos para Processos Estocásticos 2 um estatístico usa as leis fundamentais da probabilidade e da inferência estatística para elaborar conclusões acerca de determinado experimento. objetivo : descrever e modelar a variabilidade e tomar decisões na presença de variabilidade (inferência estatística). fundamento : o modelo deve possuir ao menos um elemento intrinsecamente aleatório. a variabilidade é resultante de mudanças nas condições sob as quais as observações são feitas, de características do sistema de medidas e do processo de amostragem. Exemplo : amostras de ganho de um transistor 5.10 / 5.24 / 5.13 / 5.19 / 5.08 ! a informação contida nas amostras demonstra de forma conclusiva que o ganho do transistor é menor que 5.50? ! quanta confiança pode se ter de que o ganho no transistor está contido no intervalo [5.00, 5.30]?

Transcript of Fundamentos para processos estocásticos

Page 1: Fundamentos para processos estocásticos

EA932 - Prof. Von Zuben DCA/FEEC/Unicamp

Tópico 8 - Fundamentos para Processos Estocásticos 1

Fundamentos para Processos Estocásticos

1 O papel da estatística na engenharia e na ciência

As teorias científicas lidam com conceitos, não com a realidade. Embora elas

sejam formuladas para corresponder à realidade, esta correspondência é

aproximada e a justificativa para todas as conclusões teóricas é baseada em

alguma forma de raciocínio indutivo.

Athanasios Papoulis

• métodos estatísticos fornecem ferramentas importantes para a engenharia, com

teor descritivo e analítico para operar com a variabilidade presente nos dados

observados.

• a estatística lida com a coleta, apresentação, análise e uso de dados em

tomada de decisão e na solução de problemas.

EA932 - Prof. Von Zuben DCA/FEEC/Unicamp

Tópico 8 - Fundamentos para Processos Estocásticos 2

• um estatístico usa as leis fundamentais da probabilidade e da inferência

estatística para elaborar conclusões acerca de determinado experimento.

• objetivo: descrever e modelar a variabilidade e tomar decisões na presença de

variabilidade (inferência estatística).

• fundamento: o modelo deve possuir ao menos um elemento intrinsecamente

aleatório.

• a variabilidade é resultante de mudanças nas condições sob as quais as

observações são feitas, de características do sistema de medidas e do processo

de amostragem.

• Exemplo: amostras de ganho de um transistor 5.10 / 5.24 / 5.13 / 5.19 / 5.08

! a informação contida nas amostras demonstra de forma conclusiva que o ganho do transistor é menor que 5.50?

! quanta confiança pode se ter de que o ganho no transistor está contido no intervalo [5.00, 5.30]?

Page 2: Fundamentos para processos estocásticos

EA932 - Prof. Von Zuben DCA/FEEC/Unicamp

Tópico 8 - Fundamentos para Processos Estocásticos 3

• estatística inferencial × estatística descritiva

• estatística inferencial: estimação pontual de parâmetros, estimação de

intervalos de confiança, teste de hipóteses.

• estatística descritiva: aplicação de métodos gráficos e numéricos na

organização e apresentação da informação em uma forma sucinta.

2 Probabilidade

• a probabilidade é a linguagem empregada na fundamentação matemática da

inferência estatística. Trata-se de uma disciplina exata e desenvolvida a partir

de um encadeamento lógico de deduções a partir de um conjunto de axiomas

claramente definidos.

• há uma óbvia quebra de continuidade entre os elementos de probabilidade

apresentados em cursos introdutórios e os conceitos sofisticados necessários

nas aplicações do dia-a-dia.

EA932 - Prof. Von Zuben DCA/FEEC/Unicamp

Tópico 8 - Fundamentos para Processos Estocásticos 4

• o importante é observar que, quando se aplica a teoria de probabilidade ao

mundo real, ela se mostra eficaz.

• Exemplo 1: as raízes da teoria de probabilidade estão associadas aos jogos de

azar, em Monte Carlo, no século 17.

• Exemplo 2: parte do sucesso da indústria japonesa é atribuída ao emprego de

métodos estatísticos na produção, gerenciamento e planejamento (não apenas

gerar relatórios, mas extrair conclusões ou inferências).

• Exemplo 3: Prévia Eleitoral (procedimento sistemático para elaboração do

experimento e coleta de dados)

coleção de todos os indivíduos (população) ↓

processo de amostragem ↓

inferência sobre toda a população

Page 3: Fundamentos para processos estocásticos

EA932 - Prof. Von Zuben DCA/FEEC/Unicamp

Tópico 8 - Fundamentos para Processos Estocásticos 5

2.1 Os conceitos de experimento, espaço amostral e evento

• experimento é o termo utilizado para indicar a realização de algo, ou a

observação de algo, que acontece sob certas condições, levando a um

resultado.

• ocasionalmente, a natureza de um experimento faz com que o seu resultado

seja definido unicamente pelas condições nas quais o experimento é realizado.

• na prática, todavia, observa-se que muitos experimentos não apresentam a

propriedade de repetitividade, mesmo sob condições supostamente idênticas.

• este é o caso quando existem fatores que influenciam o resultado, mas que não

são de conhecimento do experimentador ou que o experimentador não pode

controlar e, também, quando os fatores que supostamente estão sob controle,

na verdade não estão.

EA932 - Prof. Von Zuben DCA/FEEC/Unicamp

Tópico 8 - Fundamentos para Processos Estocásticos 6

• o resultado não pode, então, ser predito a partir do conhecimento das

“condições” sob as quais o experimento foi realizado. Neste caso, fala-se do

experimento como sendo um “experimento envolvendo o acaso” ou,

simplesmente, “experimento aleatório”.

• devido à imprevisibilidade ou ao elemento do acaso no experimento, o tipo de

modelo matemático usual envolvendo equações determinísticas é inadequado

e um novo tipo de estrutura matemática é necessário para representar os

fenômenos de interesse, denominados processos estocásticos.

• uma vez que o resultado do experimento não é previsível, ele vai ser um

dentre os muitos resultados possíveis.

• o espaço amostral de um experimento aleatório é o conjunto de todos os

resultados possíveis do experimento, sendo geralmente denotado por S.

Page 4: Fundamentos para processos estocásticos

EA932 - Prof. Von Zuben DCA/FEEC/Unicamp

Tópico 8 - Fundamentos para Processos Estocásticos 7

• normalmente, é interessante focalizar a atenção em subconjuntos do espaço

amostral S. Para tanto, define-se um evento como qualquer subconjunto E do

espaço amostral S (E ⊂ S).

2.2 Axiomas de probabilidade

• o ingrediente principal do modelo matemático de um experimento aleatório é

a noção de probabilidade, a qual formaliza o conceito de que alguns eventos

são mais verossímeis do que outros, em termos de suas freqüências de

ocorrência relativas.

• os axiomas de probabilidade permitem a manipulação de combinações de

eventos (eventos compostos);

• seja S um espaço amostral, seja ε uma classe que comporta todos os possíveis

eventos em S, e seja P uma função de valores reais definida em ε. Então P é

EA932 - Prof. Von Zuben DCA/FEEC/Unicamp

Tópico 8 - Fundamentos para Processos Estocásticos 8

denominada de função de probabilidade e EP é denominada de

probabilidade de E se os seguintes axiomas forem válidos:

Axioma 1: Para todo evento E, 10 ≤≤ EP .

O axioma 1 determina que a probabilidade de que o resultado de um

experimento é um ponto em E é algum número entre 0 e 1.

Axioma 2: 1=SP .

O axioma 2 determina que, com probabilidade igual a 1, o resultado será um

ponto no espaço amostral S.

Axioma 3: Para qualquer seqüência de eventos mutuamente exclusivos K,, 21 EE

(isto é, eventos para os quais ∅=∩ ji EE quando ji ≠ ),

∑∞

=

==

11 ii

ii EPEP U

Page 5: Fundamentos para processos estocásticos

EA932 - Prof. Von Zuben DCA/FEEC/Unicamp

Tópico 8 - Fundamentos para Processos Estocásticos 9

• algumas proposições simples podem ser deduzidas a partir dos axiomas

enumerados acima:

Proposição 1: Dado que E e Ec são eventos sempre mutuamente exclusivos e,

visto que SEE c =∪ , pelos Axiomas 1 e 2 temos que:

cc EPEPEEPSP +=∪==1 .

• de forma equivalente, a equação acima pode ser escrita como:

EPEP c −= 1 .

• em palavras, a proposição 1 afirma que a probabilidade de um evento não

ocorrer é igual a 1 menos a probabilidade do evento ocorrer.

Proposição 2:

FEPFPEPFEP ∩−+=∪ .

EA932 - Prof. Von Zuben DCA/FEEC/Unicamp

Tópico 8 - Fundamentos para Processos Estocásticos 10

• para deduzir a fórmula para FEP ∪ é necessário lembrar que )( FE ∪ pode

ser escrito como a união de dois eventos disjuntos E e )( FE c ∩ . Assim,

utilizando o Axioma 3, temos que:

FEPEP

FEEPFEP

c

c

∩+=

∩∪=∪ )(

• além disto, como )()( FEFEF c ∩∪∩= , obtemos pelo Axioma 3 que:

FEPFEPFP c ∩+∩=

• ou, de forma equivalente:

FEPFPFEP c ∩−=∩ ,

completando assim a prova de que

FEPFPEPFEP ∩−+=∪ .

Page 6: Fundamentos para processos estocásticos

EA932 - Prof. Von Zuben DCA/FEEC/Unicamp

Tópico 8 - Fundamentos para Processos Estocásticos 11

• esta proposição pode também ser demonstrada utilizando o diagrama de Venn mostrado abaixo.

S

II IIII

FE

• as divisões no diagrama mostram três seções mutuamente exclusivas. Em

palavras, a seção I representa todos os pontos em E que não estão em F (isto é,

cFE ∩ ); a seção II representa todos os pontos que estão tanto em E quanto

em F (isto é, FE ∩ ), e a seção III representa todos os pontos em F que não

estão em E (isto é, FE c ∩ ).

EA932 - Prof. Von Zuben DCA/FEEC/Unicamp

Tópico 8 - Fundamentos para Processos Estocásticos 12

• do diagrama de Venn, observamos que:

IIIII

III

IIIIII

∪=∪=

∪∪=∪

F

E

FE

• como I, II e III são mutuamente exclusivos, temos pelo Axioma 3 que:

IIIII

III

IIIIII

PPFP

PPEP

PPPFEP

+=

+=

++=∪

• mostrando que

IIPFPEPFEP −+=∪ .

• visto que FE ∩=II , temos então:

FEPFPEPFEP ∩−+=∪ ,

que é conhecida como a lei de adição de probabilidades.

Page 7: Fundamentos para processos estocásticos

EA932 - Prof. Von Zuben DCA/FEEC/Unicamp

Tópico 8 - Fundamentos para Processos Estocásticos 13

• em palavras, pode ser expressa como:

A probabilidade do evento E ou do evento F ocorrer é a soma de

suas probabilidades em separado menos a probabilidade de ambos

ocorrerem. No caso dos eventos E e F serem mutuamente

exclusivos, eles não terão pontos em comum e, portanto,

0=∩ FEP . Neste caso, FPEPFEP +=∪ , como já

indicado pelo axioma 3.

• maiores detalhes sobre definições, axiomas, e exemplos envolvendo teoria de

probabilidade → consultar material de apoio (PAPOULIS, 1991, caps. 1 e 2)

EA932 - Prof. Von Zuben DCA/FEEC/Unicamp

Tópico 8 - Fundamentos para Processos Estocásticos 14

3 O conceito de variável aleatória

• ao se arremessar um dado, é sabido que o valor ξ da face que ficar para cima

vai ser um número entre 1 e 6, mas não é possível predizer este valor.

• quando uma lâmpada entra em operação, o seu tempo de vida ξ também não

pode ser predito.

• nestes dois casos, ξ é uma variável aleatória ou estocástica.

• ‘arremesso de dado’ e ‘lâmpada em operação’ são experimentos.

• o conjunto {1, 2, 3, 4, 5, 6} e o intervalo real de unidades de tempo [0, +∞)

são os espaços amostrais correspondentes.

• são eventos:

# número par na face que ficou para cima: E = {2, 4, 6};

# lâmpada com tempo de vida inferior a 400 unidades de tempo:

E = [0, 400).

Page 8: Fundamentos para processos estocásticos

EA932 - Prof. Von Zuben DCA/FEEC/Unicamp

Tópico 8 - Fundamentos para Processos Estocásticos 15

• logo, uma variável aleatória é uma função que aloca um ponto do espaço

amostral a cada resultado de um experimento aleatório. Dito de outro modo,

uma variável aleatória é uma função associada a um experimento, sendo que a

realização do experimento leva esta variável a assumir um valor dependente

do acaso, mas pertencente ao respectivo espaço amostral.

• cada vez que um experimento é realizado, o resultado obtido indica a

ocorrência ou não de um determinado evento (subconjunto do espaço

amostral).

• Formalização do conceito: Uma variável aleatória ξ é uma função com as

seguintes propriedades:

# ξ assume valores no espaço amostral S de um experimento;

# para todo evento E ⊂ S, a probabilidade de que ξ assuma um valor x ∈ E após a realização do experimento, dada por P⟨x ∈ E⟩ = P⟨E⟩, é bem definida (embora possa ser desconhecida).

EA932 - Prof. Von Zuben DCA/FEEC/Unicamp

Tópico 8 - Fundamentos para Processos Estocásticos 16

• como o evento pode ser qualquer, é possível considerar eventos do tipo: E ≡ x,

onde x ∈ S. Logo, temos que, para todo x ∈ S, a probabilidade de que ξ valha

x após a realização do experimento, dada por P⟨ξ = x⟩ = P⟨x⟩, é bem definida.

• dado que as probabilidades mencionadas acima são bem definidas, para toda

variável aleatória, então é sempre possível obter uma função distribuição de

probabilidade definida em todo o espaço amostral. Geralmente, se emprega a

função distribuição cumulativa de probabilidade. Para tal, seja x ∈ S e suponha

que E(z) = {x | x ≤ z}. Então, a função distribuição cumulativa de

probabilidade associada à variável aleatória ξ é dada na forma:

zxxPzEPzExPzF ≤==∈=ξ |)()()(

• apesar desta definição de função distribuição de probabilidade ser muito

genérica (atende a qualquer tipo de variável aleatória), apenas uma quantidade

reduzida de tipos de distribuição são verificados em aplicações práticas.

Page 9: Fundamentos para processos estocásticos

EA932 - Prof. Von Zuben DCA/FEEC/Unicamp

Tópico 8 - Fundamentos para Processos Estocásticos 17

• neste ponto do texto, o mais importante é dividir estes poucos tipos em duas

classes:

1. distribuições discretas: ocorrem em experimentos que requerem

contagem. Exemplos: pessoas com menos de 30 anos, mortes por câncer,

produtos com defeito.

2. distribuições contínuas: ocorrem em experimentos que requerem

medidas. Exemplos: tensão elétrica, pressão sangüínea, vazão de rio.

• para cada uma das duas classes, a respectiva função distribuição de

probabilidade )(⋅ξF terá sempre associada a si:

# uma função massa de probabilidade )(⋅ξf , no caso discreto;

# uma função densidade de probabilidade )(⋅ξf , no caso contínuo.

• deste modo, o conhecimento do comportamento de uma das funções, )(⋅ξF ou

)(⋅ξf , em todo o espaço amostral já é suficiente para se obter a outra função.

EA932 - Prof. Von Zuben DCA/FEEC/Unicamp

Tópico 8 - Fundamentos para Processos Estocásticos 18

3.1 Distribuições e variáveis aleatórias discretas

• uma variável aleatória ξ e sua distribuição de probabilidade são discretas se o

espaço amostral (onde ξ assume valores) contém apenas um número finito de

elementos ou um número infinito, mas contável, de elementos.

• neste caso, a função massa de probabilidade assume a forma:

==

=ξalhures0

...),2,1( se)(

jxzpzf

jj

e a correspondente função distribuição de probabilidade é dada por:

∑ ∑≤ ≤

ξξ ==

zxj

zxj

jj

j j

pxfzF

que tal

que tal

)()(

onde xj, j=1,2,..., são os elementos do espaço amostral.

• Exemplo: no caso de um dado não-viciado, a variável aleatória ξ, representando a face que ficar para cima após o arremesso do dado, tem as seguintes funções massa e distribuição de probabilidade:

Page 10: Fundamentos para processos estocásticos

EA932 - Prof. Von Zuben DCA/FEEC/Unicamp

Tópico 8 - Fundamentos para Processos Estocásticos 19

f ξ ( z )

1 3 4 5 62

16

F ξ ( z )

z1 3 4 5 62

12

1

z

EA932 - Prof. Von Zuben DCA/FEEC/Unicamp

Tópico 8 - Fundamentos para Processos Estocásticos 20

• em muitas aplicações, existe o interesse em medidas de probabilidade do tipo

rq xxP ≤ξ< , ou seja, a probabilidade de que ξ assuma qualquer valor no

intervalo rq xxx ≤< , onde xq e xr não precisam necessariamente ser

elementos de S. Da definição zxxPzF ≤=ξ |)( de função distribuição de

probabilidade, fica evidente que:

)()( qrrq xFxFxxP ξξ −=≤ξ< .

• como a variável aleatória ξ é discreta, resulta:

∑≤<

=≤ξ<

rjq xxxj

jrq pxxP

que tal

.

• uma conseqüência direta é o resultado a seguir:

1

que tal

=∑∈ Sx

jj

j

p

Page 11: Fundamentos para processos estocásticos

EA932 - Prof. Von Zuben DCA/FEEC/Unicamp

Tópico 8 - Fundamentos para Processos Estocásticos 21

3.2 Distribuições e variáveis aleatórias contínuas

• uma variável aleatória ξ e sua distribuição de probabilidade são contínuas se o

espaço amostral (onde ξ assume valores) contém um número infinito e

incontável de elementos.

• neste caso, valem as seguintes relações entre as funções distribuição )(⋅ξF e

densidade )(⋅ξf de probabilidade:

dz

zdFzf

)()( ξ

ξ = e ∫ ∞− ξξ =≤=z

dxxfzxxPzF )(|)(

• como no caso discreto, existe o interesse em medidas de probabilidade do tipo

rq xxP ≤ξ< , ou seja, a probabilidade de que ξ assuma qualquer valor no

intervalo rq xxx ≤< , onde xq e xr não precisam necessariamente ser

elementos de S. Da definição zxxPzF ≤=ξ |)( de função distribuição de

probabilidade, fica evidente que:

EA932 - Prof. Von Zuben DCA/FEEC/Unicamp

Tópico 8 - Fundamentos para Processos Estocásticos 22

)()( qrrq xFxFxxP ξξ −=≤ξ< .

• para uma variável aleatória ξ contínua, resulta:

∫ ξ=≤ξ< r

q

x

xrq dxxfxxP )( .

• uma conseqüência direta é o resultado a seguir:

1)( =∫∞+

∞− ξ dxxf

• Exemplo: uma variável aleatória ξ com distribuição normal tem as seguintes

funções densidade e distribuição de probabilidade:

fξ(z)

z

F ξ(z)

z

Page 12: Fundamentos para processos estocásticos

EA932 - Prof. Von Zuben DCA/FEEC/Unicamp

Tópico 8 - Fundamentos para Processos Estocásticos 23

3.3 Exemplos de funções densidade de probabilidade

• normal: uma variável aleatória contínua é chamada normal ou gaussiana se

sua densidade de probabilidade pode ser expressa na forma:

2

2

2

)(

21

)( ση−−

πσ=

z

ezf

• uniforme: uma variável aleatória contínua é chamada uniforme no intervalo

[x1,x2] se sua densidade de probabilidade pode ser expressa na forma:

≤≤

−=alhures0

se1

)(21

12

xzxxxzf

• binomial: uma variável aleatória discreta tem uma distribuição binomial de

ordem n se sua densidade de probabilidade pode ser expressa na forma:

EA932 - Prof. Von Zuben DCA/FEEC/Unicamp

Tópico 8 - Fundamentos para Processos Estocásticos 24

∑=

− −δ

=n

k

knk kzqpk

nzf

0

)()(

• Exemplos: sabendo que a probabilidade de um evento A ocorrer em um dado

experimento é p, a probabilidade deste evento A ocorrer k vezes em n ≥ k

experimentos (sob as mesmas condições) é dada por:

( ) knk ppk

nkAP −−

= 1 vezesocorrer

e a probabilidade deste evento A ocorrer até k vezes em n ≥ k experimentos

(sob as mesmas condições) é dada por:

( )∑=

−−

=k

r

rnr ppr

nkAP

0

1 vezes atéocorrer

Page 13: Fundamentos para processos estocásticos

EA932 - Prof. Von Zuben DCA/FEEC/Unicamp

Tópico 8 - Fundamentos para Processos Estocásticos 25

3.4 Média e variância da distribuição

• a função distribuição de probabilidade )(⋅ξF , ou equivalentemente a função

massa ou densidade de probabilidade )(⋅ξf , determinam completamente uma

variável aleatória. Sendo assim, parâmetros e propriedades (como simetria) da

variável aleatória podem ser obtidos a partir destas funções de probabilidade.

• dado o tipo de distribuição e na presença de simetria, a média e a variância

passam a descrever completamente a variável aleatória.

• Definição 1: o valor médio ou a média de uma variável aleatória ξ é dado por:

# ∑ ξ=ξj

jj xfx )( , para o caso discreto (o somatório é sobre todos os

valores possíveis de j);

# ∫∞+

∞− ξ=ξ dxxxf )( , para o caso contínuo.

• a média é também conhecida como esperança matemática: E[ξ] = ξ .

EA932 - Prof. Von Zuben DCA/FEEC/Unicamp

Tópico 8 - Fundamentos para Processos Estocásticos 26

• por hipótese, é suposto que a série (caso discreto) converge absolutamente e

que a integral (caso contínuo) existe (tem um valor finito).

• Definição 2: a distribuição é dita ser simétrica em relação a um valor c se

)()( zcfzcf −=+ .

• Teorema 1: Se uma distribuição é simétrica em relação a um valor c e tem

média ξ , então ξ = c.

• Definição 3: A variância de uma distribuição é denotada por σ2, sendo dada por:

# ( )∑ ξξ−=σj

jj xfx )(22 , para o caso discreto (o somatório é sobre todos

os valores possíveis de j);

# ( )∫∞+

∞− ξξ−=σ dxxfx )(22 , para o caso contínuo.

• por hipótese, é suposto que a série (caso discreto) converge absolutamente e

que a integral (caso contínuo) existe (tem um valor finito).

Page 14: Fundamentos para processos estocásticos

EA932 - Prof. Von Zuben DCA/FEEC/Unicamp

Tópico 8 - Fundamentos para Processos Estocásticos 27

• com exceção do caso em que f(z) = 1 em um único ponto e se anula alhures,

para o qual resulta σ2 = 0, em todos os outros casos, sempre vai ocorrer

σ2 > 0.

• Definição 4: A raiz quadrada da variância é denominada desvio padrão, tendo

por notação σ.

• como conseqüência, a variável aleatória

σξ−ξ=ξ N

tem média zero e variância unitária.

3.5 Momentos

• Definição 5: Para qualquer variável aleatória ξ e qualquer função contínua

g(⋅): ℜ → ℜ , a esperança matemática de g(ξ) é dada por:

EA932 - Prof. Von Zuben DCA/FEEC/Unicamp

Tópico 8 - Fundamentos para Processos Estocásticos 28

# [ ] ∑ ξ=ξj

jj xfxggE )()()( , para o caso discreto (o somatório é sobre

todos os valores possíveis de j);

# [ ] ∫∞+

∞− ξ=ξ dxxfxggE )()()( , para o caso contínuo.

• tomando ( ) kg ξ=ξ , k = 1, 2, ..., as esperanças matemáticas acima representam

o k-ésimo momento de ξ.

• tomando ( ) ( )kg ξ−ξ=ξ , k = 1, 2, ..., as esperanças matemáticas acima

representam o k-ésimo momento central de ξ.

• lembre-se que o operador esperança matemática é linear, ou seja:

# [ ] [ ] [ ]2121 xExExxE +=+ ;

# [ ] [ ]xExE α=α , com α determinístico e constante.

Page 15: Fundamentos para processos estocásticos

EA932 - Prof. Von Zuben DCA/FEEC/Unicamp

Tópico 8 - Fundamentos para Processos Estocásticos 29

4 Medidas amostrais

• média amostral (N amostras): ∑=

=N

kkx

Nx

1

1

• variância amostral: ( )∑=

−−

=σN

kk xx

N 1

22

11

• desvio padrão amostral: ( )∑=

−−

=σN

kk xx

N 1

2

11

• covariância amostral: ( )( )∑=

−−−

=σN

kjjkiikij xxxx

N 111

• coeficiente de correlação amostral: ji

ijijr

σσσ

=

EA932 - Prof. Von Zuben DCA/FEEC/Unicamp

Tópico 8 - Fundamentos para Processos Estocásticos 30

5 Probabilidade Condicional e a Regra de Bayes

• mesmo não sabendo qual ‘teoria’ do mundo é a correta, é necessário tomar

decisões, e elas estarão baseadas em alguma ‘teoria’ do mundo.

• como validar as ‘teorias’ do mundo a partir da experiência?

• dois conceitos são fundamentais aqui:

$ dado: instanciação de uma variável aleatória (ou vetor de variáveis

aleatórias);

$ hipótese: teoria de como o ‘mundo’ funciona.

• vamos trabalhar daqui em diante com um problema didático. Considere a

existência de 5 hipóteses para descrever o conteúdo de uma caixa enorme

repleta de bolas em seu interior (idealmente, o número de bolas deveria ser

infinito):

Page 16: Fundamentos para processos estocásticos

EA932 - Prof. Von Zuben DCA/FEEC/Unicamp

Tópico 8 - Fundamentos para Processos Estocásticos 31

$ h1: 100% das bolas são azuis; $ h2: 75% das bolas são azuis e 25% são vermelhas; $ h3: 50% das bolas são azuis e 50% são vermelhas; $ h4: 25% das bolas são azuis e 75% são vermelhas; $ h5: 100% das bolas são vermelhas.

• dada uma caixa, a variável aleatória H denota o tipo de caixa, podendo

assumir os ‘valores’ h1, h2, ..., h5.

• suponha que H não é diretamente observável (não há nenhum rótulo indicando

o tipo de caixa).

• quando as bolas são retiradas, dados são observados: d1, d2, ..., dN.

• cada dj, j=1,...,N, é uma variável aleatória que pode assumir os ‘valores’ azul

ou vermelha.

• se o número de bolas for infinito, então não há necessidade de reposição da

bola retirada. Caso contrário, a reposição é necessária.

• Tarefa: predizer a cor da próxima bola a partir dos dados já observados.

EA932 - Prof. Von Zuben DCA/FEEC/Unicamp

Tópico 8 - Fundamentos para Processos Estocásticos 32

• embora seja uma tarefa simples, é necessário inferir uma ‘teoria’ acerca de

como o mundo ‘funciona’.

• a inferência bayesiana indica a probabilidade de cada hipótese, a partir dos

dados já observados, e é o resultado do uso de todas as hipóteses, devidamente

ponderadas.

• repare que não se adota aqui a escolha da hipótese mais provável para se

executar a tarefa de predição. Logo, a predição se transforma em um problema

de inferência probabilística.

• seja [ ]TNddd L21=d o vetor de dados já observados. Pela regra de

Bayes, a probabilidade de cada hipótese é dada por:

iii hPhPhP dd α=

onde α é um fator de normalização definido de modo que 15

1

=∑=i

ihP d .

Page 17: Fundamentos para processos estocásticos

EA932 - Prof. Von Zuben DCA/FEEC/Unicamp

Tópico 8 - Fundamentos para Processos Estocásticos 33

• duas quantidades-chaves na abordagem bayesiana são:

$ probabilidade a priori de cada hipótese: ihP , tal que 15

1

=∑=i

ihP ;

$ probabilidade dos dados, condicionada à hipótese: ihP d .

• ihP indica o grau inicial de veracidade da hipótese.

• ihP d indica o quão bem os dados são explicados pela hipótese.

• dihP indica o novo grau de veracidade da hipótese, condicionada aos

dados, ou seja, o quão bem a hipótese é explicada pelos dados.

• supondo que as observações são i.i.d. (independently and identically

distributed), o que é bastante razoável quando o número de bolas tende a

infinito, então a probabilidade dos dados, condicionada à hipótese é dada por:

∏=

=N

jiji hdPhP

1

d

EA932 - Prof. Von Zuben DCA/FEEC/Unicamp

Tópico 8 - Fundamentos para Processos Estocásticos 34

• seja dN+1 a variável aleatória que indica a cor da próxima bola.

• a probabilidade desta variável assumir uma cor específica, condicionada aos

dados já observados, é dada por:

∑=

++ =5

111

iiNiN hdPhPdP dd

• a parcela iN hdP 1+ indica a probabilidade daquela cor específica ocorrer sob

a hipótese hi. E d1+NdP é a soma destas probabilidades ponderadas pelo

grau de veracidade da hipótese correspondente ( dihP ).

• em outras palavras, a probabilidade de uma cor específica é uma média

ponderada das probabilidades desta cor específica nas hipóteses individuais.

• com isso, as hipóteses representam apenas peças intermediárias entre os dados

observados e a predição da cor da próxima bola.

Page 18: Fundamentos para processos estocásticos

EA932 - Prof. Von Zuben DCA/FEEC/Unicamp

Tópico 8 - Fundamentos para Processos Estocásticos 35

Evolução das probabilidades supondo que todas as observações

correspondem a bolas vermelhas.

Probabilidades a priori: P⟨h1⟩=0.1 / P⟨h2⟩=0.2 / P⟨h3⟩=0.4 / P⟨h4⟩=0.2 / P⟨h5⟩=0.1

N

EA932 - Prof. Von Zuben DCA/FEEC/Unicamp

Tópico 8 - Fundamentos para Processos Estocásticos 36

Evolução da probabilidade de que a próxima bola seja vermelha, supondo

que todas as observações correspondem a bolas vermelhas.

N

Page 19: Fundamentos para processos estocásticos

EA932 - Prof. Von Zuben DCA/FEEC/Unicamp

Tópico 8 - Fundamentos para Processos Estocásticos 37

6 Referências

BULMER, M.G. “Principles of Statistics”, Dover, 1979.

DOS REIS, S.F. “Introdução ao Estudo de Probabilidade”, Notas de Aula do Curso de Genética Populacional

Teórica, IB/Unicamp, 2001.

EVANS, D.H. “Probability and Its Applications for Engineers”, ASQC Quality Press, 1992.

KREYSZIG, E. “Advanced Engineering Mathematics”, 7th edition, John Wiley & Sons, 1993.

LINDGREN, B.D. “Statistical Theory”, Macmillan Publishing Company, 1976.

LIPSCHUTZ, S. “Theory and Problems of Probability”, McGraw-Hill Book Company, 1965.

MARDIA, K.V., KENT, J.T. & BIBBY, J.M. “Multivariate Analysis”, Academic Press, 1979.

MONTGOMERY, D.C. & RUNGER, G.C. “Applied Statistics and Probability for Engineers”, John Wiley & Sons,

1994.

MOOD, A.M. & GRAYBILL, F.A. “Introduction to the Theory of Statistics”, McGraw-Hill Book Company, 1963.

PAPOULIS, A. “Probability, Random Variables, and Stochastic Processes”, Third Edition, McGraw-Hill, 1991.

ROSS, S. “A First Course in Probability”, Macmillan Publishing Company, 1984.

WALPOLE, R.E. & MYERS, R.H. “Probability and Statistics for Engineers and Scientists”, Fifth Edition,

Macmillan Publishing Company, 1993.