Fundamentos para processos estocásticos
-
Upload
matheus-galdino -
Category
Education
-
view
286 -
download
56
Transcript of Fundamentos para processos estocásticos
EA932 - Prof. Von Zuben DCA/FEEC/Unicamp
Tópico 8 - Fundamentos para Processos Estocásticos 1
Fundamentos para Processos Estocásticos
1 O papel da estatística na engenharia e na ciência
As teorias científicas lidam com conceitos, não com a realidade. Embora elas
sejam formuladas para corresponder à realidade, esta correspondência é
aproximada e a justificativa para todas as conclusões teóricas é baseada em
alguma forma de raciocínio indutivo.
Athanasios Papoulis
• métodos estatísticos fornecem ferramentas importantes para a engenharia, com
teor descritivo e analítico para operar com a variabilidade presente nos dados
observados.
• a estatística lida com a coleta, apresentação, análise e uso de dados em
tomada de decisão e na solução de problemas.
EA932 - Prof. Von Zuben DCA/FEEC/Unicamp
Tópico 8 - Fundamentos para Processos Estocásticos 2
• um estatístico usa as leis fundamentais da probabilidade e da inferência
estatística para elaborar conclusões acerca de determinado experimento.
• objetivo: descrever e modelar a variabilidade e tomar decisões na presença de
variabilidade (inferência estatística).
• fundamento: o modelo deve possuir ao menos um elemento intrinsecamente
aleatório.
• a variabilidade é resultante de mudanças nas condições sob as quais as
observações são feitas, de características do sistema de medidas e do processo
de amostragem.
• Exemplo: amostras de ganho de um transistor 5.10 / 5.24 / 5.13 / 5.19 / 5.08
! a informação contida nas amostras demonstra de forma conclusiva que o ganho do transistor é menor que 5.50?
! quanta confiança pode se ter de que o ganho no transistor está contido no intervalo [5.00, 5.30]?
EA932 - Prof. Von Zuben DCA/FEEC/Unicamp
Tópico 8 - Fundamentos para Processos Estocásticos 3
• estatística inferencial × estatística descritiva
• estatística inferencial: estimação pontual de parâmetros, estimação de
intervalos de confiança, teste de hipóteses.
• estatística descritiva: aplicação de métodos gráficos e numéricos na
organização e apresentação da informação em uma forma sucinta.
2 Probabilidade
• a probabilidade é a linguagem empregada na fundamentação matemática da
inferência estatística. Trata-se de uma disciplina exata e desenvolvida a partir
de um encadeamento lógico de deduções a partir de um conjunto de axiomas
claramente definidos.
• há uma óbvia quebra de continuidade entre os elementos de probabilidade
apresentados em cursos introdutórios e os conceitos sofisticados necessários
nas aplicações do dia-a-dia.
EA932 - Prof. Von Zuben DCA/FEEC/Unicamp
Tópico 8 - Fundamentos para Processos Estocásticos 4
• o importante é observar que, quando se aplica a teoria de probabilidade ao
mundo real, ela se mostra eficaz.
• Exemplo 1: as raízes da teoria de probabilidade estão associadas aos jogos de
azar, em Monte Carlo, no século 17.
• Exemplo 2: parte do sucesso da indústria japonesa é atribuída ao emprego de
métodos estatísticos na produção, gerenciamento e planejamento (não apenas
gerar relatórios, mas extrair conclusões ou inferências).
• Exemplo 3: Prévia Eleitoral (procedimento sistemático para elaboração do
experimento e coleta de dados)
coleção de todos os indivíduos (população) ↓
processo de amostragem ↓
inferência sobre toda a população
EA932 - Prof. Von Zuben DCA/FEEC/Unicamp
Tópico 8 - Fundamentos para Processos Estocásticos 5
2.1 Os conceitos de experimento, espaço amostral e evento
• experimento é o termo utilizado para indicar a realização de algo, ou a
observação de algo, que acontece sob certas condições, levando a um
resultado.
• ocasionalmente, a natureza de um experimento faz com que o seu resultado
seja definido unicamente pelas condições nas quais o experimento é realizado.
• na prática, todavia, observa-se que muitos experimentos não apresentam a
propriedade de repetitividade, mesmo sob condições supostamente idênticas.
• este é o caso quando existem fatores que influenciam o resultado, mas que não
são de conhecimento do experimentador ou que o experimentador não pode
controlar e, também, quando os fatores que supostamente estão sob controle,
na verdade não estão.
EA932 - Prof. Von Zuben DCA/FEEC/Unicamp
Tópico 8 - Fundamentos para Processos Estocásticos 6
• o resultado não pode, então, ser predito a partir do conhecimento das
“condições” sob as quais o experimento foi realizado. Neste caso, fala-se do
experimento como sendo um “experimento envolvendo o acaso” ou,
simplesmente, “experimento aleatório”.
• devido à imprevisibilidade ou ao elemento do acaso no experimento, o tipo de
modelo matemático usual envolvendo equações determinísticas é inadequado
e um novo tipo de estrutura matemática é necessário para representar os
fenômenos de interesse, denominados processos estocásticos.
• uma vez que o resultado do experimento não é previsível, ele vai ser um
dentre os muitos resultados possíveis.
• o espaço amostral de um experimento aleatório é o conjunto de todos os
resultados possíveis do experimento, sendo geralmente denotado por S.
EA932 - Prof. Von Zuben DCA/FEEC/Unicamp
Tópico 8 - Fundamentos para Processos Estocásticos 7
• normalmente, é interessante focalizar a atenção em subconjuntos do espaço
amostral S. Para tanto, define-se um evento como qualquer subconjunto E do
espaço amostral S (E ⊂ S).
2.2 Axiomas de probabilidade
• o ingrediente principal do modelo matemático de um experimento aleatório é
a noção de probabilidade, a qual formaliza o conceito de que alguns eventos
são mais verossímeis do que outros, em termos de suas freqüências de
ocorrência relativas.
• os axiomas de probabilidade permitem a manipulação de combinações de
eventos (eventos compostos);
• seja S um espaço amostral, seja ε uma classe que comporta todos os possíveis
eventos em S, e seja P uma função de valores reais definida em ε. Então P é
EA932 - Prof. Von Zuben DCA/FEEC/Unicamp
Tópico 8 - Fundamentos para Processos Estocásticos 8
denominada de função de probabilidade e EP é denominada de
probabilidade de E se os seguintes axiomas forem válidos:
Axioma 1: Para todo evento E, 10 ≤≤ EP .
O axioma 1 determina que a probabilidade de que o resultado de um
experimento é um ponto em E é algum número entre 0 e 1.
Axioma 2: 1=SP .
O axioma 2 determina que, com probabilidade igual a 1, o resultado será um
ponto no espaço amostral S.
Axioma 3: Para qualquer seqüência de eventos mutuamente exclusivos K,, 21 EE
(isto é, eventos para os quais ∅=∩ ji EE quando ji ≠ ),
∑∞
=
∞
==
11 ii
ii EPEP U
EA932 - Prof. Von Zuben DCA/FEEC/Unicamp
Tópico 8 - Fundamentos para Processos Estocásticos 9
• algumas proposições simples podem ser deduzidas a partir dos axiomas
enumerados acima:
Proposição 1: Dado que E e Ec são eventos sempre mutuamente exclusivos e,
visto que SEE c =∪ , pelos Axiomas 1 e 2 temos que:
cc EPEPEEPSP +=∪==1 .
• de forma equivalente, a equação acima pode ser escrita como:
EPEP c −= 1 .
• em palavras, a proposição 1 afirma que a probabilidade de um evento não
ocorrer é igual a 1 menos a probabilidade do evento ocorrer.
Proposição 2:
FEPFPEPFEP ∩−+=∪ .
EA932 - Prof. Von Zuben DCA/FEEC/Unicamp
Tópico 8 - Fundamentos para Processos Estocásticos 10
• para deduzir a fórmula para FEP ∪ é necessário lembrar que )( FE ∪ pode
ser escrito como a união de dois eventos disjuntos E e )( FE c ∩ . Assim,
utilizando o Axioma 3, temos que:
FEPEP
FEEPFEP
c
c
∩+=
∩∪=∪ )(
• além disto, como )()( FEFEF c ∩∪∩= , obtemos pelo Axioma 3 que:
FEPFEPFP c ∩+∩=
• ou, de forma equivalente:
FEPFPFEP c ∩−=∩ ,
completando assim a prova de que
FEPFPEPFEP ∩−+=∪ .
EA932 - Prof. Von Zuben DCA/FEEC/Unicamp
Tópico 8 - Fundamentos para Processos Estocásticos 11
• esta proposição pode também ser demonstrada utilizando o diagrama de Venn mostrado abaixo.
S
II IIII
FE
• as divisões no diagrama mostram três seções mutuamente exclusivas. Em
palavras, a seção I representa todos os pontos em E que não estão em F (isto é,
cFE ∩ ); a seção II representa todos os pontos que estão tanto em E quanto
em F (isto é, FE ∩ ), e a seção III representa todos os pontos em F que não
estão em E (isto é, FE c ∩ ).
EA932 - Prof. Von Zuben DCA/FEEC/Unicamp
Tópico 8 - Fundamentos para Processos Estocásticos 12
• do diagrama de Venn, observamos que:
IIIII
III
IIIIII
∪=∪=
∪∪=∪
F
E
FE
• como I, II e III são mutuamente exclusivos, temos pelo Axioma 3 que:
IIIII
III
IIIIII
PPFP
PPEP
PPPFEP
+=
+=
++=∪
• mostrando que
IIPFPEPFEP −+=∪ .
• visto que FE ∩=II , temos então:
FEPFPEPFEP ∩−+=∪ ,
que é conhecida como a lei de adição de probabilidades.
EA932 - Prof. Von Zuben DCA/FEEC/Unicamp
Tópico 8 - Fundamentos para Processos Estocásticos 13
• em palavras, pode ser expressa como:
A probabilidade do evento E ou do evento F ocorrer é a soma de
suas probabilidades em separado menos a probabilidade de ambos
ocorrerem. No caso dos eventos E e F serem mutuamente
exclusivos, eles não terão pontos em comum e, portanto,
0=∩ FEP . Neste caso, FPEPFEP +=∪ , como já
indicado pelo axioma 3.
• maiores detalhes sobre definições, axiomas, e exemplos envolvendo teoria de
probabilidade → consultar material de apoio (PAPOULIS, 1991, caps. 1 e 2)
EA932 - Prof. Von Zuben DCA/FEEC/Unicamp
Tópico 8 - Fundamentos para Processos Estocásticos 14
3 O conceito de variável aleatória
• ao se arremessar um dado, é sabido que o valor ξ da face que ficar para cima
vai ser um número entre 1 e 6, mas não é possível predizer este valor.
• quando uma lâmpada entra em operação, o seu tempo de vida ξ também não
pode ser predito.
• nestes dois casos, ξ é uma variável aleatória ou estocástica.
• ‘arremesso de dado’ e ‘lâmpada em operação’ são experimentos.
• o conjunto {1, 2, 3, 4, 5, 6} e o intervalo real de unidades de tempo [0, +∞)
são os espaços amostrais correspondentes.
• são eventos:
# número par na face que ficou para cima: E = {2, 4, 6};
# lâmpada com tempo de vida inferior a 400 unidades de tempo:
E = [0, 400).
EA932 - Prof. Von Zuben DCA/FEEC/Unicamp
Tópico 8 - Fundamentos para Processos Estocásticos 15
• logo, uma variável aleatória é uma função que aloca um ponto do espaço
amostral a cada resultado de um experimento aleatório. Dito de outro modo,
uma variável aleatória é uma função associada a um experimento, sendo que a
realização do experimento leva esta variável a assumir um valor dependente
do acaso, mas pertencente ao respectivo espaço amostral.
• cada vez que um experimento é realizado, o resultado obtido indica a
ocorrência ou não de um determinado evento (subconjunto do espaço
amostral).
• Formalização do conceito: Uma variável aleatória ξ é uma função com as
seguintes propriedades:
# ξ assume valores no espaço amostral S de um experimento;
# para todo evento E ⊂ S, a probabilidade de que ξ assuma um valor x ∈ E após a realização do experimento, dada por P⟨x ∈ E⟩ = P⟨E⟩, é bem definida (embora possa ser desconhecida).
EA932 - Prof. Von Zuben DCA/FEEC/Unicamp
Tópico 8 - Fundamentos para Processos Estocásticos 16
• como o evento pode ser qualquer, é possível considerar eventos do tipo: E ≡ x,
onde x ∈ S. Logo, temos que, para todo x ∈ S, a probabilidade de que ξ valha
x após a realização do experimento, dada por P⟨ξ = x⟩ = P⟨x⟩, é bem definida.
• dado que as probabilidades mencionadas acima são bem definidas, para toda
variável aleatória, então é sempre possível obter uma função distribuição de
probabilidade definida em todo o espaço amostral. Geralmente, se emprega a
função distribuição cumulativa de probabilidade. Para tal, seja x ∈ S e suponha
que E(z) = {x | x ≤ z}. Então, a função distribuição cumulativa de
probabilidade associada à variável aleatória ξ é dada na forma:
zxxPzEPzExPzF ≤==∈=ξ |)()()(
• apesar desta definição de função distribuição de probabilidade ser muito
genérica (atende a qualquer tipo de variável aleatória), apenas uma quantidade
reduzida de tipos de distribuição são verificados em aplicações práticas.
EA932 - Prof. Von Zuben DCA/FEEC/Unicamp
Tópico 8 - Fundamentos para Processos Estocásticos 17
• neste ponto do texto, o mais importante é dividir estes poucos tipos em duas
classes:
1. distribuições discretas: ocorrem em experimentos que requerem
contagem. Exemplos: pessoas com menos de 30 anos, mortes por câncer,
produtos com defeito.
2. distribuições contínuas: ocorrem em experimentos que requerem
medidas. Exemplos: tensão elétrica, pressão sangüínea, vazão de rio.
• para cada uma das duas classes, a respectiva função distribuição de
probabilidade )(⋅ξF terá sempre associada a si:
# uma função massa de probabilidade )(⋅ξf , no caso discreto;
# uma função densidade de probabilidade )(⋅ξf , no caso contínuo.
• deste modo, o conhecimento do comportamento de uma das funções, )(⋅ξF ou
)(⋅ξf , em todo o espaço amostral já é suficiente para se obter a outra função.
EA932 - Prof. Von Zuben DCA/FEEC/Unicamp
Tópico 8 - Fundamentos para Processos Estocásticos 18
3.1 Distribuições e variáveis aleatórias discretas
• uma variável aleatória ξ e sua distribuição de probabilidade são discretas se o
espaço amostral (onde ξ assume valores) contém apenas um número finito de
elementos ou um número infinito, mas contável, de elementos.
• neste caso, a função massa de probabilidade assume a forma:
==
=ξalhures0
...),2,1( se)(
jxzpzf
jj
e a correspondente função distribuição de probabilidade é dada por:
∑ ∑≤ ≤
ξξ ==
zxj
zxj
jj
j j
pxfzF
que tal
que tal
)()(
onde xj, j=1,2,..., são os elementos do espaço amostral.
• Exemplo: no caso de um dado não-viciado, a variável aleatória ξ, representando a face que ficar para cima após o arremesso do dado, tem as seguintes funções massa e distribuição de probabilidade:
EA932 - Prof. Von Zuben DCA/FEEC/Unicamp
Tópico 8 - Fundamentos para Processos Estocásticos 19
f ξ ( z )
1 3 4 5 62
16
F ξ ( z )
z1 3 4 5 62
12
1
z
EA932 - Prof. Von Zuben DCA/FEEC/Unicamp
Tópico 8 - Fundamentos para Processos Estocásticos 20
• em muitas aplicações, existe o interesse em medidas de probabilidade do tipo
rq xxP ≤ξ< , ou seja, a probabilidade de que ξ assuma qualquer valor no
intervalo rq xxx ≤< , onde xq e xr não precisam necessariamente ser
elementos de S. Da definição zxxPzF ≤=ξ |)( de função distribuição de
probabilidade, fica evidente que:
)()( qrrq xFxFxxP ξξ −=≤ξ< .
• como a variável aleatória ξ é discreta, resulta:
∑≤<
=≤ξ<
rjq xxxj
jrq pxxP
que tal
.
• uma conseqüência direta é o resultado a seguir:
1
que tal
=∑∈ Sx
jj
j
p
EA932 - Prof. Von Zuben DCA/FEEC/Unicamp
Tópico 8 - Fundamentos para Processos Estocásticos 21
3.2 Distribuições e variáveis aleatórias contínuas
• uma variável aleatória ξ e sua distribuição de probabilidade são contínuas se o
espaço amostral (onde ξ assume valores) contém um número infinito e
incontável de elementos.
• neste caso, valem as seguintes relações entre as funções distribuição )(⋅ξF e
densidade )(⋅ξf de probabilidade:
dz
zdFzf
)()( ξ
ξ = e ∫ ∞− ξξ =≤=z
dxxfzxxPzF )(|)(
• como no caso discreto, existe o interesse em medidas de probabilidade do tipo
rq xxP ≤ξ< , ou seja, a probabilidade de que ξ assuma qualquer valor no
intervalo rq xxx ≤< , onde xq e xr não precisam necessariamente ser
elementos de S. Da definição zxxPzF ≤=ξ |)( de função distribuição de
probabilidade, fica evidente que:
EA932 - Prof. Von Zuben DCA/FEEC/Unicamp
Tópico 8 - Fundamentos para Processos Estocásticos 22
)()( qrrq xFxFxxP ξξ −=≤ξ< .
• para uma variável aleatória ξ contínua, resulta:
∫ ξ=≤ξ< r
q
x
xrq dxxfxxP )( .
• uma conseqüência direta é o resultado a seguir:
1)( =∫∞+
∞− ξ dxxf
• Exemplo: uma variável aleatória ξ com distribuição normal tem as seguintes
funções densidade e distribuição de probabilidade:
fξ(z)
z
F ξ(z)
z
EA932 - Prof. Von Zuben DCA/FEEC/Unicamp
Tópico 8 - Fundamentos para Processos Estocásticos 23
3.3 Exemplos de funções densidade de probabilidade
• normal: uma variável aleatória contínua é chamada normal ou gaussiana se
sua densidade de probabilidade pode ser expressa na forma:
2
2
2
)(
21
)( ση−−
πσ=
z
ezf
• uniforme: uma variável aleatória contínua é chamada uniforme no intervalo
[x1,x2] se sua densidade de probabilidade pode ser expressa na forma:
≤≤
−=alhures0
se1
)(21
12
xzxxxzf
• binomial: uma variável aleatória discreta tem uma distribuição binomial de
ordem n se sua densidade de probabilidade pode ser expressa na forma:
EA932 - Prof. Von Zuben DCA/FEEC/Unicamp
Tópico 8 - Fundamentos para Processos Estocásticos 24
∑=
− −δ
=n
k
knk kzqpk
nzf
0
)()(
• Exemplos: sabendo que a probabilidade de um evento A ocorrer em um dado
experimento é p, a probabilidade deste evento A ocorrer k vezes em n ≥ k
experimentos (sob as mesmas condições) é dada por:
( ) knk ppk
nkAP −−
= 1 vezesocorrer
e a probabilidade deste evento A ocorrer até k vezes em n ≥ k experimentos
(sob as mesmas condições) é dada por:
( )∑=
−−
=k
r
rnr ppr
nkAP
0
1 vezes atéocorrer
EA932 - Prof. Von Zuben DCA/FEEC/Unicamp
Tópico 8 - Fundamentos para Processos Estocásticos 25
3.4 Média e variância da distribuição
• a função distribuição de probabilidade )(⋅ξF , ou equivalentemente a função
massa ou densidade de probabilidade )(⋅ξf , determinam completamente uma
variável aleatória. Sendo assim, parâmetros e propriedades (como simetria) da
variável aleatória podem ser obtidos a partir destas funções de probabilidade.
• dado o tipo de distribuição e na presença de simetria, a média e a variância
passam a descrever completamente a variável aleatória.
• Definição 1: o valor médio ou a média de uma variável aleatória ξ é dado por:
# ∑ ξ=ξj
jj xfx )( , para o caso discreto (o somatório é sobre todos os
valores possíveis de j);
# ∫∞+
∞− ξ=ξ dxxxf )( , para o caso contínuo.
• a média é também conhecida como esperança matemática: E[ξ] = ξ .
EA932 - Prof. Von Zuben DCA/FEEC/Unicamp
Tópico 8 - Fundamentos para Processos Estocásticos 26
• por hipótese, é suposto que a série (caso discreto) converge absolutamente e
que a integral (caso contínuo) existe (tem um valor finito).
• Definição 2: a distribuição é dita ser simétrica em relação a um valor c se
)()( zcfzcf −=+ .
• Teorema 1: Se uma distribuição é simétrica em relação a um valor c e tem
média ξ , então ξ = c.
• Definição 3: A variância de uma distribuição é denotada por σ2, sendo dada por:
# ( )∑ ξξ−=σj
jj xfx )(22 , para o caso discreto (o somatório é sobre todos
os valores possíveis de j);
# ( )∫∞+
∞− ξξ−=σ dxxfx )(22 , para o caso contínuo.
• por hipótese, é suposto que a série (caso discreto) converge absolutamente e
que a integral (caso contínuo) existe (tem um valor finito).
EA932 - Prof. Von Zuben DCA/FEEC/Unicamp
Tópico 8 - Fundamentos para Processos Estocásticos 27
• com exceção do caso em que f(z) = 1 em um único ponto e se anula alhures,
para o qual resulta σ2 = 0, em todos os outros casos, sempre vai ocorrer
σ2 > 0.
• Definição 4: A raiz quadrada da variância é denominada desvio padrão, tendo
por notação σ.
• como conseqüência, a variável aleatória
σξ−ξ=ξ N
tem média zero e variância unitária.
3.5 Momentos
• Definição 5: Para qualquer variável aleatória ξ e qualquer função contínua
g(⋅): ℜ → ℜ , a esperança matemática de g(ξ) é dada por:
EA932 - Prof. Von Zuben DCA/FEEC/Unicamp
Tópico 8 - Fundamentos para Processos Estocásticos 28
# [ ] ∑ ξ=ξj
jj xfxggE )()()( , para o caso discreto (o somatório é sobre
todos os valores possíveis de j);
# [ ] ∫∞+
∞− ξ=ξ dxxfxggE )()()( , para o caso contínuo.
• tomando ( ) kg ξ=ξ , k = 1, 2, ..., as esperanças matemáticas acima representam
o k-ésimo momento de ξ.
• tomando ( ) ( )kg ξ−ξ=ξ , k = 1, 2, ..., as esperanças matemáticas acima
representam o k-ésimo momento central de ξ.
• lembre-se que o operador esperança matemática é linear, ou seja:
# [ ] [ ] [ ]2121 xExExxE +=+ ;
# [ ] [ ]xExE α=α , com α determinístico e constante.
EA932 - Prof. Von Zuben DCA/FEEC/Unicamp
Tópico 8 - Fundamentos para Processos Estocásticos 29
4 Medidas amostrais
• média amostral (N amostras): ∑=
=N
kkx
Nx
1
1
• variância amostral: ( )∑=
−−
=σN
kk xx
N 1
22
11
• desvio padrão amostral: ( )∑=
−−
=σN
kk xx
N 1
2
11
• covariância amostral: ( )( )∑=
−−−
=σN
kjjkiikij xxxx
N 111
• coeficiente de correlação amostral: ji
ijijr
σσσ
=
EA932 - Prof. Von Zuben DCA/FEEC/Unicamp
Tópico 8 - Fundamentos para Processos Estocásticos 30
5 Probabilidade Condicional e a Regra de Bayes
• mesmo não sabendo qual ‘teoria’ do mundo é a correta, é necessário tomar
decisões, e elas estarão baseadas em alguma ‘teoria’ do mundo.
• como validar as ‘teorias’ do mundo a partir da experiência?
• dois conceitos são fundamentais aqui:
$ dado: instanciação de uma variável aleatória (ou vetor de variáveis
aleatórias);
$ hipótese: teoria de como o ‘mundo’ funciona.
• vamos trabalhar daqui em diante com um problema didático. Considere a
existência de 5 hipóteses para descrever o conteúdo de uma caixa enorme
repleta de bolas em seu interior (idealmente, o número de bolas deveria ser
infinito):
EA932 - Prof. Von Zuben DCA/FEEC/Unicamp
Tópico 8 - Fundamentos para Processos Estocásticos 31
$ h1: 100% das bolas são azuis; $ h2: 75% das bolas são azuis e 25% são vermelhas; $ h3: 50% das bolas são azuis e 50% são vermelhas; $ h4: 25% das bolas são azuis e 75% são vermelhas; $ h5: 100% das bolas são vermelhas.
• dada uma caixa, a variável aleatória H denota o tipo de caixa, podendo
assumir os ‘valores’ h1, h2, ..., h5.
• suponha que H não é diretamente observável (não há nenhum rótulo indicando
o tipo de caixa).
• quando as bolas são retiradas, dados são observados: d1, d2, ..., dN.
• cada dj, j=1,...,N, é uma variável aleatória que pode assumir os ‘valores’ azul
ou vermelha.
• se o número de bolas for infinito, então não há necessidade de reposição da
bola retirada. Caso contrário, a reposição é necessária.
• Tarefa: predizer a cor da próxima bola a partir dos dados já observados.
EA932 - Prof. Von Zuben DCA/FEEC/Unicamp
Tópico 8 - Fundamentos para Processos Estocásticos 32
• embora seja uma tarefa simples, é necessário inferir uma ‘teoria’ acerca de
como o mundo ‘funciona’.
• a inferência bayesiana indica a probabilidade de cada hipótese, a partir dos
dados já observados, e é o resultado do uso de todas as hipóteses, devidamente
ponderadas.
• repare que não se adota aqui a escolha da hipótese mais provável para se
executar a tarefa de predição. Logo, a predição se transforma em um problema
de inferência probabilística.
• seja [ ]TNddd L21=d o vetor de dados já observados. Pela regra de
Bayes, a probabilidade de cada hipótese é dada por:
iii hPhPhP dd α=
onde α é um fator de normalização definido de modo que 15
1
=∑=i
ihP d .
EA932 - Prof. Von Zuben DCA/FEEC/Unicamp
Tópico 8 - Fundamentos para Processos Estocásticos 33
• duas quantidades-chaves na abordagem bayesiana são:
$ probabilidade a priori de cada hipótese: ihP , tal que 15
1
=∑=i
ihP ;
$ probabilidade dos dados, condicionada à hipótese: ihP d .
• ihP indica o grau inicial de veracidade da hipótese.
• ihP d indica o quão bem os dados são explicados pela hipótese.
• dihP indica o novo grau de veracidade da hipótese, condicionada aos
dados, ou seja, o quão bem a hipótese é explicada pelos dados.
• supondo que as observações são i.i.d. (independently and identically
distributed), o que é bastante razoável quando o número de bolas tende a
infinito, então a probabilidade dos dados, condicionada à hipótese é dada por:
∏=
=N
jiji hdPhP
1
d
EA932 - Prof. Von Zuben DCA/FEEC/Unicamp
Tópico 8 - Fundamentos para Processos Estocásticos 34
• seja dN+1 a variável aleatória que indica a cor da próxima bola.
• a probabilidade desta variável assumir uma cor específica, condicionada aos
dados já observados, é dada por:
∑=
++ =5
111
iiNiN hdPhPdP dd
• a parcela iN hdP 1+ indica a probabilidade daquela cor específica ocorrer sob
a hipótese hi. E d1+NdP é a soma destas probabilidades ponderadas pelo
grau de veracidade da hipótese correspondente ( dihP ).
• em outras palavras, a probabilidade de uma cor específica é uma média
ponderada das probabilidades desta cor específica nas hipóteses individuais.
• com isso, as hipóteses representam apenas peças intermediárias entre os dados
observados e a predição da cor da próxima bola.
EA932 - Prof. Von Zuben DCA/FEEC/Unicamp
Tópico 8 - Fundamentos para Processos Estocásticos 35
Evolução das probabilidades supondo que todas as observações
correspondem a bolas vermelhas.
Probabilidades a priori: P⟨h1⟩=0.1 / P⟨h2⟩=0.2 / P⟨h3⟩=0.4 / P⟨h4⟩=0.2 / P⟨h5⟩=0.1
N
EA932 - Prof. Von Zuben DCA/FEEC/Unicamp
Tópico 8 - Fundamentos para Processos Estocásticos 36
Evolução da probabilidade de que a próxima bola seja vermelha, supondo
que todas as observações correspondem a bolas vermelhas.
N
EA932 - Prof. Von Zuben DCA/FEEC/Unicamp
Tópico 8 - Fundamentos para Processos Estocásticos 37
6 Referências
BULMER, M.G. “Principles of Statistics”, Dover, 1979.
DOS REIS, S.F. “Introdução ao Estudo de Probabilidade”, Notas de Aula do Curso de Genética Populacional
Teórica, IB/Unicamp, 2001.
EVANS, D.H. “Probability and Its Applications for Engineers”, ASQC Quality Press, 1992.
KREYSZIG, E. “Advanced Engineering Mathematics”, 7th edition, John Wiley & Sons, 1993.
LINDGREN, B.D. “Statistical Theory”, Macmillan Publishing Company, 1976.
LIPSCHUTZ, S. “Theory and Problems of Probability”, McGraw-Hill Book Company, 1965.
MARDIA, K.V., KENT, J.T. & BIBBY, J.M. “Multivariate Analysis”, Academic Press, 1979.
MONTGOMERY, D.C. & RUNGER, G.C. “Applied Statistics and Probability for Engineers”, John Wiley & Sons,
1994.
MOOD, A.M. & GRAYBILL, F.A. “Introduction to the Theory of Statistics”, McGraw-Hill Book Company, 1963.
PAPOULIS, A. “Probability, Random Variables, and Stochastic Processes”, Third Edition, McGraw-Hill, 1991.
ROSS, S. “A First Course in Probability”, Macmillan Publishing Company, 1984.
WALPOLE, R.E. & MYERS, R.H. “Probability and Statistics for Engineers and Scientists”, Fifth Edition,
Macmillan Publishing Company, 1993.