Post on 17-Nov-2020
introdução 1. o problema do farol 2. detecção de uma linha espectral 3. modelos gerativos 4. ABC 4. modelos hierárquicos exercícios
AGA 0505- Análise de Dados em Astronomia I
9. Inferência Bayesiana de Parâmetros - II
Laerte Sodré Jr.
1o. semestre, 2020
1 / 23
introdução 1. o problema do farol 2. detecção de uma linha espectral 3. modelos gerativos 4. ABC 4. modelos hierárquicos exercícios
aula de hoje:
1. o problema do farol2. detecção de uma linha espectral3. modelos gerativos4. ABC: approximate bayesian computation5. modelos hierárquicos
By a small sample we may judge of the whole piece.
Dom Quixote, Miguel de Cervantes
2 / 23
introdução 1. o problema do farol 2. detecção de uma linha espectral 3. modelos gerativos 4. ABC 4. modelos hierárquicos exercícios
o problema do farol
Sivia & Skilling, sec. 2.4 (Gull, 1988)• um farol está em uma posição α ao
longo de uma costa reta e a umadistância β no mar;• girando, ele emite uma série de pulsos
curtos altamente colimados emintervalos de tempo aleatórios (eportanto em azimutes θ tambémaleatórios);• N destes pulsos são detectados por
sensores na costa, mas só as posições{xk}, não as direções:
onde está o farol?
• objetivo: determinarp(α, β|{xk}) ∝ p({xk}|α, β)p(α, β)
θk
mar
costa
β
αx
xk
farol
3 / 23
introdução 1. o problema do farol 2. detecção de uma linha espectral 3. modelos gerativos 4. ABC 4. modelos hierárquicos exercícios
o problema do farol
• é razoável se atribuir um prior uniformepara o ângulo θ associado às medidasxk;• como para o pulso ser detectado ele
deve ter sido emitido com −π2 ≤ θk ≤ π
2 ,temos
p(θk|α, β) =1π
(−π2< θk <
π
2)
• da geometria do problema:
tgθ = (x− α)/β
• mudança de variáveis:|p(x)dx| = |p(θ)dθ|• derivando em relação a x:
d tgθdθ = sec2 θ = 1
βdxdθ
dθdx = 1
β sec2 θ= 1
β(1+ tg2θ)= β
β2+(x−α)2
• logo, p(x|α, β) = p(θ|α, β)
∣∣∣∣∣ dθdx
∣∣∣∣∣ou p(x|α, β) = β
π[β2+(x−α)2]
distribuição de Cauchy(ou Lorentziana)
4 / 23
introdução 1. o problema do farol 2. detecção de uma linha espectral 3. modelos gerativos 4. ABC 4. modelos hierárquicos exercícios
o problema do farol
• distribuição de Cauchy
p(x|α, β) = β
π[β2 + (x− α)2]
distribuição simétrica em relação a α e comFWHM = 2β
• vamos adotar priores não informativos paraα e β
• nesse caso o posterior é proporcional àverossimilhança:
p(α, β|{xk}) ∝ p({xk}|α, β)
• a verossimilhança é dada por:
p({xk}|α, β) =N∏
k=1
p(xk|α, β)5 / 23
introdução 1. o problema do farol 2. detecção de uma linha espectral 3. modelos gerativos 4. ABC 4. modelos hierárquicos exercícios
o problema do farol
• log do posterior:
ln p(α, β|{xk}) = cte +N lnβ−N∑
k=1
ln[β2+(xk−α)2]
• exemplo: simulação MCMC comN = 100, α = 0.5, β = 1.5
6 / 23
introdução 1. o problema do farol 2. detecção de uma linha espectral 3. modelos gerativos 4. ABC 4. modelos hierárquicos exercícios
detecção de uma linha espectral
• vamos considerar uma linha espectralgaussiana de comprimento de onda centralµ conhecido sobre um fundo (background)uniforme em um intervalo W
• verossimilhança:
P(xi|µ, σ,A,W) =A√
2πσexp
[−
(xi − µ)2
2σ2
]+
1− A
W
com 0 < xi < W e 0 ≤ A ≤ 1
• parâmetros: A e σ
• priores uniformes: 0 ≤ A ≤ 1 e 0 < σ < σmax
• simulação dos dados: MC- para cada xiresolve-se a equação
γ −∫ xi
0P(x|µ, σ,A,W)dx = 0
onde γ é um número aleatóriouniformemente distribuído entre 0 e 1
7 / 23
introdução 1. o problema do farol 2. detecção de uma linha espectral 3. modelos gerativos 4. ABC 4. modelos hierárquicos exercícios
detecção de uma linha espectral
• linha espectral gaussiana:
P(xi|µ, σ,A,W) =A√2πσ
exp
[−(xi − µ)2
2σ2
]+
1− AW
• exemplo (Ivezic et al., MLA, sec. 5.6.5):A = 0.5, σ = 1, µ = 5, W = 10,σmax = 3, N = 200
• MCMC: A = 0.59± 0.07, σ = 1.05± 0.16
8 / 23
introdução 1. o problema do farol 2. detecção de uma linha espectral 3. modelos gerativos 4. ABC 4. modelos hierárquicos exercícios
modelos gerativos
• modelos gerativos: inferência baseadaem simulações dos dados• simulamos parâmetros a partir de um
prior, P(w), usamos esses parâmetrospara simular “dados”, e usamos osdados simulados para estimar osparâmetros• exemplo: vamos supor que os dados
D = {xi, σxi, yi, σyi} sejam realizações de“dados verdadeiros” {xT
i , yTi }, tal que
yT = a + bxT,com erros em x e em y (σxi, σyi)
• objetivo: estimar o posterior dosparâmetros w = {a, b}
• exemplo de modelo gerativo:gero dados a partir dos prioresxT
i ∼ N(xi, σxi) yTi ∼ N(yi, σyi)
• o posterior de w pode então serdeterminado com os priores desejados:P(w|D) ∝ P(D|w)P(w),comlogP(D|w) ∝ −1
2∑
i
(yT
i − a− bxTi
)2
9 / 23
introdução 1. o problema do farol 2. detecção de uma linha espectral 3. modelos gerativos 4. ABC 4. modelos hierárquicos exercícios
modelos gerativos
• exemplo: relação entre a massa doburaco negro central e a dispersão develocidades central das galáxias:
logM•M�
= a + b× logσv
σ0
σ0 = 200 km/s: valor de referência(inspirado em BMAD, sec. 10.1)
• dados de Harris et al. (2013)
• implementação com MCMC
10 / 23
introdução 1. o problema do farol 2. detecção de uma linha espectral 3. modelos gerativos 4. ABC 4. modelos hierárquicos exercícios
ABC: Approximate Bayesian Computation
• objetivo: estimar o posterior dos parâmetrosde um modelo sem calcular(necessariamente) a verossimilhança masusando um processo gerativo de gerardados a partir de parâmetros, f (x|w)
• porquê? há situações onde averossimilhança é intratávelexemplo: estimar parâmetros cosmológicosdiretamente da distribuição de galáxias noespaço; comparação de observações esimulações
• como proceder? ao invés de se comparar osdados (e.g. posições de galáxias)diretamente, pode-se comparar estatísticasque “resumem” propriedades importantesdos dados tanto nas observações quantonas simulações
• exemplos: distância média entre galáxias,variância do número de galáxias em esferasde raio 8 Mpc, ...
11 / 23
introdução 1. o problema do farol 2. detecção de uma linha espectral 3. modelos gerativos 4. ABC 4. modelos hierárquicos exercícios
ABC: Approximate Bayesian Computation
• objetivo: estimar o posterior dos parâmetrosw de um modelo, P(w|D), usando umprocesso de gerar dados a partir deparâmetros, f (x|w)
• consideramos uma certa “tolerância” paraaceitar ou não os dados simulados
• algoritmo ABC:
• 1. amostre wprop do prior P(w)
• 2. simule dados Dprop com wprop
• 3. calcule as estatísticas quesumarizam os dados:xprop =resumo(wprop)
• 4. aceite wprop se |xprop − xobs| < ε(tolerância)
• 5. retorne a 1
• atenção: em geral (mas nem sempre),
• dados contínuos: tolerância ε > 0• dados discretos: tolerância ε = 0
12 / 23
introdução 1. o problema do farol 2. detecção de uma linha espectral 3. modelos gerativos 4. ABC 4. modelos hierárquicos exercícios
exemplo: estimativa de uma distribuição binomial por ABC
• Dados: uma sequência com n valores com xiigual a 0 ou 1 obtidos a partir de umadistribuição binomial com uma certaprobabilidade w de sair 1
• objetivo: se a amostra tem X valores 1, usarABC para estimar o posterior de w
• vamos gerar/simular dados da seguintemaneira:• sorteamos um w uniformemente entre 0
e 1• geramos uma sequência de n dados yi
com a distribuição binomial:
P(Y|w) =
(n
Y
)wY
(1− w)n−Y
onde Y =∑
i yi (= número de ’1’s)
• distância entre os conjuntos de dados x e y:
ρ =|X − Y|
n
• exemplo: tolerância ε = 0só vamos aceitar distribuições com o mesmonúmero de 1s, ρ = 0
13 / 23
introdução 1. o problema do farol 2. detecção de uma linha espectral 3. modelos gerativos 4. ABC 4. modelos hierárquicos exercícios
exemplo: estimativa de uma distribuição binomial por ABC
ε = 0 ε = 0.1
14 / 23
introdução 1. o problema do farol 2. detecção de uma linha espectral 3. modelos gerativos 4. ABC 4. modelos hierárquicos exercícios
exemplo: estimativa dos parâmetros de uma gaussiana por ABC
• Dados: 25 amostras extraídas deN(µ = 5, σ = 2)
• objetivo: usar ABC para estimar osparâmetros dessa distribuição
• vamos amostrar parâmetros (µ, σ) comum prior não informativo e usar a médiae a variância dos dados simulados comoestatísticas que sumarizam os dados
• exemplo: MCMC com 105 simulaçõestolerâncias: εµ = 0.1, εσ = 0.1priores:P(µ) = N(µ, sd = 0.7)P(σ) = N(σ, sd = 0.7), σ > 0
• resultado: média de µ = 5.24± 0.83;média de σ = 2.17± 0.63
15 / 23
introdução 1. o problema do farol 2. detecção de uma linha espectral 3. modelos gerativos 4. ABC 4. modelos hierárquicos exercícios
exemplo: estimativa dos parâmetros de uma gaussiana por ABC
16 / 23
introdução 1. o problema do farol 2. detecção de uma linha espectral 3. modelos gerativos 4. ABC 4. modelos hierárquicos exercícios
exemplo: quantos peixes tem no lago?
• um "problema de captura”: você estápescando em um lago e captura 20peixes, marca-os e os devolve ao lago
• no dia seguinte você volta ao lago epesca novamente 20 peixes, dos quais 5são marcados
• quantos peixes tem no lago?
• solução por máxima verossimilhança:taxa = 5/20; Nmarcados = 20 −→Npeixes = Nmarcados/taxa = 80
• solução por ABC: faz-se muitassimulações e, para cada uma:• escolhe-se um número de peixes,
Npeixes (> 20), de um prior nãoinformativo
• marca-se 20 dos Npeixes• amostra-se 20 peixes, sem substituição,
e, se tiver 5 marcados, registra-se• a probabilidade de Npeixes será igual à
sua fração de registroshttps://rpubs.com/rasmusab/live_coding_user_2015_bayes_tutorial
por Rasmus Baath
17 / 23
introdução 1. o problema do farol 2. detecção de uma linha espectral 3. modelos gerativos 4. ABC 4. modelos hierárquicos exercícios
exemplo: quantos peixes tem no lago?
• um "problema de captura”: você estápescando em um lago e captura 20 peixes,marca-os e os devolve ao lago
• no dia seguinte você volta ao lago e pescanovamente 20 peixes, dos quais 5 sãomarcados
• quantos peixes tem no lago?
• solução por máxima verossimilhança:taxa = 5/20; Nmarcados = 20 −→ Npeixes =Nmarcados/taxa = 80
• solução por ABC
18 / 23
introdução 1. o problema do farol 2. detecção de uma linha espectral 3. modelos gerativos 4. ABC 4. modelos hierárquicos exercícios
modelos hierárquicos
• queremos modelar um conjunto dedados D com um modelo M que temparâmetros w• os parâmetros do modelo são estimados
com o Teorema de Bayes:
P(w|D) ∝ P(D|w)P(w)
• e se o prior depende de outrosparâmetros: P(w|α)?e se α ...?
• um problema pode ter muitosníveis/hierarquia de priores:MLM - Multilevel Model
• Bayes normal:P(w|D) ∝ P(D|w)P(w)
• Bayes hierárquico:P(w, α|D) ∝ P(D|w, α)P(w|α)P(α)
α: nuisance parameter; hiperparâmetro
19 / 23
introdução 1. o problema do farol 2. detecção de uma linha espectral 3. modelos gerativos 4. ABC 4. modelos hierárquicos exercícios
modelos hierárquicos: exemplo
• a função gama inversa IG(x; a, b), x > 0 éfrequentemente usada como prior paraparâmetros de variância:P(x|a, b) ∼ IG(a, b) = bax−(a+1)e−b/x
Γ(a) , x > 0e, para a > 2, essa função temE(x) = b
a−1 , variância = b2
(a−1)2(a−2)
• exemplo de modelo hierárquico:dados D modelados como uma gaussianade parâmetros w = {µ, σ} com prioresinformativos para µ e σ
• modelo gerativo para os dados, comhiperparâmetros {µ0, a, b}P(σ) ∼ IG(a, b)P(µ|σ) ∼ N(µ0, σ)D ∼ N(µ, σ)
• e o posterior é dado por:P(µ, σ|D, µ0, a, b) ∝P(D|µ, σ, µ0, a, b)P(µ, σ|µ0, a, b) =P(D|µ, σ, µ0, a, b)P(µ|σ)P(σ) 20 / 23
introdução 1. o problema do farol 2. detecção de uma linha espectral 3. modelos gerativos 4. ABC 4. modelos hierárquicos exercícios
modelos hierárquicos: exemplo
• exemplo de modelo hierárquico:dados D modelados como uma gaussianade parâmetros w = {µ, σ} com prioresinformativos para µ e σ
• modelo gerativo: 20 dados, comhiperparâmetros {µ0, a, b} = {0, 3, 5}P(σ) ∼ IG(a, b)P(µ|σ) ∼ N(µ0, σ)D ∼ N(µ, σ)
• posterior:P(µ, σ|D, µ0, a, b) ∝P(D|µ, σ, µ0, a, b)P(µ, σ|µ0, a, b) =P(D|µ, σ, µ0, a, b)P(µ|σ)P(σ)
21 / 23
introdução 1. o problema do farol 2. detecção de uma linha espectral 3. modelos gerativos 4. ABC 4. modelos hierárquicos exercícios
exercícios
1. Mede-se o número de estrelas de um dado tipo em 1 grau quadrado em várias áreas docéu, obtendo-se as seguintes contagens: {26, 36, 20, 30, 39, 32, 23, 20, 36, 31, 32, 30}.Suponha que essas contagens correspondem a um processo poissoniano. Use ABC(com tolerância na média de 0.1) para estimar a distribuição de probabilidades dadensidade média. Compare o valor médio e a variância resultante do ABC com osesperados por máxima verossimilhança.
22 / 23
introdução 1. o problema do farol 2. detecção de uma linha espectral 3. modelos gerativos 4. ABC 4. modelos hierárquicos exercícios
referências
1. Data Analysis - A Bayesian Tutorial, Sivia & Skilling (2a. ed., 2006)2. Statistics, Data Mining, and Machine Learning in Astronomy, Ivezic, Connolly, VanderPlas
& Gray, 20143. Harris, W.E., Harris, G.L.H, and Alessi, M., ApJ 772, 82 (2013)4. Bayesian Models for Astrophysical Data, Hilbe, de Souza & Ishida, 2017 (BMAD)5. https://rpubs.com/rasmusab/
23 / 23