Post on 17-Jul-2020
Algoritmos MCMC para inferencia bayesiana
(Parte 2)
Prof. Caio Azevedo
Prof. Caio Azevedo
Algoritmos MCMC para inferencia bayesiana (Parte 2)
Exemplo: mortalidade de besouros
Dados relativos ao percentual de besouros mortos quando expostos a
diferentes doses de disulfeto de carbono gasoso (CS2).
Dose: log10CS2 no Besouros expostos no Besouros mortos
1,6907 59 6
1,7242 60 13
1,7552 62 18
1,7842 56 28
1,8113 63 52
1,8369 59 53
1,8610 62 61
1,8839 60 60
Prof. Caio Azevedo
Algoritmos MCMC para inferencia bayesiana (Parte 2)
Exemplo: mortalidade de besouros
Modelo1
Yi |(β0, β1) ∼ Binomial(mi , pi )
ln
(pi
1− pi
)= β0 + β1xi , i = 1, 2, ..., 8
mi : numero de besouros expostos a dose i de CS2.
Yi : numero de besouros expostos a dose i de CS2 que morreram.
xi : dose (log da concentracao de CS2) a que os besouros do grupo i
foram expostos.
Prof. Caio Azevedo
Algoritmos MCMC para inferencia bayesiana (Parte 2)
Cont. do modelo 1
Assim, pi =eβ0+β1xi
1 + eβ0+β1xi
β0 e o logito[ln(
pi1−pi
)]da proporcao de besouros mortos
submetidos a uma concentracao de 1 unidade de CS2. Ou seja, se
xi = log10(concent) = log10(1) = 0 entao pi =eβ0
1 + eβ0.
Prof. Caio Azevedo
Algoritmos MCMC para inferencia bayesiana (Parte 2)
Cont. do modelo 1
Sejam: pi =eβ0+β1xi
1 + eβ0+β1xie pi+1 =
eβ0+β1(xi+1)
1 + eβ0+β1(xi+1).
Assim: ln(
pi1−pi
)= β0 + β1xi e ln
(pi+1
1−pi+1
)= β0 + β1(xi + 1).
Logo: ln(
pi+1
1−pi+1
)− ln
(pi
1−pi
)= ln
(pi+1/(1−pi+1)pi/(1−pi )
)= β1.
Portanto,pi+1/(1− pi+1)
pi/(1− pi )= eβ1 (conhecida como razao de
chances).
Prof. Caio Azevedo
Algoritmos MCMC para inferencia bayesiana (Parte 2)
Exemplo: mortalidade de besouros
Modelo 2
Yi |(β0, β1) ∼ Binomial(mi , pi )
ln
(pi
1− pi
)= β0 + β1(xi − x), x =
1
8
8∑i=1
xi , i = 1, 2, ..., 8
Neste caso, β0 e o logito[ln(
pi1−pi
)]da proporcao de besouros
mortos submetidos a uma concentracao igual a x unidades de CS2.
Ou seja, se xi = log10(concent) = 18
∑8i=1 log10(concenti ) entao
pi =eβ0
1 + eβ0.
As outras quantidades, incluindo o parametro β1, possuem as
mesmas interpretacoes que no modelo 1, (substituindo-se xi por
xi − x).Prof. Caio Azevedo
Algoritmos MCMC para inferencia bayesiana (Parte 2)
Comandos
Algoritmo WinBUGS para o ajuste do modelo.
ComBesprobitmod<-function(){ for( i in 1 : N ) { r[i] ~ dbin(p[i],n[i]) logit(p[i]) <- beta0 + beta1 * (x[i]-1.793425)
# logit(p[i]) <- beta0 + beta1 * (x[i]) auxp[i] <- beta0+beta1*(x[i]-1.793425) auxp1[i] <-exp(auxp[i])/(1+exp(auxp[i])) rpredaux[i] ~ dbin(auxp1[i],n[i]) rpred[i] <- rpredaux[i]/n[i]
} beta0 ~ dnorm(0.0,0.001) beta1 ~ dnorm(0.0,0.001) }
Página 1
Prof. Caio Azevedo
Algoritmos MCMC para inferencia bayesiana (Parte 2)
Traceplots para os tres conjuntos de cadeias geradas:
modelo 1
Prof. Caio Azevedo
Algoritmos MCMC para inferencia bayesiana (Parte 2)
Autocorrelacoes para um dos conjuntos de cadeias: modelo
1
0 20 40 60 80 100
−1
.00
.01
.0
Lag
Au
toco
rre
latio
n
beta0
0 20 40 60 80 100
−1
.00
.01
.0
Lag
Au
toco
rre
latio
n
beta1
Prof. Caio Azevedo
Algoritmos MCMC para inferencia bayesiana (Parte 2)
Grafico das medianas acumuladas para um dos conjuntos
de cadeias: modelo 1
0 50000 100000 150000 200000
−6
0−
40
−2
00
Iterations
beta0
0 50000 100000 150000 200000
01
02
03
0
Iterations
beta1
Prof. Caio Azevedo
Algoritmos MCMC para inferencia bayesiana (Parte 2)
Grafico da estatıstica de Geweke para um dos conjuntos de
cadeias: modelo 1
0e+00 2e+04 4e+04 6e+04 8e+04 1e+05
−2
−1
01
2
First iteration in segment
Z−
sco
re
beta0
0e+00 2e+04 4e+04 6e+04 8e+04 1e+05
−2
−1
01
2
First iteration in segment
Z−
sco
re
beta1
Prof. Caio Azevedo
Algoritmos MCMC para inferencia bayesiana (Parte 2)
Grafico da estatıstica de Gelman-Rubin utilizando os tres
conjuntos de cadeias: modelo 1
0 50000 100000 150000 200000
12
34
56
7
last iteration in chain
shri
nk
fact
or
median
97.5%
beta0
0 50000 100000 150000 200000
12
34
56
7
last iteration in chain
shri
nk
fact
or
median
97.5%
beta1
Prof. Caio Azevedo
Algoritmos MCMC para inferencia bayesiana (Parte 2)
Traceplots para os tres conjuntos de cadeias geradas:
modelo 2
0 1000 2000 3000 4000 5000 6000 7000
0.2
0.6
1.0
1.4
Iterations
Trace of beta0
0 1000 2000 3000 4000 5000 6000 7000
25
35
45
Iterations
Trace of beta1
Prof. Caio Azevedo
Algoritmos MCMC para inferencia bayesiana (Parte 2)
Autocorrelacoes para um dos conjuntos de cadeias: modelo
2
0 20 40 60 80 100
−1
.00
.01
.0
Lag
Au
toco
rre
latio
n
beta0
0 20 40 60 80 100
−1
.00
.01
.0
Lag
Au
toco
rre
latio
n
beta1
Prof. Caio Azevedo
Algoritmos MCMC para inferencia bayesiana (Parte 2)
Grafico das medianas acumuladas para um dos conjuntos
de cadeias: modelo 2
0 1000 2000 3000 4000 5000 6000 7000
0.4
50
.60
0.7
5
Iterations
beta0
0 1000 2000 3000 4000 5000 6000 7000
34
.53
5.5
Iterations
beta1
Prof. Caio Azevedo
Algoritmos MCMC para inferencia bayesiana (Parte 2)
Grafico da estatıstica de Geweke para um dos conjuntos de
cadeias: modelo 2
0 500 1000 1500 2000 2500 3000 3500
−2
−1
01
2
First iteration in segment
Z−
sco
re
beta0
0 500 1000 1500 2000 2500 3000 3500
−2
−1
01
2
First iteration in segment
Z−
sco
re
beta1
Prof. Caio Azevedo
Algoritmos MCMC para inferencia bayesiana (Parte 2)
Grafico da estatıstica de Gelman-Rubin utilizando os tres
conjuntos de cadeias: modelo 2
0 1000 2000 3000 4000 5000 6000 7000
1.0
01
.05
1.1
01
.15
last iteration in chain
shri
nk
fact
or
median
97.5%
beta0
0 1000 2000 3000 4000 5000 6000 7000
1.0
1.1
1.2
1.3
1.4
1.5
last iteration in chain
shri
nk
fact
or
median
97.5%
beta1
Prof. Caio Azevedo
Algoritmos MCMC para inferencia bayesiana (Parte 2)
Histograma da amostra valida para um dos conjuntos de
cadeias: modelo 2Posteriori − β0
valores
de
nsi
da
de
0.4 0.6 0.8 1.0
0.0
1.0
2.0
3.0
Posteriori − β1
valores
de
nsi
da
de
30 35 40
0.0
00
.05
0.1
00
.15
Prof. Caio Azevedo
Algoritmos MCMC para inferencia bayesiana (Parte 2)
Estimativas bayesianas para um dos conjuntos de cadeias
Resumo
Parametro EAP DPAP ICB(95%) HPD(95%)
β0 0,74 0,13 [ 0,49 ; 1,00 ] [0,49 ; 1,00]
β1 34,19 2,78 [ 28,66 ; 39,68] [29,14 ; 40,08]
Modelo completo : Deviance = 39,4, pD = 2, 0;DIC = 41, 5.
Modelo so com o intercepto (β0): Deviance = 311,5,
pD = 1, 1;DIC = 312, 5.
Prof. Caio Azevedo
Algoritmos MCMC para inferencia bayesiana (Parte 2)
Proporcoes de insetos mortos observadas e preditas pelo
modelo 2 para cada valor da dose
●
●
●
●
●
●
●●
1.70 1.75 1.80 1.85
0.0
0.2
0.4
0.6
0.8
1.0
log da dose de CS2
pro
po
rçã
o d
e in
seto
s m
ort
os
● observada
predita (média à posteriori) e HPD de 95%
Prof. Caio Azevedo
Algoritmos MCMC para inferencia bayesiana (Parte 2)
Voltando ao exemplo da potencia de turbinas de avioes
Vamos considerar os 5 tipos de turbinas analisados no experimento,
doravante tipos 1, 2, 3, 4 e 5.
ni = 10,∀i (tamanho amostral por grupo).
yij : tempo de vida (em milhoes de ciclos) da j-esima turbina do
i-esimo tipo.
Suposicao: Yij |β, φind.∼ gama(µi , φ), i = 1, 2, 3, 4, 5ej = 1, 2, ..., ni ,
em que E(Yij |θ) = µi , V(Yij |θ) =µ2i
φ , e θ = (β, φ)′, φ e chamado
de parametro de precisao.
Prof. Caio Azevedo
Algoritmos MCMC para inferencia bayesiana (Parte 2)
Analise descritiva
●
●
1 2 3 4 5
51
01
52
02
5
tipo de turbina
tem
po
de
vid
a (
em
milh
õe
s d
e c
iclo
s)
Prof. Caio Azevedo
Algoritmos MCMC para inferencia bayesiana (Parte 2)
Analise descritiva
Tipo de turbina Media DP Var. CV (%) Mınimo Maximo
1 10,69 4,82 23,23 45,07 3,03 16,84
2 6,05 2,92 8,50 48,18 3,19 12,75
3 8,64 3,29 10,83 38,10 3,46 13,41
4 9,80 5,81 33,71 59,26 5,88 25,46
5 14,71 4,86 23,65 33,07 6,43 21,51
Prof. Caio Azevedo
Algoritmos MCMC para inferencia bayesiana (Parte 2)
Modelo 1
Media: lnµi = α + βi , β1 = 0 (casela de referencia). Logo
µi = eα+βi e β = (α, β2, β3, β4, β5)′
p(yij |β, φ) =1
Γ(φ)
(φyijµi
)φe(−φyij/µi )11(0,∞)(yij).
Resumindo:
Yij |β, φind.∼ gama(µi , φ)
lnµi = α + βi , β1 = 0
E(Yij |θ) = µi ; V(Yij |θ) =µ2i
φ
Prioris: β: βi ∼ N(0, 100), φ ∼ gama(0, 01, 0, 01) (vaga)
(parametrizacao do curso), mutuamente independentes entre si.
Prof. Caio Azevedo
Algoritmos MCMC para inferencia bayesiana (Parte 2)
Traceplots para os tres conjuntos de cadeias geradas
Prof. Caio Azevedo
Algoritmos MCMC para inferencia bayesiana (Parte 2)
Autocorrelacoes para um dos conjuntos de cadeias
0 10 20 30 40
−1
.0−
0.5
0.0
0.5
1.0
Lag
Au
toco
rre
latio
n
alpha
0 10 20 30 40
−1
.0−
0.5
0.0
0.5
1.0
Lag
Au
toco
rre
latio
n
beta2
0 10 20 30 40
−1
.0−
0.5
0.0
0.5
1.0
Lag
Au
toco
rre
latio
n
beta3
0 10 20 30 40
−1
.0−
0.5
0.0
0.5
1.0
Lag
Au
toco
rre
latio
n
beta4
0 10 20 30 40
−1
.0−
0.5
0.0
0.5
1.0
Lag
Au
toco
rre
latio
n
beta5
0 10 20 30 40−
1.0
−0
.50
.00
.51
.0
Lag
Au
toco
rre
latio
n
phi
Prof. Caio Azevedo
Algoritmos MCMC para inferencia bayesiana (Parte 2)
Grafico da estatıstica de Geweke para um dos conjuntos de
cadeias
0 50000 100000 150000 200000
−4
−2
02
4
First iteration in segment
Z−
sco
re
alpha
0 50000 100000 150000 200000
−3
−1
13
First iteration in segment
Z−
sco
re
beta2
0 50000 100000 150000 200000
−2
01
2
First iteration in segment
Z−
sco
re
beta3
0 50000 100000 150000 200000−
3−
11
3
First iteration in segment
Z−
sco
re
beta4
0 50000 100000 150000 200000
−3
−1
12
3
First iteration in segment
Z−
sco
re
beta5
0 50000 100000 150000 200000
−2
01
2
First iteration in segment
Z−
sco
re
phi
Prof. Caio Azevedo
Algoritmos MCMC para inferencia bayesiana (Parte 2)
Grafico da estatıstica de Gelman-Rubin utilizando os tres
conjuntos de cadeias
0e+00 1e+05 2e+05 3e+05 4e+05
1.0
01
.10
1.2
0
last iteration in chain
shri
nk
fact
or
alpha
0e+00 1e+05 2e+05 3e+05 4e+05
1.0
01
.10
1.2
0
last iteration in chain
shri
nk
fact
or
beta2
0e+00 1e+05 2e+05 3e+05 4e+05
1.0
01
.10
1.2
0
last iteration in chain
shri
nk
fact
or
beta3
0e+00 1e+05 2e+05 3e+05 4e+051
.00
1.1
01
.20
last iteration in chain
shri
nk
fact
or
beta4
0e+00 1e+05 2e+05 3e+05 4e+05
1.0
01
.10
1.2
0
last iteration in chain
shri
nk
fact
or
beta5
0e+00 1e+05 2e+05 3e+05 4e+05
1.0
01
.10
1.2
0
last iteration in chain
shri
nk
fact
or
phi
Prof. Caio Azevedo
Algoritmos MCMC para inferencia bayesiana (Parte 2)
Histograma da amostra valida para um dos conjuntos de
cadeias
Posteriori − α
valores
de
nsi
da
de
2.0 2.2 2.4 2.6 2.8
0.0
1.0
2.0
Posteriori − β2
valores
de
nsi
da
de
−1.0 −0.8 −0.6 −0.4 −0.2
0.0
1.0
2.0
Posteriori − β3
valores
de
nsi
da
de
−0.8 −0.6 −0.4 −0.2 0.0 0.2 0.4
0.0
0.5
1.0
1.5
Posteriori − β4
valores
de
nsi
da
de
−0.6 −0.4 −0.2 0.0 0.2 0.40
.00
.51
.01
.5
Posteriori − β5
valores
de
nsi
da
de
−0.4 −0.2 0.0 0.2 0.4 0.6 0.8
0.0
0.5
1.0
1.5
Posteriori − φ
valores
de
nsi
da
de
3 4 5 6 7 8 9
0.0
0.1
0.2
0.3
0.4
Prof. Caio Azevedo
Algoritmos MCMC para inferencia bayesiana (Parte 2)
EAP e HPD(95%) para todas as cadeias
1 2 3
2.1
2.2
2.3
2.4
2.5
2.6
Estimativas bayesianas para cada cadeia α
cadeia
est
ima
tiva
●
● ●
1 2 3−
1.0
−0
.8−
0.6
−0
.4−
0.2
Estimativas bayesianas para cada cadeia β2
cadeia
est
ima
tiva
●
●●
1 2 3
−0
.6−
0.4
−0
.20
.00
.2
Estimativas bayesianas para cada cadeia β3
cadeia
est
ima
tiva
●● ●
1 2 3
−0
.4−
0.2
0.0
0.2
Estimativas bayesianas para cada cadeia β4
cadeia
est
ima
tiva
●
● ●
1 2 3
0.0
0.2
0.4
0.6
Estimativas bayesianas para cada cadeia β5
cadeia
est
ima
tiva
● ●●
1 2 3
34
56
7
Estimativas bayesianas para cada cadeia φ
cadeiae
stim
ativ
a
● ● ●
Prof. Caio Azevedo
Algoritmos MCMC para inferencia bayesiana (Parte 2)
Estimativas bayesianas para um dos conjuntos de cadeias
Resumo
Parametro EAP DPAP ICB(95%) HPD(95%)
α 2,42 0,14 [2,17 ; 2,68] [2,16 ; 2,67]
β2 -0,62 0,17 [-0,96 ;-0,28] [-0,98 ; -0,30]
β3 -0,25 0,21 [-0,64 ; 0,14 ] [ -0,65 ; 0,12]
β4 -0,14 0,21 [-0,53 ; 0,27 ] [-0,54 ; 0,24]
β5 0,29 0,20 [-0,12 ; 0,65] [-0,09 ; 0,67 ]
φ 5,26 1,05 [3,38 ; 7,64] [3,09 ; 7,25]
Prof. Caio Azevedo
Algoritmos MCMC para inferencia bayesiana (Parte 2)
EAP e HPD(95%) para um dos conjuntos de cadeias para
os parametros (β2, β2, β4, β5)
●
●
●
●
tipo de turbina
tem
po
de
vid
a (
milh
õe
s d
e c
iclo
s)
−1
.0−
0.5
0.0
0.5
1.0
2 3 4 5
●
●
●
●
Prof. Caio Azevedo
Algoritmos MCMC para inferencia bayesiana (Parte 2)
Comparacao de modelos
Vamos comparar os seguintes modelos:
Modelo 1: modelo completo.
Modelo 2: modelo 1 com β4 = 0.
Modelo 3: modelo 1 com β4 = β3 = 0.
Modelo 4: modelo 1 com β5 = β4 = β3 = 0.
Prof. Caio Azevedo
Algoritmos MCMC para inferencia bayesiana (Parte 2)
Comparacao de modelos
Resultados
Modelo
Estatıstica 1 2 3 4
Deviance 280,1 279,4 279,1 285,5
pD 5,9 5,1 3,8 3,0
DIC 286,1 284,5 282,9 288,6
O modelo 3 (β4 = β3 = 0) foi selecionado .
Prof. Caio Azevedo
Algoritmos MCMC para inferencia bayesiana (Parte 2)
Estimativas Bayesianas para um dos conjuntos de cadeias:
modelo 3
Resumo
Parametro EAP DPAP ICB(95%) HPD(95%)
α 2,27 0,08 [2,10 ; 2,43 ] [2,12 ; 2,44]
β2 -0,46 0,17 [-0,77 ; -0,10] [-0,78 ; -0,13]
β5 0,43 0,17 [0,14 ; 0,77] [ 0,13 ;0,75]
φ 5,28 1,07 [3,44 ; 7,84 ] [3,35 ; 7,36]
µ134 9,74 0,82 [8,19 ; 11,40 ] [8,31 ; 11,45]
µ2 6,16 0,91 [4,72 ; 8,12 ] [4,66 ; 7,92 ]
µ5 15,14 2,27 [11,40 ; 19,99] [11,18 ; 19,60]
Prof. Caio Azevedo
Algoritmos MCMC para inferencia bayesiana (Parte 2)
Boxplots dos tempos de vidas observados e preditos pelo
modelo 3
●
●
1 2 3 4 5
01
02
03
04
0
tipo de turbina
tem
po
de
vid
a (
em
milh
õe
s d
e c
iclo
s)
●
●
●
●●●
●●
●
●
●
●
●
●
●●●
●
●
1 2 3 4 5
01
02
03
04
0
tipo de turbina
tem
po
de
vid
a (
em
milh
õe
s d
e c
iclo
s)
observado
predito
Prof. Caio Azevedo
Algoritmos MCMC para inferencia bayesiana (Parte 2)
Tempos medios de vida ajustados pelo modelo 3
●
●
● ●
●
tipo de turbina
tem
po
de
vid
a (
milh
õe
s d
e c
iclo
s)
24
68
10
12
14
16
18
20
1 2 3 4 5
●
●
● ●
●
Prof. Caio Azevedo
Algoritmos MCMC para inferencia bayesiana (Parte 2)