Métodos Computacionais Aplicados à EstatísticaProfessor: Cristiano de Carvalho Santos

Seminário IIReversible Jump MCMC

Ricardo Cunha Pedroso

UFMG

Pós-Graduação em Estatística

13/11/2018

Conteúdo

1. Introdução

2. Referências principais

3. Métodos MCMC

4. Reversible Jump MCMC (RJMCMC)

5. Exemplo RJMCMC

6. Considerações �nais

Introdução

I Problemas onde �the number of things you don't know is one of

the things you don't know� são comuns em modelagemestatística.

1. Seleção de variáveis em regressão.2. Deconvolução de uma mistura com um número desconhecido

de componentes.3. Problemas de múltiplos ponto de mudança.4. Segmentação de imagens (análogo bidimensional do problema

de pontos de mudança).

I Os métodos MCMC convencionais são restritos a problemas comespaço paramétrico de dimensão �xa.

I RJMCMC (Green, 1995) é um amostrador MCMC que �salta� entresubespaços de parâmetros de diferentes dimensão, permitindo aestimação de uma classe mais ampla de modelos.

Referências principais

I P. J. Green. Reversible jump Markov chain Monte Carlo computationand Bayesian model determination. Biometrika, 82:711�732, 1995.

I Green, P. J. and Hastie, D. I. (2009) Reversible jump MCMC. TechnicalReport.

I Ai Jialin, Reversible Jump Markov Chain Monte Carlo Methods. MScthesis, University of Leeds, Department of Statistics, 2011/12.

I Maria L. Rizzo (2008). Statistical Computing with R. Chapman and Hall

Métodos MCMC

I Seja π(x) a distribuição alvo. Em inferência bayesiana, π(x) é aposteriori dos parâmetros, usualmente denotada por p(θ|y).

I No método MCMC é construído um núcleo de transiçãoP(x (t), x (t+1)) tal que π(x) é a distribuição invariante únicaassociada a esse núcleo.

I P(x (t), x (t+1)) deve satisfazer as seguintes propriedades, quegarantem a convergência da cadeia para a distribuição alvo π(x):

1. Aperiodicidade

2. Irredutibilidade

3. Reversibilidade π(x (t))p(x (t), x (t+1)) = π(x (t+1))p(x (t+1), x (t))

Métodos MCMC

I Métodos mais populares:

1. Gibbs: amostras são geradas de condicionais completas.

2. Metropolis-Hastings (M-H): amostras são geradas de umadistribuição q(·|x (t)) e com determinada probabilidade sãoaceitas ou o valor atual é repetido.

I Algoritmo M-H.

1. Dado x (t) no passo t, amostrar x∗ de q(·|x (t))

2. Calcular a probabilidade de aceitação

α(x (t), x∗) = min

{1,

π(x∗)

π(x (t))

q(x (t)|x∗)q(x∗|x (t))

}

3. Calcular x (t+1) =

{x∗, com probabilidade α(x (t), x∗)

x (t), com probabilidade 1− α(x (t), x∗)

4. Fazer t = t + 1 e retornar ao passo 1

Métodos MCMC

I Exemplo Gibbs (Rizzo, Example 9.9: Coal mining disasters)

Dados 191 desastres em minas de carvão com 10+ mortes entre1851 e 1962.

y(t) número de desastres observados no ano t.0

12

34

56

y(t)

t1851 1868 1885 1902 1922 1939 1957

O Processo de Poisson modela a frequência de eventos. Pode serhomogêneo (taxa constante) ou não-homogêneo (taxa varia).

Suponha que a frequência de eventos que o parâmetro (taxa) λmudou em algum instante k . Temos e Yt ∼ Poisson (µt) para0 < t ≤ k e Yt ∼ Poisson (λt) para k < t. Dada uma amostra y den observações deste processo, o problema é estimar (µ, λ, k).

O método de amostragem de Gibbs pode ser aplicado para estimaro ponto de mudança no número anual de desastres.

Métodos MCMC

I O Processo de Poisson modela a frequência de eventos. Pode serhomogêneo (taxa constante) ou não-homogêneo (taxa varia).

I A frequência de eventos parece reduzida a partir de determinadoinstante k (ponto de mudança).

I Suponha Yt ∼ Poisson(µt) para 0 < t ≤ k e Yt ∼ Poisson(λt) parak < t. Dada uma amostra y de n observações deste processo, oproblema é estimar (µ, λ, k).

I O método de amostragem de Gibbs pode ser aplicado para amostrarde p(µ, λ, k|y).

Métodos MCMC

I Modelo bayesiano proposto:

Distribuição das observaçõesYt ∼ Poisson(µ), t = 1, ..., kYt ∼ Poisson(λ), t = k + 1, ..., n

Prioris dos parâmetrosk ∼ U{1, 2, ..., n}µ ∼ Gamma(0.5, b1)λ ∼ Gamma(0.5, b2)

com b1 e b2 independentes, múltiplos positivos de uma v.a. χ2.

Condicionais completasµ|y , λ, b1, b2, k ∼ Gamma(0.5+ Sk , k + b1)λ|y , µ, b1, b2, k ∼ Gamma(0.5+ Sk , n − k + b2)b1|y , µ, λ, b2, k ∼ Gamma(0.5, µ+ 1)b2|y , µ, λ, b1, k ∼ Gamma(0.5, λ+ 1)

Métodos MCMC

I Modelo bayesiano proposto

Condicional completa de k

f (k |y , µ, λ, b1, b2) = L(Y ; k , µ, λ)∑nj=1

L(Y ; j , µ, λ)

com

L(Y ; j , µ, λ) = ek(λ−µ)(µλ

)Sk

Sk =k∑

t=1

Yt e S ′k = Sn − Sk .

Métodos MCMC

0 1000 2000 3000 4000 50002030

40k

0 1000 2000 3000 4000 5000

1.02.0

3.04.0

mu

0 1000 2000 3000 4000 5000

0.60.8

1.01.2

1.4

lambda

Métodos MCMCI summary(k)

Min. 1st Qu. Median Mean 3rd Qu. Max.21.00 39.00 40.00 39.88 41.00 48.00

I summary(mu)Min. 1st Qu. Median Mean 3rd Qu. Max.1.000 2.925 3.116 3.123 3.314 4.341

I summary(lambda)Min. 1st Qu. Median Mean 3rd Qu. Max.0.5554 0.8482 0.9245 0.9286 1.0059 1.4442

Histrograma das amostras de k

t25 30 35 40 45 50 55

020

040

060

080

010

0012

00

RJMCMC

I RJMCMC é uma adaptação do método M-H a uma classe maisampla.

I Modelos de dimensão variável são caracterizados por uma coleçãocontável de modelos. Seja a coleção de modelos M1, ...,Mn com Mk

tendo um vetor θk ∈ Rnk de parâmetros desconhecidos e nkpodendo variar entre os modelos.

I Cada submodelo é associado a uma coleção de priores nos seusparâmetros e no seu índice.

I Seja o vetor de observações y . O objetivo do RJMCMC é geraramostras da distribuição alvo p(k , θk |y).

I Dado k , x = (k , θk) varia no espaço {k} × Rnk .

De forma geral, x varia em⋃k

{k × Rnk}.

RJMCMC

I O método RJMCMC é capaz de simular valores uma C.M. onde oestado é um vetor de dimensão variável.

I É chamado de �Reversible Jump MCMC� por permitir �saltos� entresubmodelos de dimensão variada mantendo o requisito teórico de�reversibilidade� da cadeia .

I No M-H, a probabilidade de aceitação α(x (t), x∗) é função da razãode medidas de probabilidade de�nidas no mesmo espaço de

probabilidadeπ(x∗)

π(x (t)).

I Sejam π1 e π2 duas medidas de probabilidade de�nidas em espaçosde probabilidade diferentes.

O resultado numérico da razãoπ2(·)π1(·)

não tem signi�cado.

RJMCMC (Probabilidade de aceitação)

I É necessário propor movimentos de tipos m especí�cos parapercorrer todo o espaço paramétrico

⋃k

{k} × Rnk .

I Basicamente e informalmente, temos que a expressão para aprobabilidade αm de aceitação de cada movimento αm pode serescrita como uma razão de medidas

αm(x(t), x∗) = min

{1,

π(x∗)

π(x (t))

qm(x(t)|x∗)

qm(x∗|x (t))

}

tal que essa razão seja construída de forma que hajacorrespondência de dimensão entre seus elementos.

Exemplo RJMCMC

I Mesmo problema resolvido no exemplo do Gibbs, mas agora nãodeterminamos o número de pontos de mudança. Será estimado.

I Números diferentes de pontos de mudança implicam em espaçosparamétricos com dimensões diferentes.

I Assume-se que taxa x(t) do processo seja uma função step em[s1, sk+1] onde 0 < s1 < s2 < · · · < sk+1 < L são os anos.

I hj é uma função constante em [sj , sj+1).

I x(t) = hj quando x(t) ∈ [sj , sj+1).

Exemplo RJMCMC

Exemplo RJMCMC

I A função de verossimilhança do modelo é dada por

p(y1, y2, ..., yn|x) = exp

−k∑

j=1

hj(sj+1 − sj)) +k∑

j=1

#{yi ∈ [sj , sj−1)} log hj

I Há 3 tipos de v.a. no modelo p(y1, y2, ..., yn|x):

1. O número k de steps (o número de pontos de mudança ék − 1), com distribuição p(k) = e−λλk−1/(k − 1)!.

2. As alturas h1, h2, ..., hk , iid ∼ Gamma(1, 200/365.24).

3. As posições dos steps s2, s3, ..., sk (s1 e sk+1 são pontos �xos).Dado k , as posições s2, s3, ..., sk são distribuídos como asestatísticas de ordem pares de 2k − 1 uniformementedistribuídos em [0, L] (anos).

Exemplo RJMCMC

I Em aplicações com subespaços de parâmetros de dimensõesdiferentes é necessário criar diferentes tipos de movimento entre ossubespaços.

I Quando o objeto x é step-function [0, L], as transições possíveis são:

(a) mudança para a altura de um step escolhido aleatoriamente

(b) uma mudança para a posição de um step escolhidoaleatoriamente

(c) �nascimento� de um novo step em um local escolhidoaleatoriamente em [0, L]

(d) �morte� de um step escolhido aleatoriamente.

I (c) e (d) envolvem a alteração da dimensão de x , MCMC padrãonão se aplica.

Exemplo RJMCMC

I A cada transição, uma escolha aleatória é feita entre as 4possibilidades de movimentos (H,P, k , k − 1), signi�cando mudançade altura, mudança de posição, nascimento ou morte,respectivamente, com probabilidades ηk + πk + bk + dk = 1.

I Escolhido o movimento, amostramos de uma respectiva funçãoproposta e submetemos a amostra à aceitação ou rejeição.

I Como no métodos M-H convencional, há �exibilidade na escolha dafunção proposta.

Exemplo RJMCMC

Número de steps

k2 4 6 8 10 12

0.00.1

0.20.3

0.40.5

0.6

Exemplo RJMCMC

0 5000 10000 15000 20000 25000 30000

01

23

4Cadeia dos Heights (K=4)

t

Heigh

t

0 1 2 3 4

0.00.5

1.01.5

2.02.5

3.0

Densidades dos Heights (K=4)

Densi

ty

Exemplo RJMCMC

0 5000 10000 15000 20000 25000 30000

1860

1880

1900

1920

1940

1960

Cadeia das Positions (K=4)

t

Positio

n

1860 1880 1900 1920 1940 1960

0.00

0.05

0.10

0.15

0.20

Densidades das Positions (K=4)

Densi

ty

Considerações �nais

I RJMCMC é uma generalização do M-H que permite amostragem deuma distribuição cujo domínio pertence a uma união de espaços dedimensão diferente, e permitindo a escolha do tipo de movimentodependente do estado.

I O método RJMCMC permite a solução de classes de problemasonde o objeto de inferência tem uma dimensão que não é �xa.

I Há pacotes no R.

I O trabalho pioneiro original de Green é citado por 3.070 trabalhosaté 13/11/2018 (fonte: scopus)