Métodos de estimação: moda marginal a posteriori/marginal ...

59
etodos de estima¸c˜ ao: moda marginal a posteriori/marginal-perfilados bayesianos Prof. Caio Azevedo Prof. Caio Azevedo etodos de estima¸ ao: moda marginal a posteriori/marginal-perfilados bayesianos

Transcript of Métodos de estimação: moda marginal a posteriori/marginal ...

Page 1: Métodos de estimação: moda marginal a posteriori/marginal ...

Metodos de estimacao: moda marginal a

posteriori/marginal-perfilados bayesianos

Prof. Caio Azevedo

Prof. Caio Azevedo

Metodos de estimacao: moda marginal a posteriori/marginal-perfilados bayesianos

Page 2: Métodos de estimação: moda marginal a posteriori/marginal ...

Historico da estimacao na TRI

Caracterısticas.

Numero elevados de parametros para estimar.

A verificacao das propriedades dos estimadores e muito complicada.

Falta de identificabilidade.

Necessidade de utilizacao de metodos numericos.

Espacos parametricos restritos.

Prof. Caio Azevedo

Metodos de estimacao: moda marginal a posteriori/marginal-perfilados bayesianos

Page 3: Métodos de estimação: moda marginal a posteriori/marginal ...

Historico da estimacao na TRI

Maxima Verossimilhanca Marginal, MVM, (Bock and Lieberman, 1970).

MVM via pseudo algoritmo EM (Bock and Aitkin, 1981).

Moda marginal a posteriori via pseudo algoritmo EM (Mislevy, 1986).

MCMC via dados aumentados (Albert, 1992).

MCMC via algoritmo de MH (Patz and Junker, 1999).

Algoritmo EM via expansao parametrica (Rubin and Thomas, 2000).

Algoritmo EM estocastico (SEM), (Fox, 2000).

Algoritmo Robbins-Monro de Metropolis-Hastings (MHRM), Cai

(2010).

Algoritmo CADEM (contidional augmented data EM) (Azevedo and

Andrade (2013)).Prof. Caio Azevedo

Metodos de estimacao: moda marginal a posteriori/marginal-perfilados bayesianos

Page 4: Métodos de estimação: moda marginal a posteriori/marginal ...

Modelo logıstico unidimensional de 3 parametros

P(Yij = 1|(θj , ζ i )) = ci + (1− ci )1

1 + e−Dai (θj−bi )

i = 1, . . . , I (item), j = 1, . . . , n (individuo),

Yij : e a resposta do indivıduo j ao item i . E igual a 1 se o indivıduo

responde corretamente e 0 caso scontrario.

θj : e o traco latente (conhecimento, nıvel de depressao, etc) do indivıduo

j .

ζ i : (ai , bi , ci ).

ai : e o parametro de discriminacao associado ao item i .

bi : e o parametro de dificuldade associado ao item i .

ci : e o parametro de “acerto casual” associado ao item i .

Prof. Caio Azevedo

Metodos de estimacao: moda marginal a posteriori/marginal-perfilados bayesianos

Page 5: Métodos de estimação: moda marginal a posteriori/marginal ...

Seja θ um parametro associado a um determinado modelo p(x |θ)

verossimilhanca para o qual assumimos uma priori p(θ).

Posteriori: p(θ|x) =p(x |θ)p(θ)∫

Θp(x |θ)p(θ)dθ

Problema (na TRI): e muito complicado obter as posterioris

marginais de interesse, de forma analıtica. Se θ = (θ1, θ2)′ elas

seriam dadas por p(θ1|x) e p(θ2|x).

Uma solucao maximizar a posteriori (marginal) dos parametros dos

itens.

Prof. Caio Azevedo

Metodos de estimacao: moda marginal a posteriori/marginal-perfilados bayesianos

Page 6: Métodos de estimação: moda marginal a posteriori/marginal ...

Estimacao por Maxima Verossimilhanca

Maximizar a verossimilhanca:

L(θ, ζ) =I∏

i=1

n∏j=1

Pyijij Q

1−yijij

Nao identificabilidade

Pij = ci +1 − ci

1 + e−Dai (θj−bi )= ci +

1 − ci

1 + e−D

aiα

((θj−β)

α− (bi−β)

α

)

= ci +1 − ci

1 + e−Da∗i

(θ∗j −b∗i

)Estimacao simultanea.

Inversao de matrizes da ordem de n x I.

Comprometimento das propriedades assintoticas dos estimadores.

Alternativa : Estimacao marginal perfilada.

Prof. Caio Azevedo

Metodos de estimacao: moda marginal a posteriori/marginal-perfilados bayesianos

Page 7: Métodos de estimação: moda marginal a posteriori/marginal ...

Considera-se uma distribuicao de probabilidade para os tracos

latentes (nao necessariamente no sentido bayesiano).

Multiplica-se a verossimilhanca original por essa densidade porposta

e entao integra-se com respeito aos tracos latentes.

Maximiza-se, entao, essa verossimilhanca marginal, com relacao aos

parametros dos itens.

Suposicao usual θj |η ∼ N(0, 1), η = (µ = 0, ψ = 1). Altamente

questionavel.

Prof. Caio Azevedo

Metodos de estimacao: moda marginal a posteriori/marginal-perfilados bayesianos

Page 8: Métodos de estimação: moda marginal a posteriori/marginal ...

Construcao da Verossimilhanca Marginal

Probabilidade Marginal de Respostal

P(Y .j = y .j |ζ,η

)≡ P (Y .j |ζ,η) =

∫<P(Y .j = y .j |θ, ζ

)g (θ,η) dθ

=

∫<P(Y .j = y .j |θ, ζ

)g (θ,η) dθ

=

∫<P (Y .j |θ, ζ) g (θ,η) dθ ,

em que P (Y .j |θ, ζ) =∏I

i=1 Pyiji Q

1−yiji e η e chamado de vetor

de parametros populacionais.

Prof. Caio Azevedo

Metodos de estimacao: moda marginal a posteriori/marginal-perfilados bayesianos

Page 9: Métodos de estimação: moda marginal a posteriori/marginal ...

Construcao da Verossimilhanca Marginal

Verossimilhanca marginal

L (ζ,η) =n∏

j=1

P (Y .j |ζ,η) =n∏

j=1

∫<P (Y .j |θ, ζ) g (θ,η) dθ

=n∏

j=1

∫<

I∏i=1

P (Y ij |θ, ζ i ) g (θ,η) dθ .

Posteriori marginal (considerando η conhecido)

p(ζ|y ,η) =L(ζ,η)p(ζ)∫L(ζ,η)p(ζ)dζ

(1)

Prof. Caio Azevedo

Metodos de estimacao: moda marginal a posteriori/marginal-perfilados bayesianos

Page 10: Métodos de estimação: moda marginal a posteriori/marginal ...

Log posteriori marginal

l (ζ,η) =n∑

j=1

ln

∫<

I∏i=1

P (Y ij |θ, ζ i ) g (θ,η) dθ + ln p(ζ) + C .

Estimadores moda marginal a posteriori

∂l (ζ,η)

∂ζ i

=∂

∂ζ i

n∑

j=1

lnP (Y .j |ζ,η)

=

n∑j=1

1

P (Y .j |ζ,η)

∂P (Y .j |ζ,η)

∂ζ i

+ln ∂p(ζ)

∂ζ.

Prof. Caio Azevedo

Metodos de estimacao: moda marginal a posteriori/marginal-perfilados bayesianos

Page 11: Métodos de estimação: moda marginal a posteriori/marginal ...

Mas,

∂P (Y .j |ζ,η)

∂ζ i

=∂

∂ζ i

∫<P (Y .j |θ, ζ) g (θ,η) dθ

=

∫<

(∂

∂ζ i

P (Y .j |θ, ζ)

)g (θ,η) dθ

=

∫<

(∂

∂ζ i

I∏h=1

P (Y hj |θ, bh)

)g (θ,η) dθ

=

∫<

I∏h 6=i

P (Y hj |θ, bh)

( ∂

∂ζ i

P (Y ij |θ, ζ i )

)g (θ,η) dθ

=

∫<

(∂P (Y ij |θ, ζ i ) /∂ζ i

P (Y ij |θ, ζ i )

)P (Y .j |θ, ζ) g (θ,η) dθ .

Prof. Caio Azevedo

Metodos de estimacao: moda marginal a posteriori/marginal-perfilados bayesianos

Page 12: Métodos de estimação: moda marginal a posteriori/marginal ...

Alem disso,∂P (Yij |ζ i , θ)

∂ζ i

=∂

∂ζ i

(P

yiji Q

1−yiji

)= yijP

yij−1

i

(∂Pi

∂ζ i

)Q

1−yiji + P

yiji (1− yij)Q

−yiji

(−∂Pi

∂ζ i

)=

[yijP

yij−1

i Q1−yiji − P

yiji (1− yij)Q

−yiji

](∂Pi

∂ζ i

).

Notemos que o termo entre colchetes vale 1 quando yij = 1 e -1 quando

yij = 0, portanto, podemos reescreve-lo como (−1)yij+1. Com isso,

∂P (Yij |ζ i , θ)

∂ζ i

= (−1)yij+1

(∂Pi

∂ζ i

).

Note agora que

(−1)yij+1PiQi

Pyiji Q

1−yiji

=

Qi , se yij = 1

−Pi , se yij = 0= [yij − Pij ].

Prof. Caio Azevedo

Metodos de estimacao: moda marginal a posteriori/marginal-perfilados bayesianos

Page 13: Métodos de estimação: moda marginal a posteriori/marginal ...

Dessa forma, temos que1

P (Y ij |θ, ζ i )

∂ζ i

P (Y ij |θ, ζ i ) =(yij − Pi )

PiQi

(∂Pi

∂ζ i

),

Logo,

∂P (Y .j |ζ,η)

∂ζ i

=

∫<

[(yij − Pi )

PiQi

(∂Pi

∂ζ i

)]P (Y .j |θ, ζ) g (θ,η) dθ

Adicionalmente, vamos supor que p(ζ) =∏I

i=1 p(ai )p(bi )p(ci ).

Prof. Caio Azevedo

Metodos de estimacao: moda marginal a posteriori/marginal-perfilados bayesianos

Page 14: Métodos de estimação: moda marginal a posteriori/marginal ...

Portanto,

ai : (1− ci )n∑

j=1

∫<

[(yij − Pi ) (θ − bi )Wi ] g∗j (θ) +

∂p(ai )

∂ai= 0

bi : −ai (1− ci )n∑

j=1

∫<

[(yij − Pi )Wi ] g∗j (θ) +

∂p(bi )

∂bi= 0

ci :n∑

j=1

∫<

[(yij − Pi )

Wi

P∗i

]g∗j (θ) +

∂p(ci )

∂ci= 0 ,

em que,

g∗j (θ) ≡ g(θ|y .j , ζ,η

)=

P (Y .j |θ, ζ) g (θ|η)

P (Y .j |ζ,η).

Prof. Caio Azevedo

Metodos de estimacao: moda marginal a posteriori/marginal-perfilados bayesianos

Page 15: Métodos de estimação: moda marginal a posteriori/marginal ...

−3 −2 −1 0 1 2 3 4

0.0

0.1

0.2

0.3

0.4

0.5

Prof. Caio Azevedo

Metodos de estimacao: moda marginal a posteriori/marginal-perfilados bayesianos

Page 16: Métodos de estimação: moda marginal a posteriori/marginal ...

Forma de quadratura

ai : (1− ci )n∑

j=1

q∑l=1

[(yij − Pil)

(θl − bi

)Wil

]g∗j(θl)

+∂p(ai )

∂ ln ai= 0

bi : −ai (1− ci )n∑

j=1

q∑l=1

[(yij − Pil)Wil ] g∗j

(θl)

+∂ ln p(bi )

∂bi= 0

ci :n∑

j=1

q∑l=1

[(yij − Pil)

Wil

P∗il

]g∗j(θl)

+∂ ln p(ci )

∂ci= 0

Prof. Caio Azevedo

Metodos de estimacao: moda marginal a posteriori/marginal-perfilados bayesianos

Page 17: Métodos de estimação: moda marginal a posteriori/marginal ...

Equacoes de Mislevy

ai : (1− ci )n∑

l=q

[(r il − f ilPil

) (θl − bi

)Wil

]+∂ ln p(ai )

∂ai= 0

bi : −ai (1− ci )

q∑l=1

[(r il − f ilPil

)Wil

]+∂ ln p(bi )

∂bi= 0

ci :

q∑l=1

[(r il − f ilPil

) Wil

P∗il

]+∂ ln p(ci )

∂ci= 0,

em que

r il =n∑

j=1

yijg∗j

(θl)

, f il =n∑

j=1

g∗j(θl).

Prof. Caio Azevedo

Metodos de estimacao: moda marginal a posteriori/marginal-perfilados bayesianos

Page 18: Métodos de estimação: moda marginal a posteriori/marginal ...

X(i)jl =

1, se o indivıduo j responde (e submetido) ao

item i e possui habilidade em torno de θl

0, caso contrario.

E (Fil |Y .., ζ,η) =n∑

j=1

E(X(i)jl |Y .., ζ,η

)=

n∑j=1

g∗j(θl)

= f il

e

E (Ril |Y .., ζ,η) =n∑

j=1

E(yijX(i)jl |Y .., ζ,η

)=

n∑j=1

yijg∗j

(θl)

= r il .

Prof. Caio Azevedo

Metodos de estimacao: moda marginal a posteriori/marginal-perfilados bayesianos

Page 19: Métodos de estimação: moda marginal a posteriori/marginal ...

Pseudo Algoritmo EM (versao bayesiana)

Calcula a moda a posteriori na presenca de dados faltantes (processo

iterativo).

Aplicacao na TRI : considerar as proficiencias como os dados nao

observados.

Implementacao do pseudo algoritmo EM

Seja p(ζ|Y ..,θ) a posteriori conjunta do dados completos . Se ζ(t)

e uma

estimativa de ζ na iteracao t, entao os passos EM para obtencao de ζ(t+1)

saoPasso E: Calcular E [ln p(ζ|Y ..,θ)|Y .., ζ

(t)]

Passo M: Obter ζ(t+1)

que maximiza a funcao do Passo E.

No passo M a mazimizacao pode ser feita utilizando o algoritmo

Newton-Raphson/Escore de Fisher.Prof. Caio Azevedo

Metodos de estimacao: moda marginal a posteriori/marginal-perfilados bayesianos

Page 20: Métodos de estimação: moda marginal a posteriori/marginal ...

Considere uma populacao divididade em q categorias de proficiencia

e que dela se extrai uma amostra de tamanho n.

Suponha que as proporcoes no item anterior sao dadas por

π = (π1, . . . , πq)′.

Denote por f i=(fi1, · · · , fiq)′ a quantidade de indivıduos em cada

nıvel de habilidade e r i =(ri1, · · · , riq)′ a quantidade daqueles que

respondem corretamente ao item i com nıvel de habilidade l, ambos

observados na amostra. Alem disso r = (r 1, · · · , r I )′.

Prof. Caio Azevedo

Metodos de estimacao: moda marginal a posteriori/marginal-perfilados bayesianos

Page 21: Métodos de estimação: moda marginal a posteriori/marginal ...

A probabilidade conjunta que os fil indivıduos tenham habilidades θl ,

l = 1, · · · , q, e dada pela distribuicao multinomial:

P (F i = f i |π) ≡ P(f i |π) =n(i)!∏ql=1 fil !

q∏l=1

πfilj , i = 1, · · · , I ,

Dados fil e θl , a probabilidade de ocorrerem ril acertos ao item i

dentre as fil tentativas (respostas) por indivıduos com habilidade θl e

P(Ril = ril |fil , θl

)≡ P(ril |fil , θl) =

fil

ril

P rilil Q

fil−rilil ,

Prof. Caio Azevedo

Metodos de estimacao: moda marginal a posteriori/marginal-perfilados bayesianos

Page 22: Métodos de estimação: moda marginal a posteriori/marginal ...

A probabilidade conjunta de f e r , dados θ = (θ1, · · · , θq)′ e π, e

P(F = f ,R = r |θ, π

)≡ P(f , r |θ, π) = P(r |f ,θ, π)P(f |θ, π)

= P(r |f ,θ)P(f |π)

=

{I∏

i=1

q∏l=1

P(ril |fil , θl)

}{I∏

i=1

P(f i |π)

}

Prof. Caio Azevedo

Metodos de estimacao: moda marginal a posteriori/marginal-perfilados bayesianos

Page 23: Métodos de estimação: moda marginal a posteriori/marginal ...

Segue que a log posteriori para os dados completos e :

ln L(ζ) = lnP(f |π) +I∑

i=1

q∑l=1

lnP(ril |fil , θl)

= lnP(f |π) +I∑

i=1

q∑l=1

ln

fil

ril

+ ril lnPil + (fil − ril) lnQil

= C +

q∑l=1

I∑i=1

{ril lnPil + (fil − ril) lnQil}+ ln p(ζ),

Prof. Caio Azevedo

Metodos de estimacao: moda marginal a posteriori/marginal-perfilados bayesianos

Page 24: Métodos de estimação: moda marginal a posteriori/marginal ...

Tomando a esperanca da log posteriori, condicionada a (Y ′.., ζ′)′,

para os dados completos, temos que

E [ln L(ζ)|(Y ′.., ζ′)′] = C +

I∑i=1

q∑l=1

{r il lnPil + (f il − r il) lnQil

},

em que

r il = E [ril |Y .., ζ], f il = E [fil |Y .., ζ] e C = E [C |Y .., ζ].

Prof. Caio Azevedo

Metodos de estimacao: moda marginal a posteriori/marginal-perfilados bayesianos

Page 25: Métodos de estimação: moda marginal a posteriori/marginal ...

Dessa forma, os passos E e M sao :

Passo E

Usar os pontos de quadratura θl , os pesos Al ,

l = 1, · · · , q e estimativas iniciais dos parametros dos

itens, ζ i , i = 1, · · · , I , para gerar g∗j (θl) e,

posteriormente, r il e f il , i = 1, · · · , I e l = 1, · · · , q.

Passo M

Com r e f obtidos no Passo E, resolver as equacoes

de estimacao para ζ i , i = 1, · · · , I , usando o

algoritmo de Newton-Raphson ou Escore de Fisher.

Prof. Caio Azevedo

Metodos de estimacao: moda marginal a posteriori/marginal-perfilados bayesianos

Page 26: Métodos de estimação: moda marginal a posteriori/marginal ...

Abordagem hierarquica

Posteriori marginal

p(ζ,η|y ..) ∝

n∏

j=1

∫<

I∏i=1

P (Y ij |θ, ζ i ) g (θ,η) dθ

{

I∏i=1

p(ζ i |τ i )

}

×

{I∏

i=1

p(τ i )

}Log posteriori marginal

ln p(ζ,η|y ..) ∝

n∑

j=1

ln

∫<

I∏i=1

P (Y ij |θ, ζ i ) g (θ,η) dθ

{

I∑i=1

ln p(ζ i |τ i )

}{

I∑i=1

ln p(τ i )

}Prof. Caio Azevedo

Metodos de estimacao: moda marginal a posteriori/marginal-perfilados bayesianos

Page 27: Métodos de estimação: moda marginal a posteriori/marginal ...

Abordagem hierarquica

Maximizar a log posteriori marginal

∂ζ i

ln p(ζ,η|y ..) ∝

n∑

j=1

∂ζ i

ln

∫<

I∏i=1

P (Y ij |θ, ζ i ) g (θ,η) dθ

×

{∂

∂ζ i

ln p(ζ i |τ i )

}

Prof. Caio Azevedo

Metodos de estimacao: moda marginal a posteriori/marginal-perfilados bayesianos

Page 28: Métodos de estimação: moda marginal a posteriori/marginal ...

Parametro a

p(ai |µai , σ2ai ) =

1√2πaiσai

exp

[− 1

2σ2ai

(ln ai − µai )2

].

Parametro b

p(bi |µbi , σ2bi ) =

1√2πσbi

exp

{−(bi − µbi )

2

2σ2bi

}

Parametro c

p(ci |αi , βi ) =Γ(αi + βi − 2)

Γ(αi − 1)Γ(βi − 1)cαi−2i (1− ci )

βi−2.

Prof. Caio Azevedo

Metodos de estimacao: moda marginal a posteriori/marginal-perfilados bayesianos

Page 29: Métodos de estimação: moda marginal a posteriori/marginal ...

S(ζ i )B =

q∑l=1

(r il − f ilPil

)Wilhil + λi ,

com

hij = (P∗ilQ∗il )−1

(∂Pil

∂ζ i

)=

D (1− ci )

(θl − bi

)−Dai (1− ci )

1

P∗il

λi =

[1

ai

[1 +

ln ai − µai

σ2ai

]; − (bi − µbi )

σ2bi

;αi − 2

ci− βi − 2

1− ci

]′.

Prof. Caio Azevedo

Metodos de estimacao: moda marginal a posteriori/marginal-perfilados bayesianos

Page 30: Métodos de estimação: moda marginal a posteriori/marginal ...

∂2

∂ζ i∂ζ′i

ln p(ζ,η|y ..) ∝

n∑

j=1

∂2

∂ζ i∂ζ′i

ln

∫<

I∏i=1

P (Y ij |θ, ζ i ) g (θ,η) dθ

{∂2

∂ζ i∂ζ′i

ln p(ζ i |τ i )

}

I (ζ i )BM =

q∑l=1

f ilP∗ilQ∗il hilh

il − Λi .

Λi =

[σ2ai + ln ai − µai − 1

]µ2aiσ

2ai

. .

0 − 1

σ2bi

.

0 0 −[αi − 2

c2i

]+

βi − 2

(1− ci )2

.

Prof. Caio Azevedo

Metodos de estimacao: moda marginal a posteriori/marginal-perfilados bayesianos

Page 31: Métodos de estimação: moda marginal a posteriori/marginal ...

Maxima Verossimilhanca Marginal - MVM:

⊕ Possui propriedades assintoticas: as estimativas dos parametros ai ,

bi e ci sao consistentes;

⊕ Uma vez estimados os parametros dos itens, pode-se estimar as

habilidades atraves de metodos simples;

⊕ Permite resolver o problema de indeterminacao (metrica) relativo ao

modelo,uma vez que se atribui um parametro de escala e de posicao

para a distribuicao das habilidades;

⊕ Permite caracterizar empiricamente a distribuicao dos tracos latentes;

Nao esta definido para itens com acerto total ou erro total;

E bastante trabalhoso computacionalmente;

Apresenta problemas na estimacao do parametro ci em alguns casos;

deve ser usado somente com um numero suficientemente grande de

respondentes.

Necessidade do estabelecimento de uma distribuicao para θ;

Prof. Caio Azevedo

Metodos de estimacao: moda marginal a posteriori/marginal-perfilados bayesianos

Page 32: Métodos de estimação: moda marginal a posteriori/marginal ...

Moda marginal a Posteriori - MMAP:

⊕ Definido para qualquer padrao de resposta;

⊕ Uma vez estimados os parametros dos itens, pode-se estimar as

habilidades atraves de metodos simples;

⊕ Permite resolver o problema de indeterminacao (metrica) relativo ao

modelo,uma vez que se atribui um parametro de escala e de posicao

para a distribuicao das habilidades;

⊕ Permite caracterizar empiricamente a distribuicao das habilidades;

E mais trabalhoso computacionalmente do que o MVM;

Necessidade de distribuicoes a priori para os parametros dos itens.

Prof. Caio Azevedo

Metodos de estimacao: moda marginal a posteriori/marginal-perfilados bayesianos

Page 33: Métodos de estimação: moda marginal a posteriori/marginal ...

E possıvel atualizar a distribuicao dos tracos latentes.

Metodo de maxima verossimilhanca nao-parametrica (Mislevy

(1982)).

Utiliza as quantidades f il devidamente padronizadas.

Especificar uma priori em forma de histograma.

Mistura de normais.

Os erros-padrao pode ser obtidos atraves da inversa da Informacao

de Fisher. Para outras opcoes veja o manual do mirt.

Prof. Caio Azevedo

Metodos de estimacao: moda marginal a posteriori/marginal-perfilados bayesianos

Page 34: Métodos de estimação: moda marginal a posteriori/marginal ...

De posse das estimativas dos parametros dos itens constroi-se uma

verossimilhanca perfilada para estimar as proficiencias

L(θ, b) = P(Y .j |θj , ζ) =I∏

i=1

n∏j=1

Pyijij Q

1−yijij ,

Log posteriori perfilada

ln g∗j (θj) = Const + lnP(Y .j |θj , ζ) + ln g(θj |η).

Equacao de estimacao bayesiana

∂ ln g∗j (θj)

∂θj=∂ lnP(Y .j |θj , ζ)

∂θj+∂ ln g(θj |η)

∂θj= 0.

Prof. Caio Azevedo

Metodos de estimacao: moda marginal a posteriori/marginal-perfilados bayesianos

Page 35: Métodos de estimação: moda marginal a posteriori/marginal ...

Informacao de Fisher

I (θj) =I∑

i=1

P∗ij Q∗ij Wij h

2ij −

1

σ2.

Algoritmo Escore de Fisher

θ(t+1)j = θ

(t)j + I (θ

(t)j )−1S(θ

(t)j )

em que Wij =P∗ij Q

∗ij

PijQije hij = ai (1− ci )

Erros-padrao: inversa da informacao de Fisher.

Prof. Caio Azevedo

Metodos de estimacao: moda marginal a posteriori/marginal-perfilados bayesianos

Page 36: Métodos de estimação: moda marginal a posteriori/marginal ...

g(θ|y .j , ζ,η) =P(y .j |θ, ζ)g(θ|η)

P(y .j |ζ,η).

Segue que a esperanca da posteriori e

θj ≡ E [θ|y .j , ζ,η] =

∫< θg(θ|η)P(y .j |θ, ζ)dθ∫< g(θ|η)P(y .j |θ, ζ)dθ

.

E[θj |y .j , ζ,η

]≈ E

[θj |y .j , ζ,η

]=

∑ql=1 θlP(Y .j |θl , ζ)g(θl |η)∑ql=1 P(Y .j |θl , ζ)g(θl |η)

=

∑ql=1 θlP(Y .j |θl , ζ)Al∑ql=1 P(Y .j |θl , ζ)Al

.

Prof. Caio Azevedo

Metodos de estimacao: moda marginal a posteriori/marginal-perfilados bayesianos

Page 37: Métodos de estimação: moda marginal a posteriori/marginal ...

E a variancia a posteriori

Var (θj) ≡ Var [θ|y .j , ζ,η] =

∫< (θ − E (θ))2 g(θ|η)P(y .j |θ, ζ)dθ∫

< g(θ|η)P(y .j |θ, ζ)dθ.

Var[θj |y .j , ζ,η

]=

q∑l=1

{θl − E

[θj |y .j , ζ,η

]}2P(Y .j |θl , ζ)g(θl |η)

q∑l=1

P(Y .j |θl , ζ)g(θl |η)

Erros-padrao: raiza quadrada da variancia a posteriori.

Prof. Caio Azevedo

Metodos de estimacao: moda marginal a posteriori/marginal-perfilados bayesianos

Page 38: Métodos de estimação: moda marginal a posteriori/marginal ...

• Maxima Verossimilhanca - MV :

⊕ Para testes “longos”produz estimadores nao

viciados;

Nao esta definido para alguns padroes de

resposta.

• Bayesiano - EAP :

⊕ Definido para qualquer padrao de resposta;

⊕ Possui o menor erro medio;

Viciado;

Exige calculos mais complexos do que o

metodo de MV;

Necessidade de uma distribuicao a priori

para θ.

Prof. Caio Azevedo

Metodos de estimacao: moda marginal a posteriori/marginal-perfilados bayesianos

Page 39: Métodos de estimação: moda marginal a posteriori/marginal ...

• Bayesiano - MAP :

⊕ Definido para qualquer padrao de resposta;

Viciado.

Exige calculos mais complexos do que o

metodo de MV;

Necessidade de uma distribuicao a priori

para θ.

Prof. Caio Azevedo

Metodos de estimacao: moda marginal a posteriori/marginal-perfilados bayesianos

Page 40: Métodos de estimação: moda marginal a posteriori/marginal ...

Resultados: modelo 1

−3 −2 −1 0 1 2 3

−3−2

−10

12

3

parâmetros de dificuldade

valor verdadeiro

estim

ativa

− M

V

−3 −2 −1 0 1 2 3

−3−2

−10

12

3

parâmetros de dificuldade

valor verdadeiro

estim

ativa

− M

MAP

Prof. Caio Azevedo

Metodos de estimacao: moda marginal a posteriori/marginal-perfilados bayesianos

Page 41: Métodos de estimação: moda marginal a posteriori/marginal ...

Resultados: modelo 1

0 5 10 15 20 25 30

−3−2

−10

12

3

item

true

valu

e/es

timat

e −

MV

0 5 10 15 20 25 30

−3−2

−10

12

3

item

true

valu

e/es

timat

e −

MM

AP

Prof. Caio Azevedo

Metodos de estimacao: moda marginal a posteriori/marginal-perfilados bayesianos

Page 42: Métodos de estimação: moda marginal a posteriori/marginal ...

Resultados: modelo 1

−3 −2 −1 0 1 2 3

−4−2

02

4

traços latentes

verdadeiro

estim

ativa

− M

V

−3 −2 −1 0 1 2 3

−3−2

−10

12

3

traços latentes

verdadeiro

estim

ativa

− E

AP

Prof. Caio Azevedo

Metodos de estimacao: moda marginal a posteriori/marginal-perfilados bayesianos

Page 43: Métodos de estimação: moda marginal a posteriori/marginal ...

Resultados: modelo 1

verdadeiro

traço latente

dens

idad

e

−3 −2 −1 0 1 2 3

0.0

0.1

0.2

0.3

0.4

estimativa − MV

traço latente

dens

idad

e

−4 −2 0 2 4

0.00

0.10

0.20

0.30

estimativa − EAP

traço latente

dens

idad

e

−3 −2 −1 0 1 2 3

0.0

0.1

0.2

0.3

0.4

0.5

Prof. Caio Azevedo

Metodos de estimacao: moda marginal a posteriori/marginal-perfilados bayesianos

Page 44: Métodos de estimação: moda marginal a posteriori/marginal ...

Resultados: modelo 1

verdadeiro estimativa − MV estimativa − EAP

−4−2

02

4

traço latente

Prof. Caio Azevedo

Metodos de estimacao: moda marginal a posteriori/marginal-perfilados bayesianos

Page 45: Métodos de estimação: moda marginal a posteriori/marginal ...

Resultados: modelo 2

−3 −2 −1 0 1 2 3

−3−2

−10

12

3

parâmetro de dificuldade

valor verdadeiro

estim

ativa

− M

V

−2 −1 0 1 2

−3−2

−10

12

3

parâmetro de dificuldade

valor verdadeiro

estim

ativa

− M

MAP

Prof. Caio Azevedo

Metodos de estimacao: moda marginal a posteriori/marginal-perfilados bayesianos

Page 46: Métodos de estimação: moda marginal a posteriori/marginal ...

Resultados: modelo 2

0 5 10 15 20 25 30

−4−2

02

4

MV

item

true

valu

e/es

timat

e

0 5 10 15 20 25 30

−4−2

02

4

MMAP

item

true

valu

e/es

timat

e

Prof. Caio Azevedo

Metodos de estimacao: moda marginal a posteriori/marginal-perfilados bayesianos

Page 47: Métodos de estimação: moda marginal a posteriori/marginal ...

Resultados: modelo 2

0.6 0.8 1.0 1.2 1.4

0.6

0.7

0.8

0.9

1.0

1.1

1.2

parâmetro de discriminação

valor verdadeiro

estim

ativa

− M

V

0.6 0.8 1.0 1.2 1.4 1.6

0.6

0.7

0.8

0.9

1.0

1.1

1.2

parâmetro de discriminação

valor verdadeiro

estim

ativa

− M

MAP

Prof. Caio Azevedo

Metodos de estimacao: moda marginal a posteriori/marginal-perfilados bayesianos

Page 48: Métodos de estimação: moda marginal a posteriori/marginal ...

Resultados: modelo 2

0 5 10 15 20 25 30

0.0

0.5

1.0

1.5

2.0

MV

item

true

valu

e/es

timat

e

0 5 10 15 20 25 30

0.0

0.5

1.0

1.5

2.0

MMAP

item

true

valu

e/es

timat

e

Prof. Caio Azevedo

Metodos de estimacao: moda marginal a posteriori/marginal-perfilados bayesianos

Page 49: Métodos de estimação: moda marginal a posteriori/marginal ...

Resultados: modelo 2

−3 −2 −1 0 1 2 3

−4−2

02

4

traços latentes

verdadeiro

estim

ativa

− M

V

−3 −2 −1 0 1 2 3

−2−1

01

23

traços latentes

verdadeiro

estim

ativa

− E

AP

Prof. Caio Azevedo

Metodos de estimacao: moda marginal a posteriori/marginal-perfilados bayesianos

Page 50: Métodos de estimação: moda marginal a posteriori/marginal ...

Resultados: modelo 2

verdadeiro

traço latente

dens

idad

e

−3 −2 −1 0 1 2 3

0.0

0.1

0.2

0.3

0.4

estimativa − MV

traço latente

dens

idad

e

−4 −2 0 2 4

0.0

0.1

0.2

0.3

0.4

estimativa − EAP

traço latente

dens

idad

e

−2 −1 0 1 2 3

0.0

0.1

0.2

0.3

0.4

0.5

Prof. Caio Azevedo

Metodos de estimacao: moda marginal a posteriori/marginal-perfilados bayesianos

Page 51: Métodos de estimação: moda marginal a posteriori/marginal ...

Resultados: modelo 2

verdadeiro estimativa − MV estimativa − EAP

−4−2

02

4

traço latente

Prof. Caio Azevedo

Metodos de estimacao: moda marginal a posteriori/marginal-perfilados bayesianos

Page 52: Métodos de estimação: moda marginal a posteriori/marginal ...

Resultados: modelo 3

−4 −3 −2 −1 0 1 2 3

−3−2

−10

12

3

parâmetros de dificuldade

valor verdadeiro

estim

ativa

− M

V

−2 −1 0 1 2

−3−2

−10

12

3

parâmetros de dificuldade

valor verdadeiro

estim

ativa

− M

MAP

Prof. Caio Azevedo

Metodos de estimacao: moda marginal a posteriori/marginal-perfilados bayesianos

Page 53: Métodos de estimação: moda marginal a posteriori/marginal ...

Resultados: modelo 3

0 5 10 15 20 25 30

−4−2

02

4

MV

item

true

valu

e/es

timat

e

0 5 10 15 20 25 30

−4−2

02

4

MMAP

item

true

valu

e/es

timat

e

Prof. Caio Azevedo

Metodos de estimacao: moda marginal a posteriori/marginal-perfilados bayesianos

Page 54: Métodos de estimação: moda marginal a posteriori/marginal ...

Resultados: modelo 3

1 2 3 4

0.6

0.7

0.8

0.9

1.0

1.1

1.2

parâmetros de dificuldade

valor verdadeiro

estim

ativa

− M

V

0.5 1.0 1.5 2.0

0.6

0.7

0.8

0.9

1.0

1.1

1.2

parâmetros de dificuldade

valor verdadeiro

estim

ativa

− M

MAP

Prof. Caio Azevedo

Metodos de estimacao: moda marginal a posteriori/marginal-perfilados bayesianos

Page 55: Métodos de estimação: moda marginal a posteriori/marginal ...

Resultados: modelo 3

0 5 10 15 20 25 30

0.0

0.5

1.0

1.5

2.0

MV

item

true

valu

e/es

timat

e

0 5 10 15 20 25 30

0.0

0.5

1.0

1.5

2.0

MMAP

item

true

valu

e/es

timat

e

Prof. Caio Azevedo

Metodos de estimacao: moda marginal a posteriori/marginal-perfilados bayesianos

Page 56: Métodos de estimação: moda marginal a posteriori/marginal ...

Resultados: modelo 3

0 5 10 15 20 25 30

0.0

0.2

0.4

0.6

0.8

1.0

MV

item

true

valu

e/es

timat

e

0 5 10 15 20 25 30

0.0

0.2

0.4

0.6

0.8

1.0

MMAP

item

true

valu

e/es

timat

e

Prof. Caio Azevedo

Metodos de estimacao: moda marginal a posteriori/marginal-perfilados bayesianos

Page 57: Métodos de estimação: moda marginal a posteriori/marginal ...

Resultados: modelo 3

−3 −2 −1 0 1 2 3

−6−4

−20

24

6

traços latentes

verdadeiro

estim

ativa

− M

V

−3 −2 −1 0 1 2 3

−2−1

01

2

traços latentes

verdadeiro

estim

ativa

− E

AP

Prof. Caio Azevedo

Metodos de estimacao: moda marginal a posteriori/marginal-perfilados bayesianos

Page 58: Métodos de estimação: moda marginal a posteriori/marginal ...

Resultados: modelo 3

verdadeiro

traço latente

dens

idad

e

−3 −2 −1 0 1 2 3

0.0

0.1

0.2

0.3

0.4

estimativa − MV

traço latente

dens

idad

e

−8 −6 −4 −2 0 2 4 6

0.00

0.10

0.20

0.30

estimativa − EAP

traço latente

dens

idad

e

−2 −1 0 1 2

0.0

0.1

0.2

0.3

0.4

0.5

Prof. Caio Azevedo

Metodos de estimacao: moda marginal a posteriori/marginal-perfilados bayesianos

Page 59: Métodos de estimação: moda marginal a posteriori/marginal ...

Resultados: modelo 3

verdadeiro estimativa − MV estimativa − EAP

−6−4

−20

24

6

traço latente

Prof. Caio Azevedo

Metodos de estimacao: moda marginal a posteriori/marginal-perfilados bayesianos