Introdução à Teoria de Resposta ao Item - semest.uff.br€¦ · Estrutura do mini-curso Teoria...

Estrutura do mini-curso Teoria de Resposta ao Item (TRI) Principais modelos Estimacao

Introducao a Teoria de Resposta ao Item

Caio L. N. Azevedo, IMECC/UnicampDani Gamerman, DME/UFRJ

I CONBRATRI, Florianopolis9 de dezembro de 2009

Parte I

Azevedo & Gamerman



I Parte 1:

I Principais conceitosI Tipos de respostaI Principais modelosI Metodos de estimacao

I Metodos marginal-perfiladosI Metodos Bayesianos

I Parte 2:I Implementacao computacionalI Aplicacoes a dados reaisI Extensoes: equalizacao, DIF, estrutura multinıvel, CAT,

assimetria (CCI e tracos latentes), TRI nao-parametrica

Azevedo & Gamerman



I Teoria psicometrica desenvolvida para suprir necessidades na area

educacional. E composta por conjunto de modelos que consideram

variaveis latentes.

I Modelos de Resposta ao Item (MRI) : representam o

relacionamento entre tracos latentes de indivıduos e itens de um

instrumento de medida (prova, questionario). Tal modelagem

consiste na probabilidade de obter um certo escore em cada item.

I Existe um grande numero de classes de MRI : dicotomicos e

policotomicos, um e multiplos grupos, multidimensionais,

longitudinais multinıveis, dentre outros. MRI apresentam elevado

numero de parametros.

I Aplicada em diversas areas: educacao, marketing, psiquiatria,

genetica etc.

I Surgiu, formalmente, a partir dos trabalhos de Lord (1952) e Rasch

(1960).

Azevedo & Gamerman



I No Brasil vem sendo usada extensamente em avaliacao educacional

SAEB, ENADE, ENEM, ...

I No mundo: TOEFL, GRE, PISA, ...

I Sera parte fundamental dos exames vestibulares das universidades

federais

I Decreto do MEC fala explicitamente em uso do “modelo logıstico

de 3 parametros”

Azevedo & Gamerman



I Como em qualquer area da Estatıstica, modelo decompoe as

observacoes em sinal (explicavel) e ruıdo (nao explicavel)

Y = µ“ +′′ erro ,

em queE(Y ) = µ.

I Vamos nos concentrar inicialmente em µ

I Depois cuidaremos do erro (mais facil)

Azevedo & Gamerman



I Relembrando, Y = µ“ +′′ erro e E(Y ) = µ.

I Hipotese 0: µ = θ → proficiencia do aluno.

I Nesse caso, estimamos θ de cada aluno pela media (ou soma) das

respostas .

I Isso equivale a atribuir a cada aluno seu escore bruto

I E o que fazemos corriqueiramente

I Isso e o melhor que pode ser feito?

Azevedo & Gamerman



I Nao!!!!!

I Indivıduos podem ser submetidos a itens com diferentes nıves de

dificuldades (diferentes provas).

I Como comparar tais resultados?.

I Como interpretar os escores?.

I Como caracterizar adequadamente os itens?.

Azevedo & Gamerman



Formalizacao da TRI

Formalizacao da TRI

I 1a hipotese (Rasch,1960): µi = θ − bi .I bi e a dificuldade do ıtem i.I Modelo de Rasch ou de 1 parametro.

I 2a hipotese: µi = ai (θj − bi ).I ai e a discriminacao do ıtem i.I Modelo de 2 parametros.

Azevedo & Gamerman



Formalizacao da TRI

I Vamos agora tratar do “erro”

I Varios tipos de resposta possıveis:

I Dicotomica (certo = 1 ou errado = 0).I Politomica: nominal ou ordinal.I Contınua.I Contagem.

I Vamos nos concentrar em resposta dicotomica (multipla escolha)

Azevedo & Gamerman



Formalizacao da TRI

I Existem 2 valores possıveis para Y: 0 e 1

I Logo, usaremos a distribuicao de Bernoulli ondeP(Y = 1) = p.

I Como E(Y ) = p, tenderıamos a fazer: p = µ = ai (θ − bi ).

Azevedo & Gamerman



Formalizacao da TRI

I Problema: 0 ≤ p ≤ 1 e −∞ ≤ µ ≤ ∞.

I Precisamos transformar µ para [0, 1]

I Qualquer f.d.a de v.a. na reta serve a tal proposito.

I Principais transformacoes usadas: f

I Φ(X ) - f.d. da Normal .

I F (x) =1

1 + e(−x)- f.d. logıstica.

I Vamos nos concentrar na logıstica mas as ambas sao muito

parecidas.

Azevedo & Gamerman



I Assim, chega-se ao modelo logıstico com 2 parametros (L2P) dado

pelas equacoes:

P(Yij = 1|θj , ζ i ) = pij =1

1 + e−ai(θj−bi)

ou, analogamente,

log

[pij

1− pij

]= −ai (θj − bi )

em que

I Yij e a resposta do indivıduo j ao item i.I ζ i = (ai , bi ).I θj : traco latente do indivıduo j.

Azevedo & Gamerman



−4 −2 0 2 4

0.0

0.2

0.4

0.6

0.8

1.0

Curvas do modelo L2P

traço latente

pro

ba

bili

da

de

de

re

spo

sta

co

rre

ta

a = 0.6

a = 0.8

a = 1

a = 1.2

a = 1.4

Azevedo & Gamerman



−4 −2 0 2 4

0.0

0.2

0.4

0.6

0.8

1.0


traço latente

pro

ba

bili

da

de

de

re

spo

sta

co

rre

ta

b = −2

b = −1

b = 0

b = 1

b = 2

Azevedo & Gamerman



I Evidencia empırica

Azevedo & Gamerman



I Questoes de multipla escolha sempre permitem que acerte a questao

mesmo aluno que nao domine o conhecimento necessario θ →∞.

I Modelar a probabilidade (aproximada) de resposta corretade alunos

que respondem ao acaso e/ou tenham baixo nıvel de conhecimento .

I Incluir tal probabilidade no modelo de 2 parametros.

Azevedo & Gamerman



I Modelo de resposta ao item : Seja Yij a resposta do indivıduo j

ao item i.Yij |(θj , ζ i ) ∼ Bernoulli(pij) ,

pij = P(Yij = 1|θj , ζ i ) = ci + (1− ci )1

1 + e−ai (θj−bi )

I θj : traco latente do indivıduo j.I ζ i = (ai , bi , ci )

′.I ai : parametro de discriminacao (escala) do item i .I bi : parametro de dificuldade (posicao) do item i .I ci : probabilidade aproximada (assintotica) de indivıduos com traco

latente baixo do item i.

Azevedo & Gamerman



−4 −2 0 2 4

0.0

0.2

0.4

0.6

0.8

1.0


traço latente

pro

ba

bili

da

de

de

re

spo

sta

co

rre

ta

a = 0.6

a = 0.8

a = 1

a = 1.2

a = 1.4

Azevedo & Gamerman



−4 −2 0 2 4

0.0

0.2

0.4

0.6

0.8

1.0


traço latente

pro

ba

bili

da

de

de

re

spo

sta

co

rre

ta

b = −2

b = −1

b = 0

b = 1

b = 2

Azevedo & Gamerman



I Os modelos dicotomicos consideram apenas a probabilidade de

resposta correta e incorreta.

I Nao levam em consideracao as informacoes dos distratores

(categorias de resposta incorreta)

I Modelar a resposta a cada categoria s.

I Modelo de Resposta Nominal - MRN.

Pijs = P (Yijs = 1|θj , ζ i ) =eais(θj−bis)

mi∑h=1

eaih(θj−bih),

I ais : esta associado a discriminacao da categoria s.I bis : esta relacionado a dificuldade da categoria s.

Azevedo & Gamerman



−4 −2 0 2 4

0.0

0.2

0.4

0.6

0.8

1.0

habilidade (a)

pro

b. d

e e

sco

lha

da

alte

rna

tiva

a = ( −0.75 , −0.5 , −0.4 , 0.6 , 1.05 ) e b= ( −2 , −1.26 , −1.8 , −3 , −1 )

C 1

C 2 C 3

C 4C 5

a −0.75a −0.5a −0.4a 0.6a 1.05 −4 −2 0 2 4

0.0

0.2

0.4

0.6

0.8

1.0

habilidade (b)

pro

b. d

e e

sco

lha

da

alte

rna

tiva

a = ( −0.75 , −0.5 , −0.4 , 0.6 , 1.05 ) e b= ( −1 , 1.3 , 1 , −3 , 2 )

C 1

C 2

C 3

C 4

C 5

a −0.75a −0.5a −0.4a 0.6a 1.05

−4 −2 0 2 4

0.0

0.2

0.4

0.6

0.8

1.0

habilidade (c)

pro

b. d

e e

sco

lha

da

alte

rna

tiva

a = ( −0.75 , −0.5 , −0.2 , 0.3 , 0.9 ) e b= ( −1.2 , −1.32 , −1.2 , −3 , −1 )

C 1

C 2 C 3

C 4

C 5

a −0.75a −0.5a −0.2a 0.3a 0.9 −4 −2 0 2 40

.00

.20

.40

.60

.81

.0

habilidade (d)

pro

b. d

e e

sco

lha

da

alte

rna

tiva

a = ( −0.75 , −0.5 , −0.2 , 0.3 , 0.9 ) e b= ( 0.1 , 0.35 , −0.2 , −2.3 , 1 )

C 1

C 2C 3

C 4

C 5

a −0.75a −0.5a −0.2a 0.3a 0.9

Figura: Curvas para o modelo de resposta nominal com base emdiferentes parametros

Azevedo & Gamerman



Inferencia

Inferencia :

I Normalmente dispomos de um grande banco contendo I itens

(questoes) aplicados a n indivıduos (alunos).

I No caso completo, n × I observacoes Yij .

I Muitas vezes, aluno j responde apenas itens em Ij ⊂ {1, 2, , ..., I} .

I # parametros =3I + n ... muito grande!!!.

Azevedo & Gamerman



I Elevado numero de parametros.

I Falta de identificabilidade.

I Dificuldades na estimacao dos parametros.

I Dificuldades na verificacao do ajuste dos modelos.

I Ausencia de metodologias apropriadas para a selecao de modelos

nao encaixados.

Azevedo & Gamerman



I Os tracos latentes sao variaveis aleatorias: θji.i.d.∼ N(0, 1)

(identificabilidade)

I Suposicoes (inferencia) :I O tempo para se responder o teste e necessario.I As informacoes necessarias para se modelar a probabilidade de

resposta sao: o traco latente do indivıduo e os parametros doitem.

I Apenas uma dimensao do traco latente e necessaria para semodelar tal probabilidade (unidimensionalidade).

I Dados omissos sao oriundos de mecanismos de nao respostanao informativos.

I As probabilidades de selacao de cada indivıduo que compoe aamostra sao as mesmas.

I Condicionadas nas informacoes citadas anteriormente, asprobabilidades de resposta sao independentes.

Azevedo & Gamerman



I Verossimilhanca original:

L(θ, ζ) =n∏

j=1

∏i∈IIj

pyij

ij q1−yij

ij ,

em que qij = 1− pij .I Verossimilhanca aumentada: Seja

Yij = II(Zij>0),Zij ∼ N(aiθj − bi , 1), em que Zij sao as variaveis

aumentadas. Assim:

L(z, ζ,θ) = p(y|z)p(z|ζ,θ)

em que:

p(z|ζ,θ) ∝ exp{−0.5 (zij − aiθj + bi )

2}

Azevedo & Gamerman



I Metodos de estimacao:

I Marginal - perfilados (frequentistas e Bayesianos): estimacaoem duas etapas.

I Metodos de estimacao conjunta (Bayesianos): estimacaosimultanea.

I Marginal - perfilados:I Estimacao em duas etapas: parametros dos itens → tracos

latentes baseados em L(θ, ζ).I Requerem metodos de integracao e de maximizacao numericaI Normalidade dos tracos latentes e prescindıvel: estimacao das

densidades latentes.I Aplicavel com pelo menos 5 itens.I Implementacao difıcil para modelos mais complexos.I Depois de estimados os parametros dos itens pode-se estimar

os tracos latentes de diferentes formas.

Azevedo & Gamerman



I Programa para estimacao dos tracos latentes:# Caracterısticas dos ıtens

n=10 m=5 ai=c(rep(1,n)) # mesma discriminac~ao

bi=c(rep(-1,n/2),rep(1,n/2)) # 1a metade facil, 2a metade difıcil

ci=c(rep(1/m,n)) # admite-se acerto casual

# possiveis padr~oes de resposta

d0=c(rep(0,n)) # aluno d0 erra todas

d1=c(rep(1,n/2),rep(0,n/2)) # aluno d1 erra as difıceis e acerta as faceis

d2=c(rep(0,n/2),rep(1,n/2)) # aluno d2 acerta as difıceis e erra as faceis

d3=c(rep(1,n)) # aluno d3 acerta todas

# grade de valores para proficiencia

theta=seq(-10,10,0.2)

N=length(theta)

# calculo da verossimilhanca

dados =d2

llik=0*c(1:N)

for(j in 1:N)pi=ci + (1-ci)/(1 + exp (-ai*(theta[j]-bi)));

llik[j]= sum (dados*log(pi)) + sum ((1-dados)*log(1-pi))

# grafico da verossimilhanca

plot(theta,llik,type="l")

#

# ordem das proficiencias:

# d0 d2 < d1 < d3, se ci diferente de 0

# d0 < d1 = d2 < d3, se ci=0

#

Azevedo & Gamerman



I Paradigma Bayesiano

I Calcular a distribuicao a posteriori.I Seja p(θ, ζ) uma distribuicao a priori para (θ, ζ).I Pelo teorema de Bayes, a distribuicao a posteriori de (θ, ζ)|y e:

p(θ, ζ|y) ∝ L(θ, ζ)p(θ, ζ)

∝ L(θ, ζ)

n∏j=1

e−0.5θ2j

( I∏i=1

p(ai )p(bi )p(ci )

),

Para o modelo logıstico, p(ai ) = log-normal(µa, ψa), p(bi ) =normal(µb, ψb) e p(ci ) = beta(ri , si ).Para o modelo probito, p(ai , bi ) = norma bivariada truncada,p(ci ) permanece a mesma.

Azevedo & Gamerman



I MVM e MMAP:

I Maximizar a verossimilhanca diretamente: proibitivo.

I Alternativa:

I Maximizar a verossimilhanca marginal:

L(ζ) =

∫R

n∏j=1

∏i∈IIj

pyij

ij (1− pij)1−yij

dθ

I densidade a posteriori:

p(ζ|y) =

∫R

n∏j=1

∏i∈IIj

pyij

ij (1− pij)1−yij p(ζ)

dθ

I Para maiores detalhes, ver palestra do Prof. Sinharay.

Azevedo & Gamerman



I Equacoes de estimacao (em formas de ponto de quadratura)

(MVM):

ai : (1− ci )

q∑l=1

[(r il − f ilkPil

) (θl − bi

)Wil

]= 0

bi : −ai (1− ci )

q∑l=1

[(r ilk − f ilPil

)Wil

]= 0

ci :

q∑l=1

[(r ilk − f ilkPil

) Wil

P∗il

]= 0,

onde :r il =

n∑j=1

yijg∗j

(θl

), f il =

n∑j=1

g∗j(θl

).

Azevedo & Gamerman



I MV, EAP, MAP:

I Apos estimar-se os parametros dos itens (obtendo-se ζ), estima-se

os tracos latentes atraves de L(θ, ζ).

I MV: maximiza-se a verossimilhaca perfilada:

L(θ, ζ) =n∏

j=1

∏i∈IIj

pyij

ij q1−yij

ij

I Posteriori perfilada:

p(θ, ζ) ∝

n∏j=1

∏i∈IIj

pyij

ij q1−yij

ij

n∏j=1

e−0.5θ2j

I EAP: esperanca da posteriori perfilada.I MAP: moda da posteriori perfilada.

Azevedo & Gamerman



I Metodos Bayesianos baseados em algoritmos MCMC:

I Metropolis-Hastings.I Amostrador de Gibbs: abordagem de dados aumentados.

I Obtencao empırica das distribuicoes a posteriori de interesse.

I Metropolis-Hastings (verossimilhanca original):

p(ζ,θ|y) ∝ L(ζ,θ)p(ζ)p(θ)

∝

n∏j=1

∏i∈IIj

pyij

ij (1− pij)1−yij

n∏j=1

e−0.5θ2j

×

(I∏

i=1

exp[−0.5

(ζ i − µζ

)tΨ−1

ζ

(ζ i − µζ

)]II(ai>0)

)

Azevedo & Gamerman



Denotando por (.) o conjunto de todos os outros parametros, temos queos passos do Amostrador de Gibbs sao dados por :

I Iniciar a simulacao das cadeias atraves de valores convenientes.

I Simular Zij de forma mutuamente independente atraves de Zij |(.)(normais univariadas truncadas).

I Simular Uij de forma mutuamente independente atraves de Zij |(.)(bernoullis univariadas).

I Simular θj. de forma mutuamente independente atraves de θj |(.)(normais univariadas).

I Simular ζ i de forma mutuamente independente atraves de ζ i |(.)(normais bivariadas truncadas).

Repetir procedimento ate convergencia da cadeia.

Azevedo & Gamerman



I Metodos Bayesianos baseados em algoritmos MCMC:

I Estimam todos os parametros simultaneamenteI Nao requerem metodos de integracao e de maximizacao

numericaI Normalidade dos tracos latentes e prescindıvel: flexibilidade na

escolha de prioris.I Implementacao relativamente simples mesmo para modelos

mais complexos.I Demandam bastante esforco (tempo) computacional.I Difıcil determinacao da convergencia das cadeias.

Azevedo & Gamerman


Introdução à Teoria de Resposta ao Item - semest.uff.br€¦ · Estrutura do mini-curso Teoria...

Documents

Transcript of Introdução à Teoria de Resposta ao Item - semest.uff.br€¦ · Estrutura do mini-curso Teoria...