Teoria de Resposta ao Item (TRI) Principais modelos

Teoria de Resposta ao ItemIntroducao e alguns modelos

Caio L. N. Azevedo, IMECC/Unicamp

Azevedo

Introducao e alguns modelos

Teoria de Resposta ao Item (TRI) Principais modelos

I Teoria psicometrica desenvolvida para suprir necessidades na area

educacional. E composta por conjunto de modelos que consideram

variaveis latentes.

I Modelos de Resposta ao Item (MRI) : representam o

relacionamento entre tracos latentes de indivıduos e itens de um

instrumento de medida (prova, questionario). Tal modelagem

consiste na probabilidade de obter um certo escore em cada item.

I Existe um grande numero de classes de MRI : dicotomicos e

policotomicos, um e multiplos grupos, multidimensionais,

longitudinais multinıveis, dentre outros. MRI apresentam elevado

numero de parametros.

I Aplicada em diversas areas: educacao, marketing, psiquiatria,

genetica etc.

I Surgiu, formalmente, a partir dos trabalhos de Lord (1952) e Rasch

(1960).

Azevedo

Introducao e alguns modelos

Teoria de Resposta ao Item (TRI) Principais modelos

I No Brasil vem sendo usada extensamente em avaliacao educacional

SAEB, ENADE, ENEM, ...

I No mundo: TOEFL, GRE, PISA, ...

I Sera parte fundamental dos exames vestibulares das universidades

federais

I Decreto do MEC fala explicitamente em uso do “modelo logıstico

de 3 parametros”

Azevedo

Introducao e alguns modelos

Teoria de Resposta ao Item (TRI) Principais modelos

I Como em qualquer area da Estatıstica, modelo decompoe as

observacoes em sinal (explicavel) e ruıdo (nao explicavel)

Y = µ“ +′′ erro ,

em queE(Y ) = µ.

I Vamos nos concentrar inicialmente em µ

I Depois cuidaremos do erro (mais facil)

Azevedo

Introducao e alguns modelos

Teoria de Resposta ao Item (TRI) Principais modelos

I Relembrando, Y = µ“ +′′ erro e E(Y ) = µ.

I Hipotese 0: µ = θ → proficiencia do aluno.

I Nesse caso, estimamos θ de cada aluno pela media (ou soma) das

respostas .

I Isso equivale a atribuir a cada aluno seu escore bruto

I E o que fazemos corriqueiramente

I Isso e o melhor que pode ser feito?

Azevedo

Introducao e alguns modelos

Teoria de Resposta ao Item (TRI) Principais modelos

I Nao!!!!!

I Indivıduos podem ser submetidos a itens com diferentes nıves de

dificuldades (diferentes provas).

I Como comparar tais resultados?.

I Como interpretar os escores?.

I Como caracterizar adequadamente os itens?.

I As estimativas do conhecimentos dos indivıduos dependem do

particular conjunto de itens (prova).

I As estimativas dos parametros dos itens dependem do particular

conjunto de indivıduos que respondem a prova.

Azevedo

Introducao e alguns modelos

Teoria de Resposta ao Item (TRI) Principais modelos

Formalizacao da TRI

Formalizacao da TRI

I 1a hipotese (Rasch,1960): µi = θ − bi .I bi e a dificuldade do ıtem i.I Modelo de Rasch ou de 1 parametro.

I 2a hipotese: µi = ai (θ − bi ).I ai e a discriminacao do ıtem i.I Modelo de 2 parametros.

Azevedo

Introducao e alguns modelos

Teoria de Resposta ao Item (TRI) Principais modelos

Formalizacao da TRI

I Vamos agora tratar do “erro”

I Varios tipos de resposta possıveis:

I Dicotomica (certo = 1 ou errado = 0).I Politomica: nominal ou ordinal.I Contınua.I Contagem.

I Vamos nos concentrar em resposta dicotomica (multipla escolha)

Azevedo

Introducao e alguns modelos

Teoria de Resposta ao Item (TRI) Principais modelos

Formalizacao da TRI

I Existem 2 valores possıveis para Y: 0 e 1

I Logo, usaremos a distribuicao de Bernoulli ondeP(Y = 1) = p.

I Como E(Y ) = p, tenderıamos a fazer: p = µi = ai (θ − bi ).

Azevedo

Introducao e alguns modelos

Teoria de Resposta ao Item (TRI) Principais modelos

Formalizacao da TRI

I Evidencia empırica

Proporção de respostas corretas por escore

0

10

20

30

40

50

60

70

80

90

100

0 5 10 15 20 25 30 35

Azevedo

Introducao e alguns modelos

Teoria de Resposta ao Item (TRI) Principais modelos

Formalizacao da TRI

I Evidencia empırica

Azevedo

Introducao e alguns modelos

Teoria de Resposta ao Item (TRI) Principais modelos

Formalizacao da TRI

I Problema: 0 ≤ p ≤ 1 e −∞ ≤ µ ≤ ∞.

I Precisamos transformar µ para [0, 1]

I Qualquer f.d.a de v.a. na reta serve a tal proposito.

I Principais transformacoes usadas: f

I Φ(X ) - f.d. da Normal .

I F (x) =1

1 + e(−x)- f.d. logıstica.

I Vamos nos concentrar na logıstica mas as ambas sao muito

parecidas.

Azevedo

Introducao e alguns modelos

Teoria de Resposta ao Item (TRI) Principais modelos

I Assim, chega-se ao modelo logıstico com 2 parametros (L2P) dado

pelas equacoes:

P(Yij = 1|θj , ζ i ) = pij =1

1 + e−ai(θj−bi)

ou, analogamente,

log

[pij

1− pij

]= −ai (θj − bi )

em que

I Yij e a resposta do indivıduo j ao item i.I ζ i = (ai , bi ).I θj : traco latente do indivıduo j.

Azevedo

Introducao e alguns modelos

Teoria de Resposta ao Item (TRI) Principais modelos

−4 −2 0 2 4

0.0

0.2

0.4

0.6

0.8

1.0

Curvas do modelo L2P

traço latente

pro

ba

bili

da

de

de

re

spo

sta

co

rre

ta

a = 0.6

a = 0.8

a = 1

a = 1.2

a = 1.4

Azevedo

Introducao e alguns modelos

Teoria de Resposta ao Item (TRI) Principais modelos

−4 −2 0 2 4

0.0

0.2

0.4

0.6

0.8

1.0

Curvas do modelo L2P

traço latente

pro

ba

bili

da

de

de

re

spo

sta

co

rre

ta

b = −2

b = −1

b = 0

b = 1

b = 2

Azevedo

Introducao e alguns modelos

Teoria de Resposta ao Item (TRI) Principais modelos

I Questoes de multipla escolha sempre permitem que acerte a questao

mesmo aluno que nao domine o conhecimento necessario θ →∞.

I Modelar a probabilidade (aproximada) de resposta corretade alunos

que respondem ao acaso e/ou tenham baixo nıvel de conhecimento .

I Incluir tal probabilidade no modelo de 2 parametros.

Azevedo

Introducao e alguns modelos

Teoria de Resposta ao Item (TRI) Principais modelos

I Modelo de resposta ao item : Seja Yij a resposta do indivıduo j

ao item i.Yij |(θj , ζ i ) ∼ Bernoulli(pij) ,

pij = P(Yij = 1|θj , ζ i ) = ci + (1− ci )1

1 + e−ai (θj−bi )

I θj : traco latente do indivıduo j.I ζ i = (ai , bi , ci )

′.I ai : parametro de discriminacao (escala) do item i .I bi : parametro de dificuldade (posicao) do item i .I ci : probabilidade aproximada (assintotica) de indivıduos com traco

latente baixo do item i.

Azevedo

Introducao e alguns modelos

Teoria de Resposta ao Item (TRI) Principais modelos

−4 −2 0 2 4

0.0

0.2

0.4

0.6

0.8

1.0

Curvas do modelo L3P

traço latente

pro

ba

bili

da

de

de

re

spo

sta

co

rre

ta

a = 0.6

a = 0.8

a = 1

a = 1.2

a = 1.4

Azevedo

Introducao e alguns modelos

Teoria de Resposta ao Item (TRI) Principais modelos

−4 −2 0 2 4

0.0

0.2

0.4

0.6

0.8

1.0

Curvas do modelo L3P

traço latente

pro

ba

bili

da

de

de

re

spo

sta

co

rre

ta

b = −2

b = −1

b = 0

b = 1

b = 2

Azevedo

Introducao e alguns modelos

Teoria de Resposta ao Item (TRI) Principais modelos

I De uma forma geral, os modelos de resposta ao item podem ser

caracterizados por:.

I Y ∼ Bernoulli(P),I P = F(θ, ζ,ηF), F sao funcoes de distribuicao acumuladas.I θ: tracos latentes.I ζ: parametros dos itens.I ηF: parametros que carcaterizam a f.d.a (F).

Azevedo

Introducao e alguns modelos

Teoria de Resposta ao Item (TRI) Principais modelos

I Andrade, D.F., Tavares, H.R., Cunha, R.V. (2000). Teoria daResposta ao Item: Conceitos e Aplicacoes. Sao Paulo: AssociacaoBrasileira de Estatıstica.

I Lord, F.M., Norvick, M.R. (1968). Statistical Theories of MentalTest Score. Reading: Addison-Wesley

I Lord, F.M. (1980). Applications of Item Response Theory toPractical Testing Problems. Hillsdale: Lawrence Erlbaum Associates

I Hambleton, R.K., Swaminathan, H., Rogers, H.J. (1991).Fundamentals of Item Response Theory. Newburry Park: SagePublications.

Azevedo

Introducao e alguns modelos