Post on 22-Apr-2015
Teoria Clássica e Teoria Clássica e Teoria da Resposta Teoria da Resposta ao Item: introduçãoao Item: introdução
Slides adaptados de Prof. Phd. Dalton F. Slides adaptados de Prof. Phd. Dalton F. Andrade Andrade (dandrade@inf.ufsc.br)(dandrade@inf.ufsc.br)
Departamento de Informática e Estatística – UFSCDepartamento de Informática e Estatística – UFSC
Silvana Ligia Vincenzi Bortolotti
• Escores brutos ou padronizados (total de pontos do teste)
• Os Resultados do teste dependem do conjunto de itens que compõem o instrumento de medida
• Não permite a comparação entre indivíduos que não foram submetidos “aos mesmos instrumentos de medida”
Introdução Teoria Clássica de Medidas
•Modelo
j erespondent o para erro de componente :E
j erespondent do verdadeiro escore :T
teste noj erespondent do escore :X
onde
ETX
j
j
j
jjj
Utiliza:• estatísticas descritivas;• Coeficientes de correlação e proporções, para
medir a qualidade dos itens, e quase nenhuma estatística inferencial;
• Fórmula de Sperman-Brow e a fórmula–20 de Kuder-Richardson, ambas utilizadas para calcular a fidedignidade de um teste (fidedignidade refere-se à estabilidade dos seus resultados, se um teste é aplicado inúmeras vezes ao mesmo grupo de indivíduos espera-se que os resultados sejam os mesmos).
Limitações:
todas as suas medidas são dependentes das características dos examinados que se submetem ao teste ou ao questionário;
a dificuldade do item (proporção de indivíduos que acertam ao item) e a discriminação do item, que são usados para caracterizar a qualidade dos itens de um teste dependem do grupo de indivíduos do qual elas foram obtidas e, portanto, tem seu uso restringido se os examinados no pré-teste não são representativos da população.
Os escores, o observado e o verdadeiro aumentam e diminuem dependendo da dificuldade do teste;
Testes diferentes, com dificuldades e discriminação diferentes, produzem estimativas das habilidades diferentes.
estatísticas de itens não dependentes do grupo;
escores que não dependessem da dificuldade do teste para descrever as habilidades dos indivíduos;
modelos que não requeiram testes estritamente paralelos para avaliar a confiança ou fidedignidade dos indivíduos;
modelos que expressem antes o nível do item do que o nível do teste.
Buscaram outras teorias alternativas para obter um modelo que atendesse aos seguintes quesitos:
Esses e outros anseios foram resolvidos por uma outra estrutura de teoria de medida, conhecida como Teoria de Resposta ao Item,
TRI
Introdução TRIIntrodução TRIA Teoria da Resposta ao Item (TRI) é um
conjunto de modelos matemáticos que relacionam um ou mais traços latentes (não observados) de um indivíduo com a probabilidade deste dar uma certa resposta a um item
Traço latente: habilidade/proficiência em Matemática, grau de satisfação do consumidor, grau de maturidade de uma empresa em Gestão pela Qualidade, etc.
Item: questão (prova), pergunta (questionário sobre qualidade de vida),...
A partir de um conjunto de itens (questionário, prova, ...) deseja-se : estimar os parâmetros dos itens (calibração) “estimar” a habilidade, proficiência, grau de
satisfação, grau de maturidade, ...
Exemplos: prova de matemática para alunos de uma determinada série, questionário sobre os recursos físicos e pedagógicos da escola (Censo Escolar do INEP/MEC), questionário sobre qualidade de vida de pacientes que foram submetidos a determinado tratamento médico, ..)
ModelosModelos
• Depende do tipo de item
• Item de múltipla escolha (corrigido como certo/errado)
Logístico (unidimensional) com 1, 2 ou 3 parâmetros ( p/ itens corrigidos como certo/errado)
)b(aiijijijie1
1)c1(c)|1U(P
Modelo Logístico de 3 parâmetrosModelo Logístico de 3 parâmetros
Curva característica do item - CCI
0,0
0,2
0,4
0,6
0,8
1,0
-4,0 -3,0 -2,0 -1,0 0,0 1,0 2,0 3,0 4,0
habilidade (traço latente)
prob
abilid
ade
de re
spos
ta
corr
eta
b
a
c
iiiiiiii
a: discriminação ou inclinação do itemb: dificuldade (medido na mesma métrica do traço latente)c: acerto casual (probabilidade)
• Modelo NominalModelo Nominal(considera todas as categorias de resposta)(considera todas as categorias de resposta)
im
hihjih
isjis
jijs
ba
baUP
1
)](exp[
)](exp[)|1(
Logístico modelo no como b e a com isis
Modelo Resposta Gradual a=1,2 e b=(-2,-1,1)
0,00,20,40,60,81,01,2
-4,0 -3,0 -2,0 -1,0 0,0 1,0 2,0 3,0 4,0
Traço latente
Prob
abili
dade
P0 P1 P2 P3
Considere o seguinte item, extraído da Costa (2001)
“O cardápio é bem organizado e de fácil compreensão”, com resposta dicotômica (concordo e discordo).
1.Exemplo:
De acordo com este modelo observa-se de que consumidores com maior grau de satisfação pelo serviço prestado correlação ao cardápio têm maior probabilidade de concordar com o item que está sendo observado, nota-se que esta relação não é linear.
“A pena de morte é errada, porém é necessária em nossa civilização imperfeita” (com as seguintes categorias de repostas: fortemente discordo, discordo, concordo e fortemente concordo).
2. Exemplo:
Neste item as pessoas que tem sentimentos fortes contra pena de morte, escolheriam a categoria de resposta fortemente discordo. Pessoas que tem sentimentos de meio nível tenderiam a concordar com este item, entretanto pessoas que apóiam fortemente este item tenderiam a discordar fortemente porque eles não concordam com parte do item “pena de morte é errada”
Observe que neste item os níveis altos de concordância ou discordância não implicam em categorias de respostas mais altos, como ocorre com os modelos cumulativos. Neste caso o modelo cumulativo não seria adequado para a estimação do traço latente. O modelo de desdobramento seria o mais indicado
• Todavia no item: “A pena de morte é
necessária em nossa sociedade”...O modelo cumulativo seria mais
apropriado, pois a probabilidade de concordância aumentaria com o aumento do apoio do respondente quanto a pena de morte.
Referências iniciaisReferências iniciais• Gulliksen, H. (1950). Theory of
Mental Tests. New York: John Wiley and Sons.
• Lord, F.M., Norvick, M.R. (1968). Statistical Theories of Mental Test Score. Reading: Addison-Wesley.
• Vianna, H.M. (1987). Testes em Educação. São Paulo: Ibrasa.
ReferênciasReferências• Lord, F.M., Norvick, M.R. (1968). Statistical
Theories of Mental Test Score. Reading: Addison-Wesley
• Lord, F.M. (1980). Applications of Item Response Theory to Practical Testing Problems. Hillsdale: Lawrence Erlbaum Associates
• Hambleton, R.K., Swaminathan, H., Rogers, H.J. (1991). Fundamentals of Item Response Theory. Newburry Park: Sage Publications.
• Andrade, D.F., Tavares, H.R., Cunha, R.V. (2000). Teoria da Resposta ao Item: Conceitos e Aplicações. São Paulo: Associação Brasileira de Estatística.