SIMARE 2014
Formação Continuada
Aprofundamento TRI
SIMARE 2014
SIMARE 2014
MÓDULO 1Estatística Aplicada à Teoria de Resposta ao Item (TRI)
COORDENAÇÃO DE MEDIDAS EDUCACIONAIS 32 4009 2071 | [email protected] 2
SIMARE 2014SIMARE 2014
• Ferramentas de qualidade de Deming e Juran• Normas de Qualidade ISO 9000• Qualidade nas escolas
3
Qualidade na educação
SIMARE 2014SIMARE 2014
Interpretação por item pela TCT• Realizada de forma intuitiva• Cálculo do percentual de alunos que acertam cada
item do teste• Quanto maior a nota maior a chance de acertar os
itens mais difíceis
4
SIMARE 2014SIMARE 2014
Interpretação por item pela TCT• Realizada por meio de modelagem matemática• Cálculo de parâmetros de itens• CCI
5
SIMARE 2014
ESTATÍSTICA DESCRITIVA
6
SIMARE 2014SIMARE 2014
Estatística Descritiva• É composta por ferramentas que permitem
organizar e resumir um conjunto de dados auxiliando a descrição dos atributos de um grupo ou de uma população;
• As ferramentas da estatística descritiva podem ser utilizadas na análise e interpretação de dados de diversas áreas.
7
SIMARE 2014SIMARE 2014
Estatística Descritiva• 1ª Etapa: organizar e resumir os dados com o
objetivo de conhecê-los, detectar informações importantes e valores atípicos.
• FERRAMENTAS: Tabelas, gráficos e medidas.• Dados brutos: são apresentados em tabelas,
através de variáveis. Não obtemos muita informação por meio deles. Normalmente não são apresentados nas publicações.
8
SIMARE 2014SIMARE 2014
Estatística descritiva: Gráficos• Gráfico de barras: adotado para representações de
dados qualitativos.
9
SIMARE 2014SIMARE 2014
Estatística descritiva: Gráficos• Histograma: barras justapostas
• Serve para a visualização da forma da distribuição da variável estudada;
• Dispersão; • Assimetria; • Curtose.
10
SIMARE 2014SIMARE 2014
Estatística descritiva: Medidas• Medidas de Tendência Central
• Notas de prova de 45 alunos de uma turma.
• Primeiro, ordenamos os dados.
11
SIMARE 2014SIMARE 2014
Estatística descritiva: Medidas• Medidas de Tendência Central
• Moda: Temos cinco modas 4,1;4,3;4,6;5,2 e 5,9.►• Média: 228,2/45=5,1• Mediana: Número ímpar de observações
• (45+1)/2=23• A mediana é a observação da 23ª posição.• Mediana = 5
• Com essas medidas e o histograma, visto anteriormente, percebemos que os dados têm uma pequena assimetria à direita.
12
SIMARE 2014SIMARE 2014
Tipos de variáveis em Base de Dados• Nominal• Ordinal• Intervalar • De razão
13
SIMARE 2014SIMARE 2014
Tipos de variáveis• Exemplo no SPSS
14
SIMARE 2014SIMARE 2014
Construção de gráficos• EQUAÇÃO DA RETA Y = aX + b a =1 e b=2 Y = X + 2
15
SIMARE 2014SIMARE 2014
Construção de gráficos
16
SIMARE 2014SIMARE 2014
Curva Característica do Item (CCI)
17
)(11)1(),,,/1( biaiDe
ciciciaibiXiP
SIMARE 2014SIMARE 2014
TCT x TRI
18
SIMARE 2014SIMARE 2014
Itens de um Teste
19
SIMARE 2014SIMARE 2014
Interpretação de medidas de desempenho educacional• Posição: média• Variação: percentuais por Padrão de Desempenho
20
ESCOLA MÉDIA
A 50
B 50
C 50
SIMARE 2014SIMARE 2014
Interpretação de medidas de desempenho educacional• Posição: média• Variação: percentuais por Padrão de Desempenho
21
ESCOLA MÉDIANOTA DO ALUNO
1 2 3 4
A 50 100 100 0 0
B 50 50 50 50 50
C 50 80 80 20 20
SIMARE 2014SIMARE 2014
Interpretação de medidas de desempenho educacional• Posição: média• Variação: percentuais por Padrão de Desempenho
22
ESCOLA MÉDIANOTA DO ALUNO
DESVIO PADRÃO1 2 3 4
A 50 100 100 0 0 57,7
B 50 50 50 50 50 0,0
C 50 80 80 20 20 34,6
SIMARE 2014
Módulo 2Conceitos Básicos Utilizados na TRI
COORDENAÇÃO DE MEDIDAS EDUCACIONAIS 32 4009 2071 | [email protected] 23
SIMARE 2014SIMARE 2014
• O que são itens?• São os elementos que compõem os testes ou questionários
• O que é proficiência?• É a medida que representa um determinado traço latente (aptidão)
• Teoria da Resposta ao Item (TRI)• Grupo de modelos matemáticos e estatísticos que descrevem a associação entre a aptidão de um indivíduo e a probabilidade de uma resposta a um item
24
Fundamentos da TRI
SIMARE 2014SIMARE 2014
Principais produtos da TRI- Interpretação pedagógica da escala
- Comparabilidade de resultados:
- Entre diferentes avaliações em um mesmo período de tempo
- Entre diferentes avaliações em diferentes períodos de tempo
25
SIMARE 2014SIMARE 2014
Qualidade na educação
26
• Ferramentas de qualidade de Deming e Juran
• Normas de Qualidade ISSO 9000
• Qualidade nas escolas
SIMARE 2014
• Realizada de forma intuitiva
• Cálculo do percentual de alunos que acertam cada item do teste
• Quanto maior a nota maior a chance de acertar os itens mais difíceis
27
Interpretação por item pela TCT
SIMARE 2014SIMARE 2014
• Realizada por meio de modelagem matemática• Cálculo de parâmetros de itens• CCI
28
Interpretação por item pela TCT
SIMARE 2014SIMARE 2014
Estatística Descritiva• 1ª Etapa: organizar e resumir os dados com o
objetivo de conhecê-los, detectar informações importantes e valores atípicos.
• FERRAMENTAS: Tabelas, gráficos e medidas.• Dados brutos: são apresentados em tabelas,
através de variáveis. Não obtemos muita informação por meio deles. Normalmente não são apresentados nas publicações.
29
SIMARE 2014SIMARE 2014
Como se calcula a proficiência de um aluno?
30
I - AVALIAÇÃO EM LARGA ESCALA
II – TEORIA DA RESPOSTA AO ITEM - TRI
III – INDICADORES DE DESEMPENHO
SIMARE 2014SIMARE 2014
Avaliação em larga escala
31
SIMARE 2014SIMARE 2014
Como construir uma escala
32
SIMARE 2014SIMARE 2014
Escala: altura de uma pessoa
33
• Item 1Você consegue guardar as malas no bagageiro interno de um ônibus?
• Item 2 Você consegue subir ou descer dois degraus de cada vez em uma escada?
• Item 3Para conversar com as pessoas, você precisa olhar para baixo?
SIMARE 2014SIMARE 2014
Respostas do questionário
34
Nome Item 1 Item 2 Item 3
Carolina Sim Não Não
Priscila Sim Sim Não
Leonardo Sim Sim Sim
SIMARE 2014SIMARE 2014
Escala: altura de uma pessoa
35
Nome Item 1 Item 2 Item 3
Carolina Sim Não Não
Priscila Sim Sim Não
Leonardo Sim Sim Sim
1,5 1,6 1,7 1,8 1,9
Item 1 Item 2 Item 3
Carolina Priscila Leonardo
SIMARE 2014SIMARE 2014
Questionário de altura
36
SIMARE 2014SIMARE 2014
3 – estimação dos parâmetros dos itens
37
SIMARE 2014SIMARE 2014
Posição dos itens na escala
38
Guardar a bagagemPés fora da cama
Atrás na fila
17169 4 15 7 20 18
12
11
10
14 5 13 6 3 2 19 8
1
SIMARE 2014SIMARE 2014
Posição dos itens e pessoas na escala
39
17169 4 15 7 20 18
12
11
10
14 5 13 6 3 2 19 8
1
1,5 1,6 1,7 1,8 1,9
SIMARE 2014SIMARE 2014
40
II – Teoria da Resposta ao Item (TRI)
• HISTÓRICO TRI
• FUNDAMENTOS – TRI
• MEDIDAS E ESCALAS
SIMARE 2014SIMARE 2014
Avaliações em larga escala com a TRI
41
• Análise segundo a TRI – Lord (1952) • Probabilidade de acerto ao item em função da habilidade• Posicionamento dos itens em função da dificuldade na mesma escala da proficiência• Década de 1970• Desenvolvimento de testes adaptativos• Década de 1980• Desenvolvimento de softwares específicos para TRI• Década de 1990• Desenvolvimento de testes informatizados (CBT’s) e testes adaptativos informatizados (CAT’s)
SIMARE 2014SIMARE 2014
Características das avaliações em larga escala no Brasil
42
• Até 1993: TCT• A partir de 1995: TRI• INEP
• Avaliações estaduais e municipais MG (2000), CE (1992), RS, RJ, PE, SP, ES, BA.
1995 1997 1999 2001 2003 2005 2007 2009
SAEB
SAEB e Prova Brasil
SIMARE 2014SIMARE 2014
Características das avaliações em larga escala no Brasil
43
SIMARE 2014
BIB- SAEB ATÉ 2005
COORDENAÇÃO DE MEDIDAS EDUCACIONAIS 32 4009 2071 | [email protected] 44
POS1 POS2 POS3 POS1 POS2 POS31 1 2 5 14 1 3 82 2 3 6 15 2 4 93 3 4 7 16 3 5 104 4 5 8 17 4 6 115 5 6 9 18 5 7 126 6 7 10 19 6 8 137 7 8 11 20 7 9 18 8 9 12 21 8 10 29 9 10 13 22 9 11 310 10 11 1 23 10 12 411 11 12 2 24 11 13 512 12 13 3 25 12 1 613 13 1 4 26 13 2 7
CADERNOBLOCOS
CADERNOBLOCOS
SIMARE 2014SIMARE 2014
45
BIB- A PARTIR DE 2005
SIMARE 2014SIMARE 2014
Principais produtos da TRI• Interpretação pedagógica da escala• Comparabilidade de resultados:
• Entre diferentes avaliações em um mesmo período de tempo
• Entre diferentes avaliações em diferentes períodos de tempo
46
SIMARE 2014SIMARE 2014
Medidas e Escalas
47
• A ESCALA SAEB
• CONTRUÇÃO DE TESTES
SIMARE 2014SIMARE 2014
48
• Matriz de referência• Design do teste
ESCALA SAEB
SIMARE 2014SIMARE 2014
49
ESCALAS DE PROFICIÊNCIACurva normal
SIMARE 2014SIMARE 2014
Escala: altura de uma pessoa• Item 1
• Você consegue guardar as malas no bagageiro interno de um ônibus?
• Item 2 • Você consegue subir ou descer dois degraus de cada vez
em uma escada?
• Item 3• Para conversar com as pessoas, você precisa olhar para
baixo?
50
SIMARE 2014SIMARE 2014
51
ESCALA SAEB
SIMARE 2014SIMARE 2014
ESCALA SAEB
SIMARE 2014SIMARE 2014
53
ESCALA SAEB
250 270190
SIMARE 2014SIMARE 2014
Transformação de Escala
54
K = C + 273
C / 5 = (F - 32) / 9
SIMARE 2014SIMARE 2014
55
Transformação de Escala
ESCALA SAEB (250,50)
ESCALA X (0,1)
FATOR DE TRANSFORMAÇÃO
SIMARE 2014SIMARE 2014
Construção de testes
56
PRECISÃO DO TESTEAJUSTE DA POPULAÇÃO AO TESTE
SIMARE 2014SIMARE 2014
Precisão do teste
57
SIMARE 2014SIMARE 2014
58
AJUSTE DO TESTE COM A POPULAÇÃOAJUSTE DO TESTE COM A POPULAÇÃOTESTE BEM AJUSTADOTESTE BEM AJUSTADO
SIMARE 2014SIMARE 2014
59
AJUSTE DO TESTE COM A POPULAÇÃOAJUSTE DO TESTE COM A POPULAÇÃOTESTE DESAJUSTADOTESTE DESAJUSTADO
SIMARE 2014SIMARE 2014
INTERPRETAÇÃO DA ESCALA
60
SIMARE 2014SIMARE 2014
61
Ancoragem dos itens na escala• Estatística: PONTO DE ANCORAGEM DO ITEM: Proficiência que corresponde a uma probabilidade
de acerto de 65%
• Especialistas pedagógicos: Alocação dos itens na escala por descritor e ponto de
ancoragem
SIMARE 2014SIMARE 2014
62
III – INDICADORES DE DESEMPENHO• BOLETIM DE RESULTADOS CAEd• SÉRIE HISTÓRICA SAEB• IDEB
SIMARE 2014SIMARE 2014
63
Interpretação de medidas de desempenho educacional
SIMARE 2014SIMARE 2014
64
III – INDICADORES DE DESEMPENHO• Série histórica SAEB – Rede pública LÍNGUA PORTUGUESA
150.0
170.0
190.0
210.0
230.0
250.0
270.0
290.0
310.0
1995 1997 1999 2001 2003 2005 2007 2009
5ºEF
9ºEF
3ºEM
SIMARE 2014SIMARE 2014
IDEB• Forma geral do Ideb: IDEB = N . P
• N = média da proficiência em Língua Portuguesa e Matemática, padronizada para um indicador entre 0 e 10, no exame realizado ao final da etapa de ensino• P = indicador de rendimento baseado na taxa de aprovação da etapa de ensino
65
SIMARE 2014SIMARE 2014
66
SIMARE 2014SIMARE 2014
Evolução do Ideb - Brasil
67
• Rede Pública – Anos Iniciais Ens. Fundamental
SIMARE 2014SIMARE 2014
Evolução do Ideb - Brasil
68
• Rede Pública – Anos Finais Ens. Fundamental
SIMARE 2014
69
Evolução do Ideb - Brasil
SIMARE 2014SIMARE 2014
Evolução do Ideb - Estados• Rede Pública – Anos Iniciais Ens. Fundamental
SIMARE 2014
Módulo 3MODELOS MATEMÁTICOS DA TRI
COORDENAÇÃO DE MEDIDAS EDUCACIONAIS 32 4009 2071 | [email protected] 71
SIMARE 2014SIMARE 2014
72
UIRT
MIRT
Dicotômico
Politômico
1 PL
2 PL
3 PL
Dicotômico
Politômico
Modelo de crédito parcial
Modelo de resposta ponderada
Modelo de resposta nominal
MODELOS MATEMÁTICOS
Modelo de crédito parcial generalizado
SIMARE 2014SIMARE 2014
Fundamentos da TRI
73
MÉTODOS DE ESTIMAÇÃO
PARÂMETROS DE ITENS
MML
MMAP
SCORES
ML
MAP
EAP
MODELO LOGÍSTICO
1LP
2LP
3LP
1LP
2LP
3LP
MÉTODOS DE LINKAGENS
LINEARES
REGRESSÃO LINEAR
MÉDIA/SIGMA
MÉDIA/MÉDIA
CURVA CARACTERÍSTICA
NÃO LINEARES
CALIBRAÇÃO SIMULTÂNEA
PRÉ-FIXAÇÃO DE PARÂMETROS - FPIP
Testes Unidimensionais compostos por itensdicotômicos
SIMARE 2014SIMARE 2014
Relação não-linear
74
)(11)1(),,,/1( biaiDe
ciciciaibiXiP
SIMARE 2014
75
SIMARE 2014SIMARE 2014
76
MODELOS DA TRI – 3PL
0,5
1
Proficiência
0,3
250
ITEM PARÂMETROSA B C
1 0,010 250 0,30
0,65Prob
abili
dade
de
Acer
to
SIMARE 2014SIMARE 2014
77
Proficiência
ITEM PARÂMETROSA B C
1 0,010 250 0,302 0,020 250 0,30
0,5
1
Prob
abili
dade
de
Acer
to
0,3
250
0,65
1
2
MODELOS DA TRI – 3PL
SIMARE 2014SIMARE 2014
78
MODELOS DA TRI – 3PL
Proficiência
ITEM PARÂMETROSA B C
1 0,010 250 0,302 0,020 250 0,303 0,020 350 0,30
0,5
1
Prob
abili
dade
de
Acer
to
0,3
250
0,65
1
2
3
350
SIMARE 2014SIMARE 2014
79
MODELOS DA TRI – 3PL
0,5
1
Prob
abili
dade
de
Acer
to
0,3
250
0,65
1
2
4
3
350Proficiência
ITEM PARÂMETROSA B C
1 0,010 250 0,302 0,020 250 0,303 0,020 350 0,304 0,020 350 0,20
SIMARE 2014SIMARE 2014
80
ITENS DE UM TESTE
SIMARE 2014SIMARE 2014
81
EXEMPLOS DE ITENS – discriminação boa
SIMARE 2014SIMARE 2014
82
FUNDAMENTOS DA TRIMÉTODOS DE ESTIMAÇÃO
PARÂMETROS DE ITENS
MML
MMAP
SCORES
ML
MAP
EAP
MODELO LOGÍSTICO
1LP
2LP
3LP
1LP
2LP
3LP
MÉTODOS DE LINKAGENS
LINEARES
REGRESSÃO LINEAR
MÉDIA/SIGMA
MÉDIA/MÉDIA
CURVA CARACTERÍSTICA
NÃO LINEARES
CALIBRAÇÃO SIMULTÂNEA
PRÉ-FIXAÇÃO DE PARÂMETROS - FPIP
Testes Unidimensionais compostos por itensdicotômicos
SIMARE 2014SIMARE 2014
83
Métodos de Estimação
11 2
1
( , ,..., | ) ( ) ( )si si
nu u
s s ns i s i si
L u u u P Q
)(11)1()( bisaiDe
cicisPi
)(11)1()1()( bisaiDe
cicisQi
• Verossimilhança
SIMARE 2014SIMARE 2014
84
Métodos de Estimação• Máxima Verossimilhança - ML
1
( 1| ) log ( ) (1 ) log ( )n
is is isi
LogL u u Pi u Qi
Métodos interativos
• Máxima Verossimilhança Marginal – MML
• Máxima Verossimilhança Conjunta
SIMARE 2014SIMARE 2014
85
Métodos de Estimação• Métodos Bayesianos
Distribuição à posteriori
Função de verossimilhança Prioris x
- Distribuições utilizadas nas prioris População: normal Parâmetros dos itens
o a – log-normalo b – normalo c – beta
• Máxima Distribuição Marginal à Posteriori – MMAP
• Máxima à Posteriori – MAP
• Esperado à Posteriori - EAP
SIMARE 2014SIMARE 2014
Fundamentos da TRI
86
MÉTODOS DE ESTIMAÇÃO
PARÂMETROS DE ITENS
MML
MMAP
SCORES
ML
MAP
EAP
MODELO LOGÍSTICO
1LP
2LP
3LP
1LP
2LP
3LP
MÉTODOS DE LINKAGENS
LINEARES
REGRESSÃO LINEAR
MÉDIA/SIGMA
MÉDIA/MÉDIA
CURVA CARACTERÍSTICA
NÃO LINEARES
CALIBRAÇÃO SIMULTÂNEA
PRÉ-FIXAÇÃO DE PARÂMETROS -
FPIPTestes Unidimensionais compostos por itensdicotômicos
SIMARE 2014SIMARE 2014
87
MÉTODOS DE LINKAGEM
• Cultura de uma escala única nacional – SAEB
• Características da avaliação em larga escala de 1995 a 2007
SIMARE 2014SIMARE 2014
Equalização Vertical
88
• Avaliações do SAEB• Testes com conteúdos diferentes• Testes com descritores diferentes• Populações não equivalentes
SIMARE 2014SIMARE 2014
Designs ou Delineamentos para coleta de dados
89
Design para grupos não equivalentes através de itens comuns
Forma X
Grupo 1 Grupo 2
Itens comunscomum
Forma Y
Itens comunscomum
SIMARE 2014SIMARE 2014
Linkagem
90
• Processo para colocar diferentes testes em uma mesma escala (equalização vertical)
• Método adotado: Vertical equating
DESIGN TESTE SAEPE 2008 LÍNGUA PORTUGUESA 4ª SÉRIE EF 8ª SÉRIE EF 3º ANO EM
ITENS COMUNS ENTRE GRUPOS
SIMARE 2014SIMARE 2014
TRI padrão SAEB
91
MÉTODOS DE ESTIMAÇÃO
PARÂMETROS DE ITENS
MML
MMAP
SCORES
ML
MAP
EAP
MODELO LOGÍSTICO
1LP
2LP
3LP
1LP
2LP
3LP
MÉTODOS DE LINKAGENS
LINEARES
REGRESSÃO LINEAR
MÉDIA/SIGMA
MÉDIA/MÉDIA
CURVA CARACTERÍSTICA
NÃO LINEARES
CALIBRAÇÃO SIMULTÂNEA
PRÉ-FIXAÇÃO DE PARÂMETROS - FPIP
Testes Unidimensionais compostos por itensdicotômicos
SIMARE 2014SIMARE 2014
Introdução ao Bilogmg
92
• Método de equalização• Sintaxe• Arquivo dat• Fase 1• Fase 2• Fase 3• Arquivo de parâmetros• Arquivo de proficiências
SIMARE 2014SIMARE 2014
Fase 1: Medidas Clássicas• Análise dos Itens
• Percentual de acerto• Correlação bisserial
• Comportamento do item em relação ao teste• Melhores respondentes devem acertar
93
SIMARE 2014SIMARE 2014
Fase 1: Medidas Clássicas
94
• Medidas Produzidas• Número de pontos no teste• Percentual de acertos no teste
SIMARE 2014SIMARE 2014
Fase 1: Medidas Clássicas
• Ponto de Controle 1• Bisseriais podem indicar problemas• Verificação de gabaritos (CIA)• Problemas na ordem dos itens *
95
SIMARE 2014SIMARE 2014
Top Related