PACTO NACIONAL PELA ALFABETIZAÇÃO NA IDADE CERTA

SEMINÁRIO ESTADUAL PNAIC CEARÁ

A Avaliação Nacional da Alfabetização:

compreendendo os resultados

André Jalles

UNIVERSIDADE FEDERAL DO CEARÁ

Fortaleza - Fevereiro de 2015

Troca de experiênciasTexto introdutório de motivação

Avaliação: utilidade e limitações

Diálogo sobre medidas e parâmetros

Troca de informações sobre o a ANA

Proficiência

Medida, Modelo Estatístico e Acaso

Teoria clássica de medida; Análise básica de testes

Curva característica do item; Teoria da Resposta ao Item

Bibliografia

Resultados da ANA 2013 e comparações

MEC insiste em 450 pontos no Enem para o financiamentoA exigência e a redução do fluxo de pagamento às mantenedoras geraram fortes críticas

do setor. MEC argumenta melhor oferta de vagas. O secretário - executivo do Ministérioda Educação (MEC), Luiz Cláudio Costa, defendeu ontem um novo modelo para oferta decusteio pelo Fundo de Financiamento ao Estudante do Ensino Superior (Fies). Eledeclarou, em Brasília, que a pasta “não abre mão” de uma pontuação mínima no ExameNacional do Ensino Médio (Enem) para o acesso ao programa.

No final do ano passado, uma portaria do MEC passou a exigir nota de 450 pontos noEnem como uma das condições para o estudante obter o contrato. A exigência e aredução do fluxo de pagamento às mantenedoras geraram fortes críticas do setor.

“Catástrofe”O presidente da Abmes, Gabriel Rodrigues, apontou a “falta de recursos” das

instituições diante das mudanças: “O problema existe e precisamos encontrar umasolução, senão será uma catástrofe”, advertiu Rodrigues.

Argumentou que a alteração nas regras do Fies afeta a ”bandeira” defendida pelo ex-presidente Luiz Inácio Lula da Silva e pela presidente Dilma Rousseff de ampliar o acessoao ensino superior.

Avaliação: utilidadeVerificação do patamar de aprendizagem

Estímulo para superação de desafios

Mensuração da qualidade de uma

intervenção

Verificação do efeito de novas

intervenções

Avaliação: limitaçõesQualidade dos instrumentos da avaliação

Fidedignidade

Dimensionalidade

Consistência

O que é uma medida?

Valor numérico relacionado a um

atributo, propriedade ou característica

de um objeto, que gera informação

sobre tal objeto.

Medida: Exemplos

Temperatura

• Efeito: Dilatação de metais.

• Instrumento: Termômetro, aumento / redução no volume de mercúrio.

• Exemplo prático: qual é a temperatura desta sala?

Peso

• Efeito: diferença na força para retirar um objeto da inércia.

• Instrumento utilizado: balança.

• Exemplo prático: qual é o seu peso?

0 1 2 3 4 5 6 7 8 9 10

Parâmetro estimado por intermédio de uma estatística

Parâmetro estimado por intermédio de um modelo estatístico

0

0,1

0,2

0,3

0,4

0,5

0,6

0,7

0,8

0,9

1

0 1 2 3 4 5 6 7 8 9 10

Parâmetro estimado por intermédio de um modelo estatístico

0

0,1

0,2

0,3

0,4

0,5

0,6

0,7

0,8

0,9

1

0 1 2 3 4 5 6 7 8 9 10

Medidas em instrumentos

de avaliação de conteúdos

Proporção de acerto em um item.

Somatório da proporção de acertos dos

itens de uma prova.

Atribuição de “peso” aos itens de uma

prova.

Medidas em instrumentos

de avaliação de conteúdos

Problemas de comparabilidade entre

avaliações distintas ou aplicadas em

momentos distintos.

Necessidade de acompanhamento do

progresso dos avaliados.

A Avaliação Nacional de

Alfabetização - ANA

A ANA é uma avaliação que objetiva

aferir os níveis de alfabetização e

letramento em Língua Portuguesa

(leitura e escrita) e Matemática dos

estudantes do 3º ano do ensino

fundamental das escolas públicas.

A Avaliação Nacional de

Alfabetização - ANA

Os resultados de desempenho nas áreas avaliadas são

expressos em escalas de proficiências. As escalas de Língua

Portuguesa (Leitura) e de Matemática da ANA 2013 são

compostas por quatro níveis progressivos e cumulativos. Isso

significa uma organização da menor para a maior proficiência.

Quando um percentual de alunos foi posicionado em

determinado nível da escala, pode-se pressupor que, além de

terem desenvolvido as habilidades referentes a este nível,

provavelmente também desenvolveram as habilidades

referentes aos níveis anteriores.

Proficiência

• Inteligência; habilidade / competência; aptidão; conhecimento; raciocínio; ...

Competência: É o conjunto de conhecimentos (saberes), habilidades (saber fazer) e atitudes (saber ser).

(Dicionário interativo da educação brasileira)

• Instrumento de medida: testes

Exemplo prático: considerando a Cidade de Fortaleza, em umdia ensolarado qualquer, independente da data do ano, emqual horário sua sombra terá o menor tamanho?

a) 11h b) 12h c) 11:30 d) 12:30

Teoria Clássica de Medida

• Instrumento: teste com vários itens (questões).

• Escores relacionados aos itens.

• Nota relacionada ao somatório de escores.

• Avaliação da nota individual comparada ao grupo

Exemplos de avaliações

0|--1 1|--2 2|--3 3|--4 4|--5 5|--6 6|--7 7|--8 8|--9 9|--|10

Exemplos de avaliações

0|--1 1|--2 2|--3 3|--4 4|--5 5|--6 6|--7 7|--8 8|--9 9|--|10

Estatísticas básicas de um teste

• Média, Mediana, separatrizes e Valor Modal.

• Amplitude, Variância, Desvio-Padrão.

• Simetria, Curtose.

• Curvas de referência, gráficos, etc

Teoria Clássica de Medida

Limitações

• Instrumento dependente do grupo medido.

• Os parâmetros do teste dependem do grupo aplicado.

• Comparabilidade entre testes.

Curva característica dos itens

0%

10%

20%

30%

40%

50%

60%

70%

80%

90%

100%

0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20

Quantidade de itens corretos

Teoria da Resposta ao Item - TRI

• Variável Latente.

• Modelo Estatístico.

• Probabilidade de acerto de um item, condicionado à Proficiência do aluno.

• Dificuldade, Discriminação e Acerto casual.

• Problemas: Dimensionalidade, independência dos itens, modelo preestabelecido ...

Curva característica do item

0

0,1

0,2

0,3

0,4

0,5

0,6

0,7

0,8

0,9

1

-3 -2 -1 0 1 2 3

Quantidade de itens corretos

normalizados

Modelo logístico unidimensional de três parâmetros

• P[Acerto / q ]=

c + (1-c)/{1 + Exp[-a(q – b)]}

0

0,1

0,2

0,3

0,4

0,5

0,6

0,7

0,8

0,9

1

-3 -2 -1 0 1 2 3

Curvas características de itens Modelo Teórico

0

0,1

0,2

0,3

0,4

0,5

0,6

0,7

0,8

0,9

1

0 1 2 3 4 5 6 7 8 9 10

Quantidade de itens corretos

Curvas características de itens Modelo Teórico

0

0,1

0,2

0,3

0,4

0,5

0,6

0,7

0,8

0,9

1

0 1 2 3 4 5 6 7 8 9 10

Quantidade de itens corretos

Curvas características de itensEstimação das curvas

0

0,1

0,2

0,3

0,4

0,5

0,6

0,7

0,8

0,9

1

0 1 2 3 4 5 6 7 8 9 10

Quantidade de itens corretos

Curvas características de itens Estimação da nota

0

0,1

0,2

0,3

0,4

0,5

0,6

0,7

0,8

0,9

1

0 1 2 3 4 5 6 7 8 9 10

Quantidade de itens corretos

Parâmetros básicos da TRI

• Probabilidade de acerto casual.

• Dificuldade.

• Discriminação.

Proficiência

! ! ? ? ? ? ? ? ! ? ! !

! ? ! ? ! ? ! ! ! ? ! !

? ? ? ! ! ? ? ? ! ? ? ?

! ! ? ! ? ? ? ? ? ! ! !

? ! ! ? ! ! ! ? ! ! ! !

! ! ! ? ? ? ? ? ! ? ! ?

? ! ! ? ! ! ! ! ? ? ! !

! ! ! ? ! ? ! ? ? ! ! ?

? ! ! ! ! ! ! ? ! ? ! ?

! ! ? ? ! ? ! ! ? ! ! !

Teoria clássicae

Teoria da Resposta ao Item

Bibliografia

• PASQUALI, L. Psicometria: Teoria dos testes na psicologia e na educação. 1. ed. Petrópolis,RJ: Editora Vozes, 2003.

• ANDRADE, D.F.; TAVARES, H.R.; VALLE, R.C. Teoria da Resposta ao Item: Conceitos e Aplicações. SINAPE, 2000. www.custosemedidas.ufsc.br/livroTRI.pdf

Resultados da ANA 2013 - Estado

Resultados da ANA 2013 - Estado

Resultados da ANA 2013 – Município M

Resultados da ANA 2013 – Comparação

Resultados da ANA 2013 – Comparação

O b r i g a d o !