avaliações para melhorar o educacionais usam as Mesa 3...
33
Transcript of avaliações para melhorar o educacionais usam as Mesa 3...
Mesa 3: Como os sistemas educacionais usam as
avaliações para melhorar o ensino e a aprendizagem
09/11/2012
Associando Avaliação com Instrução
JOSÉ FRANCISCO SOARESUFMG - CNE
Sumário
■Escalas
■Interpretação de Escalas: Mapa de Itens e Criação de
níveis.
■As interpretações da escala do SAEB.
■Propostas.
Educação Básica
■O objetivo da educação básica é garantir ao aluno
o aprendizado das capacidades necessárias para
sua inserção crítica e produtiva na sociedade.
Escalas
■Para medir o aprendizado de alunos em uma
competência é necessário especificar um conjunto de itens, cuja solução exige a competência de
interesse.
■Os itens são os instrumentos para a medida do
aprendizado, assim como a balança é para massa e o
termômetro para temperatura.
Interpretação pedagógica
■Mapas de itens: Item mapping
■Criação de níveis: Standard setting.
■ Interpretação de pontos da escala: Scale
Anchoring.
Mapas de itens
■A interpretação se faz com as informações
disponíveis nos itens definidores da escala.
■Beaton, B. E., & Allen, N. L. (1992). Interpreting
scales through scale anchoring. Journal of Educational
Statistics, 17, 191-204.
Cada item em um ponto da escala
■Onde fixar, na escala, os itens que a definem? Máxima
informação, 65%.
■Huynh Huynh (1998). On Score Locations of Binary and
Partial Credit Items and Their Applications to Item Mapping
and Criterion-Referenced Interpretation. Journal of Educational and
Behavioral Statistics : Spring 1998, Vol. 23, No. 1, pp. 35-56
Localizar os itens em uma escala
Sentença Descritora dos itens
■Ação cognitiva + Conhecimento disciplinar +
Contexto.
●Quais ações?
●Quais conhecimentos?
●Quais contextos?
Níveis de Proficiência do
aluno
Locação do Item na escala Sentença descritora dos Itens usados no teste
AVANÇADO (Acima de 250)
317 Inferir o sentido de uma expressão em textos do gênero poema de complexidade baixa.
282 Estabelecer relação de causa/consequência entre ações do texto do gênero conto de complexidade média.
281 Analisar o efeito de sentido do recurso notacional, em textos do gênero texto publicitário de complexidade baixa.
PROFICIENTE (Entre 200 e 250)
245 Identificar recursos prosódicos em texto poético (rimas, ritmo, timbre,..) na prosa (parágrafos), do gênero conto de complexidade média.
244 Distinguir a diferença de informação entre textos de mesmo gênero/tema do gênero fábula de complexidade baixa.
233 Analisar o efeito de sentido do recurso morfossintático, em textos de gênero frase de complexidade baixa.
225 Analisar o efeito de sentido do recurso gráfico/visual, em textos do gênero poema de complexidade baixa.
223 Estabelecer relação de causa/consequência entre fatos do texto do gênero notícia de complexidade baixa.
213 Identificar o narrador em textos do gênero conto de complexidade média.
208 Analisar o recurso linguístico que provoca humor, do gênero anedota de complexidade baixa.
BÁSICO (Entre 150 e 200)
196 Distinguir repetições/substituições de itens lexicais que dão continuidade ao texto de complexidade baixa.
190 Identificar formas linguísticas e visuais que caracterizam personagens (discurso direto/indireto), do gênero poema de complexidade baixa.
185 Identificar informação explícita em segmento do texto com auxílio de recursos visuais/verbais, do gênero lenda de complexidade baixa.
182 Identificar o conflito do gênero conto de complexidade média.
175 Identificar formas linguísticas e visuais que caracterizam personagens (discurso direto/indireto), do gênero diário de complexidade baixa.
ABAIXO DO BÁSICO (Até 150) 117 Identificar a finalidade/função social de um texto simples do gênero conto de
complexidade baixa.
Modelo teórico
■A Revisão da Taxonomia de Bloom
■As dimensões: Processos Cognitivos e
Conhecimentos são organizadas em uma matriz.
■Habilidades vs. Itens
Especificação das Habilidades
■Cada habilidade é especificada por um verbo que indica
o processo cognitivo mobilizado e por um substantivo, o
objeto da ação ou o conhecimento necessário.
Exemplo:
■Recuperar uma informação explicita em um texto
simples do gênero conto.
Matriz de habilidades
PROCESSOS COGNITIVOS
LEMBRAR ENTENDER APLICAR ANALIZAR AVALIAR CRIAR
FACTUAL
CONCEITUAL
PROCEDIMENTAL
METACOGNITIVO
Processos Cognitivos
■ A revisão da
taxonomia de Bloom.
Conhecimentos
■Conhecimento factual – termos, detalhes, símbolos, fontes de
informação (vocabulário)
■Conhecimento conceitual – classificação, generalizações, teorias,
modelos (Taxonomia das árvores)
■Conhecimento procedimental – uso de um método ou técnica,
procedimentos para resolver um problema (método científico)
■Conhecimento metacognitivo – estratégica, conhecimento de si
mesmo, criticar, exigências cognitivas de tarefas específicas
Criação de Níveis
■Os níveis dão uma dimensão normativa aos
resultados.
■O método do BookMark.
Interpretação da escala do SAEB
■Pouco protagonismo pedagógico nas avaliações.
■A lógica dominante tem sido a síntese numérica,
nem sempre com interpretação normativa.
Descritores do SAEB
■O SAEB usa poucos descritores. Em leitura
apenas 21.
■Os itens correspondentes a estes descritores
estão espalhados em todos os níveis.
■O erro de buscar localizar os descritores na
escala.
NivelSAEB
Total125 150 175 200 225 250 275 300 325 350 375 400
DescritorSAEB
1 3 6 10 5 5 5 1 1 3 2 0 0 41
2 0 1 0 5 4 6 4 8 3 1 2 1 35
3 0 1 4 3 2 3 1 1 2 1 0 2 20
4 1 2 2 7 1 4 3 4 2 0 0 0 26
5 2 1 2 2 2 6 2 4 2 1 0 0 24
6 0 1 4 5 5 4 2 2 2 1 0 2 28
7 0 0 0 0 2 3 1 3 1 2 0 0 12
8 0 0 0 1 2 4 2 1 1 2 1 0 14
9 0 0 0 0 0 0 2 2 0 1 2 0 7
10 2 4 2 5 3 3 2 2 0 1 1 0 25
11 2 0 2 3 2 5 4 3 2 2 2 0 27
12 2 1 2 2 3 5 1 4 1 2 0 0 23
13 1 2 2 6 1 2 2 8 2 3 3 0 32
14 0 1 0 3 4 3 4 3 2 2 0 1 23
15 0 0 1 1 3 5 4 2 2 3 2 1 24
16 0 0 0 2 1 0 3 4 2 1 1 0 14
17 0 1 1 4 3 5 2 1 2 4 3 2 28
18 0 0 0 0 3 2 1 2 3 0 2 1 14
19 0 0 1 0 0 2 2 2 5 3 0 1 16
20 0 0 2 3 0 3 1 6 0 6 2 0 23
21 0 0 0 0 0 0 1 1 1 0 0 0 3
Total 13 21 35 57 46 70 45 64 38 38 21 11 459
Descritor SAEB x Nível SAEB
Descritores
■Não se consegue dizer, usando a linguagem dos
descritores, o que sabe um aluno que está em
uma dada posição da escala.
Fragilidades Pedagógicas
■O pedagógico no Brasil não se assume como técnico.
■A explicitação academicamente mais reconhecida do
pedagógico é a política ou ideológica.
■Circula pouco conhecimento sobre estes pontos no Brasil.
■Há lugar para teoria pedagógica?
As quatro questõesA QUESTÃO DE APRENDIZAGEM:
■O que é importante que os alunos aprendam na escola no tempo limitado de
aula disponível?
A QUESTÃO DA INSTRUÇAO:
■Como planejar e oferecer instrução que resulte em altos níveis de
aprendizagem para um grande número de alunos?
A QUESTÃO DE AVALIAÇÃO:
■Como preparar instrumentos de avaliação que forneçam informações precisas
sobre quão bem os alunos estão aprendendo?
A QUESTÃO ALINHAMENTO:
■Como assegurar que os objetivos, instrução e avaliação estejam alinhados
entre si ?
Especificação das Competências
■Não temos uma especificação completa e clara das
competências.
■Esta especificação criaria uma linguagem de expressão dos
fatos de aprendizado.
■As sentenças descritoras dos itens deveriam ser construídas a
partir dessa construção.
■Na sua ausência fica difícil criar sentenças descritoras que
façam sentido para o professor.
Especificação das Competências
■Aumentar o número de habilidades usadas para
descrever cada competência.
■Criar um vocabulário comum.
■Melhor comunicação entre as avaliações e a
instrução.
■O uso pedagógico exige a interpretação da escala por
série.
Plano Nacional de Educação
■Expectativas de aprendizagem?
■Por ano ou por ciclo?
■Quão detalhadas?
■Apoios e Oposições
O que está sendo feito
■ O trabalho do INEP no ENEM e Prova Brasil.
■ As boletins explicativos que circulam atualmente.
■ Falta uma sistematização e linguagem comum.
Propostas■Uma especificação das competências mais próxima do
ensino.
■Esta especificação usada como linguagem comum entre
as pessoas da área.
■Cada habilidade explicada e exemplificada com itens.
■Mapas de itens por série para interpretar a escala.
■Centenas de oficinas de interpretação de escala e
intervenção pedagógica.
