Post on 10-Nov-2018
Objetivos Específicos
1. Apresentar os conceitos e as características da avaliação educacional externa.
2. Apresentar os canais de divulgação de resultados.
3. Promover a apropriação dos resultados da escola.
PARTE 2
1º Momento: Retomada de pontos importantes sobre Avaliação em Larga Escala.
2º Momento: Interpretação e apropriação dos Resultados
O que é avaliar?
ColetarDiagnosticar
Decidir Agir
Dados e informações sobre determinada realidade.
Produzir algum julgamento sobre a realidade.
Tomar decisão em função de um objetivo que se deseja alcançar.
Traçar estratégias de uma ação sobre o objeto avaliado.
Etapas básicas dos Sistemas de Avaliação
• Determinação da população a ser avaliada
1
• Elaboração da Matriz de Referência
• Construção de itens• Pré-testagem dos itens• Análise estatística e
pedagógica dos itens
2
• Montagem dos cadernos de testes (BIB)
• Elaboração dos testes• Elaboração dos
questionários contextuais
3
• Aplicação dos instrumentos
• Processamento e constituição da base de dados da avaliação
4• Análise dos resultados: TCT e TRI• Produção dos resultados• Construção e interpretação das
Escalas de Proficiência• Divulgação dos resultados
5
Instrumentos da Avaliação em Larga Escala
Matriz de Referência Itens Escala de Proficiência Padrões de Desempenho
Matriz de Referência• É formada por um conjunto de habilidades que tem como fonte as
diretrizes curriculares da rede avaliada (estado ou município) e é ela quedá origem aos itens que compõem os testes das avaliações em largaescala.
• Pode ser compreendida como um recorte do currículo e, por isso, nãodeve ser confundida com o mesmo.
• Os conhecimentos selecionados para a composição dos testes sãoescolhidos por serem considerados essenciais para o período deescolaridade avaliado e por serem passíveis de medição por meio detestes padronizados de desempenho, compostos, na maioria das vezes,apenas por itens de múltipla escolha.
• Há, entretanto, outros conhecimentos necessários ao plenodesenvolvimento do estudante que não se encontram na Matriz deReferência por não serem compatíveis com o modelo de teste adotado.
Itens
• Avalia uma única habilidade, portanto o item éunidimensional.
• Obtém um resultado por estudante, que permiteavaliar as hipóteses levantadas por ele.
• Na formulação de um item, deve-se considerar:
GRAU DE DIFICULDADE(diz respeito à adequação entre a formulação do item e a capacidade
de resposta do estudante)
DISCRIMINAÇÃO(capacidade de o item de distinguir estudantes com diferentes níveis de
habilidade)
Como os testes são corrigidos?
Parâmetros da Teoria de Resposta ao Item (TRI), que é utilizada para correção dos testes aplicados pelo CAEd
16
Como são corrigidos os testes
http://blogs.estadao.com.br/mateus-prado/o-primeiro-simulado-que-te-ajuda-a-entender-o-calculo-da-nota-do-enem/
Escala de Proficiência
• Tem como objetivo traduzir medidas emdiagnósticos qualitativos do desempenho escolar.
• Apresenta os resultados de um teste de largaescala em uma espécie de régua onde os valoresobtidos são ordenados e categorizados emintervalos ou faixas que indicam o grau dedesenvolvimento das habilidades para osestudantes que alcançaram determinado nível dedesempenho
Escala de Proficiência
Ainda não desenvolveram a habilidade.
Começam a desenvolver a competência.
Identificam o tema de textos curtos, de
linguagem simples, cujo tema vem indicado no
título.
Identificam o tema de um
texto valendo-se de pistas textuais.
Identificam o tema a partir da conjugação das pistas textuais e do conhecimento de mundo do leitor, desde que seja em textos de temática e gênero
familiares.
Identificam o tema em textos menos
familiares que exijam a realização de
inferências. Esses estudantes já
consolidaram essa habilidade.
Divulgação de Resultados
• Os Resultados por Escola (TRI) são divulgados no site:
http://www.avaliamaceio.caedufjf.net/
Divulgação de ResultadosApós inserir “Usuário” e “Senha”, visualize o “Filtro de Pesquisa de Resultado(s) Escola”.
Cada unidade escolar visualiza apenas o próprio resultado, por isso o “Filtro” é
automaticamente preenchido.
Divulgação de ResultadosComponentes do Resultado por Escola (TRI)
Identificação da Escola e do Resultado
• Escola• Município• Região Administrativa• Etapa• Disciplina
Níveis de Resultado
• Em cada agrupamento: Resultado Rede, Resultado Região Administrativa e Resultado Escola
• Em cada coluna: 1. Proficiência Média, 2. Participação e 3. Evolução
Divulgação de Resultados
Resultado - REDE
Evolução do Percentual de Estudantes por Padrão de Desempenho
Divulgação de Resultados
Resultado - Regional
Evolução do Percentual de Estudantes por Padrão de Desempenho
Divulgação de ResultadosComponentes do Resultado por Escola (TRI)
Percentual de Estudantes por Padrão de Desempenho
• Em cada agrupamento: Rede, Regional e Escola• Distribuição por Níveis de Desempenho
(Intervalos)• Distribuição por Padrões de Desempenho
Divulgação de Resultados
• Os Resultados por Aluno (TCT) são divulgados no site:
http://www.avaliamaceio.caedufjf.net/
Divulgação de ResultadosApós inserir “Usuário” e “Senha”, visualize o “Filtro de Pesquisa de Resultado(s) Aluno”.
Cada unidade escolar visualiza apenas o próprio resultado, por isso o “Filtro” é
automaticamente preenchido.
Divulgação de Resultados
Descritores avaliados, número de acertos e número de itens apresentados no teste de cada estudante
Percentual Médio de Acertos, Categoria de Desempenho,
Proficiência e Padrão de Desempenho
• ATENÇÃO, no painel de Resultados por Aluno (TCT), entenda:
• Identifica, por meio de cores diferentes, o quartil de categoria de desempenho em que o estudante está alocado – até 25% de acerto, de 25% até 50% de acerto, de 50% até 75% de acerto e acima de 75% de acerto.
Categoria de Desempenho
• Identifica o Padrão de Desempenho em que o estudante está alocado, de acordo com Proficiência Média alcançada por ele. Os Padrões possuem nomenclaturas próprias, conforme os cortes na Escala de Proficiência.
Padrão de Desempenho
Divulgação de Resultados
51
Equipe Gestora
• Conhecer os resultados gerais da escola:1. Etapas avaliadas e percentual de participação;2. Etapas avaliadas e proficiência média em cada
disciplina;3. Etapas avaliadas, proficiência média e distribuição
por padrão de desempenho em cada disciplina;
Dinâmica:
52
Equipe Gestora1. Etapas avaliadas e percentual de participação
• Observe o número de estudantes e o percentual de participação (acima ou abaixo de 80%?);
• Analise os resultados de participação (por que este resultado está acima ou abaixo de 80%?);
• Quais intervenções podem ser feitas pela equipe de gestores e professores da escola?
Dinâmica:
53
Equipe Gestora2. Etapas avaliadas e proficiência média em cada disciplina
• Observe a proficiência média;• Relacione a proficiência média com o padrão
desempenho;• Identifique habilidades e competências
desenvolvidas (com base nesse padrão de desempenho);
Dinâmica:
54
Equipe Gestora2. Etapas avaliadas e proficiência média em cada disciplina
• Reflita sobre o desempenho alcançado no teste e o resultado esperado pela escola ou pela rede: qual o desempenho alcançado pelos estudantes em relação ao esperado? Quais habilidades e competências devem ser desenvolvidas para alcançar o resultado esperado?
Dinâmica:
55
Equipe Gestora2. Etapas avaliadas e proficiência média em cada disciplina
• Relacione o resultado alcançado com as políticas públicas e ações/intervenções pedagógicas implementadas na escola (o que podemos perceber/identificar?);
Dinâmica:
56
Equipe Gestora2. Etapas avaliadas e proficiência média em cada disciplina
• Observe, na escola, os resultados alcançados em diferentes etapas de escolaridade;
• Com base nesses resultados, elabore possíveis ações de intervenção para cada etapa, com o objetivo de recuperar alunos com desempenho abaixo do esperado, de acordo com as possibilidades da escola.
Dinâmica:
57
Equipe Gestora2. Etapas avaliadas e proficiência média em cada disciplina
• Com base nesse resultado, podemos fazer as seguintes inferências:– Como possibilitar que os estudantes que chegaram ou
chegarão a esta etapa desenvolvam as habilidades esperadas?
– Como recuperar os estudantes que já passaram pela etapa avaliada para que, ao final da Educação Básica, tenham desenvolvido habilidades e competências esperadas?
Dinâmica:
58
Equipe Gestora3. Etapas avaliadas, proficiência média e distribuição por padrão de desempenho em cada disciplina;
• Identifique o percentual de estudantes em cada padrão de desempenho;
• A(s) turma(s) dessa escola é(são) homogênea(s) e todos desenvolveram as habilidades no mesmo grau de complexidade?
59
Equipe Gestora3. Etapas avaliadas, proficiência média e distribuição por padrão de desempenho em cada disciplina;
• Calcule o número de estudantes em cada padrão de desempenho;– Conseguimos identificar quem são os estudantes
alocados em cada padrão na escola? Considerar, em um primeiro momento, apenas o resultado por escola.
Dinâmica:
60
Equipe Gestora3. Etapas avaliadas, proficiência média e distribuição por padrão de desempenho em cada disciplina;
• Apresente as habilidades e competências desenvolvidas por cada grupo de estudantes (observar, em relação às habilidades e às competências, o desempenho alcançado por alunos que estão alocados em padrões de desempenho diferentes).
Dinâmica:
61
Equipe Pedagógica
• Conhecer os resultados de desempenho e habilidades desenvolvidos pelos estudantes:
1. Proficiência média e padrões de desempenho;2. Etapa de escolaridade e percentual de acerto por
descritor;3. Avaliação externa e interna.
Dinâmica:
62
Equipe Pedagógica1. Proficiência média e padrões de desempenho
• Observe a proficiência média;• Relacione proficiência média com o padrão
desempenho;• Identifique habilidades e competências
desenvolvidas (com base nesse padrão de desempenho);
Dinâmica:
63
Equipe Pedagógica1. Proficiência média e padrões de desempenho
• Qual o desempenho alcançado pelos estudantes em relação ao esperado? Quais habilidades e competências devem ser desenvolvidas para alcançar o resultado esperado?
• Relacione o resultado alcançado com as ações/intervenções pedagógicas implementadas na turma (o que podemos perceber/identificar?);
Dinâmica:
64
Equipe Pedagógica2. Etapa de escolaridade e percentual de acerto por descritor
• Observe o percentual de acerto geral da escola em cada disciplina e etapa de escolaridade;
Dinâmica:
65
Equipe Pedagógica2. Etapa de escolaridade e percentual de acerto por descritor
• Relacione cada habilidade (descritor) com o percentual de acerto;
• Observe a relação existente entre descritores (são habilidades de uma mesma competência ou conteúdo comum?);
Dinâmica:
66
Equipe Pedagógica2. Etapa de escolaridade e percentual de acerto por descritor
• Observe descritores menos acertados (relacionar às habilidades/descritor):– Estão relacionados a um mesmo tema/domínio/tópico?– Estão relacionados às habilidades com grau de
complexidade maior que as demais habilidades do teste?– São habilidades desenvolvidas naquela etapa avaliada ou
são desenvolvidas ao longo do Ensino Fundamental?
Dinâmica:
67
Equipe Pedagógica2. Etapa de escolaridade e percentual de acerto por descritor
• Observe descritores menos acertados (relacionar às habilidades/descritor):– Qual a relação de cada habilidade com os conteúdos
trabalhados em sala de aula? Quais as práticas pedagógicas adotadas pelos professores da escola em relação a cada um desses conteúdos?
– Como possibilitar a compreensão dos estudantes em relação a cada uma dessas habilidades: ações pedagógicas? Formação dos professores? Utilização de recursos pedagógicos?
Dinâmica:
68
Equipe Pedagógica2. Etapa de escolaridade e percentual de acerto por descritor
• Observe os descritores mais acertados (relacionar às habilidades/descritor): – Estão relacionados a um mesmo
tema/domínio/tópico?– Estão relacionados às habilidades com grau de
complexidade menor que as demais habilidades do teste?
– Podem auxiliar no desenvolvimento de descritores menos acertados? Como?
Dinâmica:
69
Equipe Pedagógica2. Etapa de escolaridade e percentual de acerto por descritor
• Dentre os temas apresentados, quais são aqueles com os menores percentuais de acerto por descritor?
• Qual a relação desse resultado com o trabalho feito pelo professores em sala de aula?
• Este trabalho é adequado e suficiente para alcançar os resultados esperados? O que pode ser modificado? O que deve continuar?
Dinâmica:
70
Equipe Pedagógica3. Avaliação externa e interna
• Os resultados da avaliação interna são comparáveis àqueles extraídos da avaliação externa:– As habilidades avaliadas pelos professores são as
mesmas avaliadas pelo programa de avaliação externa?
– Os conteúdos desenvolvidos pelos professores da escola, com base no currículo, estão relacionados com as habilidades da matriz de referência?
Dinâmica: