Oficina de Apropriação de Resultados

Saero 2013 Lilian Gomes

Colaborador externo

Conhecendo o grupo...

Expectativas...

SAERO

APRENDER A APRENDER

SAERO

O Centro de Políticas Públicas e Avaliação da Educação (CAEd), da Universidade Federal de Juiz de Fora, é uma instituição que operacionaliza (elabora e desenvolve) programas estaduais e municipais destinados a mensurar o rendimento de estudantes das escolas públicas.

A instituição também cria e promove cursos de formação, qualificação e aprimoramento aos profissionais da Educação de diversos estados do Brasil. O CAEd oferece ainda apoio para o desenvolvimento de projetos educacionais promovidos por iniciativas privadas, a exemplo de algumas ações da Fundação Roberto Marinho, Instituto Unibanco e Fundação Oi Futuro.

SAERO

O CAEd está organizado em cinco unidades:

Pesquisa, Avaliação, Formação, Sistemas de Gestão e Administração.

O CAEd atua junto ao Governo Federal, Estados, Municípios, instituições e fundações na realização de avaliações de larga escala com a produção

de medidas de desempenho e na investigação de fatores intra e extraescolares associados ao desempenho.

O objetivo principal é oferecer dados e informações úteis capazes de subsidiar as ações de melhoria da qualidade da educação e

equidade nas oportunidades educacionais.

SAERO

OBJETIVOS DA OFICINA

Objetivo geral

Analisar e interpretar resultados do Saero para (re)planejamento das ações pedagógicas implementadas em sala de aula, a serem definidas pelas unidades escolares envolvidas no processo de avaliação.

Objetivos específicos

Apresentar a Matriz de Referência, analisando os descritores que norteiam a elaboração dos itens presentes nos testes de Matemática;

Apresentar e interpretar a Escala de Proficiência, considerando os agrupamentos de seus intervalos (Padrões de Desempenho Estudantil);

Analisar e interpretar pedagogicamente os resultados da avaliação de Matemática.

SAERO

O que é avaliar?

É refletir sobre uma determinada realidade a partir de dados e informações, e emitir um

julgamento que possibilite uma ação.

Segundo Luckesi, "...a avaliação é uma apreciação qualitativa sobre dados relevantes do processo de ensino-aprendizagem que auxilia o professor a

tomar decisões sobre o seu trabalho”.

Em outras palavras a avaliação escolar é um componente do processo de ensino que visa, através da verificação e qualificação dos resultados obtidos,

determinar a correspondência destes com os objetivos propostos e, daí, orientar a tomada de decisões em relação às atividades didáticas seguintes.

Testes de

Proficiência

Questionários

Contextuais

Oferecer uma medida

Desempenho

Escolar

AVALIAÇÃO EDUCACIONAL EM LARGA ESCALA

As avaliações em larga escala desempenham o importante papel de assegurar que o acesso à educação de qualidade seja acompanhado da garantia do direito a uma efetiva

aprendizagem por parte dos estudantes de todos os níveis de ensino. As avaliações em larga escala usam, como instrumentos, testes de proficiência e

questionários, que permitem avaliar o desempenho escolar e os fatores intra e extraescolares associados a esse desempenho.

Provas abertasProvas objetivas

Observação/RegistroPortfólio

TEORIA CLÁSSICA TEORIA DA RESPOSTAAO ITEM

Avaliação Interna/Escola

Processo da aprendizagem

AVALIAÇÃO EDUCACIONAL

Avaliação Externa/Sistemas

Testes de proficiência Questionários contextuais

Desempenho dos alunos

AVALIAÇÃO INTERNA E EXTERNA

FATORES ASSOCIADOS AO DESEMPENHO ESCOLAR

Fatores socioeconômicos

Fatores familiares

Fatores individuais

Gestão e administração

Prática pedagógica

Condições de infraestrutura

Qualificação dos profissionais

Fatores Extraescolares Fatores Intraescolares

Sistema de Avaliação Educacional de Rondônia

SAERO

MATRIZ DE REFERÊNCIA

SAERO

CARACTERÍSTICAS DA MATRIZ DE REFERÊNCIA

Apresenta as habilidades definidas para serem avaliadas nos testes utilizados no Saero;

Garante legitimidade e transparência à avaliação;

A Matriz não esgota o conteúdo a ser trabalhado em sala de aula e, portanto, não pode ser confundida com o currículo, propostas curriculares, estratégias de ensino ou diretrizes pedagógicas;

Apresenta habilidades que estão no currículo;

Apresenta habilidades possíveis de aferir em um teste de múltipla escolha;

É formada por um conjunto de tópicos ou temas;

Cada tema apresenta um conjunto de habilidades;

Cada habilidade é descrita por um descritor;

Os descritores apresentam as habilidades consideradas básicas e possíveis de serem aferidas por meio do instrumento utilizado em avaliações em larga escala.

Segundo Perrenoud (1999), competências referem-se ao domínio prático de um tipo de tarefas e de situações. Tais domínios práticos só podem ser

alcançados se junto com eles forem desenvolvidos as habilidades dos alunos, o que só se pode realizar a partir da compreensão do conteúdo que explica

aquele domínio.

Os descritores têm origem na associação entre os conteúdos curriculares e as operações mentais desenvolvidas pelo aluno que se traduzem em certas

habilidades. Constituem uma sumária “descrição” das habilidades esperadas ao final de cada período escolar avaliado

COMPETÊNCIAS, HABILIDADES E DESCRITORES

PERRENOUD, P. Avaliação: da excelência à regulação das aprendizagens, entre duas lógicas. Porto Alegre: Artmed, 1999.

Currículo e Matriz de Referência

SAERO

Currículo e Matriz de Referência

SAERO

Currículo e Matriz de Referência

SAERO

Matriz de Referência de Avaliação de Matemática

• I – Espaço e Forma• II - Grandezas e Medidas• III – Números e Operações / Álgebra e Funções• IV - Tratamento da Informação

SAERO

Atividade – Matriz de Referência Formação de grupos com 4 pessoas;

Atividade de cada grupo:

• descrever e distinguir os conteúdos trabalhados em cada um dos tópicos da disciplina (o grupo poderá relacionar conteúdos de modo geral, para todas as etapas de escolaridade, ou limitar apenas uma etapa avaliada pelo sistema);

• discutir com os participantes da turma, os conteúdos apontados;

SAERO

Atividade – Matriz de Referência Cada grupo ficará responsável por um tópico da disciplina

(possivelmente alguns tópicos serão )

Atividade de cada grupo:• discutir os conteúdos matemáticos do tópico selecionado;• desenvolver uma atividade para sala de aula, com base em um dos

conteúdos apresentados;

Entregar a Matriz de Referência.

SAERO

Atividade – Matriz de Referência Atividade de cada grupo:

• Associar os conteúdos das atividades com os descritores da matriz;• Quais os conteúdos abordados na atividade?• Quais deles estão presentes na matriz?• Quais desses conteúdos não estão presentes na matriz?

Apresente possíveis motivos para esses conteúdos não serem avaliados pelo sistema.

Cada grupo apresentará sua atividade, apontando os conteúdos trabalhados e associando com o currículo e os descritores da matriz;

SAERO

DA MATRIZ AOS ITENS DOS TESTES DE PROFICIÊNCIA

OBJETIVOS DOS TESTES DE PROFICIÊNCIA

Os testes de proficiência têm como objetivo aferir habilidades que são esperadas dos alunos em diferentes

etapas de escolarização.

Os testes são compostos por itens.

Cada item avalia apenas uma habilidade da Matriz.

Essas habilidades são descritas por descritores.

Avalia uma única habilidade, portanto o item é unidimensional.

Obtém um resultado por estudante, que permite avaliar as hipóteses levantadas por ele.

Na formulação de um item, deve-se considerar:

GRAU DE DIFICULDADE(diz respeito à adequação entre a formulação do item e a

capacidade de resposta do estudante)

DISCRIMINAÇÃO(capacidade de o item de distinguir estudantes com diferentes níveis de

habilidade)

ITEM

ELEMENTOS COMPONENTES DO ITEM

DistratoresGabarito

Comando

Suporte

É o estímulo para que o aluno mobilize recursos para solucionar o problema apresentado.

Dado sob a forma de complementação ou de interrogação, deve estar atrelado à habilidade que se pretende avaliar

Devem ser plausíveis referindo-se a raciocínios possíveis

ANALISANDO SE O EXEMPLO É UM BOM ITEM

EXEMPLOS DE ALGUNS ITENS POR DESCRITOR

EXEMPLOS DE ALGUNS ITENS POR DESCRITOR

‘

Atividades e ItensSAERO

• Atividades podem apresentar o desenvolvimento de diversas habilidades;

• O item avalia apenas uma habilidade;

• Atividades são desenvolvidas com base em diversos instrumentos e recursos didáticos.

• O item é, geralmente, desenvolvido por meio de questões de múltipla escolha.

QUESTÃO PEDAGÓGICA

Atividades e ItensSAERO

Atividades e ItensSAERO

Atividades e ItensSAERO

Atividades e ItensSAERO

Atividades e ItensSAERO

Atividades e ItensSAERO

Atividades e ItensSAERO

(5EF): Identificar diferentes representações de um mesmo número racional.

(7EF): Identificar frações equivalentes.

(9EF): Resolver problemas que envolvam porcentagem.

(3EM): Resolver problemas envolvendo o cálculo de probabilidade.

ESCALA DE PROFICIÊNCIA

Foi desenvolvida com o objetivo de traduzir medidas em diagnósticos qualitativos do desempenho escolar. Ela orienta,

por exemplo, o trabalho do professor com relação as competências que seus estudantes desenvolveram,

apresentando os resultados em uma espécie de régua na qual os valores obtidos são ordenados e categorizados em

intervalos ou faixas que indicam o grau de desenvolvimento das habilidades para os estudantes que alcançaram

determinado nível de desempenho.

Escala de Proficiência• Principais elementos da Escala de Proficiência

– Temas/Tópicos– Competências– Régua numerada: proficiência– Níveis de proficiência– Gradação de cores: graus de dificuldade da

competência

SAERO

Atividade – Escala de Proficiência• Dividir a turma em grupos com 4 pessoas;• Entregar cada bloco de competências para os grupos;• Atividade de cada grupo:

– Discutir e associar o desenvolvimento de cada competência;

• Apresentar o gabarito e esclarecer possíveis dúvidas;• Entregar a escala de proficiência;

SAERO

SAERO

Identificam objeto localizado

dentro/fora, na frente/atrás

Identificam a movimentação de objetos e pessoas

em mapas e croquis.Dada uma trajetória

entre duas localidades no mapa, identifica a descrição textual que

representa esse deslocamento.

Realiza atividade de localização utilizando

sistema de coordenadas em um

plano cartesiano.

Localizam figuras geométricas por meio das coordenadas cartesianas

de seus vértices utilizando nomenclatura

abscissa/ordenada..

As competências

As competências

As competências

As competências

OS PADRÕES DE DESEMPENHO

São categorias definidas a partir de cortes numéricos que agrupam os níveis da Escala de Proficiência, com base nas metas educacionais estabelecidas pelo Saero. Esses cortes dão

origem a quatro Padrões de Desempenho – Abaixo do básico, Básico, Adequado e Avançado, os quais apresentam o perfil de desempenho dos estudantes.

Padrões de desempenho estudantil

Estabelecimento e monitoramento das metas de qualidade educacional

Caracterização do desempenho escolar

Grau de realização das ações educacionaisPolíticas públicas voltadas

à promoção da equidade Identificação do percentual de alunos em risco pedagógico

(evasão, reprovação ou abandono)

Cortes dos Padrões de Desempenho de Matemática

• 2º ano do Ensino Fundamental– ABAIXO DO BÁSICO – Até 450– BÁSICO - 450 a 600 – ADEQUADO - 600 a 700 – AVANÇADO - Acima de 700

SAERO

Marcar os pontos de corte na escala

Cortes dos Padrões de Desempenho de Matemática

• 5º ano do Ensino Fundamental– ABAIXO DO BÁSICO - Até 150 – BÁSICO - 150 a 200 – ADEQUADO - 200 a 250 – AVANÇADO - Acima de 250

SAERO

Marcar os pontos de corte na escala

Cortes dos Padrões de Desempenho de Matemática

• 6º ano do Ensino Fundamental– ABAIXO DO BÁSICO – Até 175– BÁSICO - 175 a 225 – ADEQUADO - 225 a 275 – AVANÇADO - Acima de 275

SAERO

Marcar os pontos de corte na escala

Cortes dos Padrões de Desempenho de Matemática

• 9º ano do Ensino Fundamental– ABAIXO DO BÁSICO - Até 225 – BÁSICO - 225 a 275 – ADEQUADO - 275 a 325 – AVANÇADO - Acima de 325

SAERO

Marcar os pontos de corte na escala

Cortes dos Padrões de Desempenho de Matemática

• 1º ano do Ensino Médio– ABAIXO DO BÁSICO - Até 250 – BÁSICO - 250 a 300 – ADEQUADO - 300 a 350 – AVANÇADO - Acima de 350

SAERO

Marcar os pontos de corte na escala

Cortes dos Padrões de Desempenho de Matemática

• 2º ano do Ensino Médio– ABAIXO DO BÁSICO – Até 250– BÁSICO - 250 a 300– ADEQUADO - 300 a 350 – AVANÇADO - Acima de 350

SAERO

Marcar os pontos de corte na escala

Cortes dos Padrões de Desempenho de Matemática

• 3º ano do Ensino Médio– ABAIXO DO BÁSICO - Até 250 – BÁSICO - 250 a 300 – ADEQUADO - 300 a 350 – AVANÇADO - Acima de 350

SAERO

Marcar os pontos de corte na escala

Atividade - Padrões de Desempenho• Dividir os padrões entre os 12 grupos (dois Padrões

de Desempenho para cada grupo em uma única etapa);

• Fazer a descrição dos padrões com base nos intervalos de proficiência e a descrição das competências na escala de proficiência;

• Relacionar as diferenças (desenvolvimento) das habilidades nos dois níveis descritos pelo grupo.

SAERO

RESULTADOS

Resultados• Resultados por Projeto, Gerência, Escola• Proficiência média;• Participação;• Percentual de estudantes por padrão;• Resultados de proficiência média e percentual por

padrão nas avaliações de 2012 e 2013;• Percentual de estudantes por nível de proficiência;

SAERO

RESULTADOS IMPRESSOS NA REVISTA PEDAGÓGICA

Resultados

SAERO

Resultados

SAERO

21,05 185,3 615,91462,3

2194,02470,9

1900,31061,2

429,5140,0 47,4 1,05

822,25 3656,3 4371,2 1679,15

Resultados• Entregar resultados para os grupos;Comparar os resultados de 2012 e 2013 em uma mesma escola. • O que podemos notar ao observar a proficiência

média dos estudantes as avaliações desses dois ciclos?

• E em relação ao percentual de alunos em cada padrão de desempenho nesses dois ciclos? Encontramos diferenças? Quais seriam?

SAERO

ResultadosObserve a participação dos estudantes na escola.• Qual seria o percentual de participação na avaliação aplicada

na escola? Este percentual é significativo?• Em relação à participação, o número de alunos avaliados

corresponde ao número de alunos que frequentam a escola?• Quem são os alunos que não fizeram a avaliação?• Como possibilitar a participação desses alunos nas próximas

avaliações?• Como melhorar a frequência desses alunos na escola?

SAERO

ResultadosObserve a proficiência média da sua escola em cada etapa de escolaridade;• O que podemos observar ao associar a proficiência média aos

padrões de desempenho em cada etapa?• Quais são as habilidades desenvolvidas pelos alunos em cada

etapa de escolaridade, considerando o resultado da proficiência média?

• Quais seriam os conhecimentos mínimos esperados em cada etapa de escolaridade? (quais as habilidades que os alunos ainda não desenvolveram?)

SAERO

UTILIZAÇÃO DOS RESULTADOS

Gestores

Professores Estudantes

Gestores

REDE

ESCOLA

Planejamento e execução de políticas públicas.

Criação de metas de qualidade e equidade educacionais.

Implementação de medidas de responsabilização.

Políticas de incentivos diretos ou indiretos.

Ações de formação continuada de professores .

Elaboração do projeto da escola.

Monitoramento da qualidade de ensino .

Subsídio para avaliação institucional.

Professores

Intervenção pedagógica. Elaboração de projetos especiais. Foco nos estudantes com

dificuldades. Ações de recuperação escolar. Planejamento das ações de sala

de aula. Visão proativa quanto ao

desenvolvimento de habilidades e competências ao longo da educação básica.

Estudantes

Acompanhamento individual do desempenho escolar pelos estudantes e seus familiares.

Informações sobre a qualidade dos serviços educacionais oferecidos .

VOCÊ PODE FAZER A DIFERENÇA...

MÚSICA...UM BOM PROFESSOR...

Obrigada!!!

Lilian Gomes