Propostas e Programas de Avaliação da Educação

Básica

Luiza Massae Uema

Inep/MEC

Fórum Permanente de Desafios do Magistério

Campinas, setembro de 2006

Objetivo

O que tem sido feito no campo da avaliação da educação básica

Avaliação em larga escala – uma perspectiva

Reflexão sobre o uso de resultados – alcance e limitações

Perspectiva da Avaliação nas Escola

Em sala de aula

Os estudantes são avaliados com base em exames preparados por seus professores

Os professores utilizam tais exames para determinar aqueles que possuem condições de avançar no sistema

O baixo desempenho do estudante é, freqüentemente, considerado de responsabilidade do estudante e de suas famílias

Outra perspectiva - avaliações em larga escala

Externas, com foco nos alunos, nas escolas, nas redes ou nos sistemas

Metodologia e testes padronizados

População de grande porte (em larga escala), representada por amostra, sub-populações

Proporciona estudos que produzem macro informações

Coleman (1966)

As Avaliações em Larga Escala

Brasil: especialmente nas décadas de 90 e atual – proliferação de avaliações em larga escala.

Vários tipos de avaliação e objetivos:

Auto avaliação

Credenciamento

Certificação

Diagnóstico

• Accountability

Auto Avaliação

Conhecer a situação da própria aprendizagem, possibilitando também, o posicionamento com relação a outros participantes do exame

As Avaliações em Larga Escala

Exemplo: Exame Nacional do Ensino Médio - ENEM

Em 2005

Dos 2.199.637 participantes, 1,1 milhão são concluintes (52% dos concluintes do ensino médio)

Das 22.918 escolas de ensino médio que constam do Censo Escolar, 22.014 tiveram ao menos um aluno concluinte que participou do exame (96,05%)

Escolas

27%

73%

Privada Públicas

Avaliações em larga escala

Participantes do Enem 2005

52%43%

5%

concluintes egressos outra condição

Concluintes

17%

83%

Privada Públicas

Avaliações em larga escala

Exemplo: ENEM

- 490 instituições de ensino superior usam o resultado do Enem no critério de seleção de candidatos a seus cursos de graduação

- ProUni

CredenciamentoAvaliação de resultados com vistas à classificação para seleção visando ao ingresso no mercado de trabalho ou em instituições ensino superior

Certificação

Instrumento que visa a formalizar, conforme a legislação educacional vigente, as competências e habilidades individuais desenvolvidas

Avaliações em larga escala

Exemplo: Exame Nacional de Certificação de Competências da Educação de Jovens e Adultos – ENCCEJA

Objetivo: aferir conhecimentos e habilidades referentes à conclusão do ensino fundamental e médio

Diagnóstico

Levantamento da situação em determinado momento com vistas à formulação, implementação e avaliação de processos ou políticas educacionais

Exemplo:

Sistema Nacional de Avaliação da Educação Básica – SAEB

Avaliação Nacional do Rendimento Escolar - Prova Brasil

Avaliações em larga escala

Diagnóstico

Brasil: Surgimento entre meados das décadas de 80.

O MEC inicia as discussões sobre uma política de suporte à melhoria da qualidade do ensino.

Promove algumas experiências piloto de avaliação dando ensejo para a implantação, pela então Secretaria de Educação Básica, do Sistema de Avaliação do Ensino Público de 1º Grau - SAEP, que passou a denominar-se Sistema Nacional de Avaliação da Educação Básica, em 1992.

Avaliações em larga escala

Dois pressupostos básicos:

• O rendimento dos alunos reflete a qualidade do ensino ministrado;

• Diferentes fatores “explicam” a qualidade do ensino.

Avaliação do SAEB mais do que um teste sobre os alunos é a conjugação de testes de rendimento com questionários sobre fatores associados

SAEB

Instrumentos padronizados e de caráter amostral.

Serve para acompanhar a evolução do desempenho dos estudantes ao longo tempo.

Possibilita a comparação do desempenho médio dos estudantes entre diferentes estratos

Proporciona estudos que buscam identificar os determinantes do desempenho dos estudantes.

Relatório Coleman (1966)

SAEB

A Institucionalização do SAEB

Com redemocratização – reflexos na educação

(i) Forte ampliação do acesso à escola,

porém ao longo do processo:

(i) a impressão de que os resultados que estavam sendo gerados não pareciam ser exatamente o que se desejava.

O País faz um grande esforço mas ainda é necessário investir em qualidade. Mas o que isto significa exatamente ?

sistema nacional de avaliação poderia trazer informações úteis sobre o que estaria sendo gerado no sistema educacional e o que seria responsável pelos resultados obtidos

A Institucionalização do SAEB

No governo federal, ao final da década de 80, o MEC

inicia as discussões sobre uma política de avaliação do ensino fundamental,

promove algumas experiências pilotos,

motivando a implantação, pela então Secretaria de Educação Básica, do Sistema de Avaliação do Ensino Público de 1º Grau - SAEP, que passou a denominar-se Sistema Nacional de Avaliação da Educação Básica, em 1992.

Apesar de algumas dificuldades:

• Os preconceitos em relação a métodos e técnicas de avaliação de aprendizagem, especialmente os em larga escala.

O escasso domínio de competência e raras oportunidades de formação acadêmica neste campo.

Após mais de uma década

Foram realizados sete ciclos de avaliação

Avanços metodológicos importantes, como a introdução da TRI

• Teoria que permite comparabilidade

Desenvolveram-se planos amostrais que conferem maior validade aos resultados

O SAEB consolida-se como um instrumento que garante qualidade e a confiabilidade das avaliações realizadas.

Evolução

Forma dos Resultados

Público alvo: governantes e pesquisadores

Publicações com caráter muito técnico, o que inviabilizava a apropriação dos resultados no contexto do quotidiano das escolas

Na ausência de uma proposta curricular completa e objetiva: utilização das matrizes de referência do SAEB como grade curricular

Demanda por resultados das escolas e dos alunos individualmente

Proficiência Média por Série e Disciplina – SAEB/INEP

Língua Portuguesa

150

170

190

210

230

250

270

290

4a série EF 8a série EF 3a série EM

1995

1997

1999

2001

2003

Avaliações em larga escala - SAEB

Proficiência Média por Série e Disciplina – SAEB/INEP

Matemática

150

170

190

210

230

250

270

290

4a série EF 8a série EF 3a série EM

1995

1997

1999

2001

2003

Avaliações em larga escala - SAEB

Alcance

Para além dos números

Desempenho – variável dependente

Fatores associados

Efeito escola

Instrumento de gestão

Avaliação evoluiu favoravelmente nos últimos anos

Percebe-se a consolidação de uma importante cultura depois das resistências ocorridas nos momentos iniciais

Dissemina-se a compreensão dos alcances, limites e complementaridade entre os diferentes tipos de avaliação em larga escala

debate iniciado nos últimos anos é dar um salto, agregando à perspectiva da avaliação em larga escala o estabelecimento de padrões mínimos de desempenho a fim de que a informação se torne mais útil e atinja mais a fundo os aspectos pedagógicos do desempenho.

Contribuição

Não perfeito, vários aperfeiçoamentos possíveis e muitas limitações analíticas (o que é avaliado)

Não poderia responder a todas as necessidades de informação, porque não foi construído para

apreender toda a diversidade e singularidade das escolas e sistemas de ensino

todos os requisitos informacionais necessários para apurar a qualidade, ou a evolução da qualidade do(s) sistema(s) educacional(is)

Limites

Perspectivas

Com esse pano de fundo, dentro do INEP:

i) Aprimoramento metodológico

ii) Comparações Internacionais :

PISA, SERCE

iii) estimulo a difusão do SAEB e avaliação: Oficinas

iv) criação e fortalecimento de sistemas próprios de avaliação – parcerias (metodologia, itens, aplicações etc.) e rede nacional de avaliação

v) aprimoramento de pesquisas sobre fatores associados:

Condições de oferta

Gestão e processos pedagógicos,

Condições de alfabetização etc.

Avaliações em larga escala

Accountability

Avaliação universal com divulgação dos resultados por escolas (accountability)

O objetivo é tornar escolas, professores, dirigentes do sistema e estudantes responsáveis pelo desempenho dos alunos.

E, assim, mobilizar dirigentes educacionais, professores, estudantes, pais e a sociedade em geral na busca da melhoria da qualidade de ensino.

Avaliação universal com divulgação dos resultados por escolas (accountability)

Marco nos sistemas de accountability: Inglaterra (1988) Centralização de currículo,

maior liberdade para escolha da escola,

maior liberdade para a escola gerir os recursos,

definição de critérios de desempenho nacional,

divulgação dos resultados.

Accountability nas Escolas

Um sistema de accountability envolve:

Exames padronizados em caráter universal

Ampla divulgação dos resultados

Pode ter, ou não, recompensas e sanções atreladas aos resultados.

Diferentes sistemas diferem

no tipo de exame utilizado,

na forma de divulgação dos resultados e

nos esquemas de prêmios/sanções subjacentes.

Accountability nas Escolas

Polêmica

Defensores: avaliação da eficiência melhora efetiva e rapidamente a qualidade do ensino.

Críticos: pode ter “efeitos” indesejáveis pela pressão demasiada sobre todos os segmentos envolvidos no processo de ensino.

Argumentos favoráveis

1. Ao tornar os resultados das escolas mais transparentes, accountability gera um sistema de incentivos para a melhoria da qualidade de ensino.

Melhorar a qualidade de ensino pode exigir mudanças de práticas e hábitos enraizados no processo escolar e, portanto, de difícil mudança.

Maior transparência aumenta a pressão social pelas mudanças.

Argumentos favoráveis

2. A divulgação dos resultados pode desfazer certas percepções equivocadas sobre o desempenho da escola e mobilizar o corpo de professores e dirigentes na busca de melhorias.

3. Um sistema de prêmios/sanções pode aumentar os incentivos para a melhoria.

Argumentos contrários

1. Os indicadores de desempenho são medidas imperfeitas da qualidade da escola: efeito aluno X efeito escola.

Responsabilizar a escola por algo que ela não tem “culpa” pode gerar desânimo e piorar o desempenho.

No caso de simples divulgação de resultados, tal argumento supõe uma incapacidade, por parte do público interessado, em resolver de forma adequada o problema de “extração de sinal”.

No caso de sistemas com prêmios/sansões, o resultado depende muito do desenho.

Argumentos contrários

1. Os indicadores de desempenho são medidas imperfeitas da qualidade da escola: efeito aluno X efeito escola.

Responsabilizar a escola por algo que ela não tem “culpa” pode gerar desânimo e piorar o desempenho.

No caso de simples divulgação de resultados, tal argumento supõe uma incapacidade, por parte do público interessado, em resolver de forma adequada o problema de “extração de sinal”.

No caso de sistemas com prêmios/sansões, o resultado depende muito do desenho.

Argumentos contrários

2. Uma vez que as escolas são cobradas pelo desempenho dos alunos, elas podem buscar meios não desejados de aumentar a proficiência nos exames:

Estreitamento do currículo

Exclusão dos alunos de baixo rendimento

Avaliação e Rendição de Contas Estudos mostram que:

Sistemas de rendição de contas em si levam a aumentos na proficiência de alunos

Sistemas de incentivo – dependem dos desenhos

Não evidencias conclusivas sobre exclusão

Por outro lado

Responsabilização

Envolvimento da sociedade no debate/definição políticas públicas

Transparência – A Informação é um direito do cidadão

diminuição de posicionamento paternalista

A Prova Brasil

Experiência Nova em termos de amplitude nacional: Prova Brasil (ANRESC) (existem experiências similares nos sistemas)

amplia o escopo da avaliação, deixa de ser o sistema e passa a ser unidade de ensino,

Possibilidade de mudar o foco: apesar de diagnóstico ainda ser ponto chave, a ele pode ser agregada uma nova e importante dimensão – rendição de contas (accountability)

Prova Brasil aplicada em 2005

Universal (não amostral) – todas as escolas publicas, urbanas com mais de 30 alunos na serie

Metodologia igual a SAEB – comparabilidade.

Cada unidade recebe seu resultado de modo a ser possível se comparar com outras escolas

Questionário simplificado (só alunos)

Divulgação dos resultados

As escolas participantes recebem:

seus próprios resultados, com a média geral de proficiência de seus alunos e a distribuição dos alunos ao longo da escala

médias do próprio município, estado e do país, referente às escolas que participaram da Prova Brasil

livreto com informações técnicas sobre a Prova Brasil

Material de Divulgação

cartaz com informações gerais sobre o exame e a escala para avaliação dos resultados em conjunto com a comunidade escolar

informativo, com indicadores específicos da escola extraídos do Censo Escolar, e médias das demais escolas que participaram do Prova Brasil

Cada gestor municipal e estadual também recebe os mesmos dados