Desenvolvimento do trabalhoDesenvolvimento do trabalho

Manhã do dia 28.03Manhã do dia 28.03

Conceitos e característicasConceitos e característicasda avaliação em larga escala.da avaliação em larga escala.

Principais aspectos do delineamento de Principais aspectos do delineamento de uma proposta de avaliação.uma proposta de avaliação.

Desenvolvimento do trabalhoDesenvolvimento do trabalho

Tarde do dia 28.03Tarde do dia 28.03

Experiências de avaliação: o que Experiências de avaliação: o que podemos aprender com elas.podemos aprender com elas.

Reflexão sobre os conceitos, Reflexão sobre os conceitos, características e tendências no características e tendências no contexto de cada Estado.contexto de cada Estado.

AvaliaçãoAvaliação

Conceitos e características Conceitos e características

A divulgação desta apresentação por Cd-Rom e no Web site do programa Educação do Instituto do Banco Mundial e feita com a autorização do autor.

Fortalecimento da avaliação a partir daFortalecimento da avaliação a partir da década de 90 década de 90

Contexto:Contexto:

Estado formulador / supervisor Estado formulador / supervisor

Descentralização da implementaçãoDescentralização da implementação

Autonomia para o implementadorAutonomia para o implementador

Foco nos resultadosFoco nos resultados

Maior participação da sociedade civil.Maior participação da sociedade civil.

Fortalecimento da avaliaçãoFortalecimento da avaliação

Avaliação passa a ser ferramenta para garantir:Avaliação passa a ser ferramenta para garantir:

Racionalização na tomada de decisãoRacionalização na tomada de decisão

Responsabilização do implementadorResponsabilização do implementador

Transparência na implementaçãoTransparência na implementação

Prestação de contas do Estado.Prestação de contas do Estado.

Tipos de avaliação mais usados Tipos de avaliação mais usados

Avaliação diagnóstica (antes do T0)Avaliação diagnóstica (antes do T0)

Avaliação de processo (T0 aT1)Avaliação de processo (T0 aT1)

Avaliação de produto (T1)Avaliação de produto (T1)

Considerando-se as etapas da açãoConsiderando-se as etapas da ação

Tipos de avaliação mais usados Tipos de avaliação mais usados

Considerando-se as etapas da açãoConsiderando-se as etapas da ação

T0

Início da

ação

Fim da

ação

T1Diagnóst

icoImplementação Produtos

Linha de tempo

Tipos de avaliação mais usados Tipos de avaliação mais usados

Avaliação de desempenho (T1)Avaliação de desempenho (T1)

Avaliação de impacto (T1-T0)Avaliação de impacto (T1-T0)

Avaliação de efetividade {T2-(T1-T0)}Avaliação de efetividade {T2-(T1-T0)}

Considerando-se o resultado da açãoConsiderando-se o resultado da ação

T0

Início da ação

Fim da ação

Tempo depois do

fim da ação

T1 T2

Cada tipo de avaliação Cada tipo de avaliação pressupõe um delineamento pressupõe um delineamento

diferente, com coleta e diferente, com coleta e processamento de dados processamento de dados

específicos.específicos.

Avaliação: características fundamentaisAvaliação: características fundamentais

IsençãoIsenção

ValidadeValidade

ConfiabilidadeConfiabilidade

PrecisãoPrecisão

Uso ResponsávelUso Responsável

Esse movimento também ocorre na Educação.Esse movimento também ocorre na Educação.

Fortalecimento da avaliação no campo da Fortalecimento da avaliação no campo da Educação a partir da década de 90Educação a partir da década de 90

Os movimentos internacionais de educação investem em duas frentes:Os movimentos internacionais de educação investem em duas frentes:

acesso eacesso e

qualidade.qualidade.

A avaliação educacional deveria informar A avaliação educacional deveria informar a qualidade educacional.a qualidade educacional.

A avaliação e a EducaçãoA avaliação e a Educação

Duas perguntas:Duas perguntas:

O que é avaliar?O que é avaliar?

O que é qualidade da Educação?O que é qualidade da Educação?

Evolução do entendimento sobre Avaliação Evolução do entendimento sobre Avaliação EducacionalEducacional

Década de 50Década de 50

Década de 60Década de 60

Década de 70Década de 70

Década de 90Década de 90

Atribuir juízo de valor (juiz)Atribuir juízo de valor (juiz)

Negociar (comunicador)Negociar (comunicador)

Medir (técnico)Medir (técnico)

Descrever (critérios e padrões)Descrever (critérios e padrões)

Fonte: Tenório, Robinson. Avaliação de programas e projetos educacionais

AvaliaçãoAvaliação

““Entendemos avaliação como um Entendemos avaliação como um juízo juízo de qualidadede qualidade sobre sobre dados relevantesdados relevantes, ,

tendo em vista uma tendo em vista uma tomada de decisãotomada de decisão. . É bem simples: são três variáveis que É bem simples: são três variáveis que devem estar sempre juntas para que o devem estar sempre juntas para que o

ato de avaliar cumpra o seu papel.” ato de avaliar cumpra o seu papel.” (LUCKESI, 2000:69)(LUCKESI, 2000:69)

AvaliaçãoAvaliação

““Para que essa avaliação seja bem Para que essa avaliação seja bem fundamentada, cada escola (cada fundamentada, cada escola (cada sistema) deveria se pautar por um sistema) deveria se pautar por um quadro referencial de critérios que quadro referencial de critérios que permita inferências sobre qual a permita inferências sobre qual a

qualidade educacional desejada.” qualidade educacional desejada.” (DEPRESBITERES, 2001:143)(DEPRESBITERES, 2001:143)

Lógica da avaliação:

Análise das informações

Coleta de informação sobre os fatos

relevantes

Determinação dos fatos relevantes

Definição de critérios para julgamento

Aplicação dos critérios

Emissão de juízo de qualidade

Tomada de decisão

Indicadores Indicadores

• O uso de indicadores sistematiza a coleta O uso de indicadores sistematiza a coleta de dados sobre os fatos relevantes.de dados sobre os fatos relevantes.

• Sua definição varia com objetivos e Sua definição varia com objetivos e capacidade de ação daquele que está capacidade de ação daquele que está avaliando.avaliando.

• Antes: ênfase dada aos insumosAntes: ênfase dada aos insumos

Hoje: ênfase nos resultados e produtosHoje: ênfase nos resultados e produtos

Tipos de IndicadoresTipos de Indicadores

• De provisão de recursos e financiamento.De provisão de recursos e financiamento.• Taxas de acesso / participação por nível.Taxas de acesso / participação por nível.• Custo em cada um dos níveis.Custo em cada um dos níveis.• Tamanho de turma / razão alunos / Tamanho de turma / razão alunos /

professor.professor.• Treinamento dos docentes.Treinamento dos docentes.• Medidas do aproveitamento dos alunos em Medidas do aproveitamento dos alunos em

áreas chave do currículo.áreas chave do currículo.• Taxas de progresso do alunado.Taxas de progresso do alunado.

Fonte: Rowe, Ken. Indicadores do Desempenho Educacional

Qualidade educacionalQualidade educacional

Ser Humano

Ser cidadão

Bem viver democrático, com

acesso ao conhecimento e à

cultura e possibilidade de

trabalho

Fonte: esquema proposto a partir de Luckesi, 2000.

Esc

ola

riza

ção

Ter acesso à escola

Permanecer na escola

Aprender na escola

Desafio: Desafio:

Identificar os indicadores que Identificar os indicadores que informem sobre a qualidade informem sobre a qualidade educacional.educacional.

Articular esses indicadores para Articular esses indicadores para que se forme o panorama sob que se forme o panorama sob avaliação.avaliação.

Avaliação de SistemaAvaliação de Sistema

≠≠

Avaliação de sala de Avaliação de sala de aulaaula

SemelhançasSemelhanças

“Os cuidados com os processos avaliativos devem ser comuns às

escolas e aos sistemas educacionais”.

“As perguntas conceituais norteadoras são as mesmas”.

DiferençasDiferenças

► Avaliação EducacionalAvaliação Educacional

Matriz de indicadores comum ao EstadoMatriz de indicadores comum ao Estado

Equipe de avaliadoresEquipe de avaliadores

► Avaliação PedagógicaAvaliação Pedagógica

Plano de ensino voltado para a comunidade Plano de ensino voltado para a comunidade

Professores e coordenadoresProfessores e coordenadores

► Avaliação da escolaAvaliação da escola

Todos os alunos da(s) rede(s)Todos os alunos da(s) rede(s) Plano de EducaçãoPlano de Educação

Procedimentos padronizados / larga escalaProcedimentos padronizados / larga escala Informa a sociedadeInforma a sociedade Compromisso do EstadoCompromisso do Estado

► Avaliação na escolaAvaliação na escola

Cada aluno na sala de aulaCada aluno na sala de aula

Projeto político-pedagógicoProjeto político-pedagógico

Procedimentos variados / pequena escalaProcedimentos variados / pequena escala

Informa pais e comunidadeInforma pais e comunidade Compromisso da equipe educacionalCompromisso da equipe educacional

DiferençasDiferenças

Avaliação da escolaAvaliação da escola Avaliação na escolaAvaliação na escola

► São complementares. É preciso haver São complementares. É preciso haver profunda articulação entre elas.profunda articulação entre elas.

► Gestores de sistema precisam entender que Gestores de sistema precisam entender que NÃO são gestores de escola.NÃO são gestores de escola.

++

Avaliação de SistemaAvaliação de Sistema

Série de procedimentos, previamente Série de procedimentos, previamente estabelecidos, para coleta e tratamento estabelecidos, para coleta e tratamento

de dados que, analisados a partir de de dados que, analisados a partir de padrões e critérios relacionados aos padrões e critérios relacionados aos objetivos desse sistema, podem ser objetivos desse sistema, podem ser usados para informar a tomada de usados para informar a tomada de

decisões e favorecer o julgamento de decisões e favorecer o julgamento de valor.valor.

Implementa

►Avaliação não é um fim em si Avaliação não é um fim em si mesma.mesma.

Planeja

Avalia

Implementa

Avaliação e seu usoAvaliação e seu uso

A avaliação só se justifica se for A avaliação só se justifica se for voltada para o uso. (PATTON, 1997)voltada para o uso. (PATTON, 1997)

Características da avaliação Características da avaliação útilútil, de , de acordo com Patton:acordo com Patton:

1 – Clareza de usos possíveis para 1 – Clareza de usos possíveis para usuários potenciais.usuários potenciais.

2- Criação e alimentação de uma 2- Criação e alimentação de uma cultura de teste que lastre a avaliação.cultura de teste que lastre a avaliação.

3 – Parceria entre avaliador, contratante, 3 – Parceria entre avaliador, contratante, e “avaliando” na decisão do que avaliar e e “avaliando” na decisão do que avaliar e das responsabilidades sobre os das responsabilidades sobre os resultados.resultados.

4 – Implementação reflexiva, oportuna, 4 – Implementação reflexiva, oportuna, confiável, e integrada ao programa.confiável, e integrada ao programa.

5 - Uso dos resultados de maneira 5 - Uso dos resultados de maneira transparente e responsável.transparente e responsável.