Avaliação das escolas: estratégia de

prestação de contas ou de melhoria?

Maria do Carmo Clímaco

IE - 25 de Fevereiro

Porque variam os nossos olhares sobre

a escola e a avaliação?

• As concepções e as percepções de escola e de avaliação

– As finalidades da própria da avaliação e dos procedimentos adequados

– Os destinatários, os interesses e níveis de responsabilidade– As prioridades e os modelos de avaliação– A perspectiva de participação e inovação– As capacidades científicas, técnicas e humanas para passar da

“retórica” à prática, ou dos “princípios orientadores” à mobilização dos actores para participarem e apropriarem-se do próprio processo avaliativo

Os múltiplos objectos de estudo na escola

• Cada objecto de estudo pode ser estudado a diferentes níveis de análise empírica

• Objectivo – dar visibilidade ao objecto de estudo, “desocultar” as diversas invisibilidades, de modo a compreender a sua complexidade

• Os múltiplos olhares sobre a escolao A natureza do contexto social – escola de elites à escola de massaso A escola “caixa negra” (conduzida a partir de uma perspectiva macro, detecta

efeitos, mas não explica porque se observam , nem como foram geradoso A escola como unidade crítica da produção educativa / do sistema, locus da

real mudança da qualidadereal mudança da qualidadeo Os fenómenos que acontecem na escolao A escola como um todo, na sua dimensão institucional = um sistema em si

mesmo, nas suas regularidades e nas suas irregularidades• Propósito – quebrar visões fragmentadas (várias facetas isoladas umas das

outras)

O discurso da “transparência”

• A pressão sobre as escolas para resolver problemas de integração e capacitação – os desafios de “melhor educação”

• A revisão dos papeis do Estado e a reorientação dos programas de • A revisão dos papeis do Estado e a reorientação dos programas de controlo, regulação e de intervenção inspectiva:– Redefinir funções – responder melhor– Conhecer o sistema e as necessidades das escolas– Auscultar os actores e ter atenção às expectativas sociais

• O contexto sociopolítico – A pressão para melhores resultados– A avaliação como estratégia de controlo, de responsabilização e – A avaliação como estratégia de controlo, de responsabilização e

melhoria– A autonomia das escolas

• O contexto científico e cultural– O conhecimento nas construção e regulação das políticas– A investigação sobre a eficácia e a melhoria das escolas– O combate à desvantagem social

Avaliar, para quê?

• Tornar claro o que acontece nas escolas• Tornar claro o que acontece nas escolas

• Mostrar diferentes facetas da escola

• Disponibilizar referentes para a auto-avaliação

• Pressionar para melhor serviço educativo

• Garantir melhores aprendizagens

• Induzir a cultura de avaliação

• Ser “monitor consciente”

• Induzir acção

Prestar contas e melhorar

• Avaliar – juízo sistemático do valor ou mérito de um objecto (Stufflebeam, 1997, p19)

• Privilegiamos duas funções:

– Disponibilizar informação que permita prestar contas do esforço feito na aplicação dos recursos e dos resultados obtidos

– Dar feedback aos actores escolares que permita reflectir em conjunto no que fizeram e no que precisam fazer de forma a conseguir resultados sustentados e sustentáveis, i.e., que sirvam de base aos resultados sustentados e sustentáveis, i.e., que sirvam de base aos resultados de médio e longo prazo. (Aprender ao longo da vida pressupõe aprender a aprender)

Os estudos sobre eficácia em educação

• Enfoque em programas de compensação

educativa e em populações em desvantagem educativa e em populações em desvantagem

socioeducativa

• Identificação dos factores de escola que

podiam fazer a diferença nos níveis de

qualidade educativa contrariando o qualidade educativa contrariando o

determinismo social

• As conclusões de 40 anos de investigação

• Os 11 factores de Sammons e Mortimore

Da investigação às medidas de política

• A apropriação por parte dos políticos das conclusões dos estudos da eficácia e da melhoria das escolas e as medidas de política educativa:– na reconceptualização da gestão, seguindo modelos de cariz – na reconceptualização da gestão, seguindo modelos de cariz

gerencialista ou empresarial– No recrutamento de professores– Na liderança das escolas e na formação dos gestores/lideres escolares– Na estandardização dos procedimentos de avaliação de aprendizagens– Na fixação de metas de sucesso– Na reestruturação das inspecções com a avaliação das escolas– Na modelização da gestão do currículo e das práticas de ensino– Na modelização da gestão do currículo e das práticas de ensino– Na disponibilização da informação dos resultados das escolas à

comunicação social, em nome transparência e do direito à informação e à escolha da escola

– “Naming and shaming the schools”

• Os efeitos controversos das “league tables”

Repercussões em Portugal

• A avaliação externa das escolas – várias

políticas e modelos

• Os rankings das escolas desde 2001

O que mudou com a avaliação e com os

rankings

• Na avaliação externa da IGE:– Os programas de seguimento da efectividade da avaliação – a

correcção dos pontos fracoscorrecção dos pontos fracos– As atitudes – entre o direito ao protesto e o silêncio

• Na avaliação da comunicação social:

• O que investigaram que mudou• Como os actores comentam e justificam os resultados dos rankings• O que dizem os analistas e fazedores de opinião• Como reagem os alunos• Como se compara a avaliação da IGE com a dos rankings

• O impacto das imagens da educação na percepção social• As escolas e o sistema

A investigação de Gray sobre a eficácia e a melhoria

• Questões de investigação:• Que taxas de melhoria apresentam as escolas?• Existem escolas com trajectórias de melhoria contínua?• Será que as melhorias ocorrem em pequenos surtos?• De quanto tempo precisa uma escola para passar de um nível a outro?• De quanto tempo precisa uma escola para passar de um nível a outro?

• Fundamentos teóricos• A evolução do conceito de eficácia• A crescente importância de combinar a noção de “valor acrescentado” com a de

“progresso ao longo do tempo”, dando lugar à noção de “melhoria da eficácia”

• Abordagem:a) estudar padrões de mudança b) perceber o que teria provocado as mudanças, comparando escolas

• Níveis de melhoria• Consistente – acréscimos de desempenho contínuos de 1992 a 1995• Consistente – acréscimos de desempenho contínuos de 1992 a 1995• Desigual – apresentava variações de + /- 3% de ano para ano• Volátil – desempenho desigual, com grandes variações de ano para ano

• Níveis de mudança• Pouca ou nenhuma• Alguma mudança• Muita mudança• Excepcional

Entre 1992 e 1995, num universo de 3000 escolas, uma em cada sete escolas podia ser considerada “ instituição em processo de melhoria”.

Conclusões do estudo de Gray - 1ª fase - 1

• Neste período de 5 anos:

• ¼ das escolas muda as características de eficácia ao longo do tempo. (750) Destas, metade melhorou, a outra metade tornou-se menos eficaz.

• ¾ das escolas mantêm-se estáveis nas características de eficácia

• As escolas que mudaram consistentemente de ano para ano, constituíam um grupo muito pequeno

• A capacidade de mudar de nível de eficácia é muito diferente entre as escolas (ex., mudar de eficácia “abaixo da média” para “dentro da média”).

– Na situação mais favorável, as escolas melhoram durante três anos consecutivos até um certo patamar e nos anos seguintes não o conseguem ultrapassaraté um certo patamar e nos anos seguintes não o conseguem ultrapassar

– Para subir de nível eram necessários 4 ou 5 anos de melhorias sustentadas, e só uma minoria de escolas o conseguiu.

• Conclusão: ou o período de observação de 5 anos era demasiado curto, ou as taxas de progresso nas instituições com melhorias rápidas não eram suficientemente elevadas para assegurar uma subida de nível em cinco anos;

Conclusões dos estudos de caso – 2ª fase

• O que provocou as mudanças de eficácia?– Da história e dos testemunhos da mudança durante os cinco anos em

apreço em cada uma das 12 escolas estudadas, procurou-se ver até que ponto essas mudanças estavam ligadas à melhoria de eficácia das escolas. escolas.

• Comparam-se três grupos de instituições:– As que eram inicialmente menos eficazes e que apresentaram

melhorias lentas ao longo do tempo;

– As que começaram por ser menos eficazes, mas melhoraram rapidamente;

– As que eram ineficazes inicialmente, mas também melhoraram rapidamente

• Identificaram-se 19 áreas onde ocorreram mudanças, • Identificaram-se 19 áreas onde ocorreram mudanças, que foram agrupadas em três categorias principais:– Missão e ethos

– Focalização no sucesso

– Abordagem ao planeamento e gestão

Padrões de mudança -1

Em algumas áreas houve mudanças na maioria das escolas:

• Na área do ethos, ¾ das escolas prestaram especial atenção à interacção com as famílias e com a comunidade exterior, e introduziram muitas melhorias (9 em 12 escolas obtiveram classificações entre 2 e 3):

• Dedicaram mais tempo à comunicação com os pais, • Dedicaram mais tempo à comunicação com os pais, • Procuraram ouvir os seus pontos de vista• Apoiaram a revitalização das AEE

• Mais de metade das escolas alterou o sistema de recompensas, sanções e reconhecimento do desempenho dos alunos, passando a prestar mais atenção

• Ao bom comportamento, • Á assiduidade• Á assiduidade• Aos encontros para celebrar sucessos dos alunos

• Na área de focalização do sucesso, também mais de metade das escolas mudou nas suas estratégias, introduzindo :

• Mais monitorização dos resultados por departamento curricular,• Mais monitorização do progresso dos alunos• Maior formalização das metas a atingir• Programas de tutoria, apoios, mais tempo para as aprendizagens

Padrões de mudança - 2

• Na área do ethos focalizaram-se, p. ex.: • Nas relações escola – família e na interacção com a comunidade exterior,• No sistema de recompensas e reconhecimento do desempenho dos alunos

• Na área das políticas de ensino e de aprendizagem) houve • Na área das políticas de ensino e de aprendizagem) houve mudanças em cerca de metade das escolas no que se refere,

• À produção e disseminação de códigos de conduta na aula• Revisão das práticas de trabalhos de casa, por departamento

• Na área do planeamento e da gestão houve mudanças comuns:• ¾ das escolas mudaram o estilo de gestão: maior democraticidade, mais

participação, mais visibilidade da direcção (9)• Revisão e reestruturação dos papeis das lideranças de topo;• Mais participação e consensualidade nas mudanças a introduzir;• Mais participação e consensualidade nas mudanças a introduzir;• Criação de mais grupos de trabalho envolvidos no planeamento educativo;• Mais consistência nos modos de trabalho e nos padrões de conduta.

• Em muitas escolas a alteração do estilo de planeamento e de gestão (mudanças organizacionais) não se associou a nenhuma mudança significativa no funcionamento da escola ou no comportamento dos profissionais, mantendo-se as mesmas rotinas e práticas tradicionais de ensino (importante, mas não suficiente)

Padrões de mudança - 3

• Na área do ensino e das aprendizagens a maioria das escolas introduziu mudanças modestas relativas ao trabalho em sala de aula, utilizando estratégias limitadas:

• discussões sobre o ensino e a aprendizagem ao nível de toda a escola, identificação de modelos de boas práticas, acções de formação para toda a escola, e expressões genéricas da vontade de melhorar.

• Só um pequeno número de escolas (3) registou mudanças • Só um pequeno número de escolas (3) registou mudanças significativas a partir da reflexão sistemática sobre o que afectava a aprendizagem em sala de aula e sobre a análise do modo de funcionamento dos departamentos.

• Iniciativas de observação mútua de aulas (colegas, coord. de departamento, direcção) seguida de análise e discussão;

• Avaliações da gestão da sala de aula e das competências pedagógicas• Promoção de abordagens de ensino colaborativas como forma de partilhar boas

práticas• Definição de estratégias alternativas para o funcionamento dos departamentos

• Na maioria das escolas havia consciência da necessidade de reformar os departamentos, mas optaram pela mobilização geral dos os departamentos, mas optaram pela mobilização geral dos professores, acreditando que acabariam por ser arrastados pelas iniciativas inovadoras, apesar de múltiplas evidências de resistência, não aberta, mas por inércia impeditiva de mudança.

• Houve no entanto mudanças que deram um contributo maior para a eficácia do que outras, como o modo e a determinação com que a escola tinha agido

O que fez a diferença nos níveis de

melhoria?

Factores que contribuíram para o progressoFactores que contribuíram para o progresso• Avaliação do progresso• Cultura de auto-regulação• Direcção e gestão

O que fez a diferença

- Enfoque nas tácticas – mudanças rápidas, de curto prazo (volátil)-- Enfoque na estratégia – mudança mais lenta e irregular (de médio

prazo)- Enfoque na “Criação de Capacidade” – mudança consistente (de

longo prazo)