RELATÓRIO FINAL DO PROJETO DE INVESTIGAÇÃO

IMPACTO E EFEITOS DA AVALIAÇÃO EXTERNA DE ESCOLAS DO ENSINO NÃO SUPERIOR

José A. Pacheco (Coordenador)

Este trabalho é financiado por Fundos FEDER através do Programa

Operacional Fatores de Competitividade – COMPETE e por Fundos

Nacionais através da FCT – Fundação para a Ciência e a Tecnologia

no âmbito do projeto PTDC/CPE-CED/116674/2010.

Julho, 2015

2

RELATÓRIO FINAL DO PROJETO DE INVESTIGAÇÃO

IMPACTO E EFEITOS DA AVALIAÇÃO EXTERNA DE ESCOLAS DO ENSINO NÃO SUPERIOR

José A. Pacheco – Universidade do Minho Ana Mouraz – Universidade do Porto Carla Figueiredo – Universidade do Porto Carlinda Leite – Universidade do Porto Carlos Barreira – Universidade de Coimbra Conceição Lamela – Universidade do Minho Diana Gonçalves – Universidade de Coimbra Eduarda Rodrigues – Universidade do Minho Fernando Gonçalves – Universidade do Algarve Filipa Seabra – Universidade Aberta Helena Queirós – Universidade do Minho Isabel Fialho – Universidade de Évora Joana Sousa – Universidade do Minho João Moreira – Universidade de Lisboa José Carlos Morgado – Universidade do Minho José Saragoça – Universidade de Évora Liliana Paulos – Universidade do Algarve Luísa Carapeta – Universidade de Évora Maria Graça Bidarra – Universidade de Coimbra Maria José Silvestre – Universidade de Évora Maria Piedade Vaz-Rebelo – Universidade de Coimbra Marta Sampaio – Universidade do Porto Natália Costa – Universidade do Minho Pedro Rodrigues – Universidade de Lisboa Preciosa Fernandes – Universidade do Porto Sandra T. Valadas – Universidade do Algarve Valentim Rodrigues Alferes – Universidade de Coimbra

3

Índice

Introdução ……………………………………………………………………………………………… 4

1. Estrutura do projeto de investigação ………………………………………………………. 5

2. Problema/questões de investigação e objetivos …………………………………..…... 6

3. Tarefas de investigação ……………………………………………………………………….. 8

3.1. Quadro teórico/conceptual………………………………………………………………. 8

3.2. Relatórios de avaliação externa de escolas …………………………………………. 10

3.3. Contraditórios elaborados pelas escolas …………………………………………….. 12

3.4. Inquérito por questionário a Diretores ……………………………………………….. 16

3.5. Página web…………………………………………………………………………………… 16

3.6. Produtos………………………………………………………………………………………. 17

3.7. Eventos científicos………………………………………………………………………….. 18

3.8. Estudos de caso…………………………………………………………………………….. 18

4. Impacto e efeitos………………………………………………………………………………… 19

Bibliografia………………………………………………………………………………………………. 27

Sumário executivo…………………………………………………………………………………….. 30

4

Introdução

O Projeto de investigação “Impacto e Efeitos da Avaliação Externa de Escolas do Ensino

não Superior”, financiado pela Fundação para a Ciência e Tecnologia (FCT), incide na produção

de conhecimento sistematizado sobre a avaliação externa de escolas (AEE), mediante a análise

teórica de modelos e o estudo empírico do impacto e efeitos nas escolas e comunidade. Com a

sua conclusão poderá ser criado um observatório nacional interuniversitário sobre a AEE, de

manifesto interesse social, incluindo para responsáveis pela formulação e execução de políticas

educativas. O projeto justifica-se porque, terminado o primeiro ciclo de AEE, em 2011, “é

importante realizar, por uma entidade independente do ME, um estudo de metaavaliação da AEE

que permita identificar o grau de cumprimento dos objetivos definidos e os principais efeitos

conseguidos, bem como os eventuais efeitos perversos” [Conselho Nacional de Educação (CNE),

2010]. Não existem estudos nacionais sobre a AEE, desconhecendo-se qual o seu impacto e

efeitos. A avaliação externa produz consequências, ainda que as dificuldades existentes na

mensuração do impacto da avaliação da escola sejam amplamente reconhecidas, de acordo

com relatório da OECD (2013). Assim, é válido socialmente o financiamento de um projeto de

investigação que tenha por finalidade estudar qual o impacto e efeitos produzidos pela AEE nas

escolas e comunidade. Tratando-se de estudo de âmbito nacional, de natureza meta-avaliativa, o

projeto de investigação não é uma avaliação, sendo desenhado de acordo com quadros teóricos

e metodológicos amplamente utilizados.

O problema traduz-se nesta interrogação - Que impacto e efeitos produziu a avaliação

externa de escolas, no primeiro ciclo de implementação de 2006/07 a 2010/11, tendo em

referência a melhoria da escola, a participação da comunidade e a implementação de políticas

de accountability?

São formulados dois objetivos gerais: explorar quadros teóricos e metodológicos sobre

AEE, incluindo seu impacto e seus efeitos na melhoria das escolas face às políticas de prestação

de contas; realizar estudos empíricos centrados no impacto e efeitos da avaliação externa.

O problema fundamenta ainda o design da investigação e a opção por metodologias

quantitativas e qualitativas, materializadas num modelo misto de recolha de dados, com

destaque para análise de documentos, entrevistas e questionários. O estudo enquadra-se numa

avaliação de eficiência, com a consideração dos aspetos inerentes a uma avaliação do impacto e

efeitos.

5

Todos os elementos da equipa, oriundos de seis universidades portuguesas, participaram

em estudos de avaliação e têm um conhecimento aprofundado do objeto de investigação. Os

investigadores têm experiência letiva e de supervisão em cursos de pós-graduação, sendo alguns

deles coordenadores de cursos, o que é um fator decisivo para a proposta e cumprimento de

indicadores relativos à formação avançada. A dimensão nacional da equipa justifica-se porque a

AEE seguia um modelo de implementação em seis regiões, segundo o modelo funcional da

Inspeção, entretanto alterado para três áreas territoriais.

A organização da equipa inclui investigadores de universidades inseridas no Norte, Centro,

Lisboa e Vale do Tejo, Alentejo e Algarve. Não havendo na AEE um grupo de controlo, a

realização de um estudo de eficiência exige que a investigação tenha por base o universo das

escolas avaliadas, segundo uma amostra estratificada por regiões, bem como a singularidade

das escolas, estudada mediante casos aleatórios. O projeto é de manifesta relevância social,

respondendo ao desafio do CNE (2008): dar atenção particular à fase da entrega do relatório de

avaliação na escola e sua discussão, uma vez é aqui que se joga uma parte importante das

consequências da avaliação para a escola e para as aprendizagens dos alunos – mudar práticas,

processos e modelos em função das conclusões e orientações da avaliação externa. A

pertinência da investigação justifica-se quer pela crescente valorização social da AEE, quer pela

inexistência em Portugal de um estudo de âmbito nacional, como constata o CNE (2010): “não

existe um estudo ou reflexão sistemática sobre os efeitos da AEE e a sua utilidade” e, “embora

se possa considerar elevada a utilidade percebida pelos responsáveis das escolas avaliadas, até

à data, não é possível identificar claramente as consequências e efeitos da AEE, quer junto das

escolas, quer ao nível das instâncias responsáveis pela formulação e execução de políticas”.

Para além da divulgação dos resultados em seminários, a realizar em cada uma das

universidades, será criado um sítio, contendo dados bibliográficos, dados de investigação,

modelos teóricos e metodológicos e processos e práticas de avaliação interna e externa.

O projeto foi iniciado em 1 de março de 2012, com terminus em 31 de julho de 2015,

constituindo este texto uma avaliação final da sua realização.

1.Estrutura do projeto de investigação

Na candidatura a projetos de investigação, a FCT tem um modelo que, para além, da

vertente financeira em termos de elaboração de um orçamento e gestão dos recursos humanos,

sobretudo a nível de contratação de bolseiros, inclui a identificação do problema e questões de

6

investigação, a formulação de objetivos, a descrição das tarefas, a previsão de produtos gerados

o nível da produção científica, a composição da equipa de investigação e a previsão de

resultados.

Na avaliação de um projeto, geralmente na forma de relatório, é fundamental que sejam

respeitados os passos identificados, entre outros, por Walliman (2011) e Mertens e Wilson

(2012), incluindo-se a discussão sobre o consultor do projeto. Este papel foi assumido por Ivor

Goodson, da Brighton University, que deu não só o aval teórico/conceptual e metodológico à

proposta do projeto, mas também apoio crítico em cada uma das tarefas da sua implementação,

tendo-se convertido num “smart enemy”. A este respeito, citado por Mertens e Wilson (2012, p.

515), Scriven (2009) “worries that a critical friend not be ruthless enough, and so recomends a

smart enemy on the grounds that this person would be inclined to give a more honest appraisal”.

Deste modo, o relatório percorre todas as etapas da concepção/realização e avaliação do

projeto com o objetivo de clarificar situações que poderiam ter sido mais ou menos exploradas.

Uma situação que se revelou crítica diz respeito à inclusão no projeto de bolseiros de

investigação, representando uma significativa percentagem do financiamento atribuído pela FCT.

A escolha da tipologia dos bolseiros foi algo que mereceu algumas anotações, tendo sido

substituídas as duas bolsas de iniciação científica por bolsas de investigação, facto que atrasou a

realização de tarefas, principalmente a da página web. Revela-se, por outro lado, que a inclusão

de bolseiro num tempo superior ao previsto na candidatura do projeto pode contribuir para

inserção de novos investigadores que possam realizar os seus estudos na temática.

2.Problema/questões de investigação e objetivos

Ao longo dos três anos e meio da implementação do projeto constata-se que a formulação

do problema foi reformulada para integrar o segundo ciclo de avaliação, pois inicialmente estava

previsto abordar somente o primeiro ciclo, de 2005 a 2011. A sua formulação - Que impacto e

efeitos produz a AEE no primeiro e segundo ciclos do modelo, tendo em referência a melhoria

da escola, a participação da comunidade e a implementação de políticas de accountability? -

revelou-se pertinente, clara e exequível (Quivy & Campenhoudt, 1997. Sendo “a fase mais difícil

de um processo de investigação” (Tuckman, 1994, p. 22), o problema foi um ponto de

referência constante dos investigadores, com suficiente valor teórico e prático.

Para a sua mais fácil operacionalização, o problema foi desdobrado nas seguintes

questões: a AEE produz impacto e efeitos na melhoria da escola ao nível organizacional,

7

curricular e pedagógico?/na consolidação da autoavaliação institucional?/ na participação da

comunidade na vida social da escola?; a AEE produz impacto e efeitos na apropriação pela

escola e comunidade dos referentes utilizados no processo de avaliação?

A formulação dos objetivos gerais foi complementada com a formulação de objetivos

empíricos, de acordo com o seguinte design de investigação (Quadro I):

Quadro I – Design da investigação

Questões de investigação

Estudos empíricos

Objetivos empíricos

Tarefas de investigação

A AEE produz impacto e efeitos na melhoria da escola ao nível organizacional, curricular e pedagógico?; na consolidação da autoavaliação institucional?; na participação da comunidade na vida social da escola?

Análise dos relatórios de avaliação Análise dos contraditórios Impacto e efeitos da AEE: perspetivas dos diretores de escola

Recolher/analisar dados sobre os relatórios de AEE Recolher/analisar dados sobre os contraditórios no contexto da AEE. Estudar o impacto e efeitos da AEE nas dimensões organizacional, curricular e pedagógica Estudar o impacto e efeitos da AEE na relação escola/comunidade Estudar o impacto e efeitos da AEE na consolidação da autoavaliação

Análise dos relatórios de AEE de 2006/07 to 2013/14 Análise dos contraditórios de AEE de 2006/07 to 2013/14 Inquérito por questionário a Diretores (N= 822) .

A AEE produz impacto e efeitos na apropriação pela escola e comunidade dos referentes utilizados no processo de avaliação?

Impacto e efeitos da AEE: perspetivas das escolas (professores e pais) e da comunidade.

Estudar o grau de apropriação dos referenciais da AEE pelas escolas e comunidade

Estudos de caso (n=9) Inquérito por entrevista a Diretores (n=9) Inquérito por entrevista a Coordenadores de Equipas de autoavaliação (n=9) Grupo focal a Coordenadores de gestão intermédia (n=9) Inquérito por questionário a professores das escolas com realização de estudos de caso (n=210)

Porém, o projeto de investigação não foi totalmente cumprido, tendo faltado a recolha de

dados relativos à comunidade, uma vez que não foram construídos instrumentos de recolha de

dados. A equipa de investigação participou ativamente nas decisões sobre a construção de

recolha de dados e nos procedimentos para a sua análise. Assim, foram amplamente partilhados

os inquéritos por questionário a diretores e professores, os guiões para os inquéritos por

entrevista a diretores, coordenadores de equipas de autoavaliação, coordenadores de gestão de

liderança intermédias (através de focal group). Além disso, para que existisse uma maior

8

consistência da investigação, foi elaborado um guião para a realização e análise dos estudos de

caso. Estando prevista a realização de 12 estudos de caso, dois por cada universidade, foram

realizados nove estudos, por motivos que se prendem com dificuldades de acesso a dados pelos

investigadores. Reconhece-se ainda que o inquérito por questionário a professores, onde foram

realizados os estudos de caso, não foi implementado do mesmo modo.

3.Tarefas de investigação

3.1. Quadro teórico/conceptual

Através da publicação do livro Avaliação Externa de Escolas: Quadro Téorico/conceptual,

publicado pela Porto Editora, em 2014, a equipa de investigação foi responsável pela escrita de

vários textos sobre referenciais teóricos e metodológicos ligados ao objeto de investigação, isto é,

a avaliação externa de escolas. No capítulo I, José Augusto Pacheco, Filipa Seabra e José Carlos

Morgado abordam a avaliação externa em termos da referencialização de quadro teórico sobre o

impacto e efeitos da avaliação externa. Maria José Silvestre, Isabel Fialho e José Saragoça, no

capítulo II, analisam a avaliação externa das escolas à luz das políticas educativas, seguindo-se

quatro capítulos centrados relativos à contextualização nacional e internacional do modelo:

avaliação externa das escolas em Portugal – políticas e processos (Elisabete Gonçalves, Preciosa

Fernandes e Carlinda Leite, capítulo III); avaliação externa em Portugal: do referencial aos

estudos empíricos (Eduarda Rodrigues, Joana Sousa, Helena Queirós e Natália Costa, capítulo

IV); modelos internacionais de avaliação externa. A avaliação de escolas em Portugal e na

Inglaterra – origem, fundamentos e percursos (Carla Figueiredo; Carlinda Leite e Preciosa

Fernandes, capítulo V); relatórios internacionais e nacionais. Um olhar sobre a avaliação externa

de escolas (Isabel Fialho, José Saragoça, Maria José Silvestre, Ana Paula Correia e Sónia Gomes,

capítulo VI). Os capítulos VII e VIII são dedicados, respetivamente, a questões de metodologia na

avaliação de escolas (Pedro Rodrigues e João Moreira) e a aspetos metodológicos do inquérito

por entrevista na avaliação externa de escolas (Sandra Valadas e Fernando Gonçalves). O livro

engloba, ainda, o capítulo IX dedicado aos relatórios de avaliação externa: da análise das

redundâncias à pontuação diferencial dos resultados no primeiro ciclo de avaliação.

O segundo livro (Estudos sobre Avaliação Externa de Escolas), em publicação, na Porto

Editora, inclui os estudos empíricos do projeto, sendo coordenado por Carlos Barreira,

responsável pela equipa de investigadores da Universidade de Coimbra:

9

Capítulo 1 - Do referencial da avaliação externa de escolas à criação de um modelo de autoavaliação (Maria José Silvestre, José Saragoça e Isabel Fialho) Capítulo 2 - Efeitos da avaliação externa de escolas nos processos de autoavaliação: Convergências e tendências de ação (Marta Sampaio, Carla Figueiredo, Carlinda Leite e Preciosa Fernandes) Capítulo 3 - Evolução do desempenho das escolas no quadro da avaliação externa (Valentim Rodrigues Alferes, Carlos Folgado Barreira, Maria da Graça Bidarra e Maria da Piedade Vaz-Rebelo) Capítulo 4 - Contraditórios do primeiro e segundo ciclos de avaliação externa de escolas. Uma análise quantitativa-qualitativa (José Augusto Pacheco) Capítulo 5- Impacto e efeitos da avaliação externa de escolas: A perspetiva dos Diretores de Agrupamento (Pedro Rodrigues e João Moreira) Capítulo 6 - Liderança e resultados escolares: Que relações? (Isabel Fialho e Luísa Carapeta) Capítulo 7 – Efeitos da avaliação externa das escolas - uma análise centrada nas lideranças (Preciosa Fernandes, Carlinda Leite e Ana Mouraz) Capítulo 8 – Impacto e efeitos da avaliação externa de escolas: A perspetiva das lideranças a partir de um estudo de caso (Fernando Gonçalves, Liliana Paulos e Sandra T. Valadas) Capítulo 9 - Avaliação externa de escolas e impacto da(s) liderança(s): Estudo de caso (Diana Gonçalves, Maria da Piedade Vaz-Rebelo, Maria da Graça Bidarra e Carlos Folgado Barreira) Capítulo 10 - Avaliação externa e seus efeitos: A perspetiva dos atores escolares (Joana Sousa, Natália Costa, Eduarda Rodrigues, Helena Queirós, Conceição Lamela, Filipa Seabra e José Carlos Morgado)

Foi publicado, ainda, mais um livro (online), organizado por Ana Mouraz, José Augusto

Pacheco e Sandra Valadas, em 2015 - Avaliação externa de escolas do ensino não superior.

Coordenadas e processos de um projeto de investigação, pelo Centro de Investigação e

Intervenção Educativas, disponível em

https://drive.google.com/file/d/0B3kJxfZNFmsTeWY0WG9jeDNIY00/view?usp=sharing

Este e-book resulta da produção efetuada no contexto do projeto de investigação. Mais

concretamente, são divulgados os produtos da investigação apresentados nos Seminários

organizados pelas equipas, realizados nas diferentes instituições participantes: Universidade do

Minho, Universidade do Porto, Universidade de Coimbra, Universidade de Lisboa, Universidade

de Évora e Universidade do Algarve.

Durante a fase de desenvolvimento do projeto, estrategicamente, foram sendo realizados

seminários de monitorização e de apresentação de resultados parcelares entretanto produzidos

pela equipa. Se tal estratégia manteve em contacto a equipa ao longo da vida do projeto,

também pode ir levantando novas questões que resultaram da estratégia de disseminação

10

seguida de abrir os seminários aos utilizadores finais do projeto (os professores e as escolas).

Tal estratégia foi “tomando o pulso” ao modo como os resultados foram sendo entendidos pelos

seus utilizadores e destinatários e foi apurando a argumentação e especificando novas

abordagens para “esmiuçar” os dados recolhidos. É possível dizer que a variabilidade e

multidimensionalidade das apresentações que se incluem neste e-book resultam da

complexidade do objeto em análise – os efeitos da AEE –, mas resultam também da diversidade

de olhares que o mesmo objeto provocou na equipa. As comunicações aqui coligidas totalizam

62 autores, que são elementos da equipa a que se juntaram outros investigadores, que são, na

sua maioria, estudantes de doutoramento e de mestrado a realizar estudos sobre a temática da

AEE.

3.2. Relatórios de avaliação externa de escolas

Todos os relatórios de avaliação externa de escolas, divulgados na página web da

Inspeção-geral da Educação e Ciência, de 2006/2007 a 2013/14, foram analisados em termos

de tratamento estatístico das classificações obtidas nos domínios de avaliação, sem que tivesse

sido possível estabelecer uma evolução comparativa dos resultados por motivos que se

prenderam quer com a constituição de agrupamentos de escolas, reforçada pelo Decreto-lei

78/2008, de 22 de abril, quer com a agregação de agrupamentos verificada sobretudo a partir

do ano letivo de 2011/2012, quer ainda com a alteração do modelo de avaliação externa

(alteração dos domínios, da escala de classificação e introdução do valor esperado), no início do

segundo ciclo, no mesmo ano letivo. Com efeito, muitas escolas avaliadas no primeiro ciclo (de

2006/2007 a 2010/2011). Considerando-se os resultados do primeiro ciclo de avaliação, e

tendo em conta as classificações obtidas pelas 1107 escolas nos cinco domínios, verifica-se o

predomínio do Muito Bom e Bom, os dois níveis mais altos da escala de classificação, de acordo

com a Tabela I.

Tabela I - Classificações dos relatórios do primeiro ciclo de AEE (N= 1107)

Domínios Muito Bom Bom Suficiente Insuficiente

Resultados 8,1% 60,5% 30,4% 1%

Prestação Serviço Educativo 11,3% 67,6% 21% 0,1%

Organização e Gestão Escolar 26% 64,7% 9% 0,3%

Liderança 33,8% 53,6% 11,9% 0,7%

Capacidade de Autorregulação… 5,1% 41,6% 48,8% 4,5%

Fonte: IGE, 2012

11

Da análise destes resultados verifica-se que a AEE, no primeiro ciclo, traduziu-se num

“efeito de teto”, isto é, sobrevalorização das classificações mais elevadas” (Bidarra, Barreira,

Vaz-Rebelo & Alferes, 2014, p. 237). Fazendo-se a adição do Bom e Muito Bom, são obtidas

estas percentagens elevadíssimas: Organização e Gestão Escolar (90.7%); Liderança (87,4%);

Prestação do Serviço Educativo (87,4%). Os domínios Resultados (68,6%) e Capacidade de

Autorregulação e Melhoria da Escola (46,7%) têm valores mais baixos, dado o peso da

classificação de Insuficiente ser bastante expressivo, respetivamente, 30,4% e 48,8%. Tais

resultados, permitem dizer que “a escala utilizada perdeu progressivamente o poder

discriminativo” (Ibid., p. 244). Há um outro aspeto que os investigadores da Universidade de

Coimbra realçam: “os avaliadores utilizam ponderações implícitas dos fatores, sendo que no

caso do domínio Resultados o fator Sucesso Académico tem objetivamente o dobro do peso dos

restantes fatores” (Ibid., p. 244). Estas duas situações estão diferentemente colocadas no

segundo ciclo de avaliação. Com a introdução da classificação Excelente, e uma vez que

raramente é atribuída nos domínios, não havendo qualquer escola no território continental com

esta classificação, o poder discriminativo da escala não é tão significativo, ainda que se

mantenha no Bom e Muito Bom a atribuição das classificações, de acordo com as classificações

atribuídas em 2011/12 e 2012/13 (Tabela II).

Tabela II - Classificações dos relatórios do segundo ciclo de AEE (N=275)

Domínios Excelente Muito Bom

Bom Suficiente Insuficiente

Resultados - 24,8% 55,1% 19,7% 0,4%

Prestação Serviço Educativo - 31,7% 55,3% 13% -

Liderança e Gestão 0,6% 40,6% 45,6% 12,2% -

Fonte: IGE, 20151

Todavia, o efeito de teto continua a observar-se, no segundo ciclo da AEE, sendo que as

classificações continuam elevadas. Somando-se as classificações de Bom e Muito Bom, obtêm-

se os seguintes resultados nos diferentes domínios: Resultados (79,9%, Prestação do Serviço

Educativo (87%) e Liderança e Gestão (86,2%). Isto traduz-se num aumento significativo da

primeiro para o segundo ciclo das classificações nos domínios Resultados (de 68,6% para 74,3%)

1 Dados apresentados pela IGEC no Seminário Avaliação Externa de Escolas, a 13 de março de 2015, em Coimbra.

12

e Liderança e Gestão (de 37,5% para 86,2%) e num aumento diminuto no domínio Prestação do

Serviço Educativo (de 78,9% para 79,4%).

Por outro lado, a introdução do valor esperado e a sua indexação à descrição da escala de

classificação - a ação da escola tem produzido um impacto consistente e muito acima

(Excelente)/consistente e acima (Muito Bom)/em linha (Bom)/aquém (Suficiente)/muito aquém

(Insuficiente) dos valores esperados (isto é, dos resultados académicos) – contribuiu para a não

atribuição dos níveis extremos da escala. Nas classificações obtidas pelas escolas, no segundo

ciclo de avaliação, observa-se que há uma tendência forte para que o nível atribuído ao domínio

Resultados determine os que são conferidos ao da Prestação do Serviço Educativo e da

Liderança e Gestão, e caso sejam diferentes, são entendidos, nos documentos de orientação da

IGEC, como situações de exceção.

3.3. Contraditórios elaborados pelas escolas

A tarefa de investigação correspondeu à elaboração de um estudo empírico sobre os

contraditórios, elaborados pelas escolas, a nível nacional, em função dos relatórios externos de

avaliação, de 2006/07 a 2013/14, abrangendo o primeiro ciclo e o segundo ciclos (três

primeiros anos) de implementação do modelo da IGEC. Todos os contraditórios foram

consultados a partir da página Web da IGEC. No quadro de referência do modelo de avaliação

externa (IGE, 2009), as escolas, depois de receberem os relatórios de avaliação, “dispõem de

um prazo (no mínimo de 15 dias úteis) para apresentar contraditório”, sem que exista um

modelo a seguir ou mesmo limite de páginas.

Decorrendo de uma análise apreciativa dos avaliadores, o contraditório é considerado nos

aspetos factuais, e não propriamente no que é considerado juízo valorativo, correspondendo a

uma possível discordância improdutiva, já que a instância de recurso jamais veio a ser instituída

como organismo independente2. Segundo o que foi previsto, mas jamais concretizado, os

recursos deveriam ser avaliados por “uma comissão de recurso da avaliação externa das

escolas, [que] aprecia os recursos apresentados pelos diretores de agrupamentos de escolas ou

2 A partir de 2009/10, a escola, em caso de discordância com a classificação, para além do contraditório, pode submeter um recurso. A comissão de recurso, que funciona no interior da Inspeção, sem qualquer independência funcional, pode decidir pela manutenção das classificações ou ordenar a repetição total ou parcial do procedimento de avaliação externa. Neste caso, o recurso é de natureza hierárquica, sendo dirigido à tutela administrativa da escola, não existindo, por isso, nem distanciamento administrativo, nem independência do decisor sobre o recurso. Esta situação revela a omnipresença da Inspeção no modelo de avaliação, sendo, simultaneamente, responsável pela construção do modelo, pela avaliação e pelo julgamento do recurso.

13

de escolas não agrupadas. Esta comissão é composta por três elementos, sendo um designado

pelo membro do governo responsável pela área da educação, que preside, outro pelo Inspetor-

geral da educação e o terceiro designado pelo Conselho de Escolas (IGE, 2009).

Tal omissão foi salientada pelo CNE (2010, p.9), em cujo parecer são tecidas “críticas à

forma como o contraditório está organizado e à ausência de mecanismos de recurso”, pelo que

não só “os atuais limites do contraditório turvam a leitura que o público pode fazer da realidade

do estabelecimento de ensino” (Ibid., p. 10), como também o “atual processo do contraditório

deve ser profundamente revisto” (Ibid., p. 10). Num documento de transição, com propostas de

enquadramento do segundo ciclo, a IGE (2011, p. 55) refere mais uma vez a instância de

recurso, no entendimento de que “as consequências da avaliação externa, designadamente as

que decorrem da atribuição de classificações, justificam a definição de procedimentos

específicos que acautelem a possibilidade de recurso por parte das escolas, em circunstâncias

específicas e previsivelmente limitadas”, o que, na prática, “suspende a publicação do relatório”.

A entidade que tiver o encargo de apreciar o recurso pode propor ao membro do governo

responsável pela área da educação a manutenção das conclusões da avaliação, designadamente

das classificações atribuídas, ou a repetição total ou parcial do procedimento de avaliação

externa” (Ibid., p. 56).

Ainda sobre procedimentos relativos ao contraditório, a IGE esclarece de modo mais

assertivo alguns procedimentos: “recebido o relatório, a escola pode apresentar, no prazo de

quinze dias úteis, o seu contraditório. Analisado este, a equipa de avaliação, além de introduzir

no relatório as alterações que considere adequadas – o que pode abranger a alteração das

classificações atribuídas, elabora uma resposta que acompanhará o envio da versão final do

relatório ao presidente do Conselho Geral e ao Diretor da escola. Posteriormente, essa versão

final será divulgada na página web da IGE junto com o contraditório e com a respetiva resposta

da equipa” (Ibid., p. 55). Constata-se, assim, que a resposta ao contraditório é obrigatória pelos

avaliadores, tendo-se tornado efetiva no ano letivo de 2011/12, que marca o início do segundo

ciclo de avaliação, ainda que da sua análise resulte uma significativa diversidade em termos de

modelos.

Da análise dos documentos de orientação do modelo de avaliação externa de escola,

complementados pelos pareceres do CNE, observa-se que o mesmo não foi totalmente

implementado, tendo ficado na intenção, publicamente registada num despacho ministerial, a

criação de uma instância de recurso. De todos os contraditórios elaborados, apenas um seguiu a

14

tramitação do recurso, observando-se que os seus fundamentos discordantes não foram aceites

pela tutela em termos de alteração da classificação atribuída aos domínios. Mesmo assim, trata-

se de um processo oculto, pois na página da Inspeção é apresentado o relatório, o contraditório

e a resposta ao contraditório, sem a inclusão de qualquer referência ao recurso. De todos os

contraditórios apresentados, nos oitos primeiros anos de implementação do modelo de

avaliação, em apenas um caso se verificou a alteração da classificação num dos domínios, facto

que se registou no ano letivo 2011/12, na área territorial do Centro. De resto, as classificações

nos domínios foram mantidas pelos avaliadores, ainda que, em casos também pontuais, sejam

apresentadas frases corretivas do relatório inicial, o que comprova a quase nula eficácia dos

contraditórios, demonstrando a reduzida ou nula eficácia dos contraditórios.

A partir da resposta aos relatórios de avaliação externa (N=1619), a análise estatística dos

Contraditórios (N=481), elaborados pelas escolas, nos primeiros oito anos de implementação do

modelo de avaliação externa de escolas do ensino não superior (Tabela III), permite constatar a

existência de dois enunciados empíricos gerais:

Tabela III – Total de Relatórios (R) e Contraditórios (C) do primeiro e segundo ciclos de AEE

Fonte: IGEC, 20153

No cálculo do rácio relatório/contraditório, 29,7% das escolas avaliadas externamente

apresentaram contraditório, sendo mais elevada a percentagem no primeiro ciclo (33,2%) do que nos

3 Dados da página web da IGEC - http://www.ige.min-edu.pt/ - Consulta em janeiro e fevereiro de 2015.

Ano/Região

Norte Centro Sul Total R

Total C

R C R C R C R C

2006/07 33 14 19 10 48 24 100 48

2007/08 104 33 47 29 122 46 273 108

2008/09 102 16 57 11 128 55 287 82

2009/10 102 24 63 19 135 38 300 81

2010/11 40 16 35 10 72 23 147 49

2011/12 84 22 42 9 105 35 231 66

2012/13 59 8 28 4 57 16 144 28

2013/14 55 9 30 3 52 7 137 19

Total 579 142 321 95 719 244 1619 481

15

três primeiros anos do 2º ciclo (22,1%). O ato de contraditar os resultados da avaliação externa não se

torna, assim, suficientemente abrangente, pois verifica-se a tendência para a aceitação dos resultados por

mais de 2/3 das escolas.

A apresentação dos contraditórios diminuiu à medida que tem sido generalizada e consolidada a

avaliação externa (Gráfico 1), sendo notória esta tendência nos primeiros quatro anos do primeiro ciclo,

com exceção do último ano (2010/11), sendo que o resultado do 1º ano do segundo ciclo (2011/12)

aproxima-se dos resultados de 2008/09 e 2009/10. O valor mais baixo (13,9%) ocorre no terceiro ano

do segundo ciclo. Com efeito, ocorre a diminuição dos contraditórios ao longo dos oito anos de

implementação do modelo de avaliação. Esta situação pode ter como base explicativa quer a mudança

para a liderança unipessoal nas escolas, operada em 2008/09, quer a socialização das escolas para com

o modelo, demonstrando uma tendente progressividade na sua apropriação.

Dos resultados globais dos contraditórios, são destacados os seguintes aspetos:

a) 61,1% nada dizem sobre a concordância/discordância com o modelo de avaliação, ainda que 38,9%

dos contraditórios incluam referências à concordância com o modelo e/ou reconhecimento de

vantagens;

b) 93,6 % não incluem referências teóricas a noções de avaliação;

c) 68,6% incluem discordâncias sobre a avaliação atribuída a um ou mais domínios do modelo,

predominando mais do que um domínio; a existência de uma discordância não significa que a avaliação

tenha sido insuficiente ou suficiente, pois há muitas discordâncias quando é atribuído a classificação de

Bom e/ou Muito Bom a certos domínios;

d) 41,6% invocam a correção de factos dos relatórios de avaliação, sobretudo os que estão relacionados

com os resultados e com a caracterização socioeconómica da escola;

e) 73,6% discordam da interpretação dos avaliadores, sendo o domínio mais focado o dos resultados;

f) 6 % fazem referência ao tempo diminuto para a avaliação externa;

g) 80 % fazem referência à divulgação/análise do relatório na escola, havendo referências à comunidade

em 20% dos contraditórios;

h) 31,4% são contraditórios minimalistas, isto é, incluem observações, correção de factos em diminuto

número, comentários, validação da avaliação externa, satisfação para com os resultados;

i) 50,7 % são contraditórios reativos moderados, sendo predominante a discordância quanto à

interpretação de passagens do texto, o pedido de alteração da classificação em domínios e fatores, a

reposição de interpretações e a justificação dos pontos fracos;

j) 17,9% são contraditórios reativos enfáticos, com predomínio da ironia, do levantamento de questões, de

interrogações frequentes, da exigência de recomendações, da retificação dos pontos fracos, da

valorização dos pontos fortes, da desculpabilização.

16

3.4. Inquérito por questionário a Diretores

A tarefa ligada à recolha e análise de dados empíricos através de um inquérito por

questionário a Diretores de escolas (N=811) foi concretizada de um modo parcial, visto que o

número de respondentes (n=222) ficou aquém do que seria minimente exigido, ou seja, 40%.

Mesmo assim, e dada a distribuição geográfica, os resultados são significativos e indicam que os

diretores têm uma visão globalmente positiva da AEE (+1.1, numa escala -3 Extremamente

negativo a +3 Extremamente positivo) (Tabela IV):

Tabela IV- Perspetivas dos Diretores sobre AEE

Média DP

Geral + 1.11 0.82

Resultados + 0.96 0.82

Prestação do Serviço Educativo + 1.10 0.85

Liderança e Gestão + 1.28 0.87

Perante a questão das mudanças da AEE nas dimensões estruturantes do processo de

avaliação, de acordo com os seus três domínios, os diretores são de opinião que o impacto se

verifica mais na Liderança e Gestão (+1.28) e na Prestação do Serviço Educativo (+1.10) do que

nos Resultados (+0.96), ainda que todos os valores sejam positivos

Considerando todos os dados do inquérito por questionário, pode concluir-se:

a) O impacto e efeitos da avaliação externa são, de forma global, vistos como moderadamente positivos.

b) O impacto e efeitos mais fortes são notados nos aspetos mais próximos do processo de avaliação

externa: avaliação interna, documentos orientadores, atuação da liderança.

c) Em aspetos mais distais (resultados dos alunos, atuação de alunos e famílias), os impactos e efeitos

são vistos como menores.

d) Os principais fatores potenciadores do impacto e efeitos da avaliação externa têm a ver com o grau em

que esse processo impregnou a escola, sendo difundido e incorporado.

e) A perceção dos efeitos da avaliação está relacionada com os seus resultados: os resultados no primeiro

ciclo de avaliação não estão relacionados com as perceções dos seus efeitos e impacto; os resultados

mais elevados no segundo ciclo de avaliação estão relacionados com perceções mais favoráveis dos

seus efeitos, sobretudo nos aspetos da autoavaliação e ligação com a comunidade.

f) A avaliação parece, em larga medida, exercer os seus efeitos positivos através da apropriação dos seus

pressupostos pelas Escolas, sobretudo no âmbito da autoavaliação.

3.5. Página web

Para que existisse uma divulgação do projeto, com a inclusão a estudos realizados sobre a

AEE, o projeto incluiu a elaboração e manutenção de uma página web, identificada neste

endereço: http://webs.ie.uminho.pt/avaliacaoexternaescolas/

17

O conteúdo da página web contém informação relativamente aos separadores Projeto,

Equipa de investigação, Tarefas de investigação, Eventos organizados, Publicações, com a

realização do estado da arte sobre estudos nacionais realizados no âmbito da avaliação externa e

interna de escolas, e Produção científica dos investigadores do projeto, não só os que constam

da listagem da FCT, mas também os mestrandos e doutorandos que foram sendo associados ao

projeto.

3.6. Produtos

Da tabela V constam os produtos quantificados na candidatura do projeto e efetivamente

publicados/executados. Observa-se que apenas dois indicadores não foram atingidos:

dissertações de mestrado e artigos em revistas científicas. O primeiro é explicável pela

significativa diminuição dos alunos a frequentar os mestrados académicos nas universidades

portuguesas, decorrente do processo de Bolonha, e o segundo deve-se a atrasos nas respostas

das revistas à submissão de artigos, pois muitos investigadores já submeteram artigos em

revistas nacionais e estrangeiras. Porém, os produtos foram ultrapassados nos restantes

indicadores, sendo de referir a publicação de capítulos de livros, não previsto no formulário da

FCT, bem como o número de publicações de mestrandos e doutorandos associados ao projeto

ao longo dos três anos. É ainda de realçar que, em ligação à equipa de investigação do Porto e

da Universidade do Minho, duas alunas tiveram, em 2013, os seus projetos de doutoramento

aprovados e financiados pela FCT.

Tabela V – Produtos do projeto de investigação previstos e publicados/executados

Publicação

Publicado/ Executado

Previsto na Candidatura

Livros 2 1

E-book 1 -

Capítulos de Livro (Nacional e Estrangeiro) 15 -

Artigos em Revistas Científicas (Nacional e Estrangeiro) 16 20

Comunicações em Eventos Científicos (Nacional e Estrangeiro) 49 25

Dissertações de Mestrado 10+6(a) 20

Teses de Doutoramento 3+7(a) 8

Eventos Científicos 6 3

Publicações de Mestrandos e Doutorandos no âmbito do Projeto (como únicos autores)

25 -

(a) em curso

18

3.7.Eventos científicos

Na proposta de candidatura, da tarefa dos eventos científicos constava a realização de três

seminários, tendo-se duplicado esse número, sendo cinco nacionais (em cada uma das

universidades associadas do projeto), e um internacional, na instituição coordenadora do projeto:

a) Universidade do Porto (8/11/2012): Avaliação Externa de Escolas – princípios, processos e efeitos.

b) Universidade de Évora (6/4/2013): Avaliação Externa de Escolas – percursos, consensos e

divergências.

c) Universidade de Coimbra (7/11/2013): Avaliação Externa de Escolas para a melhoria educacional.

d) Universidade de Faro (7/6/2014): Avaliação Externa de Escolas – contributos da investigação.

e) Universidade de Lisboa (8/11/2014): Avaliação Externa de Escolas – processos e impactos.

f) Universidade do Minho (8 e 9/5/2015): Avaliação Externa de Escolas.

O Conselho Nacional de Educação, em parceria com a Universidade do Minho, instituição

coordenadora do projeto, organizou o Seminário Avaliação Externa de Escolas, a 13 de março de

2105, onde foi apresentado o relatório preliminar do projeto.

3.8.Estudos de caso

Dos 12 estudos de caso previstos, dois por cada universidade, foram realizados nove, de

acordo com esta distribuição: região norte (4), região centro (2) e região de Lisboa e sul (3).

Todos os casos seguiram um mesmo guião, com destaque para inquérito por entrevista a

Diretores, Coordenadores de equipas de autoavaliação e Coordenadores de órgãos de liderança

intermédia, bem como um inquérito por questionário a professores das escolas onde os casos

foram realizados. A escolha das escolas foi determinada pelas classificações obtidas nos dois

ciclos de avaliação, pelo que as nove escolas estudadas tiveram duas experiências de avaliação

externa.

Os resultados de cada estudo de caso fazem parte do livro organizado por Carlos Barreira,

sendo de referir os seguintes trabalhos:

a) Do referencial da avaliação externa de escolas à criação de um modelo de autoavaliação (Equipa da

Universidade de Évora).

b) Efeitos na institucionalização de práticas de autoavaliação (Equipa da Universidade do Porto).

c) Lideranças e construção de melhorias educacionais (Equipa da Universidade do Porto).

d) Liderança e resultados escolares: Que relações? (Equipa da Universidade de Évora)

e) Avaliação externa de escolas: Contributos para a melhoria das escolas (Equipa da Universidade do

Algarve).

f) Avaliação externa de escolas: efeitos perspetivados a partir das escolas" (Equipa da Universidade do

Minho).

g) Avaliação externa de escolas e impacto da(s) liderança(s) (Equipa de Universidade de Coimbra).

19

4. Impacto e efeitos

Em resposta ao problema de investigação - Que impacto e efeitos produz a AEE no

primeiro e segundo ciclos do modelo, tendo em referência a melhoria da escola, a participação

da comunidade e a implementação de políticas de accountability? – constata-se que, face aos

dados empíricos recolhidos e analisados, no âmbito do projeto, a AEE tem produzido impacto e

efeitos na:

a) melhoria da escola, mais a nível organizacional do que a nível curricular e dos modos de trabalho

pedagógico, sendo o impacto nesta última dimensão reconhecido como reduzido ou inexistente;

b) consolidação da autoavaliação institucional, o que está em linha com os relatórios da OECD (2013)

e da European Commission/EACEA/Eurydice (2015);

c) participação da comunidade na vida social da escola, reforçando as parcerias existentes e dando voz

aos diversos atores sociais que intervêm diretamente na escola;

d) apropriação pela escola dos referentes utilizados no processo de avaliação, no seguimento da

aceitação de um modelo que foi implementado, a partir de 2006, sem conflitos de qualquer espécie,

tendo atravessado incólume um dos períodos mais conturbados do sistema educativo português

com a avaliação do desempenho docente;

e) institucionalização de planos de melhoria focados nas fragilidades identificas pela AEE;

f) monitorização de resultados académicos, embora sem efeitos visíveis.

Sendo a escola um lugar de avaliação, como é referido por Silvestre, Saragoça e Fialho

(2015), a AEE foi contribuindo para a maior sustentabilidade das práticas de autoavaliação,

legitimado pelo mandato externo da IGEC, mesmo que tal dimensão tenha sido diluída, no

segundo ciclo do modelo, no domínio Liderança e Gestão. Aliás, o domínio Capacidade de

autorregulação e melhoria da escola, no primeiro ciclo, foi o que teve a maior dispersão dos

níveis de classificação atribuídos: Muito Bom (5,1%); Bom (41,6%); Suficiente (48,8%);

Insuficiente (4,5%).

Uma simples comparação com as classificações dos primeiros anos do segundo ciclo

(Tabela II) revela que as classificações são completamente distintas: Excelente (0,5%); Muito

Bom (42,2%); Bom (44,8%; Suficiente (12,5%); Insuficiente (0%). Pelos valores descritos das

classificações obtidas nos dois ciclos de avaliação pode ser dito que a autoavaliação contribuiu

para uma classificação mais elevada do domínio Liderança e Gestão, deixando-se antever que a

autoavaliação está em linha com a avaliação externa. Com efeito, os dados empíricos (Sampaio,

Figueiredo, Leite & Fernandes, 2015) tendem a confirmar que um dos objetivos centrais da AAE

foi conseguido, na medida em que as escolas desenvolveram procedimentos de autoavaliação,

20

promovendo condições para a instituição de uma cultura de autoavaliação. Porém, fica ainda por

estudar de forma mais ampla, ainda que os resultados do estudo de Gomes (2015) permitam

formular esta hipótese de trabalho, se a autoavaliação tende a substituir na sua essência e

diversidade a avaliação interna, revelando alguns estudos de caso (Sousa et al, 2015) que as

escolas discordam da existência de um modelo de autoavaliação completamente estruturado e

definido pela IGEC, não apenas na composição da equipa, como também na definição do seu

objeto em função de parâmetros predefinidos, mesmo que seja reconhecida a sua dependência

de apoios externos, seja através da IGEC, seja mediante parcerias de colaboração com

entidades.

Os dados empíricos revelam, ainda, que um dos principais contributos da AEE é o de

identificar os pontos fortes e fracos, originando a elaboração de um plano de melhoria, que

começou por ser para as escolas com classificações de Insuficiente e Suficiente e se alargou a

todas elas, independentemente das classificações. A partir de 2013, a IGEC começou, de acordo

com o seu plano de atividades, a monitorizar os planos de melhoria, se bem que tal

procedimento esteja por concretizar enquanto processo de melhoria organizacional.

Para além desta mudança organizacional, os dados empíricos do estudo corroboram o

efeito exógeno da AEE, obrigando as escolas à uniformização de documentos, seguindo um

modelo uniforme que impõe um processo de formatação única, pois as escolas,

independentemente da sua autonomia e da sua tipologia, são avaliadas externamente através do

mesmo modelo, permanecendo a tendência de uma avaliação uniformizada e estandardizada.

Tal efeito está agregado a outros dois efeitos: o efeito de legitimação discursiva e o efeito

procedimental.

Como a escola tende para a apropriação dos referentes utilizados no processo de

avaliação, não sendo tão explícitos os dados para a comunidade, embora os atores sociais

comunguem da pertinência e vantagem da avaliação externa, há uma lógica de aceitação do

modelo que se inscreve no quadro teórico político da avaliação de escolas com algo que foi

sendo implementado sem conflitualidade escolar ou mesmo profissional. O discurso da

qualidade, da eficácia, da eficiência e da accountability entrou nas escolas e afetou alunos,

professores, pais e diretores e fez da avaliação externa um processo que tacitamente foi

largamente aceite e desproblematizado no seu objeto e na sua metodologia.

O estudo realizado por Rodrigues e Moreira (2015) revela que os diretores têm uma

atitude moderamente positiva face à AEE, considerando que existe mais impacto positivo na

21

Liderança e Gestão, do que na Prestação do Serviço Educativo e Resultados, corroborando, de

igual modo, que a AEE parece, em larga medida, exercer os seus efeitos positivos através da

apropriação dos seus pressupostos pelas escolas, sobretudo no âmbito da autoavaliação.

No estudo de Fernandes, Leite e Mouraz (2015), constata-se que os diretores conferem

um significado acrescido à AEE e que os relatórios elaborados pela IGEC merecem a sua

concordância quanto ao facto de representarem um retrato do agrupamento, contribuindo para

que os diretores conheçam melhor a sua organização e procurem resposta para as fragilidades e

problemas identificados. Ainda neste estudo, as autoras afirmam que a AEE, através da primazia

que confere aos resultados académicos, está a ter um grande impacto nos modos de

organização e de desenvolvimento do currículo, funcionando como um forte dispositivo de

controlo e regulação da ação dos professores.

A questão dos resultados académicos converteu-se na assunção do efeito procedimental,

de modo que cada escola pudesse obter a melhor classificação possível, refletindo-se na

autoavaliação, na elaboração de documentos estruturantes, na valorização das lideranças

intermédias (Fernandes, Leite & Mouraz, 2015; Gonçalves, Vaz-Rebelo, Bidarra & Barreira,

2015), na medida em que a avaliação externa exige uma prestação pormenorizada de contas,

com um papel ativo para os coordenadores de órgãos de gestão e liderança intermédias, e na

implementação de mudanças curriculares ligadas à definição dos critérios de avaliação das

aprendizagens (adaptando-os à valorização dos resultados académicos), a mecanismos formais

ou informais de articulação e sequencialidade curriculares e à promoção do trabalho cooperativo

docente.

Apesar da tendência generalizada observada nas escolas e na comunidade, no sentido da

valorização dos resultados académicos, o impacto e efeitos da avaliação nesta componente

escolar não é um dado diretamente observável, sendo possível observá-lo indiretamente pela

valorização da avaliação externa das aprendizagens, tanto a nível de provas no ensino básico,

quanto de exames no ensino secundário. Por isso, as mudanças a nível pedagógico são mais

residuais e menos valorizadas por diretores e professores.

Cabe perguntar, assim, se a AEE tem sido perspetivada pelos docentes pela lógica

formativa, pela lógica sumativa ou por ambas. No estudo de caso de Gonçalves, Paulos e

Valadas (2015), a investigação permite dizer que a autoavaliação, e não tanto a avaliação

externa, parece começar a funcionar como um projeto formativo emergente que permite, entre

outras coisas, fortalecer a identidade profissional e promover o princípio da legitimidade

22

explicativa. Por outro lado, os dados do mesmo estudo revelam que os docentes não têm tempo

para o processo de AEE, estando este mais centrado nas estruturas de gestão e administração,

facto que é corroborado pelo estudo de Sousa et al (2015), quando é afirmado que os

professores estão moderamente de acordo com o processo e que demonstram ter um certo

alheamento relativamente ao que se passa na AEE. Daí que a AEE implementada de 2006 a

2015 tenha produzido um impacto mais forte na dimensão organizacional, sobretudo na

uniformização de documentos, na valorização das lideranças intermédias, menos significativo na

dimensão curricular, quando se fala da uniformização de critérios de avaliação, da promoção do

trabalho colaborativo docente, e quase reduzido na dimensão pedagógica, se bem que os

resultados académicos sejam altamente valorizados.

Considerando outros resultados empíricos do projeto (Sousa et al, 2015; Pacheco, 2015;

Silvestre, Saragoça & Fialho, 2015) é possível constatar que o efeito procedimental faz com que

as escolas reajam numa visão em túnel, através da valorização dos resultados académicos,

perfilhando quer uma perspetiva de ossificação, com tendência para a implementação de

medidas decorrentes do modelo de avaliação, quer uma perspetiva de miopia, com decisões

orientadas para o curto prazo, em resposta ao que é solicitado externamente. Os dados

empíricos recolhidos ao longo deste projeto de investigação permitem afirmar que a AEE,

passada quase uma década da sua implementação, através de um modelo único, tem produzido

um efeito parcial, respondendo as escolas a medidas de mudanças pontuais, ainda que a

autoavaliação possa ser considerada, a longo prazo, uma mudança estrutural, se for consolidada

como prática que decorra da afirmação formativa da avaliação interna. Dado que o modelo

determinado pela IGEC foi plenamente aceite pelas escolas, colhendo uma aceitação lógica, os

professores dizem atribuir-lhe uma espécie de papel de avaliação formativa, reconhecendo o

feedback que fornece para a elaboração de um plano de melhoria (Silvestre, Saragoça & Fialho,

2015).

Se toda a avaliação externa produz efeitos colaterais, que podem ser pretendidos ou não,

são salientados os seguintes efeitos positivos/negativos, dependendo a sua focagem no modo

como cada escola olha para o seu processo de avaliação:

- Aceitação do modelo pelos órgãos de gestão e administração: 30% de contraditórios

elaborados pelas escolas, em reação aos relatórios, nos oitos anos de implementação

da AEE, revelam que as mesmas aceitam a lógica inerente ao processo de avaliação

implementado pela IGEC (Pacheco, 2015). No entanto, a escola pode estar a assumir

23

uma resistência colaborante, não deixando de se adaptar aos procedimentos externos

(Sousa et al, 2015), aceitando mudanças pontuais que não são senão uma resposta

direta e imediata ao que é exigido pelo modelo de avaliação (Silvestre, Saragoça &

Fialho, 2015).

- Fortalecimento da relação da escola com a comunidade, assumindo os professores e

diretores que a avaliação externa é um processo que torna mais visível o trabalho da

escola, reforçando as lideranças híbridas dos diretores, ancoradas em princípios

defensores de uma visão humanista de educação, do trabalho colaborativo docente e

de uma escola eficaz em ternos da cultura de exigência de resultados (Fernandes,

Leite & Mouraz, 2015).

- Existência de uma relação forte entre o desenvolvimento da autoavaliação e os

procedimentos seguidos na AEE (Sampaio, Figueiredo, Leite & Fernandes, 2015),

devendo, contudo, ser questionado o modo como o processo de avaliação externa

conduz não apenas à estandardização de práticas de autoavaliação das escolas, mas

também à desvalorização da avaliação interna, aliás como se observa na investigação

de Gomes (2015).

- Valorização da imagem social da escola, pois as escolas veem o instrumento de

avaliação externa como um fator da sua afirmação perante os pais, alunos e demais

atores sociais, contribuindo para fortalecer estilos de liderança (Fialho & Carapeta,

2015; Sousa et al, 2015).

- Visão otimista dos diretores que perspetivam a AEE como uma oportunidade para que as

escolas mudem de acordo com regras estabelecidas externamente (Rodrigues &

Moreira, 2015).

- Modelo de AEE central na análise documental, na voz dos painéis e nos processos

administrativos e de gestão) (Sousa et al, 2015).

- Há um certo alheamento dos professores relativamente à AEE, uma vez que as suas

perspetivas fazem do processo uma forma de integração, sobretudo dos docentes com

cargos de gestão intermédia, considerando que a AEE não chega à sala de aula de

modo direto e que a sua participação é delimitada temporalmente ao período de

avaliação (Gonçalves, Paulos & Valadas, 2015; Sousa et al, 2015). Os professores

olham para a AEE como uma questão essencialmente organizacional, com algumas

mudanças curriculares mais nos discursos que nas práticas, por exemplo, na

24

articulação e sequencialidade e no trabalho colaborativo docente, e não como uma

questão pedagógica, pois não chega à sala de aula. Porém, a AEE intersecta de modo

mais direto os professores responsáveis pelas estruturas de gestão intermédia,

sentindo-se mais comprometidos com o processo de avaliação que envolve a escola.

- Valorização da avaliação externa das aprendizagens através da importância que é

concedida aos resultados académicos, demonstrando as escolas uma preocupação

contínua com as classificações obtidas em provas e exames nacionais (Sousa et al,

2015; Silvestre, Saragoça & Fialho, 2015). A AEE pode estar a contribuir para a

segregação das escolas em função dos resultados académicos, provocando um efeito

de uniformização e uma aparente similitude das escolas (Veloso, 2013). Neste caso, a

AEE processa-se com intenções classificativas e muito pouco formativas, assumindo-se

como um instrumento de controlo organizacional (Gonçalves, Paulos & Valadas, 2015),

sendo pertinente a recomendação do CNE (2015, p. 14): necessidade de “conter a

excessiva importância concedida aos resultados das provas de avaliação externa,

no âmbito do processo de avaliação externa das escolas desenvolvido pela

IGEC”.

- Validade e pertinência dos planos de melhoria: a obrigatoriedade da elaboração dos

planos de melhoria, independentemente das classificações obtidas pelas escolas,

torna-se inconsequente se de facto a IGEC não tiver um programa efetivo de

monitorização e se o processo de avaliação não começar a ser adequado quer à

tipologia de escolas, quer aos resultados obtidos, uma vez que uma escola que

obtenha piores resultados não pode estar dependente de um calendário que é igual

para todas as escolas.

- A melhoria das classificações do segundo ciclo, como é visível no estudo de Alferes,

Barreira e Vaz-Rebelo (2015), significa que houve uma melhoria efetiva das Escolas,

resultante do feedback obtido no primeiro ciclo da AEE? As modificações introduzidas

no quadro de referência, a alteração dos procedimentos de atribuição de

classificações, incluindo o valor esperado dos resultados académicos, e a relativização

do sentido das mesmas tornam problemática uma resposta assertiva. Numa síntese

comparativa da média das classificações nos três domínios, no primeiro ciclo (2006-

2011) e segundo ciclo (2011-2014) da AEE, e considerando-se os níveis de Muito Bom

e Bom, verifica-se que as instituições escolares portuguesas obtêm classificações

25

elevadas, nomeadamente, 81,4% na Prestação do Serviço Educativo, 80,3% na

Liderança e Gestão e 72% nos Resultados. No entanto, não houve até agora, no

território português, uma única escola com a classificação de excelente nos três

domínios, no segundo ciclo, embora algumas escolas tivessem obtido, no primeiro

ciclo, a classificação máxima de Muito Bom, nos cinco domínios. Esta é de facto a

imagem de uma escola do território continental, que bem pode originar a seguinte

pergunta: por que razão numa escola com níveis elevados na Prestação do Serviço

Educativo e Liderança e Gestão, os alunos não obtêm melhores resultados nas suas

provas/exames nacionais?

- O primeiro ciclo de AEE é considerado, por diversos intervenientes escolares

essencialmente formativo (Sampaio, Figueiredo Carlinda, & Fernandes, 2015; Silvestre,

2013), ao passo que o segundo é perspetivado pela sua natureza de prestação de

contas (Pacheco, 2015), colocando as escolas em busca da excelência escolar, que se

torna difícil de alcançar na sua totalidade, uma vez que não houve até agora, no

território português, uma única escola com a classificação de excelente nos três

domínios.

- Estando ligada de modo muito direto à avaliação das aprendizagens, sobretudo pela

valorização dos resultados académicos e da consequente imposição da IGEC que o

nível atribuído ao domínio Resultados determine os níveis da Prestação do Serviço

Educativo e da Liderança e Gestão, a AEE deve estar relacionada com a avaliação de

desempenho docente? No estudo de Gonçalves, Paulos e Valadas (2015), é advogado

que se torna fundamental apostar na formação adequada em AEE e avaliação do

desempenho docente, tanto para as equipas de AEE, como para os inspetores, não

existindo uma pronúncia sobre a inclusão da observação de aulas no terceiro ciclo de

AEE, que começará em 2015/2016. Apesar de a observação de aulas ser uma

questão recorrente nos relatórios internacionais (OECD, 2013; European

Commission/EACEA/Eurydice (2015), a sua inclusão na AEE é algo que necessita de

ser devidamente ponderado, sobretudo se a AEE tiver um impacto no desenvolvimento

profissional docente mediante um processo bem fundamentado e organizado.

- Na diversidade do seu objeto, a avaliação que se realiza nas escolas não pode reduzir a

simples ilhas os alunos, as escolas na sua componente organizacional, curricular e

pedagógica, e os professores, sendo pertinente que exista uma política educativa

26

suficientemente abrangente e não fragmentada destas três facetas da avaliação.

Introduzir a observação de aulas apenas em algumas disciplinas, ditadas pelos

resultados de provas e exames nacionais, pelo simples facto de que se torna

necessário fazê-lo, para responder a relatórios internacionais, pode significar a

introdução da conflitualidade no modelo de AEE, que não conheceu nos dois ciclos de

avaliação, bem como tornar a avaliação do desempenho docente num dispositivo

meramente burocrático.

Por último, e porque se pretende que os dados desta investigação possam ser

socialmente relevantes, apresentam-se as seguintes recomendações quer para os que têm a

responsabilidade de definir as políticas públicas de educação e adotar procedimentos a nível de

organismos da Administração central, quer para as escolas, sobretudo diretores, coordenadores

de gestão intermédia e professores:

i) repensar a Lei 31/2000, de 20 de dezembro, focando de forma mais ampla a

autoavaliação da escola no contexto da relação entre avaliação interna e avaliação

externa; ii) consolidar a avaliação externa de escolas mediante a tomada de decisões

que permitam o recurso para uma instância independente das decisões dos

avaliadores; iii) implementar a avaliação externa num contexto de diversidade dos

processos de autoavaliação das escolas; iv) reconhecer a avaliação externa como um

processo que não pode ficar prisioneiro de uma lógica unicamente centrada nos

resultados externos dos alunos dos ensinos básico e secundário; v) fomentar a criação

de observatórios de autoavaliação das escolas nas instituições de ensino superior.

27

Bibliografia

Alferes, Valentim R., Barreira, Carlos, Bidarra, Maria da Graça, & Vaz-Rebelo, Maria da Piedade (2015). Evolução do desempenho das escolas no quadro da avaliação externa. In C. Barreira (Org.), Estudos sobre avaliação externa de escolas. Porto: Porto Editora (em publicação).

Barreira, Carlos (Org.). (2015). Estudos sobre avaliação externa de escolas. Porto: Porto Editora. Bidarra, Maria da Graça, Barreira, Carlos Folgado, Vaz-Rebelo, Maria da Piedade, & Alferes,

Valentin Rodrigues (2014). In J. A. Pacheco (Org.), Avaliação externa de escolas: quadro teórico/conceptual (pp. 229-246). Porto: Porto Editora.

Churton, Mel, & Brown, Anne (2010). Theory and method (2ª ed.). New York: Palgrave Macmillan. CNE (2008). Parecer sobre Avaliação Externa de Escolas. Lisboa: CNE. CNE (2010). Parecer sobre Avaliação Externa das Escolas (2007-2009). Lisboa: CNE. CNE (2011). Avaliação Externa das Escolas. Recomendação do Conselho Nacional de Educação.

Lisboa: CNE. CNE (2015). Recomendação 2/2015. Lisboa: CNE. Esteves, Manuela (2007). Análise de conteúdo. In J. Á. Lima & J. A. Pacheco (Org.), Fazer

investigação (pp. 105-126). Porto: Porto Editora. European Commission/EACEA/Eurydice (2015). Assuring Quality in Education: Policies and

Approaches to School Evaluation in Europe. Eurydice Report. Luxembourg: Publications Office of the European Union.

Fernandes, Preciosa, Leite, Carlinda, & Mouraz, Ana (2015). Efeitos da avaliação externa das escolas - uma análise centrada nas lideranças. In C. Barreira (Org.), Estudos sobre avaliação externa de escolas. Porto: Porto Editora (em publicação).

Fialho, Isabel, & Carapeta, Luísa (2015). Liderança e resultados escolares: Que relações? In C. Barreira (Org.), Estudos sobre avaliação externa de escolas. Porto: Porto Editora (em publicação).

Fialho, Isabel, Saragoça, José, Silvestre, Maria José. Correia, Ana Paula, & Gomes, Sónia (2014). Relatórios internacionais e nacionais. Um olhar sobre a avaliação externa de escolas. In J. A. Pacheco (Org.), Avaliação externa de escolas: quadro teórico/conceptual (pp. 147-180). Porto: Porto Editora.

Figueiredo, Carla, Leite, Carlinda, & Fernandes, Preciosa (2014). Modelos internacionais de avaliação externa. A avaliação de escolas em Portugal e na Inglaterra – origem, fundamentos e percursos. In J. A. Pacheco (Org.), Avaliação externa de escolas: quadro teórico/conceptual (pp. 119-146). Porto: Porto Editora.

Fernandes, Preciosa, Leite, Carlinda, & Mouraz, Ana (2015). Efeitos da avaliação externa das escolas - uma análise centrada nas lideranças. In C. Barreira (Org.), Estudos sobre avaliação externa de escolas. Porto: Porto Editora (em publicação).

Gomes, Sónia (2015). Autoavaliação em escolas do Alentejo: constrangimentos e oportunidades. Tese de doutoramento. Évora: Universidade de Évora.

Gonçalves, Diana, Vaz-Rebelo, Maria da Piedade, Bidarra, Maria da Graça, & Barreira, Carlos (2015). Avaliação externa de escolas e impacto da(s) liderança(s): Estudo de caso. In C. Barreira (Org.), Estudos sobre avaliação externa de escolas. Porto: Porto Editora (em publicação).

Gonçalves, Elisabete, Fernandes, Preciosa, & Leite, Carlinda (2014). Avaliação externa das escolas em Portugal – políticas e processos. In J. A. Pacheco (Org.), Avaliação externa de escolas: quadro teórico/conceptual (pp. 71-87). Porto: Porto Editora.

Gonçalves, Fernando, Paulos, Liliana, & Valadas, Sandra T. (2015). Impacto e efeitos da avaliação externa de escolas: A perspetiva das lideranças a partir de um estudo de caso. In C. Barreira (Org.), Estudos sobre avaliação externa de escolas. Porto: Porto Editora (em publicação).

IGE (2009). Avaliação externa das escolas. Referentes e instrumentos de avaliação. Lisboa. IGE. IGE (2011). Propostas para um novo ciclo de avaliação externa de escolas Relatório Final. Grupo

de trabalho para o novo ciclo da avaliação externa. Lisboa: IGE.

28

IGE (2012). Avaliação externa das escolas: avaliar para a melhoria e a confiança – 2006-2011. Lisboa: IGE.

Lima, Jorge Ávila (2007). Ética na investigação. In J. Á. Lima & J. A. Pacheco (Org.), Fazer investigação (pp. 127-159). Porto: Porto Editora.

Merteens, Donna M, & Wilson, Amy J. (2012). Program evaluation theory and practice. New York: The Guilford Press.

Moreira, João Manuel (2007). Investigação quantitativa: fundamentos e práticas. In J. Á. Lima & J. A. Pacheco (Org.), Fazer investigação (pp. 41-84). Porto: Porto Editora.

Mouraz, A., Pacheco, J. A., & Valadas, S. (2015). Avaliação externa de escolas do ensino não superior. Coordenadas e processos de um projeto de investigação. Porto: Centro de Investigação e Intervenção Educativas. https://drive.google.com/file/d/0B3kJxfZNFmsTeWY0WG9jeDNIY00/view?usp=sharing

OECD (2009). Literature Review. OECD Education Working Paper, nº.42. http://econpapers.repec.org/paper/oeceduaab/42-en.htm

OECD (2013). School evaluation: From compliancy to quality. In Synergies for Better Learning: An International Perspective on Evaluation and Assessment, OECD Publishing. http://dx.doi.org/10.1787/9789264190658-10-en

Pacheco, José Augusto (2015). Contraditórios do primeiro e segundo ciclos de avaliação externa de escolas. In C. Barreira (Org.), Estudos sobre avaliação externa de escolas. Porto: Porto Editora (em publicação).

Pacheco, José Augusto (Org.).(2014). Avaliação externa de escolas: quadro teórico/conceptual. Porto: Porto Editora.

Pacheco, José Augusto, Seabra, Filipa, & Morgado, José Carlos (2014). Avaliação externa. Para a referencialização de um quadro teórico sobre o impacto e efeitos nas escolas do ensino superior não público. In J. A. Pacheco (Org.), Avaliação externa de escolas: quadro teórico/conceptual (pp. 15-55). Porto: Porto Editora.

Quivy, Raymond, & Campenhoudt, Luc Van (1997). Manual de investigação em ciências sociais. Lisboa: Gradiva.

Rodrigues, Eduarda, Queirós, Helena, Sousa, Joana, & Costa, Natália (2014). Avaliação externa de escolas: do referencial aos estudos empíricos. In J. A. Pacheco (Org.), Avaliação externa de escolas: quadro teórico/conceptual (pp. 89-118). Porto: Porto Editora.

Rodrigues, Pedro, & Moreia, João (2015). Impacto e efeitos da avaliação externa de escolas: A perspetiva dos Diretores de Agrupamento. In C. Barreira (Org.), Estudos sobre avaliação externa de escolas. Porto: Porto Editora (em publicação).

Rodrigues, Pedro, & Moreira, João (2014). Questões de metodologia na avaliação de escolas. In J. A. Pacheco (Org.), Avaliação externa de escolas: quadro teórico/conceptual (pp. 181-211). Porto: Porto Editora.

Sampaio, Marta, Figueiredo, Carla, Leite, Carlinda, & Preciosa Fernandes (2015). Efeitos da avaliação externa de escolas nos processos de autoavaliação: Convergências e tendências de ação. In C. Barreira (Org.), Estudos sobre avaliação externa de escolas. Porto: Porto Editora (em publicação).

Silvestre, Maria José (2013). Avaliação das escolas. Avaliação nas escolas. Tese de doutoramento. Évora: Universidade de Évora.

Silvestre, Maria José, Fialho, José, & Saragoça, José (2014). A avaliação externa das escolas à luz das políticas educativas. In J. A. Pacheco (Org.), Avaliação externa de escolas: quadro teórico/conceptual (pp. 57-69). Porto: Porto Editora.

Silvestre, Maria José, Saragoça, José, & Fialho, Isabel (2015). Do referencial da avaliação externa de escolas à criação de um modelo de autoavaliação. In C. Barreira (Org.), Estudos sobre avaliação externa de escolas. Porto: Porto Editora (em publicação).

Sousa, Joana, Costa, Natália, Rodrigues, Eduarda, Queirós, Helena, Lamela, Conceição, Seabra, Filipa, & Morgado, José Carlos (2015). Avaliação externa e seus efeitos: A perspetiva dos atores escolares. In C. Barreira (Org.), Estudos sobre avaliação externa de escolas. Porto: Porto Editora (em publicação).

29

Stake, Robert E. (2007). A arte de investigação com estudos de caso (2ª ed.). Lisboa: Fundação Calouste Gulbenkian.

Tuckman, Bruce W. (1994). Manual de investigação em educação (4ª ed.). Lisboa: Fundação Calouste Gulbenkian.

Valadas, Sandra, & Gonçalves, Fernando (2014). Aspetos metodológicos do inquérito por entrevista na avaliação externa de escolas. In J. A. Pacheco (Org), Avaliação externa de escolas: quadro teórico/conceptual (pp. 213-228). Porto: Porto Editora.

Veloso, Luísa (2013). Conclusão. Avaliação externa e educação em três regiões portuguesas. In L. Veloso (Org.), Escolas e avaliação externa. Um enfoque nas estruturas organizacionais (pp.179-190). Lisboa: Editora Mundos Sociais.

Walliman, Nichols (2012). Social research methods. London: Routledge.

30

Sumário executivo do Projeto de Investigação Impacto e Efeitos da Avaliação Externa de Escolas do Ensino não Superior4

Ao longo de três anos (2012-2015), investigadores de seis universidades públicas portuguesas (Minho, Porto, Coimbra, Lisboa, Évora e Algarve) envolveram-se num projeto de investigação sobre Avaliação externa de Escolas (AEE), com financiamento da FCT, que recolheu dados para responder a esta questão: Que impacto e efeitos são produzidos pela AEE, no primeiro e segundo ciclos do modelo, tendo em referência a melhoria da escola, a participação da comunidade e a implementação de políticas de accountability?

Regulada pela Lei 31/2002, de 20 de dezembro, a AEE é implementada pela IGEC por ciclos: o primeiro de 2006 a 2011; o segundo de 2011 a 2016.

Pelos dados dos estudos empíricos do projeto de investigação, realizado por esta equipa nacional, constata-se que a AEE tem produzido impacto e efeitos: a) na melhoria da escola, mais a nível organizacional do que a nível curricular e dos modos de trabalho pedagógico, sendo o impacto nesta última dimensão considerado reduzido ou inexistente; b) na consolidação da autoavaliação institucional, o que está em linha com situações internacionais; c) na participação da comunidade na vida social da escola, reforçando as parcerias existentes e dando voz aos diversos atores sociais que intervêm diretamente na escola; d) na apropriação pela escola dos referentes utilizados no processo de avaliação externa e aceitando um modelo que tem sido implementado sem qualquer conflitualidade; d) na institucionalização de planos de melhoria focados nas fragilidades identificadas pela AEE; e) na monitorização de resultados académicos, embora sem efeitos revelantes.

Os resultados empíricos sustentam a afirmação de que a AEE tem produzido um efeito exógeno que origina vários efeitos: de legitimação discursiva (na apropriação dos referenciais do modelo pelos docentes e outros intervenientes escolares); de ordem procedimental, com vista à implementação de uma cultura de prestação de contas mediante a observação de determinadas regras burocráticas. Este efeito procedimental faz com que as escolas reajam numa visão em túnel, através da valorização dos resultados académicos, perfilhando quer uma perspetiva de ossificação, com tendência para a implementação administrativa de medidas decorrentes do modelo de avaliação preconizado pela IGEC, quer uma perspetiva de miopia, com decisões orientadas para o curto prazo, em resposta ao que é solicitado externamente.

Se toda a avaliação externa produz efeitos colaterais, que podem ser pretendidos ou não, são salientados os seguintes efeitos positivos/negativos, dependendo a sua focagem do modo como os intervenientes escolares olham para o seu processo de avaliação externa. São disso exemplos os seguintes resultados:

- Aceitação do modelo pelos órgãos de gestão e administração: 30% de contraditórios (em reação aos relatórios da IGEC), elaborados pelas escolas nos oitos anos de implementação da AEE, revelam que as mesmas aceitam a lógica inerente ao processo de avaliação implementado pela IGEC.

- Fortalecimento da relação da escola com a comunidade, assumindo os professores e diretores que a avaliação externa é um processo que torna mais visível, mas também mais controlado, o trabalho da escola.

- Valorização da imagem social da escola, pois as escolas veem a avaliação externa como um fator da sua afirmação perante os pais, alunos e demais atores sociais.

- Existência de uma relação forte entre o desenvolvimento da autoavaliação e os procedimentos seguidos na AEE.

- Visão otimista dos diretores que perspetivam a AEE como uma oportunidade para que as escolas mudem de acordo com regras estabelecidas externamente.

- Modelo de AEE centrado na análise documental, na voz dos painéis e nos processos administrativos e de gestão, não interferindo nem com questões dos processos de organização e desenvolvimento curriculares, nem com questões pedagógico-didáticas.

- Há um certo alheamento dos professores relativamente à AEE, olhando-a como uma questão essencialmente organizacional, com algumas mudanças curriculares mais nos discursos do que nas práticas, por exemplo, na articulação e sequencialidade e no trabalho colaborativo docente, e não como uma questão pedagógica,

4 Este projeto é financiado por Fundos FEDER através do Programa Operacional Fatores de Competitividade –

COMPETE e por Fundos Nacionais através da FCT – Fundação para a Ciência e a Tecnologia no âmbito do projeto PTDC/CPE-CED/116674/2010.

31

pois a AEE, tal como tem sido implementada, não chega à sala de aula. Porém, a AEE intersecta de modo mais direto os professores responsáveis pelas estruturas de gestão intermédia.

- Valorização da avaliação externa das aprendizagens (provas e exames nacionais) através da importância que é concedida aos resultados académicos e, de certo modo, desvalorizando resultados sociais.

- Validade e pertinência dos planos de melhoria: a obrigatoriedade da elaboração dos planos de melhoria, independentemente das classificações obtidas pelas escolas, torna-se inconsequente se de facto a IGEC não tiver um programa efetivo de monitorização e se o processo de avaliação não começar a ser adequado à tipologia de escolas e às classificações obtidas.

- A melhoria das classificações do segundo ciclo de AEE não significa uma melhoria efetiva das escolas, resultante do feedback obtido no primeiro ciclo da AEE.

- O primeiro ciclo de AEE é considerado, por diversos intervenientes escolares, essencialmente formativo, ao passo que o segundo é perspetivado pela sua natureza de prestação de contas, colocando as escolas em busca da excelência escolar, que se torna difícil de alcançar na sua totalidade, uma vez que não houve até agora, no território português, uma única escola com a classificação de excelente nos três domínios, no segundo ciclo, embora algumas escolas tivessem obtido, no primeiro ciclo, a classificação máxima de Muito Bom, nos cinco domínios.

- Apesar de a observação de aulas ser uma questão recorrente nos relatórios internacionais (OECD, 2013; European Commission/EACEA/Eurydice (2015), a sua inclusão na AEE é algo que necessita de ser devidamente ponderada, sobretudo se a AEE tiver um impacto no desenvolvimento profissional docente através de um processo bem fundamentado e organizado. Na diversidade do seu objeto, a avaliação que se realiza nas escolas não pode reduzir a simples ilhas os alunos, as escolas, na sua componente organizacional, curricular e pedagógica, e os professores, sendo pertinente que exista uma política educativa suficientemente abrangente e não fragmentada destas três facetas da avaliação. Introduzir a observação de aulas apenas em algumas disciplinas, ditadas pelos resultados de provas e exames nacionais, pelo simples facto de que se torna necessário fazê-lo administrativamente, para responder a relatórios internacionais, pode significar a introdução da conflitualidade no modelo de AEE, que não conheceu nos dois ciclos de avaliação, bem como tornar a avaliação do desempenho docente num dispositivo meramente burocrático.

- Em termos de recomendações, torna-se essencial: i) repensar a Lei 31/2000, de 20 de dezembro, focando de forma mais ampla a autoavaliação da escola no contexto da relação entre avaliação interna e avaliação externa; ii) consolidar a avaliação externa de escolas mediante a tomada de decisões que permitam o recurso para uma instância independente das decisões dos avaliadores; iii) implementar a avaliação externa num contexto de diversidade dos processos de autoavaliação das escolas; iv) reconhecer a avaliação externa como um processo que não pode ficar prisioneiro de uma lógica unicamente centrada nos resultados externos dos alunos dos ensinos básico e secundário; v) fomentar a criação de observatórios de autoavaliação das escolas nas instituições de ensino superior.