Impactos e Processos da AAEENS: Evidências resultantes de...
Transcript of Impactos e Processos da AAEENS: Evidências resultantes de...
Impactos e Processos da AAEENS:
Evidências resultantes de estudos de casos/agrupamentos de escolas
José Augusto Pacheco, José Carlos Morgado, Filipa Seabra, Natália Costa, Helena Queirós, Eduarda Rodrigues, Joana Sousa e Conceição Lamela
Universidade do Minho
População e amostra
População (N)
• 71 Professores/Educadores que lecionam nos seguintes
níveis de ensino:
- Pré-escolar – 4 jardins de infância
- Ensino básico – 4 escolas do 1º CEB
– 1 escola do 2º e 3º CEB
Amostra (n)
54 Professores/Educadores
Estrutura do Questionário
Dados de Caracterização
• Sexo; Idade; Habilitações Académicas; Tempo de Serviço;
Categoria Profissional; Nível(eis) de ensino em que leciona;
• Exercício de cargos entre 2006 e 2014;
• Participação no processo de Avaliação externa.
Questão sobre o grau de concordância com
o atual modelo de Avaliação Externa.
Dados de opinião – 5 dimensões
• Mudanças na Escola;
• Mudanças no Currículo;
• Mudanças na Sala de Aulas;
• Mudanças na Autoavaliação;
• Mudanças na Comunidade.
Mudanças na Escola
38,9%
24,1%
49,0%
46,3% 47,1%
40,3%
7,4%
13,0%
26,6%
18,5% 17,0%
23,1%
53,8%
63,0%
28,3%
35,2% 35,9% 36,5%
Promove melhoria daqualidade
Fornece aos profs.conhecimento dos ptos. fortes
e fracos
Ajuda na construção daidentidade
Promove o empenho dosprofs. em projetos
Desenvolve-se à margem dosprofs.
Provoca mudanças na gestãoescolar
MUDANÇAS NA ESCOLA
Discordo Indeciso Concordo
Mudanças no Currículo
46,3%
50,0%
57,4%
50,9%
70,4%
61,6%
11,1%
16,7%
13,0%
22,6%
11,1%
21,2%
42,6%
33,3%
29,7%
26,4%
18,5% 17,3%
Contribui para articulaçãoentre ciclos ensino
Contribui para o desenv.colaborativo do currículo
Contribui para melhorar aspráticas curriculares dos
profs.
Reconhece autonomia aosprofs. no desenv. do currículo
Contribui para a autonomiados profs. no desenv. do
currículo
Provoca mudanças na gestãodo currículo
MUDANÇAS NO CURRÍCULO
Discordo Indeciso Concordo
Mudanças na Sala de Aulas
18,9%
57,4%
31,5%
55,6%
31,5%
61,1%
17,0% 16,7%
29,6%
13,0%
27,8%
11,1%
64,2%
25,9%
38,9%
31,5%
40,8%
27,8%
Valoriza os resultados dasaprendizagens externas
Contribui para melhorar aspráticas pedagógicas
Valoriza avaliação sumativaface à avaliação formativa
Contribui para que os profs.realizem testes em conjunto
Contribui para que os profs.colaborem na aferição de
critérios de correção
Contribui para envolvimentonos processos de EA
inovadores
MUDANÇAS NA SALA DE AULA
Discordo Indeciso Concordo
Mudanças na Autoavaliação
18,9% 20,4%
31,5%
22,7% 24,6%
27,8%
15,1%
3,7%
33,3%
15,1%
26,4%
11,1%
66,1%
75,9%
35,2%
62,3%
49,1%
61,1%
Impõe um modelo deautoavaliação da escola
Contribui para elaboração deum plano de melhoria da
escola
Realiza-se em paralelo c/autoavaliação da escola
Contribui p/ existência daautoavaliação da escola
Valoriza o trabalho da equipade autoavaliação da escola
Favorece a existência de umplano contínuo de melhoria
MUDANÇAS NA AUTOAVALIAÇÃO
Discordo Indeciso Concordo
Mudanças na Comunidade
33,3%
40,7%
35,2%
46,3%
40,7%
38,9%
20,4%
16,7%
22,2%
20,4%
33,3%
24,1%
46,3%
42,6% 42,6%
33,3%
14,8%
37,0%
Fornece informação aospais/EE sobre os pontos
fortes e fracos
Contribui p/estratégias demarketing que valorizam a
escola
Revela existência de práticasde colaboração entre escola
e comunidade
Promove interação entreescola e comunidade
educativa
É um processo relevantepara a sociedade
Promove o debate sobre aqualidade das escolas
MUDANÇAS NA COMUNIDADE
Discordo Indeciso Concordo
Seminário Avaliação externa de escolas: Processos e Impactos
8 de Novembro IE-UL Projecto AEEENS (PTDC/CPE/116674/2010)
Universidade de Coimbra FPCE
Rankings e avaliação externa de escolas: Que relação?
Graça Bidarra [email protected]
Carlos Barreira [email protected]
Maria Piedade Vaz-Rebelo [email protected]
Helena Oliveira [email protected]
Georgina Lopes [email protected]
Contextualização � Os rankings surgem em 2001, com base nos
exames nacionais do 12º ano.
� Em 2005 surgem pela 1ª vez os rankings do ensino básico.
� Em 2012 in ic ia-se a contextua l i zação socioeconómica das escolas a partir da:
- Taxa de alunos no escalão A da Ação Social
Escolar (ASE); - Média de anos de escolaridade dos pais.
Contextualização e objectivo do estudo
• Os resultados das escolas nos exames nacionais (rankings) e
as classificações na AEE são processos distintos que contudo nos remetem para a avaliação do desempenho das escolas.
• Analisar a relação entre as posições ocupadas pelas
escolas nos rankings nacionais e as classificações atribuídas pela Inspeção Geral da Educação e Ciência.
� Resultados esperados
• Admitimos que esta relação possa ser mais elevada no segundo ciclo de AEE, dado que se verificou uma contextualização quer dos rankings, quer nos resultados académicos na AEE, sendo a classificação dos domínios (PSE e LG) indexada aos resultados.
Metodologia
� Procedemos a um estudo de natureza documental
com um grupo de dezassete escolas secundárias
da Região Centro.
� Procedimentos
Classificações obtidas no âmbito da AEE
Excelente - nível cinco (2º ciclo) Muito Bom - nível quatro
Bom - nível três Suficiente - nível dois Insuficiente - nível um
� Procedimentos
� Ranking I - resultados nacionais das escolas em estudo
� Ranking II - indicador dos rankings a partir da média dos rankings a nível nacional, constituindo um ranking para as escolas em estudo
Resultados
� AEE no primeiro e segundo ciclos
� Rankings das Escolas no 1º e 2º ciclos de AEE
� Relação entre os Rankings e a AEE
0
2
4
6
8
10
12
Resultados P. S. Educativo Org. e Gest. Escolar
Liderança Cap. Aut. e Mel. Esc.
Nº d
e es
cola
s
Figura 1 - Classificações na avaliação externa das escolas secundárias no 1º ciclo avaliativo
MUITO BOM
BOM
SUFICIENTE
INSUFICIENTE
0
2
4
6
8
10
12
Resultados P. S. Educativo Lid. E Gest.
Nº d
e es
cola
s
Figura 2 - Classificações na avaliação externa das escolas secundárias no 2º ciclo avaliativo
EXCELENTE
MUITO BOM
BOM
SUFICIENTE
INSUFICIENTE
Quadro 2 – Ranking das escolas secundárias de 2011/2012
Escolas Ranking I
2011/2012 Ranking II
2011/2012
Quadro 1 – Ranking das escolas secundárias de 2005/2006 a 2010/2011
Escolas Ranking I 2005/2006
Ranking I 2006/2007
Ranking I 2007/2008
Ranking I 2008/2009
Ranking I 2009/2010
Ranking I 2010/2011
Ranking II 2005/2006 a 2010/2011
E. Sec. I. D. Maria 24 8 19 26 13 21 1
E. Sec. J. Falcão 92 23 27 31 41 43 2
E. Sec. J. Carvalho 97 71 63 45 89 87 3
E. Sec. J. C. C. Gomes 458 250 210 326 484 337 15 E. Sec. M. Castilho 446 283 469 222 424 310 16 E. Sec. D. Dinis 404 304 490 388 438 449 17
E. Sec. I. D. Maria 26 1 E. Sec. J. Falcão 37 2 E. Sec. J. Carvalho 54 3 E. Sec. Vagos 336 15 E. Sec. O. Hospital 360 16 E. Sec. Lousã 442 17
Quadro 3 – Ranking II das escolas secundárias e AEE – domínio Resultados, 1º ciclo
Escolas Ranking II 2005/2006 a 2010/2011
A.E.E. Domínio
RESULTADOS 1º ciclo
E. Sec. I. D. Maria 1 BOM
E. Sec. J. Falcão 2 BOM
E. Sec. J. Carvalho 3 M. BOM
E. Sec. J. C. C. Gomes 15 SUF. E. Sec. M. Castilho 16 SUF. E. Sec. D. Dinis 17 SUF.
Quadro 4 – Ranking II das escolas secundárias e AEE – domínio Resultados, 2º ciclo
Escolas Ranking II 2005/2006 a 2010/2011
A.E.E. Domínio
RESULTADOS 2º ciclo
E. Sec. I. D. Maria 1 M. BOM
E. Sec. J. Falcão 2 M. BOM
E. Sec. J. Carvalho 3 M. BOM
E. Sec. Vagos 15 BOM E. Sec. O. Hospital 16 BOM E. Sec. Lousã 17 BOM
Quadro 5 – Coeficiente de correlação entre os rankings do secundário e as classificações nos domínios da avaliação externa de escolas no 1º ciclo
Resultados Prestação de
Serviço Educativo
Organização e Gestão Liderança
Capacidade de Autorregulação e
Melhoria da Escola
Ranking II 2005/06 a 2010/11
Correlação de Pearson -,601* -,514* -,115 -,276 -,242
Sig. (bicaudal) ,011 ,035 ,661 ,283 ,350
N 17 17 17 17 17 ** p ≤ 0,01 *.p ≤ 0,05
Quadro 6 – Coeficiente de correlação entre os rankings do secundário e as classificações nos domínios da avaliação externa de escolas no 2º ciclo
Resultados Prestação de
Serviço Educativo
Liderança e Gestão
Ranking II 2011/2012
Correlação de Pearson -,669** -,453 ,236 Sig. (bicaudal) ,003 ,068 ,361 N 17 17 17
** p ≤ 0,01 * p ≤ 0,05
CONCLUSÕES
� Nas escolas em estudo, houve uma evolução nas
classificações dos domínios do primeiro para o
segundo ciclo de AEE .
� No geral as escolas que ocuparam “melhor” posição
nos rankings apresentaram melhores classificações
nos domínios de AEE.
� Correlação significativa entre rankings e a classificação das escolas no domínio Resultados nos dois ciclos de AEE.
� Contudo, a AEE diz mais sobre as escolas, sobre o seu funcionamento e processos, pois para além dos resultados académicos, avalia também os resultados sociais e o reconhecimento da comunidade, bem como a Prestação do Serviço Educativo e a Liderança e Gestão.
� Resta saber se na AEE se consegue
dar conta dos processos relacionados
com a Liderança e Gestão e a
Prestação de Serviço Educativo e
compreender o seu impacto e efeitos nos
Resultados ?
Perceções sobre efeitos da Avaliação Externa das Escolas nos 'Resultados' e na
'Prestação do Serviço Educativo'. Um estudo em escolas do Alentejo.
Instituto de Educação – Univ. Lisboa
Lisboa, 8 novembro 2014 Mª José Silvestre | Isabel Fialho | José Saragoça
[Universidade de Évora]
ENQUADRAMENTO DO ESTUDO
Organização-
-escola
Gestão holística e sustentável nas áreas da estratégia, criatividade e
inovação
Gestão do capital humano e do conhecimento
Formação, comunicação e
informação
Autorregulação
Perceções sobre efeitos da Avaliação Externa das Escolas nos 'Resultados' e na 'Prestação do Serviço Educativo'. Um estudo em escolas do Alentejo.
OBJETIVOS DA INVESTIGAÇÃO
(ii) Identificar eventuais padrões de alteração registados nas unidades de gestão alvo de estudo;
(iii) Explicar as divergências ou similitudes encontradas nas eventuais alterações provocadas pelo impacto do processo de Avaliação Externa.
(i) Conhecer as alterações que surgiram nas escolas, em consequência do processo de Avaliação Externa (AEE), o que concerne aos “Resultados” e à “Prestação do Serviço Educativo”;
Perceções sobre efeitos da Avaliação Externa das Escolas nos 'Resultados' e na 'Prestação do Serviço Educativo'. Um estudo em escolas do Alentejo.
CONCEÇÕES TEÓRICAS DA AVALIAÇÃO ORGANIZACIONAL
Prestação de contas;
Accountability; Avaliação
Externa de Escolas; Avaliação
Interna; Autoavaliação;
Regulação
Qualidade da educação;
Melhoria na educação
Desenvolvimento profissional;
Desenvolvimento
organizacional
Impacto da avaliação da escola e na escola
( a partir da análise dos Tópicos predominantes no estado da arte)
Perceções sobre efeitos da Avaliação Externa das Escolas nos 'Resultados' e na 'Prestação do Serviço Educativo'. Um estudo em escolas do Alentejo.
METODOLOGIA DA INVESTIGAÇÃO
Paradigma interpretativista
Análise discursiva
Entrevistas a atores organizacionais
Análise documental
- Relatórios da AEE
- Legislação
- Páginas Web das UGE
Fundamentação teórica da temática
Abordagem mista, predominantemente
qualitativa
Perceções sobre efeitos da Avaliação Externa das Escolas nos 'Resultados' e na 'Prestação do Serviço Educativo'. Um estudo em escolas do Alentejo.
1. Desenho da investigação
- pergunta de partida
- objetivos
- seleção de técnicas e instrumentos de recolha de
dados
- definição dos participantes (número; critérios de
seleção)
Inquérito por
entrevista
5. Redação do Relatório/Tese
2. Produção, validação e testagem do guião da entrevista
semiestruturada. Contactos com as escolas e
calendarização das entrevistas.
E
S
T
A
D
O
D
A
A
R
T
E
Análise dos
Relatórios da AEE
3. Realização e transcrição das entrevistas
3.1. Análise de conteúdo das
entrevistas
4. Análise dos Relatórios da AEE
Fases da investigação
TOTAL DE ESCOLAS/AGRUPAMENTOS DE ESCOLAS
10
Diretor 9
Presidente do Conselho Geral 8
Coordenador/ elemento da equipa de AI 9
Coordenador de departamento 1
Total de inquiridos 27
UNIDADES ESCOLARES E ATORES SELECIONADOS
Perceções sobre efeitos da Avaliação Externa das Escolas nos 'Resultados' e na 'Prestação do Serviço Educativo'. Um estudo em escolas do Alentejo.
ANÁLISE DAS ENTREVISTAS
Áreas temáticas
I Conceções e práticas de Avaliação Interna
II Conceções de Avaliação Externa e fatores contextuais de diferenciação
III Caminhos diferenciados de avaliação organizacional
IV Alterações provocadas pelo impacto do processo de AEE
V Avaliação organizacional e melhoria
Perceções sobre efeitos da Avaliação Externa das Escolas nos 'Resultados' e na 'Prestação do Serviço Educativo'. Um estudo em escolas do Alentejo.
Relação entre a AEE e as linhas de rumo que as UGE tomam, na sequência da intervenção avaliativa. Equipa responsável pelas práticas avaliativas como uma das principais equipas do coletivo organizacional, capaz de gerar sinergias internas e externas.
UGE capazes de aderir a medidas de política educativa, com o objetivo de adequar as respostas educativas às necessidades de alunos, famílias e comunidades. Elevação do grau de participação e de comprometimento com a vida da escola, sobretudo nos aspetos pedagógicos, na sequência da ação avaliativa externa.
ANÁLISE DAS ENTREVISTAS
Perceções sobre efeitos da Avaliação Externa das Escolas nos 'Resultados' e na 'Prestação do Serviço Educativo'. Um estudo em escolas do Alentejo.
ANÁLISE DAS ENTREVISTAS
Divulgação dos dados da AEE direcionado essencialmente para os atores internos (nomeadamente os docentes), nem sempre chegando à comunidade educativa, restringindo-se à divulgação nos órgãos e estruturas intermédias. Assunção da avaliação organizacional interna enquanto atividade com função formativa reguladora.
Ausência generalizada da distinção entre os conceitos de ‘avaliação interna’ e de ‘autoavaliação’. Fraco grau de competência meta-avaliativa de alguns atores organizacionais.
Perceções sobre efeitos da Avaliação Externa das Escolas nos 'Resultados' e na 'Prestação do Serviço Educativo'. Um estudo em escolas do Alentejo.
ANÁLISE DOS RELATÓRIOS DA AVALIAÇÃO EXTERNA DAS ESCOLAS DE 2006/2007
“Sucesso académico”: existência de uma interligação (mais ou menos estreita, dependendo dos contextos organizacionais) entre a AEE e a AI/AA. “Participação e desenvolvimento cívico”: predomínio de bons desempenhos organizacionais (11), relativamente ao número de indicadores de desempenhos a melhorar (5). “Comportamento e disciplina”: escolas conseguiram encontrar respostas contextualizadas para as questões da regulação dos comportamentos e da observação de regras. “Valorização e impacto das aprendizagens”: diversificação e divulgação da oferta formativa e dinamização de projetos podem ser formas de levar os pais à escola.
Perceções sobre efeitos da Avaliação Externa das Escolas nos 'Resultados' e na 'Prestação do Serviço Educativo'. Um estudo em escolas do Alentejo.
ANÁLISE DOS RELATÓRIOS DA AVALIAÇÃO EXTERNA DAS ESCOLAS DE 2006/2007
“Articulação e sequencialidade”: existência de 4 traços comuns na atuação das UGE, indicadores de bons desempenhos organizacionais.
“Acompanhamento da prática letiva em sala de aula”: apenas 2 indicadores evidenciados em todas as UGE (indicador positivo: intervenção dos Serviços de Psicologia e Orientação; indicador negativo: inexistência de mecanismos internos de supervisão e acompanhamento da prática letiva).
“Diferenciação e apoios”: evidenciado em todas as UGE, através de formas contextualizadas, à medida da capacidade de resposta de cada escola.
“Abrangência do currículo e valorização dos saberes e da aprendizagem”: evidenciação de 14 indicadores de bons desempenhos, contra apenas 3 de desempenhos a melhorar.
Perceções sobre efeitos da Avaliação Externa das Escolas nos 'Resultados' e na 'Prestação do Serviço Educativo'. Um estudo em escolas do Alentejo.
RESULTADOS
Domínio “Resultados”
Aumento do conhecimento sobre a problemática da avaliação organizacional, na sua dupla vertente de avaliação interna/autoavaliação e avaliação externa. Elevação do grau de participação e de comprometimento com a vida da escola, sobretudo nos aspetos pedagógicos. Adoção de uma postura organizacional inteligente ou aprendente e desenvolvimento da “massa crítica”.
«Quais foram as alterações que surgiram nas escolas, em consequência do processo de Avaliação Externa (AE), no que concerne aos “Resultados” e à “Prestação do Serviço Educativo”?»
Perceções sobre efeitos da Avaliação Externa das Escolas nos 'Resultados' e na 'Prestação do Serviço Educativo'. Um estudo em escolas do Alentejo.
Autoproposta das escolas revela a aceitação coletiva da prestação de contas organizacional. Contudo, não está ainda enraizada a tradição de procedimentos de accountability nos atores docentes . Condicionantes da atual falta de sistematicidade nos procedimentos avaliativos organizacionais das escolas portuguesas: • lentidão da alteração das práticas e culturas de escola; • necessidade de aquisição de competências avaliativas, por parte dos diferentes atores organizacionais; • a ausência de atuação estratégica, em algumas das escolas. A procura de respostas para o imperativo legal da prestação de contas, levou à adoção de respostas divergentes, contextualizadas e condicionadas pelas competências e pelos desejos das lideranças de topo.
RESULTADOS
Perceções sobre efeitos da Avaliação Externa das Escolas nos 'Resultados' e na 'Prestação do Serviço Educativo'. Um estudo em escolas do Alentejo.
O impacto inicial negativo acabou por ter um efeito positivo (a médio e longo prazo), em função das melhorias organizacionais que provocaram:
• a AEE estimula ou induz a melhoria, tanto ao nível da AI/AA, como ao nível dos resultados e do serviço educativo, cumprindo assim a finalidade maior da sua existência: a promoção da melhoria das organizações escolares, por via da prestação de contas; • a AEE parece ter atingido, em todas as UGE estudadas, alguns dos objetivos que lhe estão subjacentes: para além da prestação de contas e do apoio à decisão, a formação dos agentes educativos.
RESULTADOS
Perceções sobre efeitos da Avaliação Externa das Escolas nos 'Resultados' e na 'Prestação do Serviço Educativo'. Um estudo em escolas do Alentejo.
RESULTADOS
«Quais foram as alterações que surgiram nas escolas, em consequência do processo de Avaliação Externa (AE), no que concerne aos “Resultados” e à “Prestação do Serviço Educativo”?»
Efeito da AEE nas escolas
Prestação do serviço educativo
Resultados
A AEE constitui-se quase como uma alavanca que faz despoletar os olhares reflexivos das escolas, uma vez que as obriga à prestação de contas (Afonso, 2005; Costa, 2007; Gonçalves,
2009; Fialho, 2011).
Perceções sobre efeitos da Avaliação Externa das Escolas nos 'Resultados' e na 'Prestação do Serviço Educativo'. Um estudo em escolas do Alentejo.
RESULTADOS
Domínio «Resultados» – fator “Sucesso académico”
Importância que algumas medidas de política educativa tiveram na alteração das práticas docentes, muito por via da atualização de conhecimentos. Identificação de aspetos que contribuíram para a melhoria dos resultados académicos dos alunos.
Existência de ocorrências positivas, ao nível dos diferentes fatores constitutivos deste domínio, bem como a ocorrência de efeitos positivos da AEE.
«Quais são os padrões de alteração registados nas unidades de organização alvo de estudo, potenciadores de eficiência, eficácia e qualidade organizacionais?»
Perceções sobre efeitos da Avaliação Externa das Escolas nos 'Resultados' e na 'Prestação do Serviço Educativo'. Um estudo em escolas do Alentejo.
RESULTADOS
Domínio “Prestação do serviço educativo”
“Acompanhamento da prática letiva em sala de aula”: processa-se quase exclusivamente por via da avaliação do desempenho docente; “Diferenciação e apoios”: aquele que marca presença transversal nas escolas. “Abrangência do currículo e valorização dos saberes e da aprendizagem”: lideranças assumem papel de extrema importância.
«Quais são os padrões de alteração registados nas unidades de organização alvo de estudo, potenciadores de eficiência, eficácia e qualidade organizacionais?»
Perceções sobre efeitos da Avaliação Externa das Escolas nos 'Resultados' e na 'Prestação do Serviço Educativo'. Um estudo em escolas do Alentejo.
RESULTADOS
Distintas formas de disseminação e internalização da informação oriunda da AEE e de operacionalização da legislação.
Forma como os órgãos assumiram a sua função intrínseca e (des)valorizaram o papel formativo da AEE; conceção de AEE que as lideranças de tipo perfilham .
Papel dos líderes de topo: (des)valorização do saber acrescido dos colaboradores com mais formação académica, indução dessa formação ou procura ‘serviço-de-pronto-a- -servir’ ao nível da AI.
Existência de projetos; implicação ativa de todos os agentes educativos; existência de ações de melhoria; abertura da escola ao seu entorno, à comunidade envolvente e aos atores extraescola.
Quais são as explicações para as divergências e/ou similitudes provocadas pelo impacto do processo da Avaliação Externa?
Perceções sobre efeitos da Avaliação Externa das Escolas nos 'Resultados' e na 'Prestação do Serviço Educativo'. Um estudo em escolas do Alentejo.
CONCLUSÕES
A autoavaliação/avaliação interna ainda não parece ser, nas escolas portuguesas, plenamente assumida como uma estratégia organizacional capaz de produzir os efeitos desejados (a melhoria e o desenvolvimento das escolas), consubstanciando-se no cumprimento legal: uma avaliação de conformidade, dado que as práticas não se encontram sistematizadas e consolidadas. A formação e o conhecimento pessoal dos atores influenciam o agir organizacional e a aceitação da prestação de contas.
Perceções sobre efeitos da Avaliação Externa das Escolas nos 'Resultados' e na 'Prestação do Serviço Educativo'. Um estudo em escolas do Alentejo.
Impõe-se à escola enquanto organização a capacidade de se transfigurar e revelar como organização aprendente, curricularmente inteligente e consequente do ponto de vista avaliativo. A falta de sistematicidade nos procedimentos avaliativos organizacionais das escolas portuguesas permite inferir a necessidade da criação de mecanismos de apoio às escolas, dentro do próprio sistema educativo (Eurydice, 2004; McNamara &
O’Hara,2008; OCDE, 2009, 2012; IGEC, 2012).
CONCLUSÕES
Perceções sobre efeitos da Avaliação Externa das Escolas nos 'Resultados' e na 'Prestação do Serviço Educativo'. Um estudo em escolas do Alentejo.
SUGESTÕES DE MELHORIA DOS PROCESSOS DE AVALIAÇÃO ORGANIZACIONAL
AA e AEE devem concorrer para as decisões de
micro, mezzo ou macro política
educativa.
AA como instrumento estratégico holístico para a melhoria
sustentada e articulada da qualidade da escola, do ensino e da
aprendizagem.
Complementaridade entre AA (cariz essencialmente formativo e regulador) e AEE (apoiado na AA para sustentar o feedback
necessário ao desenvolvimento organizacional).
AA como questão instrumental e técnica, capaz de suportar e
validar o debate interno, apontando linhas de ação e
sustentando as decisões.
Perceções sobre efeitos da Avaliação Externa das Escolas nos 'Resultados' e na 'Prestação do Serviço Educativo'. Um estudo em escolas do Alentejo.
Perceções sobre efeitos da Avaliação Externa das Escolas nos 'Resultados' e na 'Prestação do Serviço Educativo'. Um estudo em escolas do Alentejo.
BIBLIOGRAFIA Adam, J.-M. (2010). A análise textual dos discursos: entre gramáticas de texto e análise do discurso.
Conferência realizada durante a Jornada em homenagem a Patrick Charaudeau : “A análise do discurso
nas ciências da linguagem e da comunicação”, Lyon II, 4 de junho de 2010. Retirado de
http://www.revistaeutomia.com.br/volumes/Ano3-Volume2/especial-destaques/destaques-
linguistica/destaque_a_analise_textual_dos_discursos.pdf.
Afonso, N. (2002). Avaliação e desenvolvimento organizacional da escola. Revista Brasileira de Política e
Administração da Educação, 20 (1), 150-169.
Afonso, N. (2005). Investigação naturalista em educação. Porto: Edições Asa.
Alves, A. (1995). Argumentação e análise do discurso na perspectiva de O. Ducrot. Texto adaptado da
lição para provas de agregação na Universidade do Minho – lnstituto de Ciências Sociais. Retirado de
http://repositorium.sdum.uminho.pt/bitstream/1822/7390/1/AAlves_1995_Arg_Analise_Disc_Ducrot.pdf.
Alves, A. M. C. (2007). Autonomia e gestão das escolas. Centralização, descentralização,
desconcentração e autonomia. Dissertação de Mestrado. Universidade Portucalense, Porto.
Alves, M. P., & Machado, E. A. (2008). Para uma perspectiva dialógica da avaliação de escola. In M. P.
Alves, M. P. & E. A. Machado, (Org.), Avaliação com sentido(s). Contributos e questionamentos. Santo
Tirso: De Facto Editores, 97-108.
Anderson, J. A. (2005). Accountability in education. UNESCO, Paris: The International Academy of
Education (IAE).
Perceções sobre efeitos da Avaliação Externa das Escolas nos 'Resultados' e na 'Prestação do Serviço Educativo'. Um estudo em escolas do Alentejo.
BIBLIOGRAFIA
Antaki, C., Billig, M., Edwards, D., & Potter, J. (2003). Discourse analysis means doing analysis: a
critique of six analytic shortcomings, Discourse Analysis Online, 1 (1). Retirado de
http://www.shu.ac.uk/daol/previous/v1/n1/index.htm.
Bardin, L. (2007). Análise de conteúdo. (3ª edição). Lisboa: Edições 70, Lda.
Barroso, J. (2010). Avaliação, política, gestão e desenvolvimento organizacional: o caso da auto-
avaliação das escolas. II Seminário Internacional “Auto-avaliação de Escolas: Perspectivas
Metodológicas”, FPCE/UP, 23 de Janeiro de 2010. Retirado de
http://paginas.fe.up.pt/~gei05010/arqme/seminariointernacional02.php.
Boaduo, N. A-P (2011). Systematic analysis and interpretation of collected data for a research study: A
practical methodological framework for writing research report. Educational Research and Review. 6
(2), 140-146. Retirado de http://www.academicjournals.org/ERR.
Bogdan, R., & Biklen, S. (1994). Investigação qualitativa em educação. Porto: Porto Editora.
Bolívar, A. (1997). A escola como organização que aprende. In R. Canário (Org.), Formação e situações
de trabalho. Porto: Porto Editora, 79-100.
Burgess, R. G. (1985). Issues in educational research-qualitative methods. London: The Falmer Press,
152-174.
CNE (2011). Recomendação nº 1/2011. Recomendação sobre avaliação das escolas. Lisboa: CNE.
Perceções sobre efeitos da Avaliação Externa das Escolas nos 'Resultados' e na 'Prestação do Serviço Educativo'. Um estudo em escolas do Alentejo.
BIBLIOGRAFIA
Correia, S. M. T. (2011). Dispositivo de autoavaliação de escola: entre a lógica do controlo e a lógica da
regulação. Tese de Doutoramento, Universidade do Minho, Braga.
Della Porta, D., & Keating, M. (Edit). (2008). Approaches and methodologies in the social sciences – a
pluralist perspective. Cambridge: University Press.
Fernández Díaz, M. J. (1997). Evaluación de centros educativos. RELIEVE. 3 (1) [On-line]. Retirado de
http://www.uv.es/RELIEVE/v3n1/RELIEVEv3n1_0.htm.
Ferreira, E., & Espogeira, M. (2009). Avaliação da escola como um dispositivo de prática reflexiva dos
professores: a aprendizagem, a vontade, a emoção, e a partilha. X Congresso da Sociedade Portuguesa de
Ciências da Educação. Bragança.
Fialho, I. (2009a). A Avaliação Externa das escolas. Desafios e oportunidades de melhoria na qualidade do
ensino. Educação. Retirado de
http://webs.ie.uminho.pt/avaliacaoexternaescolas/Texto%20Isabel%20Fialho%20texto.pdf.
Fialho, I., Cid, M., Silvestre, M. J., & Gomes, S. (2010). Avaliação, escola e excelência. Indícios
organizacionais de uma relação. Comunicação apresentada no XI Congresso da AEPEC - Da exclusão à
excelência. Caminhos Organizacionais para a Qualidade da Educação. Universidade de Évora, Évora, 16 a
18/09/2010. Retirado de http://hdl.handle.net/10174/5091.
Perceções sobre efeitos da Avaliação Externa das Escolas nos 'Resultados' e na 'Prestação do Serviço Educativo'. Um estudo em escolas do Alentejo.
BIBLIOGRAFIA Figari, G. (2008). A avaliação de escola: questões, tendências e modelos. In J. M. Alves & E. A. Machado
(2008) (Org.), Avaliação com sentido(s). Contributos e questionamentos. Santo Tirso: De Facto Editores,
41-75.
Gomes, S., Silvestre, M. J., Fialho, I., & Cid, M. (2011). Modelos e práticas de (auto)avaliação em escolas
do Alentejo. Libro de Actas do XI Congreso Internacional Galego-Portugués de Psicopedagoxía. A
Coruña. Universidade da Coruña [CD-ROM] ISSN: 1138-1663.
Kintsch, W., & van Dijk, T. A. (1983). Strategies of discouse comprehension. San Diego, California,
Academic Press.
Leite, C. (2003). Para uma escola curricularmente inteligente. Porto: ASA Editores.
McNamara, G.. & O'Hara, J. (2008). The importance of the concept of self evaluation in the changing
landscape of education policy. Studies in Educational Evaluation, 34, 173-179.
Morgan, A. (2010). Discourse Analysis: An overview for the neophyte researcher. Journal of Health and
Social Care Improvement. Retirado de
http://www.wlv.ac.uk/pdf/Discourse%20analysis%20Dr%20A%20%20Morgan.pdf.
Nevo, D. (1997). Evaluación basada en el centro. Un diálogo para la mejora educativa. Bilbao:
Mensajero.
Perceções sobre efeitos da Avaliação Externa das Escolas nos 'Resultados' e na 'Prestação do Serviço Educativo'. Um estudo em escolas do Alentejo.
BIBLIOGRAFIA
Nikander, P. (2006). Constructionism and discourse analysis. In A. J. Holstein & J. F. Gubrium (Eds.),
Handbook of Constructionist Research. Guilford Publitions. Retirado de
http://www.helsinki.fi/sosiaalipsykologia/arkisto/nikander.pdf.
Pacheco, J. (2011). Currículo, aprendizagem e avaliação. Uma abordagem face à agenda globalizada.
Revista Lusófona de Educação, 17 (17), 75-90. Retirado de
http://revistas.ulusofona.pt/index.php/rleducacao/article/view/2366.
Rebordão, I. (2010). A avaliação das escolas no quadro actual das políticas públicas de educação.
Relatório do Projeto de Mestrado, Universidade de Lisboa - Instituto de Educação, Lisboa.
Saragoça, J., Fialho, I., Silva, C., & Fialho, J. (2012). Avaliação da qualidade das escolas alentejanas: o
desafio da auto-avaliação. In M. F. Patrício et al. (Orgs), Da exclusão à excelência: caminhos
organizacionais para a qualidade da educação. Lisboa: AEPEC (no prelo).
Silvestre, M. J., Gomes, S., Fialho, I. & Cid, M. (2011b). Interação escola, família e comunidade nas
práticas de Autoavaliação das escolas: sinais de mudanças educacionais. Comunicação apresentada no
XI Congresso SPCE – “Investigar, inovar e desenvolver: desafios das Ciências da Educação”, Guarda,
Portugal, 30 de junho a 2 de julho de 2011.
Perceções sobre efeitos da Avaliação Externa das Escolas nos 'Resultados' e na 'Prestação do Serviço Educativo'. Um estudo em escolas do Alentejo.
Obrigado!
Discussão...
Perceções sobre efeitos da Avaliação Externa das Escolas nos 'Resultados' e na
'Prestação do Serviço Educativo'. Um estudo em escolas do Alentejo.
Mª José Silvestre | Isabel Fialho | José Saragoça [Universidade de Évora]
Instituto de Educação – Univ. Lisboa
Lisboa, 8 novembro 2014
Perceções sobre efeitos da Avaliação Externa das Escolas nos 'Resultados' e na 'Prestação do Serviço Educativo'. Um estudo em escolas do Alentejo.
METODOLOGIA DA INVESTIGAÇÃO
[ENQUADRAMENTO DO ESTUDO]
[OBJETIVOS DA INVESTIGAÇÃO]
[CONCEÇÕES TEÓRICAS DA AVALIAÇÃO ORGANIZACIONAL]
Por favor, consultar a versão alargada/ completa desta apresentação.
Perceções sobre efeitos da Avaliação Externa das Escolas nos 'Resultados' e na 'Prestação do Serviço Educativo'. Um estudo em escolas do Alentejo.
METODOLOGIA DA INVESTIGAÇÃO
Paradigma interpretativista
Análise discursiva
Entrevistas a atores organizacionais
Análise documental
- Relatórios da AEE
- Legislação
- Páginas Web das UGE
Fundamentação teórica da temática
Abordagem mista, predominantemente
qualitativa
Perceções sobre efeitos da Avaliação Externa das Escolas nos 'Resultados' e na 'Prestação do Serviço Educativo'. Um estudo em escolas do Alentejo.
[Fases da investigação]
UNIDADES ESCOLARES E ATORES SELECIONADOS
TOTAL DE ESCOLAS/AGRUPAMENTOS DE ESCOLAS
10
Diretor 9
Presidente do Conselho Geral 8
Coordenador/ elemento da equipa de AI 9
Coordenador de departamento 1
Total de inquiridos 27
Perceções sobre efeitos da Avaliação Externa das Escolas nos 'Resultados' e na 'Prestação do Serviço Educativo'. Um estudo em escolas do Alentejo.
ANÁLISE DAS ENTREVISTAS
Relação entre a AEE e as linhas de rumo que as UGE tomam, na sequência da intervenção avaliativa. Equipa responsável pelas práticas avaliativas como uma das principais equipas do coletivo organizacional, capaz de gerar sinergias internas e externas.
UGE capazes de aderir a medidas de política educativa, com o objetivo de adequar as respostas educativas às necessidades de alunos, famílias e comunidades. Elevação do grau de participação e de comprometimento com a vida da escola, sobretudo nos aspetos pedagógicos, na sequência da ação avaliativa externa.
Perceções sobre efeitos da Avaliação Externa das Escolas nos 'Resultados' e na 'Prestação do Serviço Educativo'. Um estudo em escolas do Alentejo.
ANÁLISE DAS ENTREVISTAS
Divulgação dos dados da AEE direcionado essencialmente para os atores internos (nomeadamente os docentes), nem sempre chegando à comunidade educativa, restringindo-se à divulgação nos órgãos e estruturas intermédias. Assunção da avaliação organizacional interna enquanto atividade com função formativa reguladora.
Ausência generalizada da distinção entre os conceitos de ‘avaliação interna’ e de ‘autoavaliação’. Fraco grau de competência meta-avaliativa de alguns atores organizacionais.
Perceções sobre efeitos da Avaliação Externa das Escolas nos 'Resultados' e na 'Prestação do Serviço Educativo'. Um estudo em escolas do Alentejo.
ANÁLISE DOS RELATÓRIOS DA AVALIAÇÃO EXTERNA DAS ESCOLAS DE 2006/2007
“Sucesso académico”: existência de uma interligação (mais ou menos estreita, dependendo dos contextos organizacionais) entre a AEE e a AI/AA. “Participação e desenvolvimento cívico”: predomínio de bons desempenhos organizacionais (11), relativamente ao número de indicadores de desempenhos a melhorar (5). “Comportamento e disciplina”: escolas conseguiram encontrar respostas contextualizadas para as questões da regulação dos comportamentos e da observação de regras. “Valorização e impacto das aprendizagens”: diversificação e divulgação da oferta formativa e dinamização de projetos podem ser formas de levar os pais à escola.
Perceções sobre efeitos da Avaliação Externa das Escolas nos 'Resultados' e na 'Prestação do Serviço Educativo'. Um estudo em escolas do Alentejo.
ANÁLISE DOS RELATÓRIOS DA AVALIAÇÃO EXTERNA DAS ESCOLAS DE 2006/2007
“Articulação e sequencialidade”: existência de 4 traços comuns na atuação das UGE, indicadores de bons desempenhos organizacionais.
“Acompanhamento da prática letiva em sala de aula”: apenas 2 indicadores evidenciados em todas as UGE (indicador positivo: intervenção dos Serviços de Psicologia e Orientação; indicador negativo: inexistência de mecanismos internos de supervisão e acompanhamento da prática letiva).
“Diferenciação e apoios”: evidenciado em todas as UGE, através de formas contextualizadas, à medida da capacidade de resposta de cada escola.
“Abrangência do currículo e valorização dos saberes e da aprendizagem”: evidenciação de 14 indicadores de bons desempenhos, contra apenas 3 de desempenhos a melhorar.
Perceções sobre efeitos da Avaliação Externa das Escolas nos 'Resultados' e na 'Prestação do Serviço Educativo'. Um estudo em escolas do Alentejo.
RESULTADOS
«Quais foram as alterações que surgiram nas escolas, em consequência do processo de Avaliação Externa (AE), no que concerne aos “Resultados” e à “Prestação do Serviço Educativo”?»
Domínio “Resultados”
Aumento do conhecimento sobre a problemática da avaliação organizacional, na sua dupla vertente de avaliação interna/autoavaliação e avaliação externa. Elevação do grau de participação e de comprometimento com a vida da escola, sobretudo nos aspetos pedagógicos. Adoção de uma postura organizacional inteligente ou aprendente e desenvolvimento da “massa crítica”.
Perceções sobre efeitos da Avaliação Externa das Escolas nos 'Resultados' e na 'Prestação do Serviço Educativo'. Um estudo em escolas do Alentejo.
RESULTADOS
Autoproposta das escolas revela a aceitação coletiva da prestação de contas organizacional. Contudo, não está ainda enraizada a tradição de procedimentos de accountability nos atores docentes . Condicionantes da atual falta de sistematicidade nos procedimentos avaliativos organizacionais das escolas portuguesas: • lentidão da alteração das práticas e culturas de escola; • necessidade de aquisição de competências avaliativas, por parte dos diferentes atores organizacionais; • a ausência de atuação estratégica, em algumas das escolas. A procura de respostas para o imperativo legal da prestação de contas, levou à adoção de respostas divergentes, contextualizadas e condicionadas pelas competências e pelos desejos das lideranças de topo.
Perceções sobre efeitos da Avaliação Externa das Escolas nos 'Resultados' e na 'Prestação do Serviço Educativo'. Um estudo em escolas do Alentejo.
RESULTADOS
O impacto inicial negativo acabou por ter um efeito positivo (a médio e longo prazo), em função das melhorias organizacionais que provocaram:
• a AEE estimula ou induz a melhoria, tanto ao nível da AI/AA, como ao nível dos resultados e do serviço educativo, cumprindo assim a finalidade maior da sua existência: a promoção da melhoria das organizações escolares, por via da prestação de contas; • a AEE parece ter atingido, em todas as UGE estudadas, alguns dos objetivos que lhe estão subjacentes: para além da prestação de contas e do apoio à decisão, a formação dos agentes educativos.
Perceções sobre efeitos da Avaliação Externa das Escolas nos 'Resultados' e na 'Prestação do Serviço Educativo'. Um estudo em escolas do Alentejo.
RESULTADOS
«Quais foram as alterações que surgiram nas escolas, em consequência do processo de Avaliação Externa (AE), no que concerne aos “Resultados” e à “Prestação do Serviço Educativo”?»
A AEE constitui-se quase como uma alavanca que faz despoletar os olhares reflexivos das escolas, uma vez que as obriga à prestação de contas (Afonso, 2005; Costa, 2007; Gonçalves,
2009; Fialho, 2011).
Efeito da AEE nas escolas
Prestação do serviço educativo
Resultados
RESULTADOS
«Quais são os padrões de alteração registados nas unidades de organização alvo de estudo, potenciadores de eficiência, eficácia e qualidade organizacionais?»
Domínio «Resultados» – fator “Sucesso académico”
Importância que algumas medidas de política educativa tiveram na alteração das práticas docentes, muito por via da atualização de conhecimentos. Identificação de aspetos que contribuíram para a melhoria dos resultados académicos dos alunos.
Existência de ocorrências positivas, ao nível dos diferentes fatores constitutivos deste domínio, bem como a ocorrência de efeitos positivos da AEE.
Perceções sobre efeitos da Avaliação Externa das Escolas nos 'Resultados' e na 'Prestação do Serviço Educativo'. Um estudo em escolas do Alentejo.
RESULTADOS
«Quais são os padrões de alteração registados nas unidades de organização alvo de estudo, potenciadores de eficiência, eficácia e qualidade organizacionais?»
Domínio “Prestação do serviço educativo”
“Acompanhamento da prática letiva em sala de aula”: processa-se quase exclusivamente por via da avaliação do desempenho docente; “Diferenciação e apoios”: aquele que marca presença transversal nas escolas. “Abrangência do currículo e valorização dos saberes e da aprendizagem”: lideranças assumem papel de extrema importância.
Perceções sobre efeitos da Avaliação Externa das Escolas nos 'Resultados' e na 'Prestação do Serviço Educativo'. Um estudo em escolas do Alentejo.
RESULTADOS
Quais são as explicações para as divergências e/ou similitudes provocadas pelo impacto do processo da Avaliação Externa?
Domínio “Prestação do serviço educativo”
“Acompanhamento da prática letiva em sala de aula”: processa-se quase exclusivamente por via da avaliação do desempenho docente; “Diferenciação e apoios”: aquele que marca presença transversal nas escolas. “Abrangência do currículo e valorização dos saberes e da aprendizagem”: lideranças assumem papel de extrema importância.
Perceções sobre efeitos da Avaliação Externa das Escolas nos 'Resultados' e na 'Prestação do Serviço Educativo'. Um estudo em escolas do Alentejo.
RESULTADOS
Quais são as explicações para as divergências e/ou similitudes provocadas pelo impacto do processo da Avaliação Externa?
Existência de projetos; implicação ativa de todos os agentes educativos; existência de ações de melhoria; abertura da escola ao seu entorno, à comunidade envolvente e aos atores extraescola.
Forma como os órgãos assumiram a sua função intrínseca e (des)valorizaram o papel formativo da AEE; conceção de AEE que as lideranças de tipo perfilham . Distintas formas de
disseminação e internalização da informação oriunda da AEE e de operacionalização da legislação.
Papel dos líderes de topo: (des)valorização do saber acrescido dos colaboradores com mais formação académica, indução dessa formação ou procura ‘serviço-de-pronto-a- -servir’ ao nível da AI.
Perceções sobre efeitos da Avaliação Externa das Escolas nos 'Resultados' e na 'Prestação do Serviço Educativo'. Um estudo em escolas do Alentejo.
CONCLUSÕES
A autoavaliação/avaliação interna ainda não parece ser, nas escolas portuguesas, plenamente assumida como uma estratégia organizacional capaz de produzir os efeitos desejados (a melhoria e o desenvolvimento das escolas), consubstanciando-se no cumprimento legal: uma avaliação de conformidade, dado que as práticas não se encontram sistematizadas e consolidadas. A formação e o conhecimento pessoal dos atores influenciam o agir organizacional e a aceitação da prestação de contas.
Perceções sobre efeitos da Avaliação Externa das Escolas nos 'Resultados' e na 'Prestação do Serviço Educativo'. Um estudo em escolas do Alentejo.
CONCLUSÕES
Impõe-se à escola enquanto organização a capacidade de se transfigurar e revelar como organização aprendente, curricularmente inteligente e consequente do ponto de vista avaliativo. A falta de sistematicidade nos procedimentos avaliativos organizacionais das escolas portuguesas permite inferir a necessidade da criação de mecanismos de apoio às escolas, dentro do próprio sistema educativo (Eurydice, 2004; McNamara &
O’Hara,2008; OCDE, 2009, 2012; IGEC, 2012).
Perceções sobre efeitos da Avaliação Externa das Escolas nos 'Resultados' e na 'Prestação do Serviço Educativo'. Um estudo em escolas do Alentejo.
SUGESTÕES DE MELHORIA DOS PROCESSOS DE AVALIAÇÃO ORGANIZACIONAL
AA e AEE devem concorrer para as decisões de
micro, mezzo ou macro política
educativa.
AA como instrumento estratégico holístico para a melhoria
sustentada e articulada da qualidade da escola, do ensino e da
aprendizagem.
Complementaridade entre AA (cariz essencialmente formativo e regulador) e AEE (apoiado na AA para sustentar o feedback
necessário ao desenvolvimento organizacional).
AA como questão instrumental e técnica, capaz de suportar e
validar o debate interno, apontando linhas de ação e
sustentando as decisões.
Perceções sobre efeitos da Avaliação Externa das Escolas nos 'Resultados' e na 'Prestação do Serviço Educativo'. Um estudo em escolas do Alentejo.
[BIBLIOGRAFIA]
Perceções sobre efeitos da Avaliação Externa das Escolas nos 'Resultados' e na 'Prestação do Serviço Educativo'. Um estudo em escolas do Alentejo.
Obrigado!
Bom almoço...
[email protected] [email protected] [email protected]
Por favor, consultar a versão alargada/ completa desta apresentação.
Impactos e Processos da AAEENS: Evidências resultantes de estudos de
casos/agrupamentos de escolas
José Augusto Pacheco, José Carlos Morgado, Filipa Seabra, Natália Costa, Helena Queirós, Eduarda Rodrigues, Joana Sousa e Conceição Lamela
Universidade do Minho
• Metodologia de investigação
• Caracterização do agrupamento
• Resultados da Avaliação Externa no agrupamento
• Análise dos inquéritos por entrevista (categorias)
• Mudanças organizacionais
• Mudanças curriculares e pedagógicas
• Resultados académicos e sociais
• Efeitos observáveis da Avaliação Externa
Sumário
Este trabalho é financiado por Fundos FEDER através do Programa Operacional Fatores de Competitividade – COMPETE e por Fundos Nacionais através da FCT – Fundação para a Ciência e a Tecnologia no âmbito do projeto PTDC/CPE-CED/116674/2010.
Metodologia de Investigação
• Análise de Conteúdo Relatórios e contraditórios de AEE
• Inquérito por entrevista semiestruturada Diretor (D)
Coordenador de equipa de auto-avaliação (CEAAV)
Coordenadores de estruturas de gestão intermédia (CEGI)
• Inquérito por questionário Professores
Este trabalho é financiado por Fundos FEDER através do Programa Operacional Fatores de Competitividade – COMPETE e por Fundos Nacionais através da FCT – Fundação para a Ciência e a Tecnologia no âmbito do projeto PTDC/CPE-CED/116674/2010.
Caracterização do Agrupamento 2014/2015
Localização Viana do Castelo
Oferta Educativa Pré-escolar (4 jardins de infância) Ensino básico regular (4 escolas do 1º ciclo; 1 escola básica de 2º e 3º ciclos)
Dimensão do agrupamento
Dimensionado para 16 turmas (2º e 3 ciclos). Atualmente tem 21 turmas (750 alunos).
Recursos Humanos 71 Docentes 47 Assistentes Técnicos e Operacionais
Este trabalho é financiado por Fundos FEDER através do Programa Operacional Fatores de Competitividade – COMPETE e por Fundos Nacionais através da FCT – Fundação para a Ciência e a Tecnologia no âmbito do projeto PTDC/CPE-CED/116674/2010.
Resultados da Avaliação Externa de Escolas do Agrupamento
1º Ciclo de Avaliação Externa de Escolas (2007/2008)
2º Ciclo de Avaliação Externa de Escolas (2011/2012)
Dimensões
Resultados
Suficiente
Resultados
Bom Prestação do Serviço Educativo
Prestação do Serviço Educativo
Organização e gestão escolar
Liderança e gestão
Muito bom
Capacidade de auto-regulação
Melhoria do Agrupamento
Liderança e gestão Bom
Contraditório (Solicitação de correção de dados de facto e
de discordância de dados de opinião)
Contraditório (Discordância na classificação do domínio dos
resultados)
Este trabalho é financiado por Fundos FEDER através do Programa Operacional Fatores de Competitividade – COMPETE e por Fundos Nacionais através da FCT – Fundação para a Ciência e a Tecnologia no âmbito do projeto PTDC/CPE-CED/116674/2010.
Resultados da Avaliação Externa de Escolas do Agrupamento
1º ciclo de avaliação 2º ciclo de avaliação
Pontos
fortes
- As medidas de prevenção do abandono escolar.
- A aposta nas tecnologias de informação e comunicação.
- O empenho e a motivação do corpo docente.
- O clima de tranquilidade e disciplina.
- O envolvimento de algumas Associações de Pais/EE na vida das
unidades do 1.º Ciclo e Educação Pré-escolar.
- A diminuição contínua da taxa de abandono escolar, no último
triénio.
- O reconhecimento da comunidade educativa pelo trabalho
desenvolvido pelo Agrupamento.
- A valorização das metodologias ativas e experimentais no processo
de desenvolvimento do currículo.
- As práticas consolidadas de recolha e análise de dados quantitativos
e qualitativos relativos aos resultados escolares, bem como a outros
indicadores da vida no Agrupamento.
- O desenvolvimento de projetos e o acesso a recursos da
comunidade local com vista à promoção da igualdade de
oportunidades educativas aos alunos.
- A liderança de topo ativa, aberta e mobilizadora das lideranças
intermédias, as quais estimulam a participação dos encarregados de
educação, das autarquias e de outras instituições locais.
- A valorização das pessoas e das suas competências profissionais nos
processos de gestão de recursos humanos.
Pontos
fracos
ou
Áreas de
melhoria
- A persistência do insucesso escolar no final do 3.º ciclo e a
evolução negativa dos resultados alcançados em Língua
Portuguesa e Matemática nas provas de aferição dos 4.º e 6.º
anos e nos exames nacionais do 9.º ano.
- A desatualização dos documentos de planeamento.
- A escassa articulação vertical dos currículos e das diversas
unidades educativas.
- Ausência de acompanhamento e supervisão da prática letiva
em sala de aula.
- Inexistência de uma cultura de autoavaliação do agrupamento.
- Os resultados da avaliação externa, particularmente os das provas
de aferição do 4.º ano.
- A monitorização do percurso dos alunos em termos de
prosseguimento de estudos e empregabilidade tendo em vista avaliar
o impacto da ação educativa do Agrupamento.
- O reforço, diversificação e adequação das práticas de ensino em
ordem a melhorar os resultados académicos dos alunos.
- A regulação dos processos de trabalho, em contexto de sala de aula,
com vista à melhoria das aprendizagens dos alunos.
- O envolvimento da comunidade educativa na autoavaliação do
Agrupamento.
Fonte: IGEC, Relatórios de Avaliação do Agrupamento, 2008 e 2012
Este trabalho é financiado por Fundos FEDER através do Programa Operacional Fatores de Competitividade – COMPETE e por Fundos Nacionais através da FCT – Fundação para a Ciência e a Tecnologia no âmbito do projeto PTDC/CPE-CED/116674/2010.
Análise dos inquéritos por entrevista
Categorias Subcategorias
Mudanças organizacionais Autoavaliação institucional Lideranças de gestão e administração Parcerias escola/comunidade
Mudanças pedagógicas
Trabalho cooperativo docente Articulação e sequencialidade curricular Acompanhamento e supervisão da prática letiva Avaliação das aprendizagens
Resultados académicos e sociais
Resultados escolares internos Resultados escolares externos Qualidade do sucesso Resultados sociais/participação na comunidade
Efeitos observáveis
Discursivo Procedimental Parcial Exógeno/Endógeno Negativo/positivo
Este trabalho é financiado por Fundos FEDER através do Programa Operacional Fatores de Competitividade – COMPETE e por Fundos Nacionais através da FCT – Fundação para a Ciência e a Tecnologia no âmbito do projeto PTDC/CPE-CED/116674/2010.
Mudanças Organizacionais
Autoavaliação institucional
“é feita em conformidade com os princípios da avaliação
externa” (D)
“o salto provocado na avaliação externa foi de fazermos aquilo a que
chamamos uma avaliação interna à
prova da Inspeção”(D)
“houve vários fatores que proporcionaram a
equipa de autoavaliação na altura.
Nós passamos a agrupar-nos.” (CEGI)
Antes da aplicação do modelo a escola já tinha
práticas internas de monitorização de
resultados escolares e relatórios avulsos de
funcionamento das várias estruturas.
Este trabalho é financiado por Fundos FEDER através do Programa Operacional Fatores de Competitividade – COMPETE e por Fundos Nacionais através da FCT – Fundação para a Ciência e a Tecnologia no âmbito do projeto PTDC/CPE-CED/116674/2010.
Mudanças Organizacionais
Lideranças de gestão e
administração
“nós assumimos desde o início que não alterávamos
nada.”(CEGI)
“ele sabe mover as pessoas e é essa energia
que ele transmite ao corpo docente que nos faz querer ser cada vez mais e melhor. E daí a
avaliação externa não ter influenciado a nossa
prática”(CEGI)
A formalização da equipa de autoavaliação configura uma
mudança organizacional. A criação de dois novos cargos depois da primeira avaliação identificar a sua inexistência
como ponto fraco (coordenador da articulação e
do apoio ao estudo e coordenador de projetos e do
plano anual de atividades).
Este trabalho é financiado por Fundos FEDER através do Programa Operacional Fatores de Competitividade – COMPETE e por Fundos Nacionais através da FCT – Fundação para a Ciência e a Tecnologia no âmbito do projeto PTDC/CPE-CED/116674/2010.
Mudanças Organizacionais
Parcerias escola/
comunidade
“fez com que o meio evoluísse (…) e que a
comunidade reconhecesse o nosso
trabalho. Foi muito mais ao nível exta-
agrupamento” (CEGI).
Interação forte “com juntas de freguesia e
associações culturais” (CEGI)
“dar resposta às necessidades com o
apoio de todos” (CEGI)
É considerada, pelo Diretor, como um ponto forte da organização
escolar, existindo a preocupação de estabelecer parcerias locais,
contribuindo para a construção da imagem e identidade social da
escola na comunidade. Com efeito, a AEE não tem um
efeito direto na relação da escola com a comunidade porque a escola
considera que essa é a sua mais-valia, sendo uma área de
intervenção privilegiada e anterior a qualquer AEE.
Este trabalho é financiado por Fundos FEDER através do Programa Operacional Fatores de Competitividade – COMPETE e por Fundos Nacionais através da FCT – Fundação para a Ciência e a Tecnologia no âmbito do projeto PTDC/CPE-CED/116674/2010.
Mudanças Curriculares e Pedagógicas
Os coordenadores consideram que a AEE
identifica pontos fracos que de imediato podem ser
transformados em pontos fortes se a escola adotar formas de registo dessas
práticas, como é o caso da articulação curricular, da
planificação e dos critérios de avaliação.
“as atividades desenvolvidas não são feitas pensando que é uma recomendação da avaliação externa” (D)
Articulação e sequencialidade
curricular
“para criar dossiês, criar registos, criar
documentação que de facto permita fazer esse
registo para memória futura (…) o que foi feito
foi criar alguma forma que esses documentos registem o que se faz,
demonstrem evidências” (D)
Este trabalho é financiado por Fundos FEDER através do Programa Operacional Fatores de Competitividade – COMPETE e por Fundos Nacionais através da FCT – Fundação para a Ciência e a Tecnologia no âmbito do projeto PTDC/CPE-CED/116674/2010.
Mudanças Curriculares e Pedagógicas
Trabalho cooperativo
docente
“aqui quase tudo é trabalho
colaborativo. É tudo partilhado”
(CEGI)
“a partir do momento que se exige que haja mais articulação que
os professores colaborem mais entre
si e partilhem materiais, isso cá faz-se muito e reflete-se
na sala de aula”. (CEGI)
O Diretor refere que as mudanças introduzidas
na escola não são sequência da AEE,
embora refira que as mudanças nascem da
necessidade de a escola responder às
exigências do modelo.
“em termos de alteração das práticas
não vejo tanto decorrente da
avaliação externa ou de alguma
recomendação” (D)
Este trabalho é financiado por Fundos FEDER através do Programa Operacional Fatores de Competitividade – COMPETE e por Fundos Nacionais através da FCT – Fundação para a Ciência e a Tecnologia no âmbito do projeto PTDC/CPE-CED/116674/2010.
Mudanças Curriculares e Pedagógicas
É referido que as práticas se mantêm,
só que agora são formuladas evidências
documentais.
“a avaliação externa é mesmo isso, temos de
produzir em função daquilo que nos é
pedido” (CEGI)
Acompanhamento e supervisão da
prática letiva
“para criar dossiês, criar registos, criar
documentação que de facto permita fazer esse
registo para memória futura (…) o que foi feito
foi criar alguma forma que esses documentos registem o que se faz,
demonstrem evidências” (D)
“acho que há aqui alguma
artificialidade” (D)
“só se for o tal formalismo que nos poderia faltar… (…)é prática comum de há muitos anos abrir as
portas das salas…” (CEGI)
Este trabalho é financiado por Fundos FEDER através do Programa Operacional Fatores de Competitividade – COMPETE e por Fundos Nacionais através da FCT – Fundação para a Ciência e a Tecnologia no âmbito do projeto PTDC/CPE-CED/116674/2010.
Mudanças Curriculares e Pedagógicas
É reconhecido que houve uma alteração
nos critérios de avaliação para
adequar o trabalho da escola ao modelo.
“nas atitudes já só damos 10% da nota,
90% é para os conhecimentos e capacidades. Ora,
penso que isto não é positivo” (CEAAV)
Avaliação das aprendizagens
“sabemos que vamos tirar vantagens se
formos de encontro ao sucesso escolar
porque nós também queremos ter sucesso
educativo” (CEGI)
“se o objetivo é que todos trabalhemos para os
resultados então eles estão a trabalhar bem, mas eu penso que a função da escola não é só os resultados escolares, há
mais dimensões a ter em conta” (CEGI)
“para atingirmos os resultados e para
sermos mais e melhor (…) o nosso valor é
medido por aí” (CEGI)
Este trabalho é financiado por Fundos FEDER através do Programa Operacional Fatores de Competitividade – COMPETE e por Fundos Nacionais através da FCT – Fundação para a Ciência e a Tecnologia no âmbito do projeto PTDC/CPE-CED/116674/2010.
Resultados Académicos e Sociais
Resultados escolares internos
É reconhecido por todos os
entrevistados que a avaliação das
aprendizagens influencia a
avaliação da escola.
“a importância que se está a dar ao
sucesso escolar e educativo. A escola está-se a afunilar”
(CEGI)
“o Ministério também transmite muito essa
ideia, nós estamos aqui para trabalhar para os resultados escolares” (CEAAV)
“Há toda uma harmonização do
trabalho que se faz internamente com a
avaliação externa porque é o que é
visível.” (D)
“única maneira de os resultados internos
não serem tão díspares dos
resultados externos” e, “mais ainda, isso
pode até trazer créditos para as
escolas, o que é mais interessante.” (D).
“as escolas têm que sobreviver e sobrevivem e é
assim que fazem e ponto final.” (D)
Este trabalho é financiado por Fundos FEDER através do Programa Operacional Fatores de Competitividade – COMPETE e por Fundos Nacionais através da FCT – Fundação para a Ciência e a Tecnologia no âmbito do projeto PTDC/CPE-CED/116674/2010.
Resultados Académicos e Sociais
Resultados escolares externos
Existe a preocupação em adaptar as
práticas da escola ao contexto nacional,
tornando os procedimentos de
avaliação de alunos uniformes.
“Estamos a adotar os mesmos procedimentos
para todas as disciplinas” (CEGI)
“condiciona por completo toda a avaliação dos outros aspetos. Isso é algo que, de facto, é preocupante (…) Os
próprios critérios de classificação dos testes já são
iguais aos exames(D)
“o resultado da avaliação externa está condicionado pela avaliação dos
alunos” (CEGI)
Este trabalho é financiado por Fundos FEDER através do Programa Operacional Fatores de Competitividade – COMPETE e por Fundos Nacionais através da FCT – Fundação para a Ciência e a Tecnologia no âmbito do projeto PTDC/CPE-CED/116674/2010.
Resultados Académicos e Sociais
Qualidade do Sucesso Os Coordenadores de
de estruturas de gestão intermédia
compreendem que é pertinente fomentar
uma cultura de automelhoramento nos
seus pares tendo em vista o sucesso
educativo.
“Eu não consigo conceber em trabalhar sem
perspetivar a minha melhoria pessoal e eu não
estou a pensar na avaliação externa” (CEGI)
“tento juntamente com eles implementar algumas medidas que esperemos que promovam sucesso
educativo. (…) a ideia é que haja uma melhoria” (CEGI).
“primeiro está a qualidade
pedagógica” (CEGI)
“as escolas começam a trabalhar para a
avaliação externa e não para os alunos e isto é
um bocado perverso (… ) eu penso que a função da escola não é só os
resultados escolares… há mais dimensões a ter em
conta” (CEAAV)
Este trabalho é financiado por Fundos FEDER através do Programa Operacional Fatores de Competitividade – COMPETE e por Fundos Nacionais através da FCT – Fundação para a Ciência e a Tecnologia no âmbito do projeto PTDC/CPE-CED/116674/2010.
Resultados Académicos e Sociais
Resultados sociais/
participação na
comunidade
A participação na comunidade é um dos valores da escola
mais referidos, justificando-se com o facto da comunidade
ter uma boa imagem social da escola, uma vez que o
Agrupamento se considera atento às necessidades do
contexto envolvente.
“os miúdos desde cedo que vão tendo
essa noção de identidade” (CEGI).
“não fazemos seleção de alunos. Aceitamo-los a todos.” (CEGI) “interação forte com
juntas de freguesia e associações culturais”
(CEGI)
Este trabalho é financiado por Fundos FEDER através do Programa Operacional Fatores de Competitividade – COMPETE e por Fundos Nacionais através da FCT – Fundação para a Ciência e a Tecnologia no âmbito do projeto PTDC/CPE-CED/116674/2010.
Efeitos Observáveis da Avaliação Externa de Escolas
Efeito Discursivo
“a forma como registávamos (…) o tipo de linguagem
que nós utilizávamos era diferente daquilo que eles queriam.
Foi uma adequação à linguagem e à
forma de registo.” (CEGI)
A apropriação da linguagem da AEE,
sobretudo ao nível do referencial utilizado, verifica-se, inclusive,
na elaboração do contraditório.
Este trabalho é financiado por Fundos FEDER através do Programa Operacional Fatores de Competitividade – COMPETE e por Fundos Nacionais através da FCT – Fundação para a Ciência e a Tecnologia no âmbito do projeto PTDC/CPE-CED/116674/2010.
Efeitos Observáveis da Avaliação Externa de Escolas
Efeito Procedimental
“fizemos as melhorias de
encontro àquilo que queriam de
nós. Agora temos algo objetivo para apresentar” (CEGI)
Neste Agrupamento a AEE teve um efeito procedimental que
passou pela formalização de procedimentos.
“o modelo de autoavaliação está
construído de maneira a responder
ao modelo da avaliação externa”
(CEAAV)
“um referencial de avaliação interno, foi uniformizado a todos
os níveis (…) foi construído, no fundo,
um referencial modelo que nos preparou
melhor para responder àquilo que avaliação externa nos
pedia” (D)
Este trabalho é financiado por Fundos FEDER através do Programa Operacional Fatores de Competitividade – COMPETE e por Fundos Nacionais através da FCT – Fundação para a Ciência e a Tecnologia no âmbito do projeto PTDC/CPE-CED/116674/2010.
Efeitos Observáveis da Avaliação Externa de Escolas
Efeito Parcial
“arranjamos caminhos de
aligeirar rapidamente.”
(CEGI).
O lado mais visível dos efeitos
imediatos é do impacto da
avaliação externa nos resultados
escolares.
Eu acho que de facto os rankings,
mesmo nas condições em que
são feitos, têm mais impacto que
a avaliação externa” (D),
Nós estamos aqui para
trabalhar para os resultados escolares!”
(CEAAV).
Este trabalho é financiado por Fundos FEDER através do Programa Operacional Fatores de Competitividade – COMPETE e por Fundos Nacionais através da FCT – Fundação para a Ciência e a Tecnologia no âmbito do projeto PTDC/CPE-CED/116674/2010.
Efeitos Observáveis da Avaliação Externa de Escolas
Efeito exógeno
“O salto que se provocou na avaliação externa foi de
fazermos aquilo a que nós chamámos de uma
avaliação interna à prova de Inspeção” (D)
Tendência do Agrupamento para a
estandardização e uniformização de
práticas, com vista a responder com
sucesso às exigências da avaliação externa.
“Eu acho que foi mais tornar evidente, através das tais evidências, de
coisas que já estavam cá, já existiam e já se faziam, mas
que (…) se calhar, não estavam documentadas da
forma que se esperava. Porque é mais
procedimento de registo de que outra coisa.” (CEGI)
Este trabalho é financiado por Fundos FEDER através do Programa Operacional Fatores de Competitividade – COMPETE e por Fundos Nacionais através da FCT – Fundação para a Ciência e a Tecnologia no âmbito do projeto PTDC/CPE-CED/116674/2010.
Efeitos Observáveis da Avaliação Externa de Escolas
Efeito positivo/ negativo
Os atores escolares têm uma imagem concreta do impacto das mudanças, admitindo que provoca
alterações no planeamento das práticas, especialmente
organizacionais e curriculares, mas não nas
práticas pedagógicas e inclusive no modo de
pensar.
“E acho que sinceramente, tendo em conta esta escola, acho que a avaliação
externa pouco ou nada iria imputar nas nossas formas de pensar (…) E daí a avaliação externa não ter influenciado a nossa prática!” (CEGI).
“o efeito que se pretendia era o da
melhoria da escola, nós continuamos a fazer o que estávamos a fazer.
Apenas tentamos construir a tal avaliação
à prova de inspeção”. (D)
“em termos de alteração das
práticas, não vejo tanto decorrente
da avaliação externa ou de
alguma recomendação”(D)
Este trabalho é financiado por Fundos FEDER através do Programa Operacional Fatores de Competitividade – COMPETE e por Fundos Nacionais através da FCT – Fundação para a Ciência e a Tecnologia no âmbito do projeto PTDC/CPE-CED/116674/2010.
Impactos e Processos da AAEENS: Evidências
resultantes de estudos de casos/agrupamentos de escolas
José Augusto Pacheco, José Carlos Morgado, Filipa Seabra, Natália Costa, Helena Queirós,
Eduarda Rodrigues, Joana Sousa e Conceição Lamela
Universidade do Minho
Agradecemos a atenção dispensada!
PROCESSOS E IMPACTOS DA AEEENS:
RESULTADOS DO INQUÉRITO NACIONAL
DO PROJETO AEEENS AOS DIRETORES
DE AGRUPAMENTOS DE ESCOLAS
João M. Moreira e Pedro Rodrigues
Universidade de Lisboa
Seminário "Avaliação Externa de Escolas: Processos e Impactos"
Universidade de Lisboa
8 de novembro de 2014
Projeto PTDC/CPE-CED/116674/2010: Impacto e Efeitos da
Avaliação Externa de Escolas do Ensino Não Superior (AEEENS)
Introdução
O projeto AEENS tem como um dos seus pilares a diversidade e complementaridade metodológica
Combina análises qualitativas e quantitativas
Das primeiras, destacam-se as análises dos relatórios, dos contraditórios, entrevistas, estudos de caso, etc.
O presente estudo recorre a uma metodologia quantitativa, através de um questionário estruturado, para obter uma panorâmica das perceções que os atores a nível das escolas/agrupamentos têm da avaliação externa, dos seus impactos e efeitos
Os diretores de escolas/agrupamentos foram tomados como informadores privilegiados, pois melhor do que ninguém interpretam a posição e a experiência da escola neste processo
Método
Questionário de autopreenchimento, maioritariamente de resposta fechada, com campos de resposta aberta em todos os blocos
Respondido online, através de convite enviado por email
População: todos os diretores de agrupamento e de escolas não agrupadas do continente (N = 811)
Primeiro email enviado em 26 de maio de 2014
Até este momento:
367 questionários iniciados
233 questionários concluídos (28.7%)
Estrutura do questionário
Página inicial Apresentação / Instruções
Bloco I Caracterização da Escola / Agrupamento
Bloco II Domínios e Facetas dos Efeitos da Avaliação Externa
Escala de -3 Extremamente negativo a +3 Extremamente positivo
Bloco III Loci (impacto sobre os diferentes elementos da escola)
Escala de 0 Nenhum a 4 Muito grande
Bloco IV Fatores potenciadores e inibidores do impacto da avaliação externa
Escala de -2 Muito inibidor a +2 Muito potenciador
Bloco V Avaliação global do processo de avaliação externa
Escala de -3 Extremamente negativo a +3 Extremamente positivo
Bloco VI Eficiência do processo de avaliação externa
Escala de 0 Um aproveitamento nada eficiente dos recursos a 4 Um aproveitamento extremamente
eficiente dos recursos
Caracterização dos participantes
Zona N %
Norte 90 39 %
Centro 36 16 %
Lisboa e Vale do Tejo 72 31 %
Alentejo 23 10 %
Algarve 12 5 %
Avaliadas N %
1º Ciclo (2006/2011) 160 69 %
2º Ciclo (2011/2014) 122 52 %
Ambos 106 45 %
Resultados - Efeitos
Bloco II – Domínios e Facetas dos Efeitos da Avaliação
Externa
Escala de
-3 Extremamente negativo a
+3 Extremamente positivo
Média DP
Geral + 1.11 0.82
Resultados + 0.96 0.82
Prestação do Serviço Educativo + 1.10 0.85
Liderança e Gestão + 1.28 0.87
Média DP
Qualidade dos processos de autoavaliação da escola/agrupamento + 1.55 1.05
Valorização dos processos de autoavaliação + 1.55 1.07
Adoção de medidas de melhoria em articulação com a autoavaliação + 1.53 1.03
Taxas de abandono e desistência + 0.75 1.23
Solidariedade e relacionamento entre os alunos + 0.67 0.98
Comportamento e disciplina dos alunos + 0.65 0.98
Resultados - Loci
Bloco III - Loci (impacto sobre os diferentes elementos da escola) Escala de 0 Nenhum a 4 Muito grande
Locus Média DP
Documentos orientadores da atividade da escola/agrupamento 2.38 1.09
Formas de atuação da Direção 2.36 1.10
Formas de atuação dos órgão de gestão intermédia 2.31 1.05
Regulamentos internos 2.09 1.14
Formas de atuação dos professores 2.09 1.05
Formas de atuação dos funcionários administrativos 1.82 1.10
Formas de atuação dos auxiliares de ação educativa 1.78 1.05
Formas de atuação de entidades externas relevantes 1.60 1.12
Formas de atuação dos alunos 1.59 1.12
Formas de atuação dos pais 1.54 1.09
Materiais e recursos educativos disponíveis 1.36 1.24
Instalações físicas 1.24 1.24
Resultados – Fatores potenciadores
Bloco IV - Fatores potenciadores e inibidores do impacto da avaliação externa
Escala de -2 Muito inibidor a +2 Muito potenciador
Fator Média DP
Consequências da avaliação externa no processo de autoavaliação/equipa de autoavaliação +1.09 0.88
Difusão na escola/agrupamento dos resultados da avaliação externa +1.01 0.84
Apropriação e uso pela escola dos referenciais da avaliação externa (da IGEC) na sua avaliação e
monitorização interna +0.98 0.89
Publicitação do relatório de avaliação externa +0.98 0.853
Grau de articulação entre os processos de avaliação interna e externa +0.86 0.88
Qualidade da colaboração estabelecida com a equipa de avaliação externa +0.83 0.95
Credibilidade da equipa de avaliação externa junto dos atores da escola/agrupamento +0.82 0.98
Grau de clareza e informação do relatório de avaliação externa +0.79 0.96
Nível de participação/envolvimento dos diferentes atores da escola no processo de avaliação +0.77 0.89
Grau de focalização da avaliação em indicadores objetivos +0.77 0.84
Grau de compreensão e consideração pela equipa de avaliação externa das particularidades da
escola/agrupamento, do seu contexto e da sua evolução +0.57 1.07
Duração da presença da equipa de avaliação externa +0.37 0.88
Consequências da avaliação externa na avaliação dos diretores +0.35 0.91
Consequências da avaliação externa nas cotas de classificação do desempenho docente +0.34 0.95
Resultados – Avaliação global
Bloco V - Avaliação global do processo de avaliação externa Escala de -3 Extremamente negativo a +3 Extremamente positivo
Média DP
Ao nível do processo de autoavaliação da escola +1.73 1.14
Ao nível organizacional +1.45 1.09
Ao nível curricular e pedagógico +1.14 1.09
Ao nível da participação da comunidade na vida da escola +1.07 1.06
Ao nível dos resultados dos alunos +0.83 1.01
Resultados - Eficiência
Bloco VI - Eficiência do processo de avaliação externa Escala de 0 Um aproveitamento nada eficiente dos recursos a 4 Um aproveitamento
extremamente eficiente dos recursos
N %
Um aproveitamento nada eficiente dos recursos 11 5 %
Um aproveitamento pouco eficiente dos recursos 28 12 %
Um aproveitamento moderadamente eficiente dos recursos 68 29 %
Um bom aproveitamento dos recursos 111 48 %
Um aproveitamento extremamente eficiente dos recursos 15 6 %
Diferenças entre clusters
Utilizando a classificação em clusters da DGEEC,
não se encontraram diferenças significativas
Realizámos uma análise com base nos nossos dados
Cluster 1 – Agrupamentos de maior dimensão e com
corpo docente mais estável (N = 145)
Cluster 2 – Agrupamentos de menor dimensão e com
corpo docente menos estável (N = 58)
Cluster 3 - Agrupamentos com mais alunos abrangidos
pela ASE, com NEE ou de origem estrangeira (N = 29)
> Básico (H) > Secundário (U) > Não regulares (P)
1 49 2 53
2 6 15 27
3 3 7 13
Diferenças entre clusters
Com os nossos clusters, apenas um efeito se aproxima da
significância
Efeito geral (p = 0.08)
Cluster Média
1 > Dimensão, estabilidade 1.09
2 < Dimensão, estabilidade 1.00
3 > ASE, NEE 1.41
Analisando por domínios, verifica-se que este efeito é
sobretudo devido ao domínio “Prestação do Serviço
Educativo”(p = 0.08) Cluster Média
1 > Dimensão, estabilidade 1.07
2 < Dimensão, estabilidade 1.01
3 > ASE, NEE 1.43
Diferenças entre regiões
Efeito significativo (p = .01) para o Impacto (Loci)
Média
Norte 2.08
Centro 1.47
Lisboa e vale do Tejo 1.76
Alentejo 1.94
Algarve 1.50
Noutros blocos (Efeitos, Avaliação global) encontra-se o mesmo
padrão de resultados, embora não significativo: Norte, Lisboa e
Alentejo mais positivos, Centro e Algarve mais negativos
Resultados
Correlações entre resultados e avaliação do processo 1º Ciclo
(N=154)
2º Ciclo
(N=120)
Diferença
(N=102)
Efeito Geral .06 .22* .17
Efeito Resultados .06 .21* .17
Efeito Prestação do Serviço Educativo .05 .18 .13
Efeito Liderança e Gestão .05 .25* .19
Impacto (Loci) -.02 .23* .30*
Ao nível organizacional .10 .17 .09
Ao nível curricular e pedagógico .08 .20* .17
Ao nível da participação da comunidade na vida da escola .06 .35** .26*
Ao nível do processo de autoavaliação da escola .07 .36** .30*
Ao nível dos resultados dos alunos .14 .20* .08
Eficiência do processo .13 .32** .23*
Conclusões
O impacto e efeitos da avaliação externa são, de forma global, vistos como moderadamente
positivos.
Os impactos e efeitos mais fortes são notados nos aspetos mais próximos do processo de avaliação
externa: avaliação interna, documentos orientadores, atuação da liderança.
Os aspetos organizacionais estão num nível intermédio.
Em aspetos mais distais (resultados dos alunos, atuação de alunos e famílias), os impactos e efeitos
são vistos como menores.
Os principais fatores potenciadores do impacto e efeitos da avaliação externa têm a ver com o
grau em que esse processo impregnou a escola, sendo difundido e incorporado.
A perceção dos efeitos da avaliação está relacionada com os seus resultados:
Os resultados no 1º Ciclo de avaliação não estão relacionados com as perceções dos seus efeitos e impacto.
Resultados mais elevados no 2ª Ciclo de avaliação estão relacionados com perceções mais favoráveis dos
seus efeitos, sobretudo nos aspetos da autoavaliação e ligação com a comunidade.
A avaliação parece, em larga medida, exercer os seus efeitos positivos através da apropriação dos seus
pressupostos pelas Escolas, sobretudo no âmbito da autoavaliação
Estes resultados refletem sem dúvida aquilo que é o processo da AEEENS, tal como é aplicado neste
momento
Dados mais completos ajudar-nos-ão a iluminar estas questões, quer com um maior número de
respostas ao questionário, quer através dos estudos de caso.