O Modelo de Auto‐Avaliação das Bibliotecas Escolares: metodologias de operacionalização (Parte I) 

 O texto desta Sessão pretende constituir‐se como uma espécie de guia para a auto‐avaliação da biblioteca escolar no âmbito do novo Modelo de Auto‐Avaliação das Bibliotecas Escolares, lançado pelo Gabinete RBE em 2008.  A sessão tem um carácter eminentemente prático, fazendo especial apelo ao conhecimento e experiência dos professores‐bibliotecários já envolvidos ou a envolver na aplicação do modelo.  São objectivos da sessão:  • Compreender  como  é  que  a  auto‐avaliação  pode  ser  concretizada  para  demonstrar  a 

contribuição da BE para o ensino e aprendizagem e a missão e objectivos da escola.  

• Ganhar  familiaridade com o processo de auto‐avaliação adoptado pelo Modelo de Auto‐avaliação RBE e capacitar para a sua aplicação. 

 • Conhecer as técnicas e instrumentos propostos, o modo como se organizam e podem ser 

usados  

A  principal  fonte  de  informação  a  utilizar  será  o  próprio modelo,  relativamente  ao  qual  se solicita uma leitura e análise aprofundada.  

There  are  many  tools  and  methods  to  use  to  evaluate  school  library  media  centers.  It’s important  to  identify  the  issue you want  to address,  identify  the data you need  to  collect, match  the  correct  evaluative method  to gather  that data, analyze  it, and  report  it  to  the appropriate  people.  By  following  these  steps,  you’ll  realize  many  benefits  and  potential improvements to your program. 

Everhart, Nancy. Evaluation of School Library Media Centers: demonstrating quality, Library Media Connection, March, 2003 

 

O Quê? 

É cada vez mais importante que as bibliotecas escolares demonstrem o seu contributo para a aprendizagem e o sucesso educativo das crianças e jovens que servem. 

Referindo‐nos à avaliação das bibliotecas em geral, a abordagem mais tradicional tem sido a de  avaliar  as  bibliotecas  em  termos  de  inputs  (instalações,  equipamentos,  financiamentos, staff,  colecções,  etc.),  processos  (actividades  e  serviços)  e  outputs  (visitas  à  biblioteca, empréstimos,  consultas  do  catálogo,  pesquisas  bibliográficas;  respostas  do  serviço  de referência, materiais produzidos, etc. …), desenvolvendo formas de avaliação da qualidade dos serviços e da sua performance de carácter eminentemente quantitativo e as mais das vezes traduzidas em termos de custos e eficiência. 

  1

Para  a  clarificação  de  conceitos  e compreensão  das  diferentes abordagens  que  a  partir  dos  anos 80  foram  forjando  as  diferentes tipologias  e  focus  da  avaliação (Gestão da Qualidade; Satisfaction Surveys;  Normas  ISO2789‐Estatísticas e ISO11620‐Indicadores de  Performance,  Evidence  Based Practice, e outros, pode ler o artigo de  Luiza  Melo,  Estatísticas  e Avaliação  da  Qualidade  e  do Desempenho  em  Bibliotecas  e Serviços de Informação     

   Para  obter  conhecimento  sobre medidas  de  impacto,  pode consultar o artigo de Roswitha Poll e  Philip  Payne:  Impact  Measures for  Libraries  and  Information Services

Não existe um modelo institucional para a auto‐avaliação das escolas. Boa parte dos estabelecimentos de ensino  recorreu  ao  Modelo  de Excelência  da  EFQM  (European Foundation  for  Quality Management) e à Ferramenta CAF(Common  Assessement Framework),  construída  para ajudar  os  diferentes  sectores  das administrações  públicas  da  UE na gestão da qualidade e melhoria de desempenho.  A  sua  estrutura organiza‐se  em  nove  Critérios: cinco  Critérios  de Meios  e  quatro Critérios de Resultados. 

Medir os outcomes  (Impactos)  significa, no  entanto,  ir mais além, no sentido de conhecer o benefício para os utilizadores  da  sua  interacção  com  a  biblioteca.  A qualidade não deriva nesta acepção, da biblioteca em si mesma  ou  do  seu  peso  intrínseco,  mas  do  valor atribuído  pelos  utilizadores  a  esse  benefício,  traduzido numa  mudança  de  conhecimento,  competências, atitudes, valores, níveis de sucesso, bem‐estar, inclusão, etc. 

INPUTS → PROCESSOS → OUTPUTS →OUTCOMES 

O modelo  de  auto‐avaliação  das  bibliotecas  escolares procurou  orientar‐se  sobretudo  segundo  uma  filosofia de  avaliação  baseada  em  outcomes  e  de  natureza essencialmente  qualitativa,  reflectindo  a  tendência geral das políticas educativas e de gestão e avaliação das escolas,  também  elas  fortemente  orientadas  para  os resultados. 

  

Que Relação Com Outros Modelos de Avaliação? 

Numa  fase em que muitos avanços  têm sido realizados relativamente  à  avaliação  das  escolas,  ganha  todo  o sentido  integrar  nesse  trabalho  a  avaliação  das bibliotecas,  elegendo  a  sua  auto‐avaliação  como  parte essencial da avaliação  interna da escola e base para a avaliação  externa  realizada  pela  Inspecção  Geral  de Educação,  fazendo  uso  desta  avaliação  externa  como forma de validação do processo de auto‐avaliação. 

É, deste modo, conveniente tentar entrosar a avaliação da  biblioteca  o mais  possível  com  o modelo  de  auto‐avaliação  utilizado  pela  escola  e  com  a  avaliação externa  da  escola,  desenvolvida  segundo  uma  lógica própria,  muito  próxima  às  escolas,  à  educação  e  à investigação em educação.  

Relevando o mesmo  tipo de preocupação,  também na construção  do  modelo  de  auto‐avaliação  da  BE  se utilizou  uma  linguagem  e  ideário  específicos  da educação e das escolas, procurando reflectir as actuais tendências na ênfase em torno do sucesso educativo e da melhoria de resultados. 

O modelo  de  auto‐avaliação  das  bibliotecas  escolares 

  2

deve  estar,  deste  modo,  perfeitamente contextualizado  e  ancorado  na  escola  e  no  diálogo que a biblioteca tem de estabelecer com ela e com a comunidade,  afastando‐se  de  uma  concepção  mais fechada ou excessivamente centrada na avaliação de desempenho  e  da  satisfação  dos  utilizadores, embora também faça necessariamente uso de alguns dos seus indicadores. 

Esta  relação  da  avaliação  da  biblioteca  com  a avaliação da escola ganha ainda mais pertinência  se tivermos em conta o carácter  transversal e a grande interacção  que  a  biblioteca  deve  estabelecer  com todos  os  órgãos  da  escola.  Por  exemplo,  se  a biblioteca partilhar um conjunto de objectivos anuais, integrantes  do  Plano  Anual  da  Escola,  em  relação directa  com  as  prioridades  estabelecidas  pelo conjunto da escola, a avaliação a realizar no  final do ano  deve  necessariamente  integrar  a  biblioteca enquanto  parte  da  política  e  estratégia  global conduzida pela escola ao  longo do ano e  tomar em conta os seus resultados no processo de planeamento do ano seguinte.  Isto é certamente válido quando se avalia o papel da biblioteca nas actividades de ensino e aprendizagem, mas também se aplica a outros domínios como por exemplo, o da literacia da informação, da leitura, ou outros. 

O  Modelo  de  Avaliação  Externa  das Escolas  utiliza  um  Quadro  de Referência baseado  em  cinco Domínios.  A  Biblioteca  Escolar  é explicitamente  referida no ponto 3.3. “Gestão  dos  Recursos  Materiais  e financeiros”  do  Domínio  3. “Organização  e  Gestão  Escolar”, embora  a  sua  avaliação  perpasse outros  Domínios,  dado  o  actual entendimento da BE não apenas como um  espaço  fornecedor  de  recursos mas, sobretudo, como um centro cada vez  mais  activo  e  interveniente  ao nível da aprendizagem e da formação dos alunos. Para estabelecer a ligação entre  a  auto‐avaliação  da  escola  e  a avaliação  externa, a  IGE desenvolveu uma  estrutura  descritiva  comum  de apresentação com  seis  campos  de análise. 

Esta  perspectiva  pode,  por  outro  lado,  ajudar  ainda  a  economizar  esforço  e  tempo, designadamente  através  da  aplicação  de  questões  comuns  e  do  tratamento  conjunto  de dados relativos a determinados projectos ou actividades.  

Porquê? 

O  propósito  da  auto‐avaliação  é  apoiar  o  desenvolvimento  das  bibliotecas  escolares  e demonstrar  a  sua  contribuição  e  impacto  no  ensino  e  aprendizagem,  de modo  a  que  ela responda cada vez mais às necessidades da escola no atingir da sua missão e objectivos.  

A  avaliação deve  ser encarada  como uma  componente natural da actividade de  gestão da biblioteca, usando os seus resultados para a melhoria contínua, de acordo com um processo cíclico de planeamento, execução e avaliação: 

PLANEAMENTO (ESTRATÉGICO/OPERACIONAL) 

↑                                                    ↓  

AVALIAÇÃO  ←  EXECUÇÃO E MONITORIZAÇÃO           

 

  3

Que constrangimentos? 

A  CILIPS/SLIC  (Escócia) disponibiliza  no  seu  site  alguns exemplos  de  actividades específicas  de  recolha  de evidências  e  avaliação.  Pode consultar  um  desses  exemplos (Start a  reading group) ou  então experimentar  realizar  o  exercício proposto  (Introduction  to  the Internet  and  Effective  search Strategies). 

A  avaliação  de  impactos  das  BE  no  sucesso  educativo  é particularmente  complexa,  por  não  ser  possível  isolar, numa miríade  de  variáveis  possíveis,  a  contribuição  da biblioteca,  separarando‐a  de  outras  influências,  pelo menos de uma forma directa. 

Esta  dificuldade  aconselha  a  que  não  se  avaliem  os resultados  da  acção  da  biblioteca  de  uma  forma  global, mas  aplicada  a  determinadas  actividades,  serviços  ou programas,  e  a  que  se  faça  um  estudo  tanto  quanto possível  longitudinal,  de modo  a  que  seja  dado  tempo para  que  determinados  resultados  se  possam  tornar claros. 

Exemplos: 

• Avaliar se o nível de compreensão  leitora melhorou depois de desenvolver um programa particular de intervenção da biblioteca na área da formação de leitores. 

• Também  é  possível  restringir  a  avaliação  em  termos  de  públicos‐alvo.  Se  a  biblioteca escolar apoiou as actividades de enriquecimento curricular em escolas do 1º ciclo ou em determinados  anos  de  escolaridade,  pode  avaliar  este  tópico,  fazendo  incidir  essa avaliação nessas escolas do Agrupamento ou nos anos de escolaridade em que esse apoio foi desenvolvido. 

• Se a biblioteca escolar esteve de algum modo, envolvida em algum projecto de parceria com  elementos ou  instituições da  comunidade,  a  avaliação  a  realizar  sobre  esse  tópico incidirá nos anos, turmas, alunos e docentes implicados nesse projecto. 

Em suma, a avaliação da biblioteca não é algo que possa ser concebido em abstracto ou sobre o  vazio.  Avaliar  a  biblioteca  significa  avaliar  a  sua  acção  em  determinados  aspectos  e  os resultados obtidos  com esse  trabalho, de acordo  com os objectivos previamente definidos, tendo porventura em consideração o referencial (Indicadores e Factores críticos de sucesso) à luz dos quais esses objectivos poderão já ter sido estabelecidos, partindo do princípio que os orientam uma ideia geral de melhoria e desenvolvimento de boas práticas.  

A questão mais  crítica  comummente  apontada parece, pois,  ser  a da  recolha de  evidências demonstrativas do  impacto da biblioteca, mas o modelo  fornece uma estrutura e materiais que ajudam a orientar este trabalho. 

Concluindo,  os  principais  desafios  colocados  pelo  Modelo  de  Auto‐Avaliação  residem  na avaliação dos impactos sobre os utilizadores e derivam da necessidade de, a este respeito:  

• Clarificar adequadamente os objectivos da BE; 

• Esclarecer os objectivos de aprendizagem dos alunos em relação com a biblioteca; 

  4

 

• Estabelecer os Indicadores adequados para essas aprendizagens; 

• Recolher  as  evidências  apropriadas,  lidando  com  dados  de  natureza  quantitativa  e qualitativa; 

• Assegurar a realização do processo de recolha, tratamento, análise e comunicação dos dados;  

 

Com quem? 

O modelo deve adaptar‐se a diferentes realidades, permitindo avaliar bibliotecas de escolas de diferentes níveis de ensino e bibliotecas servindo quer uma única escola, quer um conjunto de escolas ou agrupamento. 

As bibliotecas em causa podem, por outro lado, servir exclusivamente a população escolar ou estar  abertas  à  comunidade,  podendo  nesta  situação,  a  sua  avaliação  envolver  outras entidades e públicos. 

As BMs/SABEs, por exemplo, podem desempenhar um papel particularmente  importante na aplicação  do modelo  nas  escolas  do  1º  Ciclo  e  Pré‐escolar,  derivado  das  responsabilidades específicas que têm na sua gestão e acompanhamento. 

O modelo deve ser trabalhado pelo Professor Bibliotecário com o apoio da respectiva Equipa e do CE. 

O envolvimento e mobilização dos utilizadores  (docentes, alunos, …), a quem é pedida uma participação muito activa, é fundamental e tem a sua maior razão de ser no facto da avaliação se centrar não apenas na própria biblioteca mas, sobretudo, nos seus utilizadores. Boa parte das evidências requisitam a sua disponibilidade e empenho na resposta a inquéritos, cedência de materiais, actividades de observação, etc., por isso a sua colaboração, sobretudo a nível dos docentes, constitui um aspecto crítico para o sucesso desta avaliação. A avaliação não deve ser encarada como uma imposição mas como uma mais‐valia para a melhoria da escola, sendo de evitar quaisquer riscos de subversão do seu espírito (avaliação ‐ formulário). 

Finalmente,  também  os  pais/encarregados  de  educação  são  chamados  a  participar  na avaliação da biblioteca, particularmente em certos aspectos, como por exemplo, os da leitura e utilização da biblioteca pelos seus filhos/educandos. 

A  implicação de outras entidades na avaliação  também pode ser útil, não apenas pelo peso que podem  ter em diferentes parcerias, mas  também  como um auxiliar, desempenhando o designado  papel  de  “Critical  Friend”  ou  “Devil’s  Advocat”  na  análise  e  interpretação  dos resultados e elaboração de conclusões. A BM/SABE, os Grupos de Trabalho Concelhios ou os Coordenadores Inter‐concelhios da RBE podem porventura desempenhar este papel.  

 

 

  5

Que Etapas? 

A  implementação  da  auto‐avaliação  implica  o  cumprimento  de  alguns  passos  que esquematicamente se apresentam: 

• Motivação e compromisso  institucional dos órgãos de gestão pedagógica e executiva da escola com o processo de auto‐avaliação da BE, formalização de alguns procedimentos no sentido de uma co‐responsabilização de todos os intervenientes (apresentação aos colegas do propósito e metodologia da auto‐avaliação; participação da BE em reuniões alargadas ou  restritas  de  docentes  para  recolha  da  informação;  facilitação  de  documentação; disponibilização  de  dados;  formas  de  colaboração  com  os  docentes  na  recolha  de evidências sobre os alunos, etc.), aceitação dos resultados e acordo sobre a subsequente promoção de um plano de melhoria. 

• Constituição, sob a responsabilidade do Professor Bibliotecário, de um grupo responsável ao  nível  da  escola/agrupamento  pela  condução  do  processo  de  auto‐avaliação  da  BE; definição e partilha de tarefas entre os elementos do grupo. 

• Elaboração  do  Plano  de  Avaliação:  Problema/Diagnóstico;  Identificação  do  objecto  da avaliação; Tipo de avaliação de medida a empreender; Métodos e instrumentos a utilizar; Intervenientes; Calendarização; Planificação da recolha e tratamento de dados; Análise e comunicação  da  informação;  Limitações,  Levantamento  de  necessidades  (recursos humanos, financeiros, materiais,…), etc. 

• Desenvolvimento do processo de avaliação: recolha e tratamento de  informação; análise dos  dados;  descrição  da  situação;  relação  com  os  standards  de  desempenho  ou benchmarks; identificação dos pontos fortes e fracos; definição e priorização de acções de melhoria; redacção e divulgação do relatório final de avaliação. 

 A informação disponibilizada neste texto deverá ser complementada com a leitura obrigatória do “capítulo” Orientações para aplicação – modelo de auto‐avaliação

Como se Estrutura o Modelo1? 

O Modelo é constituído por quatro Domínios, divididos em Subdomínios.   A. Apoio ao Desenvolvimento Curricular A.1 Articulação  Curricular  da BE  com  as  Estruturas  de  Coordenação  Educativa  e  Supervisão Pedagógica e os Docentes A. 2 Promoção das Literacias da Informação, Tecnológica e Digital  B. Leitura e Literacia  C. Projectos, Parcerias e Actividades Livres e de Abertura à Comunidade 

                                                            1 Complementar com a informação constante no modelo – versão integral/final (http://www.rbe.min‐edu.pt/np4/?newsId=31&fileName=mod_auto_avaliacao.pdf) 

  6

C.1 Apoio a actividades livres, extra‐curriculares e de enriquecimento curricular C.2 Projectos e parcerias  D. Gestão da Biblioteca Escolar D.1 Articulação da BE com a Escola/ Agrupamento. Acesso e serviços prestados pela BE D.2 Condições humanas e materiais para a prestação dos serviços D.3 Gestão da colecção/da informação  

Dentro  de  cada  Subdomínio  identificam‐se  conjuntos  de  Indicadores  ou  critérios,  os  quais apontam para os  aspectos nucleares de  intervenção da BE  inerentes  a  esse  Subdomínio  (v. Modelo). 

Os Indicadores desdobram‐se, por sua vez, em diferentes Factores Críticos, que constituem as actividades  ou  acções  que  demonstram  sucesso  e  são  valorizadas  na  avaliação  de  cada Indicador (v. Modelo) 

O  modelo  é  propositadamente  ambicioso  na  definição  destes  factores,  de  modo  a  ser estimulante  e  impedir  que  as  escolas  apenas  reflictam  nele  as  actividades/acções  que comummente  já  realizam,  incentivando ao desenvolvimento de boas práticas e  tendo, nesta medida, uma forte componente formativa. 

As  Evidências mostram  que  essas  actividades/acções  foram  efectivamente  desenvolvidas  e sustentam a formulação de juízos de valor sobre os seus resultados. 

Para  cada  Indicador  ou  conjunto  de  Indicadores  foram  identificadas  vários  exemplos  de Evidências  (v. Modelo),  através  das  quais  será  possível  fazer  corresponder  a  que  nível  de performance corresponde a prática da biblioteca em relação com aquele/s Indicador/es.  

Na última  coluna das  tabelas  (v. Modelo)  apresentam‐se para  cada  Indicador,  exemplos de Acções para a melhoria, ou  seja, propostas de  iniciativas variadas a  realizar no  caso de  ser necessário melhorar o desempenho da BE em relação com aquele Indicador. 

Fazem  ainda  parte  do  Modelo,  um  conjunto  de  Perfis  de  Desempenho  (v.  Modelo) estabelecidos para os diferentes Subdomínios. Os Perfis ou cenários indicam quatro níveis de performance,  sendo  seu  objectivo  ajudar  a  escola  a  identificar  qual  o  nível  que  melhor corresponde à situação da biblioteca em cada Subdomínio e perceber, de acordo com o nível atingido, o que está em jogo para poder melhorar para o nível seguinte. 

Considera‐se  que  a  BE  se  situa  num  determinado  nível  de  desempenho  se  cumprir,  pelo 

menos,  4  em  5,  5  em  6  ou  6  em  7  descritores,  consoante  o  número  de  descritores  que 

caracterizam os perfis.  

Nível  Descrição 

4  A BE é muito forte neste domínio. O trabalho desenvolvido é de grande qualidade e com um impacto bastante positivo. 

  7

3  A BE desenvolve um trabalho de qualidade neste domínio mas ainda é possível melhorar alguns aspectos. 

2  A BE começou a desenvolver trabalho neste domínio, sendo necessário melhorar o desempenho para que o seu impacto seja mais efectivo. 

1  A BE desenvolve pouco ou nenhum trabalho neste domínio, o seu impacto é bastante reduzido, sendo necessário intervir com urgência. 

 

 

O  resultado  da  auto‐avaliação  de  cada  Domínio  deverá  ser  registado  na  Tabela  respectiva (secção A do  relatório), que  identifica as Evidências  recolhidas em cada Subdomínio, pontos fortes e  fracos detectados. O produto desta sistematização resulta no preenchimento de um quadro  síntese  com: Domínio/ Subdomínio e acções para melhoria, as quais  constituem um dos objectivos fundamentais da auto‐avaliação. 

 O Documento  base  contém  ainda  uma  bateria  de  Instrumentos  de  Recolha  de  Evidências (Questionários a professores, a alunos e aos encarregados de educação, Checklists, Grelhas de observação  de  competências  e  Grelhas  de  análise  de  trabalhos  escolares),  referenciados  a partir  das  tabelas  com  um  código  (QP1/2/3…;  QA1/2/3/4…;  QEE1;  CK1/2;  O1/2;  T1)  –  ver instrumentos de  recolha, p.77. A disponibilização destes  instrumentos às escolas pode  criar alguma uniformidade em termos da informação que vai ser recolhida nas escolas, facilitando a possibilidade  de  benchmarking  externo  entre  escolas,  sem  prejuízo  das  necessárias adaptações à realidade e necessidades das escolas. 

 

Como2? 

O modelo  faz uso de um conjunto de métodos quantitativos e qualitativos, e de  técnicas de recolha de informação variada, envolvendo: 

• A recolha documental de registos de planeamento e das actividades da BE 

• A  observação  de  actividades  de  aprendizagem  demonstrativas  da  aquisição  ou desenvolvimento de conhecimentos, competências e atitudes (Grelhas de Observação) 

• a auto‐avaliação e inquérito aos utilizadores (ChecKlists; Questionários). 

• O levantamento de dados estatísticos de utilização da biblioteca. 

• A análise de trabalhos de alunos 

                                                            2  Complementar toda a informação deste texto com as Orientações para a aplicação (p.57‐76), constantes no Modelo. 

  8

 

Na  Internet  é  possível  encontrar muitos guias e Kits de apoio e ferramentas sobre métodos  e  técnicas  de  recolha  de evidências. Deste modo, propomos: 

1) A  leitura  atenta  das  Páginas  Basic Guide  to  Program  Evaluation  e  The Program  Manager’s  Guide  to Evaluation  –  leitura  facultativa  ‐ , onde,  entre  outros,  se  incluem diferentes  tópicos  (Plano  de Avaliação da BE, tipos de Avaliação, Selecção  e  Análise  dos  diferentes métodos,  Análise  da  informação, etc.) e se explicam os conceitos e os “O  Quê?”  “Quem?”  “Como?”  e “Porquê” da auto‐avaliação. 

2) A  consulta  do  site  eVALUEd:  An Evaluation  ToolKit  for  E‐library Developments e  a  leitura  em particular, do  seu Summary Booklet(p.  8‐17), sobre  a  utilidade, vantagens,  desvantagens  e aplicação  dos  diferentes métodos  e ferramentas. 

3) Facultativamente,  pode  ainda experimentar outras tools, como por exemplo, as fornecidas pelo Projecto IBEC. 

As escolas portuguesas  recorrem a uma grande  variedade  de  programas  para registo,  tratamento  e  análise  dos  seus dados  de  avaliação,  utilizando, consoante  os  casos,  Bases  de  dados, Folhas  de  Cálculo  ou  Programas  de Estatística,  de  que  o  mais  popular  é  o SPSS.  A  construção  de  uma  ferramenta online  para  a  aplicação  do  Modelo, prevista pela RBE, constituirá um grande auxiliar das escolas e bibliotecas. 

• O  levantamento  de  dados  relativos  à  gestão de  recursos  (financeiros, materiais,  humanos e de informação) da BE 

A avaliação de cada  indicador ganha em  fazer uso 

de instrumentos diversificados, os quais permitem, 

ao  serem  cruzados,  obter  uma  informação  mais 

consistente e fiável. 

Em  termos  de  quantidade,  sugere‐se  uma 

aplicação dos instrumentos a 20%/30%  do número 

total  de  professores  e  10%  do  número  de  alunos 

em  cada  nível  de  escolaridade,  de modo  a  obter 

amostras representativas . 

Simplifique  o  trabalho  de  recolha  de  evidências, cingindo ao mínimo possível a  informação de que comprovadamente necessita para a demonstração de determinado tópico. 

Seja sistemático na recolha de evidências. 

 

Questionários 

Os questionários são uma das formas mais vulgares e  expeditas  de  recolher  informação  e  poder compará‐la. Uma das vantagens dos questionários é que a  informação pode  ser  recolhida,  registada, tratada e usada num curto espaço de tempo, além de  permitir  questionar  um  número  elevado  de pessoas e obter um número elevado de respostas.  

Grelhas de Observação de competências 

Embora  complexa,  a  observação  constitui  um poderoso método de recolha de evidências que os outros  instrumentos  não  permitem  obter,  por exemplo,  ao  nível  da  avaliação  da  proficiência, comportamentos  e  atitudes  na  execução  de  uma determinada tarefa.  

A  observação  deve  contemplar  alunos  dos  vários níveis, anos de escolaridade mas é preciso  ter em conta a  idade e capacidade dos alunos. As grelhas de  observação  permitem  um  registo  dividido  por níveis  de  escolaridade,  necessitando,  contudo,  de 

  9

ser melhor adaptadas, de acordo com os currículos de competências  inerentes  a  cada  nível  ou  contexto disciplinar.  No  caso  da  observação  em  contexto  de aula devem, por exemplo,  ser observadas  turmas em trabalho no âmbito de diferentes disciplinas. 

Para ser mais eficaz, a observação deve concentrar‐se num  número  limitado  de  aspectos.  A  realização  de várias observações num curto período de tempo pode fornecer uma visão mais profunda dos aspectos que se pretendem observar. Observações mais espaçadas ao longo  do  ano mas  regulares  (por  exemplo  uma  por mês), podem fornecer um quadro mais representativo. 

Grelhas de análise de trabalhos dos alunos 

A análise de trabalhos de alunos de diferentes anos de escolaridade e de diferentes áreas disciplinares é uma importante  técnica  de  avaliação  das  aprendizagens facilitadas  pela  Biblioteca  Escolar,  por  se  poder constituir  como  uma  forma  directa  de  “authentic assessment”  do  desempenho  dos  alunos,  em complemento  de  outros  resultados  (por  exemplo, obtidos em testes, exames, etc.). A análise ao longo do tempo pode permitir avaliar os progressos  realizados ao  longo de um determinado período ou de um  ano para o outro. 

Análise documental 

Documentos  que  podem  testemunhar  a  veracidade das  afirmações  feita.  Por  exemplo,  documentos  de Política e Gestão da Escola; Planificações; Orçamentos; Regulamentos; Documentação sobre Projectos; Actas; Relatórios,  Planos  Curriculares; Mapas  de  avaliações, etc. 

Dados Estatísticos 

As  estatísticas  podem  incidir  sobre  a  utilização  ou funcionamento da biblioteca e trabalhar os inputs (por ex:  nº  de  documentos  adquiridos),  os  processos  (por  ex:  nº  de  sessões  de  formação  de utilizadores organizadas com as turmas ao  longo do ano) ou os outputs (por ex: nº de visitas realizadas). 

A  observação  de  alunos  no Subdomínio  C1  deve  fazer‐se  de forma  prolongada  e  com  diferentes alunos  ou  grupos,  uma  vez  que  se trata  da  utilização  livre  e  extra‐curricular da BE, em que não há uma utilização estruturada com  turmas e não há uma utilização continuada ou sistemática pelos mesmos alunos ou grupos. O período estabelecido pode variar, desde uma ou mais semanas, a  um  ou  mais  períodos  lectivos, consoante as situações e os aspectos em  que  se  pretende  fazer  incidir  a avaliação.  Imagine‐se,  por  exemplo, que  a  biblioteca  passou  a  abrir  à hora  de  almoço  e  se  pretendem conhecer os padrões e mais‐valias do uso  da  biblioteca  nesse  período  do dia.  Ou,  noutro  exemplo,  que começou  a  funcionar  um  clube  de leitura  ou  um  projecto  de  leitura  a par abrangendo alunos mais novos e alunos  tutores  mais  velhos,  cujo processo  e  resultados,  durante  o período  da  sua  vigência,  se pretendem  acompanhar.  No primeiro caso, podem, por exemplo, escolher‐se  3  semanas  típicas,  uma no 1º período, uma no 2º período e outra no 3º período, para recolher a informação necessária à avaliação de acordo  com  as  evidências  e instrumentos  seleccionados  como apropriados  para  avaliar  aquela utilização.  No  segundo  caso,  o processo de avaliação deve decorrer em  simultâneo  e  coincidir  com  a duração  e  periodicidade  da actividade do clube ou projecto. 

Os  sistemas  de  gestão  bibliográfica  e  de  rede  permitem  hoje  a  obtenção  de  uma  série  de dados  estatísticos  de  utilização  do  sistema  de  informação:  localização  dos  PCs  usados, 

  10

programas e bases de dados acedidos, pesquisas realizadas, tipos de sites consultados, tempos de utilização, requisições e empréstimos, etc…  

Outros  Exemplos  de métodos  e  instrumentos  passíveis  de  serem  utilizados mas  ainda  não contemplados pelo Modelo 

Entrevista 

A  entrevista  (individual  ou  conduzida  em  grupo  –  focus  group)  pode  ser  útil  para  obter informação em maior profundidade, explicitar o sentido de certas perguntas e respostas dos questionários, etc. A atenção dada ao entrevistado é diferente, mais pessoal e individualizada. Pode  ser  aconselhável  no  1º  ciclo  onde  é mais  fácil  colocar  os  alunos  a  falar  e  responder oralmente às perguntas. No entanto é mais exigente de tempo e, por isso, só deve ser utilizada com um número restrito de pessoas, e pode ser  inibidora em relação a determinado tipo de perguntas  que  anonimamente,  num  questionário,  poderiam  ser  respondidas  com  menos relutância. 

O focus group consiste numa pequena amostra representativa de pessoas cujas opiniões sobre determinado assunto ou questão  se pretendem obter. A dinâmica de grupo pode  facilitar a expressão de atitudes, opiniões e  ideias. Com  jovens e crianças, é conveniente que o grupo seja constituído por elementos que não se conheçam muito bem. 

Informal feedback 

É possível, em função de cada situação particular,  identificar outros métodos e  instrumentos, para além dos sugeridos pelo modelo. Sendo comum, por exemplo, sobretudo em pequenas escolas, o contacto regular e informal entre os docentes ou com os pais, pode acontecer que, querendo  avaliar  determinado  item,  o  coordenador  da  biblioteca  considere  como  fonte importante a recolha de informação obtida através do diálogo e discussão informal desse item com alguns docentes ou com um determinado número de pais. 

 

Quando3? 

A aplicação do modelo  faz‐se numa base anual, escolhendo em cada ano um domínio onde concentrar  o  trabalho  da  auto‐avaliação.  Pretende‐se  que  ao  fim  de  quatro  anos  todos  os domínios  tenham  sido  auto‐avaliados,  correspondendo  este  período  ao  ciclo  de  gestão  e avaliação global da BE. 

Em termos de operacionalização, a avaliação deve ser entendida como uma actividade regular que faz parte do dia‐a‐dia do funcionamento da biblioteca e da escola, integrando as práticas e rotinas da BE e da escola e evitando que possa representar uma excessiva carga de trabalho, embora consuma necessariamente algum tempo adicional. 

                                                             3 Complementar toda a informação deste texto com as Orientações para a aplicação (p.57‐76), constantes no Modelo 

  11

Por onde começar? 

O ponto de partida pode derivar de uma primeira avaliação diagnóstica breve, da indicação de uma área de  interesse  já  identificada em processos de avaliação anteriores, da  selecção de uma  área de  interesse ou  considerada prioritária  face  às metas da própria  escola  e que  se pretende reforçar, do conhecimento geral dos pontos fracos e fortes da biblioteca ou de uma recomendação externa (da RBE, da Inspecção, do Grupo de Trabalho Concelhio/SABE, etc). 

Embora  não  seja  impossível  avaliar  num  determinado  ano  um  dado  Subdomínio,  deixando para mais  tarde  o/s  restante/s  Subdomínios  da mesma  área,  e  também  não  seja  negada  a hipótese de, nesta medida, poder avaliar num mesmo ano Subdomínios de áreas diferentes, há  vantagem  em  avaliar  em  conjunto no mesmo  ano  todas  as  componentes de um dado domínio, dada a estreita inter‐relação que existe entre elas e o facto de muitos instrumentos de recolha de informação lhes serem comuns, dada a estrutura do próprio Modelo. 

Os resultados obtidos na avaliação de um determinado Subdomínio também podem indicar a necessidade de, em seguida, se avançar na avaliação de outro que se julga ter uma importante relação com o primeiro, mesmo que pertencente a outro domínio. 

EXEMPLO: 

A avaliação da actividade de  leitura  lúdica ou  recreativa depende, entre outros  factores, da quantidade e qualidade das obras disponíveis na biblioteca para este efeito, aspecto este que se  relaciona, por  sua  vez,  com  a  gestão e  avaliação da  colecção. A melhoria dos  índices da leitura  por  prazer  pode  desde modo  passar  por  uma  estratégia  de  avaliação  da  gestão  da colecção. 

Embora  seja desejável avaliar um domínio de  cada  vez e na  sua  totalidade, a  sua avaliação deve ser encarada de forma flexível, sempre que tal se justifique. 

 

Como estabelecer comparações? 

A auto‐avaliação pode potenciar, mediante determinadas condições (grupos de escolas com as mesmas características; articulação da actividades de avaliação nos mesmos tópicos, aplicação dos mesmos métodos  e  instrumentos;  etc.)  a  partilha  e  estabelecimento  de  actividades  de benchmarking  externo  em  determinados  aspectos,  contribuindo  para  a  identificação  e disseminação de boas práticas. 

A Base de Dados da RBE, por seu turno, compila actualmente uma série de dados, sobretudo quantitativos, que descrevem e podem suplementar os dados da avaliação realizada por cada escola,  fornecendo uma  imagem global das BEs e permitindo o benchmarking externo numa série de tópicos, entre escolas com características similares do país ou de uma dada região. 

 

 

 

  12

Como aplicar o modelo? 

Passos a dar na aplicação do modelo4: 

1) Escolher  entre  os  quatro  domínios  um  que  pretenda  avaliar.  Pode  ser  aquele  que  se considera mais relevante de acordo com as prioridades da escola e da biblioteca escolar ou então  um  que  se  relacione  com  uma  área  de  trabalho  a  necessitar  de  maior desenvolvimento. É indispensável envolver o Órgão de Gestão nesta escolha. 

2) Identificar  o  tipo  de  evidências  que  necessita  de  recolher  para  poder  conhecer  e fundamentar qual a performance da biblioteca no domínio escolhido. A tabela propõe na coluna “recolha de evidências” diferentes tipos de instrumentos que pode utilizar. 

É  importante  que  a  evidência  e  instrumentos  estejam  adaptados  à  biblioteca  e necessidades da escola. 

3) Analisar os Dados  recolhidos através da utilização dos  instrumentos e desenvolver uma análise  sobre  a  performance  da  biblioteca  no  domínio  escolhido  em  relação  com  os standards estabelecidos 

4) Decidir  em  qual  dos  níveis  de  desempenho  se  situa  a  biblioteca  nesse  domínio  ou subdomínio,  de  acordo  com  os  perfis  de  desempenho  descritos  na  respectiva  tabela (1,2,3,e,4) ‐ Quadro 

5) Registar  na  Tabela  respectiva  (secção  A  do  relatório)  as  Evidências  recolhidas  em  cada Subdomínio, pontos fortes e fracos detectados.  

6) Registar no Quadro  ‐ Síntese  (secção A do  relatório) o nível atingido e as  formas  como pensa que pode melhorar o nível de desempenho – acções para a melhoria. As  tabelas fornecem  a  este  propósito  uma  série  de  sugestões  de  acções  de melhoria  para  cada indicador. 

7) Registar  os  resultados  da  auto‐avaliação  realizada  no  Relatório  Anual  da  Biblioteca Escolar, de modo a que possa  ser utilizado  internamente, na auto‐avaliação da escola e como fonte de informação para a avaliação externa (secção C do relatório). 

 

Para quê? 

A auto‐avaliação da BE pode ajudar a melhorar a BE: 

• Identificando pontos fracos, priorizando necessidades, estabelecendo alvos e  informando o plano de actividades seguinte. 

• identificando  necessidades  de  investimento  a  ter  em  conta  no  plano  orçamental, justificando o pedido de reforço de verbas ou de apoios suplementares. 

                                                            4 Ver p.75 do Modelo: Síntese – Aplicação do Modelo de Auto‐Avaliação da BE 

  13

• sugerindo  a mudança  de  certas  práticas  de  trabalho  e  funcionamento.  Por  exemplo,  a alteração de horários, a mudança da forma como está estruturado o apoio aos alunos, etc. 

• aconselhando a adopção de outros modos de utilizar os recursos humanos de uma forma mais eficiente, mostrando, por exemplo, quando é mais importante a permanência e apoio de determinados docentes na BE, quais as necessidades de formação destes docentes para um trabalho mais eficaz, etc. 

A auto‐avaliação pode ajudar a encorajar uma melhor utilização da BE: 

• demonstrando  junto  dos  professores,  o  contributo  da  BE  para  a  aprendizagem  e  os resultados  escolares,  mostrando‐lhes  as  suas  potencialidades  e  a  forma  como  podem utilizá‐la melhor nas suas actividades de planeamento das aulas e de ensino. 

A auto‐avaliação da BE pode ajudar a promover a BE: 

• divulgando  a  sua  acção,  fazendo  tomar  consciência  da  importância  da  biblioteca, contribuindo para a sua afirmação e reconhecimento no âmbito das escolas e do sistema educativo. 

• ganhando voz e peso institucional a nível local e nacional. 

• reportando  anualmente  junto  da  escola  os  resultados  e  situação  da  biblioteca  e disseminando as suas boas práticas 

• viabilizando a obtenção de um quadro geral sobre a situação das bibliotecas escolares em Portugal,  fornecendo dados e informação estratégica de suporte à decisão e orientação de políticas  e  iniciativas  a  desenvolver  por  parte  dos  organismos  responsáveis  (ME/RBE; Autarquias, etc.),   criando condições para o benchmarking e ajudando a preparar a visita da Inspecção e a avaliação externa: 

 

Como relatar os resultados da avaliação? 

A  comunicação dos  resultados da avaliação  empreendida,  a  análise  colectiva e  reflexão da Escola/Agrupamento  sobre  esses  resultados,  e  a  identificação  das  acções  de melhoria  dos pontos fracos identificados é muito importante, de modo a obter o comprometimento e apoio da escola a essas acções. 

O Relatório Final de Avaliação da BE é o instrumento de descrição e análise dos resultados da auto‐avaliação, de identificação do conjunto de acções a ter em conta no planeamento futuro e de difusão desses resultados e acções junto dos órgãos de gestão e de decisão pedagógica.  

O Relatório deve  integrar o Relatório Anual de Actividades da Escola/Agrupamento, originar uma súmula a incorporar no Relatório de Auto‐Avaliação da Escola/Agrupamento, sempre que esta  tiver  lugar,  e  orientar  o  Professor  Bibliotecário  na  possível  entrevista  a  realizar  pela Inspecção‐Geral de Educação no âmbito da avaliação externa. 

  14

Apesar de em cada ano ser apenas auto‐avaliado um Domínio através do recurso ao Modelo 

de  Auto‐avaliação  da  RBE,  o  qual  exige  um  investimento mais  significativo  no  sentido  de 

procurar  aferir,  de  forma  sistemática  e  objectiva,  os  resultados  efectivos  do  trabalho 

desenvolvido nesse Domínio, deve ter‐se em conta que, sendo o trabalho e acção educativa da 

BE  também  incidentes  noutros Domínios  de  intervenção,  embora  estes  não  sejam  alvo  do 

mesmo tipo de avaliação, não deve deixar de se lhes fazer referência no Relatório Anual da BE.   

Não  é  por  ter  avaliado  o Domínio A,  por  exemplo,  que  a BE  deixou  de  desenvolver  outras actividades  no  âmbito dos Domínios B, C ou D.  Embora não  fazendo uso na  apreciação  do trabalho desenvolvido nestas áreas, do mesmo tipo de evidências e  instrumentos de recolha usados para avaliar o Domínio A, a BE possui, apesar de  tudo,  informação a  relatar  sobre o trabalho desenvolvido nas restantes áreas de intervenção da BE.  

O Relatório deve, portanto, dar uma visão holística do  funcionamento da biblioteca escolar, incluindo a informação mais detalhada e fundamentada sobre a aplicação do modelo de auto‐avaliação  no Domínio  seleccionado,  e  a  informação  disponível  sobre  os  restantes Domínios que, não tendo sido avaliados por esse processo, não deixaram de ser trabalhados durante o ano pelas BEs.  

O Relatório proposto pela RBE encontra‐se, por isso, estruturado em três Secções: 

A Secção A – Destina‐se à apresentação da avaliação do domínio que, no âmbito da aplicação do Modelo, foi objecto de avaliação. 

A  Secção  B  –  Destina‐se  a  apresentar  uma  informação  simplificada  acerca  do  perfil  de desempenho  da  BE  nos  domínios  que,  não  sendo  objecto  de  avaliação  nesse  ano  lectivo, testemunham o seu desempenho nas diferentes áreas de funcionamento da BE. 

A Secção C – Visa um resumo que forneça uma visão global, recorrendo a um quadro síntese dos resultados obtidos e das acções a implementar.  

A  estrutura  apresentada  contém  um  layout  onde  todos  os  domínios  estão  presentes  nas secções A e B. Cada BE deve adaptar a estrutura à sua situação: 

Na  Secção  A,  preencher  apenas  o  quadro  correspondente  ao  domínio  em  que  aplicou  o Modelo de Avaliação. Este domínio não será objecto de referência na Secção B. 

Na Secção B, preencher apenas os quadros gerais correspondentes aos restantes Domínios em que  não  aplicou  o Modelo  e  que,  por  isso,  não  foram  objecto  de  nenhuma  referência  na Secção A. 

A aplicação  informática online a disponibilizar pela RBE às BEs para  registo e  tratamento de dados da auto‐avaliação deverá, em princípio, integrar também uma componente para escrita e apresentação do relatório final.  

 

  15