Anais do Seminário Internacional.pdf
165
ANAIS DO SEMINÁRIO INTERNACIONAL DE AVALIAÇÃO EDUCACIONAL Rio de Janeiro-RJ – 1 a 3 de dezembro de 1997 Coordenador: Alejandro Tiana Professor Titular da Facultad de Educación da Universidad Nacional de Educación a Distancia (UNED)/Espanha MEC / INEP / Unesco Brasília-DF – 1998 º
-
Upload
andreliza-souza -
Category
Documents
-
view
239 -
download
2
Transcript of Anais do Seminário Internacional.pdf
1
AN
AIS
DO
SE
MIN
ÁR
IO IN
TE
RN
AC
ION
AL
DE
AVA
LIA
ÇÃ
O E
DU
CA
CIO
NA
L
ANAIS DO SEMINÁRIO INTERNACIONALDE AVALIAÇÃO EDUCACIONAL
Rio de Janeiro-RJ – 1 a 3 de dezembro de 1997
Coordenador: Alejandro TianaProfessor Titular da Facultad de Educación da Universidad
Nacional de Educación a Distancia (UNED)/Espanha
MEC / INEP / UnescoBrasília-DF – 1998
º
2
AN
AIS
DO
SE
MIN
ÁR
IO IN
TE
RN
AC
ION
AL
DE
AVA
LIA
ÇÃ
O E
DU
CA
CIO
NA
L
EDITORJair Santana Moraes
TRADUÇÕESJonh Stephen Morris
REVISÃOJair Santana MoraesJosé Adelmo GuimarãesJosé Alfredo Paiva DezoltMarluce Moreira SalgadoRosa dos Anjos Oliveira
NORMALIZAÇÃO BIBLIOGRÁFICARegina Helena Azevedo de MelloRosa dos Anjos Oliveira
PROJETO GRÁFICORodrigo Godinho A. da Silva
ARTE-FINALMárcia Terezinha dos Reis
TIRAGEM500 exemplares
ENDEREÇOINEPMEC – Esplanada dos Ministérios, Bloco L, Anexos I e II, 4 Andar, Sala 416CEP 70047-900 – Brasília-DF – BrasilFones: (061) 224-7092
(061) 224-1573Fax: (061) 224-4167http://www.inep.gov.brE-mail: [email protected]
Os conceitos e opiniões emitidos são de exclusiva responsabilidade dos seus autores.
Dados Internacionais de Catalogação na Fonte (CIP)
Seminário Internacional de Avaliação Educacional (1997 : Rio de Janeiro).Anais do Seminário Internacional de Avaliação Educacional, 1 a 3 de dezembro
de 1997 / Coordenador: Alejandro Tiana. - Brasília : Instituto Nacional de Estudos ePesquisas Educacionais, 1998.
165 p. : il., tab.
1. Avaliação da educação. I. Tiana , Alejandro. II Ministério da Educação e doDesporto. III. Instituto Nacional de Estudos e Pesquisas Educacionais. IV. Unesco.V. Título.
CDU 371.26
º
Impresso no Brasil
º
3
AN
AIS
DO
SE
MIN
ÁR
IO IN
TE
RN
AC
ION
AL
DE
AVA
LIA
ÇÃ
O E
DU
CA
CIO
NA
L
Apresentação ............................................................................................................................................. 5
Lista de Siglas ........................................................................................................................................... 7
Palestra InauguralMaria Helena Guimarães de Castro (Inep/Brasil) .......................................................................................... 9
PronunciamentoJorge Whertein (Unesco/Brasil) .................................................................................................................... 13
O Sistema de Avaliação BrasileiroMaria Inês Pestana (Inep/Brasil) ................................................................................................................... 15
Educação para Todos:Acesso à Aprendizagem e Conquista do Conhecimento ÚtilRobert Glaser (LRDC/EUA) .......................................................................................................................... 31
O Potencial dos Estudos Comparativos Internacionaispara o Controle da Qualidade da EducaçãoTjeerd Plomp (IEA/Países Baixos) ............................................................................................................... 41
Os Indicadores Educacionais da OCDE:Propósitos, Limites e Processos de ProduçãoNorberto Bottani (SER/ Suíça) ...................................................................................................................... 53
Avaliação de Alunos e Aprendizagem para uma Sociedade em MudançaCaroline Gipps (University of London/Inglaterra) ............................................................................................ 65
Abordagens de Valor Agregado para a Auto-Avaliação Escolar no Reino UnidoSally Thomas (University of London/Inglaterra) ............................................................................................. 75
Avaliação por Diálogos:uma Contribuição Possível para o Aprimoramento EscolarDavid Nevo (Tel-Aviv University/Israel) ........................................................................................................... 89
Avaliação do Sistema Educativo:As Estruturas Institucionais na FrançaJacqueline Heritier (DEP/França) .................................................................................................................. 99
Avaliação e Monitoramento dos Estabelecimentos EscolaresClaude Sauvageott e J. C. Emin (colaborador) (DEP/França) ....................................................................... 103
Arranjos Institucionais para AvaliaçãoErnest R. House (University of Colorado/EUA) ............................................................................................. 113
Como Pode a Avaliação Contribuir para a Política Educacional?Os Usos da InformaçãoBarry MacGaw (Acer/Austrália) .................................................................................................................... 119
S UMÁRIO
4
AN
AIS
DO
SE
MIN
ÁR
IO IN
TE
RN
AC
ION
AL
DE
AVA
LIA
ÇÃ
O E
DU
CA
CIO
NA
L
Onze Dilemas com que se Defrontam os Estudos Internacionais:Comentários para a MesaJuan Casassus (Orealc/Chile) ...................................................................................................................... 133
Estatísticas Educacionais na América Latina e no Caribe:Resumo dos ResultadosRobert W. McMeekin (Orealc/Chile) ............................................................................................................. 139
O Projeto Institucional do Sistema Nacional de Avaliação Educacionalda TailândiaNongram Setapanich (NEC/Tailândia) ........................................................................................................... 145
O Papel dos Meios de Comunicação na Divulgação dos Resultados da AvaliaçãoDemócrito Rocha (Fundação Demócrito Rocha/Brasil) ................................................................................. 159
Documento de Trabalho: Seminário Internacional de Avaliação Educacional ................................... 161
5
AN
AIS
DO
SE
MIN
ÁR
IO IN
TE
RN
AC
ION
AL
DE
AVA
LIA
ÇÃ
O E
DU
CA
CIO
NA
L
A PRESENTAÇÃO
Na década de 90, especialmente nos últimosquatro anos, a avaliação educacional assumiu um lugarde grande destaque na agenda das políticas públicasde educação no Brasil, acompanhando uma tendênciaque já vinha sendo seguida por diferentes países desdeos anos 70. Hoje, existe sólido consenso entre osgestores, educadores e especialistas sobre a relevân-cia dos processos de avaliação para o balizamento dasreformas educacionais e, sobretudo, para o ajuste daspolíticas voltadas para a melhoria da qualidade do ensi-no. Nota-se, portanto, uma preocupação cada vez mai-or com a construção de instrumentos adequados paraavaliar o desempenho dos sistemas de ensino, com fococentrado na aprendizagem dos alunos e abertura sufi-ciente para enquadrar as diferentes variáveis queincidem sobre o rendimento escolar.
A convergência em torno da importância es-tratégica deste tema para o desenvolvimento educaci-onal reflete-se na sua escolha, definida por diferentesfóruns, como área prioritária para a cooperação multi-lateral em educação. Com o apoio de associações eorganismos internacionais, têm prosperado diversos pro-jetos que promovem a avaliação da qualidade da edu-cação numa perspectiva comparada. É o caso da pes-quisa em andamento do Laboratório Latino-Americanode Qualidade em Educação (Orealc/Unesco), que en-volve 15 países, entre os quais o Brasil. Outra iniciativarelevante é o Programa de Avaliação da Qualidade daEducação, mantido pela Organização dos EstadosIbero-Americanos (OEI). É preciso mencionar ainda,por constituírem-se as principais referências internaci-onais, o TIMSS (IEA) e o PISA 2000 (OECD), que estásendo desenvolvido com a participação do Brasil.
Esta cooperação tende a se alargar, no âmbitohemisférico, a partir da implementação do Plano de Açãoem Educação aprovado pela última reunião dos chefesde Estado da Cúpula das Américas (Santiago, Chile,1998). Por sugestão do Brasil, incorporou-se propostade desenvolvimento de um projeto interamericano deavaliação educacional, com o objetivo de promover e for-talecer os sistemas nacionais de avaliação, facilitandoo intercâmbio de experiências e a geração de padrõesque permitam comparar o desempenho dos alunos. Ogoverno brasileiro também estabeleceu recentementeparcerias educacionais bilaterais com os EUA e a Ingla-terra, privilegiando a avaliação como uma das áreas demaior interesse para o estabelecimento de cooperaçãotécnica. A desenvoltura com que o Brasil tem assumidoestes compromissos, especialmente de participar depesquisa para comparação internacional dos resultadosda aprendizagem dos alunos, revela a disposição doPaís de enfrentar o desafio de melhorar a qualidade doseu sistema de ensino.
Observa-se, portanto, que a ênfase atribuídapelo Ministério da Educação e do Desporto (MEC) aodesenvolvimento de sistemas nacionais de avaliação
encontra importantes referenciais nas experiências dediversos países. Os avanços obtidos nesta direção –como a consolidação do Sistema Nacional de Avalia-ção da Educação Básica (SAEB) e a implantação doExame Nacional de Cursos (ENC) e do Exame Nacio-nal do Ensino Médio (ENEM) – qualificaram o Brasil parauma participação mais ativa no debate internacional. Em-bora sejam ainda bastante recentes, sobretudo quandocomparadas com a larga tradição de outros países, asiniciativas brasileiras são inovadoras em vários aspec-tos, tanto metodológicos quanto institucionais. Por isso,já atraem a curiosidade de especialistas e organismosinternacionais, que reconhecem os passos importan-tes dados nos últimos anos e apontam o Brasil comoreferência na América Latina.
Foi neste contexto que o Instituto Nacional deEstudos e Pesquisas Educacionais (INEP), o BureauInternational d'Education da Unesco e a representaçãoda Unesco no Brasil se aliaram para promover o Semi-nário Internacional de Avaliação Educacional, realizadono Rio de Janeiro (RJ), de 1º a 3 de dezembro de 1997.Este evento – que reuniu dirigentes do MEC, secretári-os estaduais e municipais de Educação, técnicos dasSecretarias Estaduais de Educação e conceituados es-pecialistas de 10 países, inclusive do Brasil – , teve comoobjetivo identificar e discutir os novos desafios e as ten-dências da avaliação educacional. O debate, obviamen-te, teve como pano de fundo a comparação entre asexperiências desenvolvidas pelo Brasil nos últimos anose as experiências realizadas por diversos países.
A pauta do evento privilegiou a reflexão sobreas três questões das quais se ocupa o debate con-temporâneo na área: O que e como avaliar? Como or-ganizar institucionalmente um sistema de avaliação?Como disseminar e utilizar as informações da avalia-ção? Esta publicação – que reúne os papers dos 17expositores convidados, os documentos apresentadosdurante o seminário e as palestras proferidas na ses-são de abertura – apresenta a abordagem dessas ques-tões sob diferentes enfoques que contribuem para queo debate possa avançar e, em última instância, orien-tar o aperfeiçoamento dos sistemas de avaliação. Aotornar este documento acessível a um público maisamplo, pretende-se suscitar novas linhas de análise ede pesquisa que ofereçam respostas completas e con-clusivas para as questões levantadas.
Por fim, merece um registro especial a indis-pensável colaboração prestada pela Unesco, por meioda sua representação no Brasil e do BureauInternational d'Education, na realização do Seminárioe na preparação desta obra.
Maria Helena Guimarães de CastroPresidente do INEP
6
AN
AIS
DO
SE
MIN
ÁR
IO IN
TE
RN
AC
ION
AL
DE
AVA
LIA
ÇÃ
O E
DU
CA
CIO
NA
L
7
AN
AIS
DO
SE
MIN
ÁR
IO IN
TE
RN
AC
ION
AL
DE
AVA
LIA
ÇÃ
O E
DU
CA
CIO
NA
L
ACER – Australian Council for Educational Research(Austrália)
ADEA – Associación para el Desarrollo de laEducación Africana
AERA – American Educational Research Association(Estados Unidos)
BID – Banco Interamericano de DesenvolvimentoCAT – Cognitive Abilities Test / NFER-NELSON
(Inglaterra)CELADE – Centro Latinoamericano de DemografiaCEPAL – Comisión Económica para America Latina
y el CaribeCINE – Clasificación Internacional Normativo de la
EducaciónCIENES – Centro Interamericano de Enseñanza
Estadística [da OEA]CSF – Curriculum and Standards Framework (Austrália)DENI – Department of Education for Nothern Ireland
(Inglaterra)DEP – Direction de l'Évaluation et de la Prospective
(França)DfEE – Department of Education and Employment
(Inglaterra)ENC – Exame Nacional de Cursos (Brasil)ENEM – Exame Nacional do Ensino Médio (Brasil)ERO – Education Review Office (Nova Zelândia)ETS – Educational Testing Service (Estados Unidos)FBI – Federal Bureau of Investigation (Estados Unidos)GAT – General Achievement Test (Austrália)GCSE – General Certification of Secondary
Education (Inglaterra)GQT – Gestão da Qualidade Total (a sigla original,
em inglês, é TQM)GTZ – Deutsch Gesellschaft für Technisch
Zusammenarbeit (Alemanha)HMI – Her Majesty Inspectors (Inglaterra)IEA – International Association for the Evaluation ofEducational Achievement
IGEN – Inspection Générale de l'Éducation National(França)
IMD – International Institute for ManagementDevelopment
INEP – Instituto Nacional de Estudos e PesquisasEducacionais (Brasil)
INES – International Indicators Systems / OECDIPES – Indicateurs de Pilotage des Établissementesdu Second Degré (França)
ISEIC – International School Effectiveness andImprovement Center / Institute of Education /University of London (Inglaterra)
ISEP – Improving Schools Effectiveness Project(Inglaterra)
L ISTA DE SIGLAS
ISO – International Standards OrganizationLEA – Local Education Authorities (Inglaterra)LRDC – Learning Research and Development Center/
University of Pittsburgh (Estados Unidos)MEC – Ministério da Educação e Desporto (Brasil)NAEP – National Assessment of Educational
Progress / National Center for Education Statistics(Estados Unidos)
NAPS – National Assessment in Primary Schools(Inglaterra)
NCES – National Center for Education Statistics(Estados Unidos)
NCTM – National Council for the Teaching ofMathematics (Estados Unidos)
NEC – National Education Comission (Tailândia)NESIS – National Education Statistical Information
Systems (em espanhol: Sistemas Nacionales deInformación sobre la Educación) [ligados à Unesco]
NFER – National Foundation for EducationalResearch (Inglaterra)
NSELS – National School English Literacy Survey(Australia)
NSF – National Science Foundation (EstadosUnidos)
OCDE – Organização para a Cooperação eDesenvolvimento Econômico (a sigla original éOECD)
OECD – Organization for Economic Co-operation andDevelopment (a sigla traduzida para o português éOCDE)
OECS – Organización de Estados CaribeñosOrientales
OFSTEAD – Office for Standards in Education(Inglaterra)
ONEC – Office of the National EducationCommission (Tailândia)
ONPEC – Office of the National Primary EducationComission (Tailândia)
OREALC – Oficina Regional da Unesco para laEducación en America Latina y el Caribe
PIB – Produto interno brutoPNUD – Programa das Nações Unidas para o
DesenvolvimentoPROAV – Programa de Apoio à Avaliação
Educacional (Brasil)RSSI – Raising Schools Standards Initiative (Inglaterra)SACMEQ – Southern Africa Consortium for
Monitoring Educational QualitySAEB – Sistema Nacional de Avaliação da
Educação Básica (Brasil)SCAA – School Curriculum and Assessment
Authority (Inglaterra)
8
AN
AIS
DO
SE
MIN
ÁR
IO IN
TE
RN
AC
ION
AL
DE
AVA
LIA
ÇÃ
O E
DU
CA
CIO
NA
L
SIEd – Sistema Integrado de InformaçõesEducacionais (Brasil)
SIMCE – Sistema de Medición de Calidad de laEducación (Chile)
SIMS – Second International Mathematics StudySIRI – Sistema de Información Regional / Unesco (Chile)SITES – Information Technology in Education StudySRED – Service de la Recherche en Éducation (Suíça)TGAT – Task Group on Assessment and Testing
(Inglaterra)
TIMMS – Third International Mathematics andScience Study
TQM – Total Quality Management (em português, asigla é GQT)
UNE – União Nacional de Estudantes (Brasil)Unesco – Organização das Nações Unidas para a
Educação, a Ciência e a CulturaWGES – Working Group on Education Statistics
[vinculado ao NESIS] / ADEA
9
AN
AIS
DO
SE
MIN
ÁR
IO IN
TE
RN
AC
ION
AL
DE
AVA
LIA
ÇÃ
O E
DU
CA
CIO
NA
L
P ALESTRA INAUGURAL
Maria Helena Guimarães de Castro*
O Brasil atravessa um período de profundasmudanças sociais, políticas e econômicas, que confi-guram um novo modelo de desenvolvimento. No planopolítico-institucional, o País avançou na consolidaçãoda democracia, superando instabilidades que marca-ram o longo período de regime autoritário. No campoeconômico, vem aplicando desde 1994 um rigorosoplano de estabilização monetária, com resultados no-táveis no combate à inflação e com repercussões bas-tante positivas sobre a distribuição de renda.
Graças a esse esforço do governo e da socie-dade brasileira, o País vive um novo ambienteinstitucional, com expectativas otimistas para o futuro.A estabilidade da economia e o saneamento das finan-ças públicas criam condições muito favoráveis para odesenvolvimento das políticas sociais, especialmentena área da educação, onde se verificaram os maioresavanços nos últimos três anos.
Enfrentamos, nas últimas semanas, graves tur-bulências na economia. Com a inexorável globalizaçãodos mercados financeiros, o Brasil se ressentiu dosabalos provocados pela crise cambial que se espraioupelas economias emergentes do Sudeste Asiático. Ogoverno respondeu a essa ameaça com um duro ajus-te fiscal, o que mostra que há firme determinação polí-tica de defender as conquistas do Plano Real.
A crise atual ajudou a reforçar a convicção –compartilhada hoje pelas lideranças políticas e poramplos segmentos da opinião pública – que para tor-nar definitivas essas conquistas, o Brasil precisa levaradiante as reformas estruturais iniciadas pelo governoFernando Henrique Cardoso.
Consolidadas por meio de um conjunto deemendas constitucionais, essas reformas buscam atin-gir três metas estratégicas: em primeiro lugar, a mo-dernização da economia, a fim de dotar o País de me-lhores condições de competitividade no comércio in-ternacional e torná-lo menos susceptível ao efeito decrises externas; em segundo lugar, a reestruturaçãodo setor público, nas áreas administrativa, tributária efiscal; por último, a reorientação das políticas sociais,visando ampliar sua cobertura e alcançar um novo per-fil de eficiência e eqüidade.
Essas reformas implicam uma profundaredefinição do papel do Estado, seguindo tendênciaverificada em outros países e que reflete uma criseestrutural do setor público. No entanto, há uma dife-
rença básica que deve ser considerada: enquanto naEuropa esta reforma foi desencadeada pela crise fiscaldo "Welfare State", no Brasil tem sido impulsionadapelo esgotamento do modelo de desenvolvimento ba-seado numa forte intervenção estatal na economia.
O que se pretende, portanto, é redirecionar aatuação do Estado, reduzindo seu papel de produtorde bens econômicos e ampliando suas funções na áreasocial, especialmente no provimento de serviços desaúde e educação. Obviamente, essa remodelação doEstado passa por adoção de medidas semelhantes emtodos os países, como a privatização de empresasestatais, a desregulamentação da economia tendo porescopo estimular os investimentos privados, a realiza-ção de parcerias com o setor empresarial para amplia-ção da oferta de serviços públicos e o fortalecimentodo papel regulador do Estado.
Portanto, com a atual reforma, sai de cena oEstado-executor, assumindo seu lugar o Estado-regu-lador e o Estado-avaliador. Essa mudança de paradigmaexige uma verdadeira reengenharia do setor público.Trata-se da difícil tarefa de substituir controles buro-cráticos por uma nova cultura gerencial, que incorporaa política de avaliação como elemento estratégico dagestão pública.
O atual governo promoveu importantes avan-ços neste sentido, assumindo uma postura muito cla-ra quanto à necessidade de desenvolver a práticaavaliativa no âmbito das políticas públicas. Na realida-de, este esforço responde a uma exigência da própriasociedade, cada vez mais ciosa e vigilante em relaçãoà aplicação dos recursos públicos.
A educação é, sem qualquer dúvida, a áreaonde a política de avaliação vem merecendo maior ên-fase. Este é um componente do processo dedescentralização das políticas de educação básica.
Sob a liderança do ministro Paulo Renato Sou-za, o Ministério da Educação e do Desporto (MEC)definiu como prioridade desenvolver e implantar siste-mas de avaliação abrangendo todos os níveis de ensi-no. A mesma prioridade foi dada à reestruturação emodernização do sistema de estatísticas e indicado-res educacionais.
Em 1994, quando estávamos elaborando o pro-grama de governo para a área da educação do entãocandidato Fernando Henrique Cardoso, os dados edu-cacionais disponíveis mais recentes eram do Censo
*Maria Helena Guimarães de Castro, mestre em Ciência Política, pela Unicamp, é presidente do Instituto Nacional de Estudos e Pesquisas Educacionais (INEP)desde fevereiro de 1997. O INEP é responsável pela realização dos censos: Escolar, do Professor e do Ensino Superior; pelo Exame Nacional de Cursos (o"Provão" do Ensino Superior), pelo Exame Nacional do Ensino Médio (ENEM), e pelo Sistema Nacional de Avaliação da Educação Básica (SAEB).
10
AN
AIS
DO
SE
MIN
ÁR
IO IN
TE
RN
AC
ION
AL
DE
AVA
LIA
ÇÃ
O E
DU
CA
CIO
NA
L
Escolar de 1989 e do Censo Populacional de 1991,que não cobrem todos os aspectos relevantes. Portan-to, enfrentamos no início do atual governo uma gravedificuldade na hora de definir as ações mais urgentesdo MEC, pois estávamos trabalhando com dados ab-solutamente desatualizados.
Nos últimos três anos, graças ao esforço lide-rado pelo MEC, em parceria com as Secretarias Esta-duais de Educação, esta situação foi completamente re-vertida, a ponto de o Brasil ser apontado hoje como umareferência para a América Latina na área da produção deindicadores educacionais. Este reconhecimento é feito pelaprópria Unesco, nossa parceira na realização deste Semi-nário Internacional sobre Avaliação Educacional.
Com o desenvolvimento do Sistema Integradode Informações Educacionais (SIEd), o Censo Escolarganhou em agilidade e confiabilidade. Hoje, todos osprocedimentos já estão informatizados e em breve asSecretarias Estaduais de Educação estarão ligadasao MEC, por meio de uma rede on-line, o que deverátornar o sistema ainda mais eficiente.
Na última sexta-feira, o ministro Paulo Renatoapresentou os resultados finais sobre matrícula doCenso Escolar/1997. A divulgação dos resultados doCenso no mesmo ano da sua realização é um fato iné-dito, o que comprova os avanços alcançados nesta área.Com a criação do Fundo de Manutenção e Desenvolvi-mento do Ensino Fundamental e de Valorização doMagistério, o Censo Escolar ganhou uma importânciaainda maior, pois será com base nos seus dados so-bre matrícula que serão calculados os coeficientes paraa redistribuição dos recursos a partir do próximo mêsde janeiro.
Com a implementação de uma audaciosa po-lítica de avaliação educacional e com a reestruturaçãodo sistema de estatísticas e indicadores educacionais,o MEC oferece informações atualizadas para subsidiara formulação e o monitoramento das políticas do setorem todos os níveis de governo. O próprio ministérioutiliza hoje os resultados do Censo Escolar e dos sis-temas de avaliação como base para a formulação eimplementação dos seus principais programas.
Observa-se, portanto, uma situação bem dife-rente daquela que existia há três anos. Mas, realiza-mos apenas os primeiros passos na construção deum modelo de indicadores educacionais que atendaàs reais necessidades do País. O importante, no en-tanto, é a determinação de continuar avançando nestadireção, aprendendo com as experiências de outrospaíses e este é o principal objetivo deste seminário.
Nossa experiência na área da avaliação edu-cacional é bastante recente, embora o Brasil já reúnaum conjunto de iniciativas que podem ser comparadascom o que vem sendo feito por países que têm maiortradição nesta área.
Queremos destacar, rapidamente, as principaisações concretizadas pelo Ministério da Educação nestedomínio nos últimos três anos. Certamente, essasações serão referidas de forma mais detalhada ao lon-go dos debates que serão realizados nestes três diasdo nosso evento.
O Sistema Nacional de Avaliação da Educa-ção Básica (SAEB), embora não tenha sido criado naatual administração, passou por um processo de aper-feiçoamento e consolidação. A primeira mudança quemerece registro foi a sua realização com regularidade,a cada dois anos, o que é fundamental para efeito decomparabilidade dos resultados e para o desenvolvi-mento de uma cultura de avaliação junto aos sistemasde ensino.
O SAEB abrange uma amostra probabilísticarepresentativa dos 26 estados e do Distrito Federal,sendo aplicado às escolas públicas e privadas de en-sino fundamental e ensino médio. O sistema tem comoobjetivos: aferir os conhecimentos e habilidades dosalunos, mediante aplicação de testes, com a finalida-de de avaliar a qualidade do ensino; verificar os fatorescontextuais e escolares que incidem na qualidade doensino – condições de infra-estrutura das unidades es-colares; perfil do diretor e mecanismos de gestão es-colar; perfil do professor e práticas pedagógicasadotadas; características socioculturais e hábitos deestudo dos alunos.
A análise dos resultados dos levantamentosdo SAEB permite acompanhar a evolução do desem-penho dos sistemas de ensino e dos diversos fatoresincidentes na qualidade e na efetividade do ensino mi-nistrado pelas escolas, possibilitando dessa forma adefinição de ações voltadas para a correção das defici-ências identificadas. Um exemplo bem concreto e atu-al de política subsidiada pelo resultado do SAEB é oPrograma de Aceleração de Aprendizagem, criado peloMEC para apoiar os sistemas estaduais e municipaisde ensino a multiplicar ações visando corrigir um dosprincipais problemas do ensino fundamental, que é aincidência de índices muito elevados de distorção ida-de/série.
O SAEB mostrou que os alunos com essacaracterística apresentam um desempenho inferior aosalunos que freqüentam a série correspondente à suaidade. Portanto, torna-se prioritário criar classes deaceleração de aprendizagem para estes alunos. OSAEB também ofereceu importantes subsídios para adefinição da política de formação de professores.
Com a aplicação do quarto ciclo do SAEB, noúltimo mês de outubro, este sistema se consolida comoo mais importante e abrangente instrumento de avalia-ção da educação básica em todo o País.
Por último, cabe registrar que o INEP criou umBanco Nacional de Itens, que forneceu as questões uti-lizadas na elaboração das provas do SAEB deste ano.Além de atender a essa necessidade, o Banco Nacio-nal de Itens poderá fornecer às redes estaduais de ensi-no que queiram implementar sistemas próprios de avali-ação itens pré-testados e calibrados nacionalmente.Portanto, esta iniciativa fortalece a política de avaliaçãoeducacional, estimulando a implementação de sistemasque permitam a comparabilidade dos resultados.
A principal inovação do MEC na área da avali-ação educacional foi a instituição e implementação doExame Nacional de Cursos, para avaliar o ensino degraduação oferecido pelas instituições de ensino su-
11
AN
AIS
DO
SE
MIN
ÁR
IO IN
TE
RN
AC
ION
AL
DE
AVA
LIA
ÇÃ
O E
DU
CA
CIO
NA
L
perior, públicas e privadas. Este exame, que a impren-sa alcunhou de "Provão", integra um sistemaabrangente de avaliação do ensino superior, orientadopara a melhoria da qualidade dos cursos.
O "Provão" está sendo implementado gradual-mente, tendo começado em 1996 com apenas trêscursos: Direito, Engenharia Civil e Administração. Esteano, foram incorporados mais três cursos: Odontolo-gia, Medicina Veterinária e Engenharia Química – eem 1998 será avaliado um total de dez cursos. Entre-tanto, desde que foi lançado, o programa repercutiuintensamente, produzindo um debate que ganhou asmanchetes dos principais jornais e revistas.
O estabelecimento de uma sistema externode avaliação do ensino superior rompe com uma tradi-ção credencialista e burocrática, na qual o papel exer-cido pelo MEC se limitava ao credencimento das insti-tuições e à autorização para a abertura de cursos. Issoimplica uma verdadeira mudança cultural, que não acon-tece sem resistências. As reações mais fortes, obvia-mente, são de natureza corporativa.
Quando o Exame Nacional de Cursos foi lan-çado, no ano passado, assistimos a uma tentativa daUnião Nacional dos Estudantes (UNE) - felizmente fra-cassada – de mobilizar os alunos para promover umboicote a esta iniciativa do Ministério da Educação. Aabstenção em todo o País foi inferior a 5%, o que com-prova que a maioria absoluta dos estudantes compre-endeu o verdadeiro objetivo do "Provão", não se dei-xando levar pelo discurso maniqueísta da UNE.
O que surpreendeu foi a enorme aceitação do"Provão" pelos formadores de opinião, o que se refletena própria cobertura amplamente favorável dedicadapelos meios de comunicação. A dificuldade maior, quecomeça a ser superada, foi convencer os diferentessegmentos da comunidade universitária, sobre os ob-jetivos do Exame Nacional de Cursos e da sua inser-ção como um dos instrumentos que integram o Siste-ma de Avaliação Institucional do Ensino Superior. Acre-ditamos que este entendimento já é partilhado pelamaioria dos dirigentes, professores e alunos.
O terceiro programa avaliativo que o Ministérioda Educação está desenvolvendo aplica-se ao ensinomédio. A primeira experiência foi feita recentemente, noúltimo dia 5 de novembro, com a aplicação de um exa-me para os concluintes do ensino médio em nove Esta-dos brasileiros, abrangendo cerca de 660 mil alunos.
É importante notar que essa iniciativa foi con-cretizada a partir de uma solicitação formal do Conse-lho Nacional de Secretários de Educação, fórum quereúne os secretários de educação dos 26 estados e doDistrito Federal. A adesão ao exame foi voluntária, ten-do sido muito expressiva a participação de nove siste-mas estaduais de ensino, que respondem por cercade 70% dos concluintes do ensino médio.
Esta experiência foi apoiada com entusiasmopelo ministro da Educação, pois oferecerá importantesindicativos para a implantação do Exame Nacional do
Ensino Médio (ENEM), a partir de 1998. Este exameserá facultativo para os alunos – ao contrário do"Provão", que é obrigatório para os formandos do ensi-no superior. Outra diferença básica é que este examevai avaliar o desempenho do aluno, enquanto o "Provão"tem como objetivo avaliar os cursos.
O Exame Nacional do Ensino Médio vai criarum parâmetro nacional, podendo ser adotado pelasuniversidades como um dos requisitos para adoção desistema seletivo alternativo ao atual modelo dos con-cursos vestibulares.
Por fim, o Brasil se abriu para a participaçãoem projetos de avaliação educacional comparada,como o TIMMS, que será aplicado em 1998. Este ano,participamos também do projeto de avaliação da Ofici-na Regional da Unesco para la Educación en AméricaLatina y el Caribe (Orealc), envolvendo 15 países daAmérica Latina e do Caribe. Merece referência, ainda,o convite feito ao Brasil para participar do projeto deindicadores educacionais da OECD.
O Instituto Nacional de Estudos e PesquisasEducacionais (INEP), que temos a honra de presidir, éresponsável pela implementação de todos esses sis-temas de avaliação e de estatísticas educacionais. Naverdade, esta atribuição foi delegada ao INEP em feve-reiro deste ano, como conseqüência da política de for-talecimento institucional definida pelo Ministério daEducação.
Esta mudança coincidiu com a comemoraçãodos 60 anos do INEP, resgatando assim os ideais dogrande educador Anísio Teixeira, que presidiu a insti-tuição na década de 50. Hoje, o INEP assume clara-mente a missão de se especializar como instituto deavaliação e informação educacional, exercendo, des-sa forma, um papel estratégico para o desenvolvimen-to do sistema educacional brasileiro.
Para desempenhar com competência suasnovas atribuições, o INEP tem envidado esforços paraampliar o intercâmbio internacional, estabelecendo re-lações com instituições similares de outros países. Damesma forma, buscamos ampliar o diálogo com asuniversidades, estando em andamento um projeto paraestimular a criação de programas de pós-graduaçãono âmbito da avaliação educacional.
A realização deste seminário, em parceria coma Unesco, insere-se dentro desta perspectiva de cons-truir referências para que o Brasil aprimore sua políticade avaliação educacional, incorporando os conhecimen-tos e experiências de outros países. Este evento reú-ne especialistas de 14 países, incluindo o Brasil. Cons-titui-se, portanto, um fórum altamente qualificado, quemuito contribuirá para o avanço do debate sobre osdiferentes aspectos da avaliação educacional.
Em nome do ministro da Educação, PauloRenato Souza, a quem representamos neste ato, sau-damos todos os participantes, agradecendo a disponi-bilidade e o interesse manifestado em atender ao con-vite do INEP e da Unesco.
12
AN
AIS
DO
SE
MIN
ÁR
IO IN
TE
RN
AC
ION
AL
DE
AVA
LIA
ÇÃ
O E
DU
CA
CIO
NA
L
13
AN
AIS
DO
SE
MIN
ÁR
IO IN
TE
RN
AC
ION
AL
DE
AVA
LIA
ÇÃ
O E
DU
CA
CIO
NA
L
P RONUNCIAMENTO
Jorge Werthein*
Junto com nossos colegas e amigos do Mi-nistério da Educação e do Desporto, assumimos atarefa, quase a missão, de montar este espaço que,realmente esperamos, permita debater e trocar ex-pectativas e experiências sobre um tema que, pela suasignificação atual, reveste-se hoje de enorme relevân-cia: os novos desafios da avaliação educacional.
Como aponta o Documento de Trabalho queserviu de base para a convocatória do seminário: "emdiversos foros internacionais foi salientado que o prin-cipal desafio dos sistemas educacionais atuais não émais apenas proporcionar educação a todos os cida-dãos, mas também assegurar que esta seja de quali-dade".
Este é, realmente, o eixo central, o pano defundo que deverá orientar nossas preocupações e dis-cussões ao longo dos três dias de trabalho: como con-tribuir, desde o campo da avaliação, para a melhoria daqualidade de nossos sistemas de ensino.
O tema da qualidade não é novo nem recente.Podemos dizer que é uma questão sempre presentena pauta de discussões dos educadores e gestores etambém uma enorme preocupação das famílias queprocuram esse ou aquele caminho para assegurar odestino social de seus filhos. Mas, desde meados dadécada de 80, observamos um fenômeno novo e signi-ficativo: de questão "sempre presente", a qualidadetransforma-se em "eixo central". Destaca-se comocampo prioritário de intervenção e meta das diversasreformas educacionais que vêm acontecendo no mun-do todo.
Um indicador privilegiado desta novacentralidade é o seu destaque, como eixo, na Declara-ção Mundial de Educação para Todos, resultante daConferência de Jomtien, convocada pela Unesco, aUnicef, o Programa das Nações Unidas para o Desen-volvimento (PNUD) e o Banco Mundial. Ao definir asgrandes linhas estratégicas para a virada do século, aDeclaração estabelece, no seu artigo terceiro, que "aprioridade mais urgente é melhorar a qualidade". Liga-do a isto, a seguir, o artigo quarto estabelece a neces-sidade de implementar sistemas de avaliação do de-sempenho dos alunos.
Essa proximidade entre a qualidade e a avali-ação educacional não é casual ou mero produto decircunstâncias conjunturais. O próprio conceito de qua-lidade, sob qualquer perspectiva teórica e qualquer queseja o objeto de referência, leva implícito a noção dejulgamento, a idéia de ponderar a capacidade que o
objeto tem de satisfazer às nossas necessidades,expectativas ou desejos. Deste modo, falar de qua-lidade leva, de forma necessária e orgânica, a falarde avaliação.
Mas, quando a questão da qualidade é circuns-crita ao educacional, entram em julgamento não sóum campo substantivo e complexo da atividade huma-na, mas também as necessidades que este campodeveria satisfazer. Por um lado, as demandas da soci-edade em seu conjunto, as demandas dos diversossubsistemas sociais (o político, o econômico, o cultu-ral, etc.), por outro lado as demandas dos agrupamen-tos humanos que interagem na sociedade (família, co-munidade, etc.) que exprimem demandas concretase, até, muitas vezes contraditórias. Estas demandas ea forma de satisfazer às mesmas é o que se encontraatualmente na berlinda, mas nos orientam na questãodo que avaliar.
O tema da avaliação educacional não é novo.Longe disso, muito se tem falado, escrito e praticadoneste campo. Mas, a recente emergência da questãoda qualidade colocou a avaliação em um novo pata-mar, do qual surgem novas configurações e desafiosque constituem os tópicos que deverão ser abordadosneste seminário.
Em primeiro lugar, hoje, quando falamos deavaliação, estamos fazendo referência a algo bem dife-rente do que significava a avaliação há 15 ou 20 anosatrás. Nessa época, a avaliação estava imbricada comos grandes nomes que atuavam no campo: Coleman,Scriven, etc. Falávamos das grandes avaliações feitaspor grandes figuras. Mas eram avaliações que aconte-ciam de forma esporádica, quando as circunstâncias eas possibilidades o permitiam.
Hoje falamos das avaliações do SAEB, doTIMMS, do SIMCE, do NAEP, sem levar muito em con-ta que nossos mapas mentais mudaram. Nossas refe-rências, hoje, são grandes sistemas de avaliação,rotinizadas por atividades periódicas e recorrentes, sis-temáticas, de caráter longitudinal e quase anônimas.Passamos do esporádico e circunstancial da avalia-ção à consolidação de grandes sistemas, com todosos ganhos, mas também com as grandes dificulda-des, que isto origina. A avaliação deixou de ter uminício – o projeto, um meio (a coleta e análise dos da-dos) e um grande final: o relatório. Passou a ser umaatividade permanente, periódica e cíclica, que gera ro-tinas, manuais, problemas de divulgação e questões
*Jorge Werthein é o representante da Unesco no Brasil e o coordenador do Programa Unesco/Mercosul.
14
AN
AIS
DO
SE
MIN
ÁR
IO IN
TE
RN
AC
ION
AL
DE
AVA
LIA
ÇÃ
O E
DU
CA
CIO
NA
L
metodológicas e técnicas bem específicas, que deve-rão construir os temas de nosso debate.
Para acharmos exemplos paradigmáticos des-tas transformações e da modernização da avaliaçãoeducacional, não temos de ir muito longe; vamosencontrá-los aqui mesmo, no Brasil, onde o Ministérioda Educação deu, em poucos anos, passos gigantes-cos nesta direção. À longa tradição que já possuía aavaliação dos cursos de pós-graduação, tradição commais de 20 anos de prestígio e experiência, soma-sehoje uma série de processos e sistemas que cobrem,praticamente, todos os níveis do ensino.
Temos, por exemplo, o Sistema Nacional deAvaliação da Educação Básica (SAEB), uma sofistica-da e complexa operação que, a cada dois anos, alémde testar alunos do ensino fundamental e médio nasdisciplinas básicas Português, Matemática e Ciênci-as, levanta informações sobre o professor, o diretor daescola, a própria escola, os hábitos de estudo e o uni-verso sociocultural dos alunos, enfim, o nível e o con-junto de possíveis determinantes, intra e extra-escola-res, que incidem na qualidade do ensino ministrado.
Recentemente, foi também instituído o ExameNacional de Cursos (ENC), mais conhecido como oProvão que, mediante diversos mecanismos, incluindouma avaliação do desempenho dos egressos, pretendeaferir, de forma sistemática, a qualidade dos cursos degraduação das universidades do País.
Ainda em fase experimental, mas contando jácom a ativa participação e parceria de diversos estados
do País, está sendo realizado este ano, pela primeiravez, o Exame Nacional do Ensino Médio (ENEM), ini-ciativa que pretende, num futuro bem próximo, avaliar,de forma sistemática, a qualidade dos egressos do en-sino médio do País.
Sem pretendermos ser exaustivos nesta enu-meração, não poderíamos deixar de mencionar umainiciativa recente do Ministério da Educação nesta área,iniciativa que, pelas suas possíveis conseqüências,achamos de importância e relevância transcendentaispara os temas que nos preocupam. Decidido a encararde frente a questão da formação e desenvolvimento dosrecursos humanos para a área, acaba de ser instituídoum Programa de Apoio à Avaliação Educacional(PROAV). É um ambicioso projeto, que inclui doutora-do, pós-doutorado, implantação de cursos de mestradoem avaliação educacional, laboratórios de medidas edu-cacionais, cursos de especialização em temas espe-cíficos relacionados com a metodologia e as técnicasda moderna avaliação educacional. Enfim, um grandeprograma de formação de recursos humanos para aavaliação educacional.
Por último, queremos agradecer ao Ministérioda Educação e do Desporto nas figuras de seu titular,o Dr. Paulo Renato Souza, e da Presidente do INEP,Drª Maria Helena Guimarães de Castro, por todo oesforço e apoio dado para a concretização desteseminário.
Muito obrigado.
15
AN
AIS
DO
SE
MIN
ÁR
IO IN
TE
RN
AC
ION
AL
DE
AVA
LIA
ÇÃ
O E
DU
CA
CIO
NA
L
Pretendemos fazer um rápido histórico do de-senvolvimento do Sistema Nacional de Avaliação daEducação Básica – o SAEB.
Ao desenvolvermos o SAEB, iniciamos umprocesso que tem começo, mas parece não ter fim. OSAEB tem, portanto, as características de qualquerprocesso: não está pronto; tão cedo não estará; tal-vez, nunca esteja pronto e acabado. Por isso estamosconstruindo um sistema de avaliação. E é sobre a his-tória desta construção, algumas características maistécnicas e as questões com que estamos nos depa-rando nesse momento que pretendemos falar nesteseminário.
A ntecedentes e breve histórico
Primeiramente, é necessário contextualizar omomento do surgimento do SAEB.
A idéia de se montar um sistema de avaliaçãoda educação nacional surgiu, no Ministério da Educa-ção, durante o período de redemocratização do País,logo no início da Nova República, em meados de 1985/1986, quando se discutia a questão da federação, daredefinição dos papéis e das atribuições dos diversosníveis de governo existentes no Brasil. Claro que estasquestões permanecem em discussão ainda hoje.
Aqui, vale fazer um parêntese sobre a distri-buição de funções na área educacional, entre as esfe-ras administrativas brasileiras.
Existem três instâncias de governo no Brasil:os municípios, que são responsáveis basicamente pelaadministração de escolas que oferecem educação pré-escolar e fundamental; os estados, que além de admi-nistrarem uma rede de escolas de Ensino Fundamen-tal e Médio, têm um papel de supervisão do sistemaestadual de educação, isto é, supervisionam o funcio-namento das demais redes de ensino (municipal, par-ticular e federal); e a União, que, por intermédio doMinistério da Educação e do Desporto (MEC), além degerenciar uma rede federal de ensino médio, muitopequena, restrita a escolas técnicas e agrotécnicas,tem como principais papéis a formulação das grandesdiretrizes para o sistema educacional e, destaca-damente, a ação supletiva, em um País de grande di-
mensão territorial e de grandes desigualdadessocioeconômicas. A função supletiva, portanto, deveser cumprida no sentido da redução das desigualda-des existentes no Brasil. Talvez esta seja uma dasfunções mais importantes do MEC.
O sistema de avaliação surge, então, a partirdestas questões, quer dizer, em um momento de de-mocratização do País, quando a sociedade, estados,municípios e a própria União estão discutindo aredefinição de seus papéis, a divisão de funções e atri-buições e, também, o sentido da cooperação, da arti-culação, da integração e da parceria entre as instânci-as de governo.
Concretamente, o processo de democratizaçãodo País refletia-se na educação, destacando a questãoda democratização do ensino, ressaltando neste caso,dois aspectos: o primeiro relacionava-se ao acesso àescola. Reconhecia-se que o País tinha feito um grandeesforço de construção de escolas e realmente tinhaampliado bastante o número de pessoas que ingressa-vam na escola. Porém, os resultados que estavam sen-do gerados não eram, ou pelo menos havia uma impres-são geral de que não pareciam ser o que se desejava.Nada tinha sido medido, mas havia uma percepção muitoforte de que era preciso implementar a qualidade ou darmais qualidade ao sistema educacional. Agora, que qua-lidade é esta? É isso que um sistema de avaliação tam-bém tentaria examinar. Ficou claro, então, que um sis-tema nacional de avaliação do sistema educacional po-deria trazer informações úteis sobre o que está sendogerado no setor educacional, como, onde, quando equem é responsável pelo produto obtido.
Dessa forma, surgiu o Sistema Nacional deAvaliação da Educação Básica (SAEB) como umaatribuição do Ministério da Educação e do Desporto,para coletar informações sobre a qualidade dos resul-tados educacionais, sobre como, quando e quem temacesso ao ensino de qualidade.
C aracterísticas do sistemanacional de avaliação
O SAEB nasceu caracterizado por uma ne-cessidade permanente de articulação e de construçãode consenso e acordos ou, pelo menos, de uma toma-
O SISTEMA DEAVALIAÇÃO BRASILEIRO
Maria Inês Pestana*
* Maria Inês Gomes de Sá Pestana é diretora de Avaliação da Educação Básica, no INEP, e, desde 1995, é responsável pelo desenvolvimento do SistemaNacional de Avaliação da Educação Básica (SAEB).
16
AN
AIS
DO
SE
MIN
ÁR
IO IN
TE
RN
AC
ION
AL
DE
AVA
LIA
ÇÃ
O E
DU
CA
CIO
NA
L
da de decisão mais coletiva, pois o objeto do SAEB éo sistema nacional de educação, que diz respeito atoda a sociedade, além de ser gerenciado por váriasinstâncias.
Também caracteriza este sistema de avalia-ção o objetivo de monitorar as políticas voltadas para amelhoria da qualidade, da eqüidade e da eficiência dosistema educacional, problemas ainda hoje centrais,no caso brasileiro.
Sendo assim, ele tem como intenção proverinformações para tomada de decisões, por isso desti-na-se, no primeiro momento, aos gestores do sistemaeducacional (ministro da Educação, os secretáriosestaduais e municipais de Educação) procurando tra-zer informações sobre a qualidade da educação; a eqüi-dade, ou seja, como a qualidade está sendo alcançadano espaço brasileiro; e a eficiência do sistema, ou seja,há ou não maneiras melhores de se obter qualidade naeducação.
As características gerais do sistema de avali-ação em termos de objetivos, estrutura e concepçãomantêm-se constantes. As mudanças que foramefetuadas no sistema (iniciado em 1988) nesses qua-se 10 anos são de cunho metodológico e operacional.
Do ponto de vista conceitual, o SAEB procuraarticular diversos aspectos relacionados à educação,tentando superar uma tendência muito forte àcompartimentalização da educação, bastante eviden-te na política educacional e, conseqüentemente, noinvestimento em educação.
Tradicionalmente, a ação governamental con-cretiza-se em grandes programas ou projetos de in-vestimentos educacionais: investe-se milhões em cons-trução de escolas, outros milhões em capacitação deprofessores, e ainda outros milhões em material didá-tico, quase sempre sem nenhuma articulação entreestas partes. Com base nessa visão focalizada, ao fi-nal dos programas e projetos, sabia-se quantas esco-las foram construídas, quantos professores foram ca-pacitados e quantos livros didáticos foram impressose distribuídos, mas não se podia afirmar se qualitativa-mente o sistema havia melhorado, nem qual tinha sidoa contribuição efetiva de cada uma das partes (a cons-trução de escola, a capacitação de professores e omaterial didático) para a melhoria do sistema.
O sistema de avaliação procurou trabalhar ar-ticuladamente com esses diversos aspectos, de modoa possibilitar a determinação não do componente quede fato causou ou foi responsável pela melhoria do sis-tema, mas sim da melhoria real da qualidade do siste-ma, em primeiro lugar e, em seguida, do arranjo defatores que possibilitou tal melhoria, uma vez que difi-cilmente um fator responde sozinho por qualquer mu-dança no campo educacional.
Muito já foi dito aqui neste seminário sobre a"caixa preta" que a escola esconde. O SAEB pretendeabrir esta caixa, descobrir o que acontece na escola,principalmente na escola bem-sucedida.
O arcabouço do SAEB é resultado de umaampla discussão, onde se debateu a necessidade dedar transparência ao sistema educacional, sendo im-prescindível para isso responsabilizar os diversos agen-tes do sistema educacional pelos produtos e resulta-dos apresentados pelo sistema de ensino brasileiro.Para efetivar estes objetivos, foi preciso incorporar aidéia de produto do sistema educacional definindo tam-bém o que seria este produto e, em seguida, determi-nar que aspectos relacionados ao processo de obten-ção do produto deveriam ser observados.
Como a base do sistema de avaliação é o de-bate, o convencimento e o estabelecimento de acor-dos, na realidade conseguiu-se, à época, o seguinteconsenso entre o Ministério da Educação e do Des-porto e os secretários estaduais de educação: não sóera possível, como necessário, que os agentes do sis-tema educacional e a sociedade passassem a olhar aescola como uma prestadora de serviços e que estesdeveriam concretizar-se gerando resultados (um pro-duto) que seria o desempenho do aluno.
É claro que o desempenho do aluno é bastan-te abrangente, e o SAEB não é capaz, ainda, de mediros vários aspectos nele contidos - principalmente ati-tudes, aspectos afetivos e valores - que fazem parte dofazer educacional, que são objetivos da escola. Mas odesempenho do aluno, em termos de aprendizagemde determinados conteúdos e de aquisição de deter-minadas habilidades e competência, é passível demedição. O SAEB começaria, então, medindo o de-sempenho acadêmico dos alunos brasileiros. Com basenos resultados obtidos, poder-se-ia fazer análises ecomparações e discutir se os resultados concretospossuíam ou não qualidade, isto é, poder-se-ia avaliar.
Há hoje um grande debate sobre o fato da edu-cação não acontecer no vazio, e sim a partir de condi-ções iniciais da aprendizagem de um indivíduo, sendomuito importante determinar o valor agregado aos indi-víduos pela educação e pela escola.
Relaciona-se a essa discussão um outro pon-to fundamental da concepção do SAEB.
No SAEB, parte-se do princípio que o desem-penho do aluno sofre múltiplos condicionamentos, osquais devem ser considerados pela avaliação. Para tantodeve-se somar ao desempenho do aluno, pelo menos,mais três dimensões, quais sejam: a determinação decontextos em que acontecem o ensino e a aprendiza-gem; a identificação de processos de ensino e apren-dizagem e, por fim, o dimensionamento dos insumosutilizados.
A inclusão destas dimensões é fundamental,por exemplo, para determinar a eqüidade na oferta edu-cacional. Quando os insumos estão bem distribuídose as escolas têm o mesmo padrão de infra-estruturaou um padrão semelhante, pode-se afirmar que a po-pulação está tendo as mesmas oportunidades educa-cionais. Indo além e examinando em que medida a
17
AN
AIS
DO
SE
MIN
ÁR
IO IN
TE
RN
AC
ION
AL
DE
AVA
LIA
ÇÃ
O E
DU
CA
CIO
NA
L
oferta de oportunidades semelhante gera resultadosdiferenciados, e quais as possíveis razões da diferen-ciação, poder-se-ia determinar até que ponto os bonsresultados educacionais estariam efetivamente sendodemocratizados, isto é, se pelo menos a maioria dosalunos teria de fato garantido o direito à educação dequalidade.
Para coletar informações sobre cada uma dastrês dimensões abrangidas pelo sistema de avaliação,foram desenvolvidos instrumentos e procedimentosespecíficos.
A dimensão produto é examinada por meio daaplicação de provas que medem o nível de competên-cia e/ou habilidades que os alunos brasileiros apre-sentam ou demonstram possuir.
As dimensões contexto, processo e insumossão examinadas por meio da aplicação de questionári-os aos professores (sobre a prática docente, o perfilprofissional e as condições de trabalho), aos diretores(também sobre o perfil, a prática e as condições detrabalho) e aos alunos (sobre nível socioeconômico ehábitos de estudo). Além disto é feito um levantamen-to sobre as condições das escolas (instalações, equi-pamentos e materiais disponíveis).
As informações resultantes destes levantamen-tos permitem fazer associações, correlações, análiseshierárquicas, estudos mais ou menos complexos so-bre a realidade educacional brasileira.
O quadro a seguir apresenta o arcabouço doSAEB.
Este é, portanto, o esquema básico da avalia-ção, que pouco mudou desde que começou a ser de-senvolvido.
Quanto à abrangência, o sistema caracteriza-se pela participação de todas as 27 unidades da Fede-
ração, 2 mil escolas de todas as redes de ensino (fe-deral, estadual, municipal e particular) e uma amostrade alunos que está hoje em torno de 220 mil alunos, edeve ficar, a partir de 1999, com cerca de 300 milalunos, 3 mil diretores e aproximadamente 20 milprofessores.
Enfoque Dim ensão Ind icador/Variável Instrum ento
AcessoAtendim ento
• Taxas de acesso• Taxas de esco larização
Questionários doao Ensino
BásicoE ficiência
• Taxas de p rodutividade• Taxas de transição• Taxas de e ficiência interna
Censo Escolar doSEEC /INEP/M EC
Produto
Desem penho do aluno , emtermos de:
• aprendizagem de conteúdos• desenvolvim ento de habilidade e
com petências
• Questões de provas
Qualidade,
E ficiência,
Eqüidade
do sistema
de ensino
básico
Contexto
Processo
• N ível socioeconômico dos alunos.• Hábitos de estudo dos alunos• Perfil e condições de trabalho dos
docen tes e dos d iretores.• Tipo de escola .• Grau de au tonom ia da esco la.• M atriz organizacional da esco la.• P lane jam ento do ensino e da escola.• P rojeto pedagógico.• Relação entre conteúdos
propostos/ensinados e conteúdosensinados/aprend idos.
• U tilização do tempo pedagógico.• Estratégias e técnicas de ensino
utilizadas.
• Questionários para:• alunos;• professores;• dire tores.
Insum o
• Infra-estrutura (adequação,m anutenção e conservação):
• espaço fís ico e instalações;• equ ipam entos;• recursos e m ateriais didáticos.
• Questionário sobrecondições da escola
•
•
18
AN
AIS
DO
SE
MIN
ÁR
IO IN
TE
RN
AC
ION
AL
DE
AVA
LIA
ÇÃ
O E
DU
CA
CIO
NA
L
O esquema amostral é de amostrasprobabilísticas de alunos mais amostras relacionadas,ou seja, os alunos que são selecionados para partici-par do sistema de avaliação têm a mesma probabilida-de de seleção, e têm seus professores e seus direto-res automaticamente selecionados para responder aosquestionários. Com isso, estrutura-se uma base de da-dos que permite as análises e estudos já mencionados.
Não foi fácil começar o sistema nacional deavaliação utilizando-se provas únicas a serem aplica-das em todo o território nacional. Na primeira avaliação(ou primeiro ciclo do SAEB), houve a participação de23 estados. Somente em 1995 todos os estados bra-sileiros e todas as redes de ensino passaram a partici-par, voluntariamente, do Sistema Nacional de Avalia-ção da Educação Básica.
O sistema começou avaliando a 1ª, 3ª, 5ª e a7ª séries do Ensino Fundamental com base em con-teúdos mínimos comuns. Para defini-los, fazia-se umlevantamento dos currículos estaduais, os aspectoscomuns eram identificados (era considerado comum oque aparecia em, pelo menos, 70% dos estados) eapós uma série de discussões e negociações com asequipes técnicas dos estados eram definidos os con-teúdos a serem avaliados por meio das provas. Osdemais instrumentos, isto é, questionários para direto-res, professores e sobre a escola também eram discu-tidos e incorporavam as sugestões das equipes esta-duais. Esta negociação é um traço característico doSAEB, e é por meio dela que o SAEB adquirepertinência e legitimidade.
Nesta base foram então realizados os levanta-mentos de dados nos ciclos de 1990 e 1993.
No entanto, em 1995, foi realizada uma avalia-ção externa do próprio SAEB que trouxe à tona algu-mas questões que ao serem respondidas implicaramuma mudança metodológica no sistema de avaliação.
Uma primeira questão relacionava-se aos con-teúdos mínimos comuns, que eram a referência dasprovas. Na realidade, os conteúdos eram mínimos paraum ciclo de estudos e não para a série em que aplicá-vamos as provas. Por exemplo: parte do conteúdo da1ª série do Ensino Fundamental que era comum a to-dos os estados poderia aparecer em cinco estados na1ª série e em outros cinco na 2ª série, ou em outrasérie. Neste caso era introduzido um viés que distorciaos resultados da prova, já que os alunos estavam emdiferentes condições de aprendizagem: uns foram ex-postos aos conteúdos, outros não.
Para superar esta dificuldade e também paraacompanhar uma tendência do desenvolvimentocurricular no caso brasileiro, passou-se a avaliar, en-tão, as séries finais de ciclos. Os três ciclos avaliadossão os seguintes: as primeiras quatro séries do Ensi-no Fundamental (1ª a 4ª), as outras quatro séries doEnsino Fundamental (5ª a 8ª) e as três séries do Ensi-no Médio ou secundário. Com esta alteração, passou-
se a examinar conteúdos que cobrem praticamente todoo espectro curricular das propostas de Ensino Funda-mental e Médio ou de Educação Básica no Brasil.
A segunda alteração metodológica realizadaem 1995 se deu na maneira como se media o desem-penho do aluno. Nesse caso, a metodologia e as pro-vas utilizadas até então tinham muitas limitações. Uti-lizava-se provas clássicas de conteúdo, de 30 ques-tões que, por exemplo, não podiam ser comparadasno tempo e tampouco entre as diferentes séries. Porisso iniciou-se o processo de elaboração e interpreta-ção de escalas de proficiência, construídas com basena Teoria de Resposta ao Item. Esta técnica permiteos dois tipos de comparação (no tempo e entre as sé-ries), pois a unidade de análise passa a ser o item daprova, e não mais a prova completa, nem o aluno.
O uso da Teoria de Resposta ao Item e dasEscalas de Proficiência associados a uma técnica debalanceamento de conteúdos nas provas permitiu tam-bém a superação de uma terceira dificuldade que era apequena amplitude de conhecimentos que uma provade 30 questões tem. O SAEB de 1995 já utilizou cercade 150 questões em cada uma das disciplinas avalia-das. Embora cada aluno continue respondendo entre30 e 35 questões, é possível avaliar o desempenho dogrupo de alunos em todas as 150 questões utiliza-das, cobrindo, portanto, um espectro mais amplodo currículo.
Até este momento o SAEB avaliou os alunosem Matemática, Língua Portuguesa e Ciências; nestaúltima, a partir de 1997. Em 1999, vamos introduzirHistória e Geografia.
Um grande esforço tem sido feito para mantera transparência da avaliação e torná-la amplamenteconhecida. Embora os instrumentos que examinam osfatores associados ao desempenho sejam conhecidosde todos, por questões técnicas, ainda não podemosdar a conhecer as questões das provas.
Buscando minimizar esta impossibilidade, estásendo realizado um trabalho bastante interessante, ede certa maneira inovador, que é a elaboração da ma-triz curricular de referência para avaliação.
Esta matriz é quase uma tabela deespecificação para a elaboração das questões das pro-vas do SAEB.
Para elaborar essa matriz, o procedimento uti-lizado foi o mesmo de quando foram definidos os con-teúdos mínimos comuns. Novamente, buscou-se tudoo que havia de comum nas propostas curriculares dosestados para os três ciclos de ensino. Foram incorpo-radas as propostas dos Parâmetros Curriculares Naci-onais, elaboradas pelo Ministério da Educação e queservem de referência para o País, e também foram con-siderados os "estados da arte" de cada disciplina e osníveis de desenvolvimento cognitivo associados aosciclos de ensino. Mais uma vez todo o material elabo-rado foi encaminhado para críticas e sugestões dasequipes das secretarias de educação dos estados.
19
AN
AIS
DO
SE
MIN
ÁR
IO IN
TE
RN
AC
ION
AL
DE
AVA
LIA
ÇÃ
O E
DU
CA
CIO
NA
L
A matriz de referência para a avaliação apre-senta uma série de descritores do desempenho do alu-no. Cada descritor é um cruzamento ou associaçãoentre conteúdos curriculares e operações mentais (com-petências e habilidades). Nesse ponto reside a nossaousadia e a nossa dificuldade.
A matriz parece ser uma maneira de se con-seguir superar a quase eterna divisão que há, em qua-se toda proposta curricular, entre os objetivoscurriculares e a lista de conteúdos, pois concretiza,em cada descritor, a articulação entre objetivo curricularou objetivo de desenvolvimento e o conteúdo. Segundodiversos depoimentos de professores, a matriz de fatoconseguiu descrever, em cada descritor, o desempe-nho desejado do aluno, ou seja, que operação mentalo aluno tem de realizar com cada conteúdo.
É claro que todo este trabalho está em perma-nente processo de discussão, para que possa ser sem-pre aperfeiçoado.
No momento, as matrizes de referência para aavaliação devem cumprir dois objetivos: dar transpa-rência à avaliação e diminuir um dos maiores riscos daavaliação que é o da redução daquilo que é ensinadosomente ao que é avaliado. Por isso, o desenvolvimen-to das matrizes associado à utilização de modelos dateoria de respostas ao item para análise e construçãode escalas de desempenho permite que se faça umadescrição bastante ampla daquilo que se espera queseja desenvolvido e seja atingido, ou esteja sendo al-cançado pelos alunos brasileiros.
Completando a descrição das matrizes, restadizer que ela organiza os descritores de desempenhoem tópicos, temas e assuntos (conteúdos) e opera-ções mentais (competências e habilidades) distribuí-dos em três ciclos (até a 4ª série do Ensino Funda-mental, até a 8ª do Ensino Fundamental e até a 3ªsérie do Ensino Médio) e três categorias: competênci-as básicas, operacionais e globais, isto é, em cadaum dos ciclos aparecem as três categorias de compe-tências.
Mais uma vez é importante destacar que amatriz baseia-se no que consta das propostascurriculares em vigor no Brasil.
Após realizar a coleta e análise dos dados, oSAEB informa à sociedade os resultados mais geraise coloca à disposição de administradores, gestores,professores, diretores de escolas, de alunos, de espe-cialistas, uma série de informações que permitem umolhar mais qualitativo sobre o sistema de ensino.
Em relação ao desempenho dos alunos sãofornecidos dois tipos de informação: primeiramente asmédias de proficiência, que é uma informação maisgeral sobre a capacidade do aluno, isto é, aquilo queos alunos de cada uma das três séries avaliadas sãocapazes de fazer. Esta informação baseia-se na es-cala de proficiência construída para o País, que inter-preta e sintetiza o desempenho dos alunos. Estas in-formações podem ser obtidas desagregadas por região
e por estado, rede de ensino, localização, característi-cas dos alunos, dos professores, diretores e das es-colas; em segundo lugar, os resultados de aproveita-mento médio do aluno, isto é, qual foi o comportamen-to dos alunos em relação a cada um dos descritoresde desempenho que constam das Matrizes de Refe-rência da Avaliação bem como ao seu conjunto, sen-do, portanto, uma informação de cunho curricular bas-tante detalhada.
Todos estes dados devem possibilitar análisesbem interessantes sobre o currículo aprendido no Bra-sil e provocar discussões e aperfeiçoamentos nos cur-rículos propostos.
Também estão disponíveis todas as demaisinformações sobre variáveis associadas ao rendimentoescolar e de caracterização das escolas, alunos, pro-fessores e diretores.
O debate sobre o sistema nacional deavaliação hoje
No estágio de desenvolvimento em que se en-contra o SAEB, uma grande questão começa a serdebatida: até aonde vai a real capacidade de um siste-ma nacional de avaliação de informar sobre todos osaspectos relacionados à educação e sobre a diversi-dade e a singularidade das escolas?
Apesar de todo esforço até aqui realizado nodesenvolvimento do SAEB, da legitimidade que o sis-tema possui, da parceria que foi estabelecida com ossistemas de ensino, e embora a avaliação venha sen-do progressivamente apropriada pelos sistemas deensino e o SAEB esteja tornando-se uma referência,um sistema nacional de avaliação não responde, nempoderia responder a todas as necessidades de infor-mação, e também não tem capacidade de apreendertoda a diversidade e singularidade das escolas, por issotem de ser complementado.
A luz que o SAEB joga sobre o sistema deensino e as escolas não é suficiente, por exemplo,para iluminar o que acontece dentro da sala de aula.Neste e em outros aspectos, é preciso que os estadose municípios e as escolas promovam a realização deestudos e pesquisas que sustentem o desenvolvimen-to de sistemáticas de avaliação capazes de informarsobre questões mais específicas e singulares de umestado, de um município e de uma escola. Estas ava-liações poderiam ter um caráter complementar ao sis-tema de avaliação nacional, tanto em termos de objetoquanto em termos conceituais e metodológicos.
À medida que se amplia a utilização das infor-mações do SAEB, ampliam-se os usuários da infor-mação e, talvez por isso, surjam muitas questões paraas quais o SAEB não pode fornecer elementos. Estaimpossibilidade tem gerado críticas ao sistema de ava-liação, sendo a principal delas a que vê como falha do
20
AN
AIS
DO
SE
MIN
ÁR
IO IN
TE
RN
AC
ION
AL
DE
AVA
LIA
ÇÃ
O E
DU
CA
CIO
NA
L
sistema o fato de não serem encaminhados resulta-dos da avaliação às escolas e, em conseqüência dis-so, as escolas fazerem pouco ou nenhum uso dosdados da avaliação nacional.
Embora esta crítica tenha fundamento e sejadesejável devolver os resultados da avaliação para asescolas, deve-se discutir alguns outros aspectos quetambém compõem o quadro da avaliação nas escolas.
Primeiramente, como a avaliação não é umfim em si mesma e sim um instrumento que deve serutilizado para corrigir rumos e pensar o futuro, pareceser muito importante assegurar que juntamente comas informações que a avaliação fornece sejam criadose utilizados instrumentos que viabilizem a superaçãodos problemas diagnosticados, ou a reafirmação dasmedidas e práticas bem-sucedidas.
É preciso fazer a ponte entre a avaliação e aação. Ou seja, não basta informar ou iniciar um pro-cesso de reflexão na escola sobre os problemas oudeficiências pelos quais ela passa sem colocar à suadisposição os recursos de que precisa para superarsuas dificuldades, pois nesse caso a avaliação tendea exercer somente o papel cruel, inútil e vazio de tes-temunha, e não de agente transformador e pró-ativo.
Serem informadas, portanto, é condição ne-cessária mas não suficiente para que as escolas utili-zem dados de avaliações. À informação deve-se so-mar o conhecimento e a capacidade técnica para lidarcom a informação, a autonomia para decidir e os re-cursos para implementar as decisões tomadas. Casoestes três elementos não existam na escola, a infor-mação da avaliação será abandonada, na melhor dashipóteses.
Outra possibilidade mais pessimista é que aavaliação, na medida em que as intervenções propos-tas não sejam coerentes com o diagnóstico da avalia-ção, isto é, na medida em que não tenha seus resulta-dos incorporados na linha de atuação da escola e dassecretarias estaduais e municipais de educação, pas-se a exercer um papel paralisante e desestruturadorda ação educacional, gerando mais impasses do quesoluções. A capacitação de professores pode ser exem-plo deste tipo de situação. Caso a avaliação mostreque há problemas de aprendizagem em determinadosconteúdos de matemática, seria desejável que fossemoferecidas capacitações de professores relacionadasa este aspecto, mas não, são oferecidas capacitaçõesem outras disciplinas ou em outros aspectos da mate-mática, ficando evidente o desprezo aos resultados daavaliação e a incoerência na ação educacional.
Por isso parece ser mais prudente que os re-sultados da avaliação nacional cheguem às escolasmediados pelos estados e municípios, que poderãoestabelecer os vínculos e a coerência entre o diagnós-tico e suas linhas de ação.
Até aqui foi enfatizado o uso dos resultadosda avaliação pelas escolas e pelos sistemas de ensi-no. No entanto, existe um outro usuário das informa-
ções da avaliação que deve ser destacado. Trata-se dasociedade, que tem no sistema de avaliação um ins-trumento de controle social de um serviço público. Épor meio do sistema de avaliação que a sociedade éinformada sobre os resultados obtidos pelos diferentessistemas de ensino, sobre as diferentes condições deoferta de educação e sobre as diferenças e as desi-gualdades educacionais que possam existir no País.Nesse caso, a utilização de tais informações tem umcunho eminentemente político, de fortalecimento dojogo democrático, que é gerar pressão social tanto paracorreção das distorções e superação dos problemasquanto para preservação de conquistas e ganhos.
Considerando a descentralização, adesconcentração e a autonomia da escola como ten-dências irreversíveis do nosso sistema educacional, osistema nacional de avaliação reveste-se de fundamen-tal importância para servir como referência a esse sis-tema descentralizado e autônomo e reduzir o risco dedesarticulação e pulverização dos objetivos do siste-ma educacional. Isto é, o SAEB, ao fornecer informa-ções sobre os resultados que vêm sendo obtidos noPaís, nas regiões, nos estados e nas escolas, permiteque a população avalie a escola que freqüenta, infor-mando-se sobre a qualidade do ensino que lhe éoferecido.
A lguns resultados obtidos pelo SAEB
Dos resultados da avaliação realizada em1995, aqui serão destacadas, de maneira muito breve,somente a título de ilustração, apenas algumas dasprincipais evidências encontradas.
Primeiramente, mais uma vez os resultadosafirmam o caráter desigual da oferta educacional, tan-to em termos da infra-estrutura escolar quanto dos re-sultados do ensino. Essa segmentação pode ser ob-servada tanto na heterogeneidade de instalações, ma-teriais, equipamentos e condições de funcionamentodas escolas quanto nos diferenciais de desempenhoentre os alunos dos diferentes estados e regiões brasi-leiros, conforme os Gráficos 1 a 6, em anexo.
De fato, somente a infra-estrutura básica dasescolas está universalizada, ou seja, a grande maioriade alunos da quarta série do Ensino Fundamental éatendida em escolas que possuem salas de aula, li-vros e quadros-negros. Os demais recursos pedagógi-cos (laboratórios, bibliotecas, quadras de esportes,computadores, televisões, etc.) estão restritos a par-celas de estudantes da 8ª série do Ensino Fundamen-tal e da 3ª série do Ensino Médio. Esta situação suge-re uma questão bastante significativa: se a expansãoquantitativa das séries finais do Ensino Fundamental edo Ensino Médio, já em processo, acontecer com a
21
AN
AIS
DO
SE
MIN
ÁR
IO IN
TE
RN
AC
ION
AL
DE
AVA
LIA
ÇÃ
O E
DU
CA
CIO
NA
L
mesma intensidade e nos moldes da expansão queocorreu com as quatro primeiras séries do EnsinoFundamental, haverá a mesma perda de qualidadedas condições estruturais e de funcionamento dasescolas?
Outro aspecto que merece destaque são osdiferenciais de desempenho dos alunos dos diferentesestados e regiões e das diferentes séries (ver Gráficos7 e 8 e Tabelas 1, 2 e 3, nos Anexos). A desigualdadeobservada nos resultados do SAEB adquire grande pro-porção quando comparamos o desempenho entre alu-nos de 4ª e 8ª séries do Ensino Fundamental de al-guns estados. É possível observar alguns casos ondequase não há diferença entre a média alcançada poralunos de 4ª série de alguns estados e alunos de 8ªsérie de outros. Isto é, nesses casos, os alunos de 8ªsérie após freqüentarem oito anos de escola demons-traram um nível de desempenho semelhante àquele decrianças que passaram apenas quatro anos na esco-la. Isto é pura desigualdade. E não é somente um re-flexo de desigualdades econômicas, a escola brasilei-ra também está contribuindo para a formação de cida-dãos de diferentes categorias.
Por fim, nos Gráficos 9 e 10 (ver Anexos) ob-serva-se o caráter negativo da distorção idade-série nodesempenho do aluno. Mesmo que se admita que adistorção idade-série é causada tanto pelo ingressotardio, quanto pela repetência e pela evasão, pode-sequestionar até que ponto a escola brasileira reforça estatendência ao não adequar suas estratégias de ensinoà real clientela que atende, quando não considera asdiferenças de idade dos alunos.
C onsiderações Finais
O desenvolvimento de sistemas nacionais deavaliação é um fenômeno bastante recente, e por issomesmo, pouco analisado em sua diversidade e limites.
De maneira geral, os sistemas nacionais deavaliação apresentam-se como um instrumento de ges-tão do sistema escolar. Um instrumento bastantepoderoso e arriscado, na medida em que sinalizampadrões de aprendizagem que a escola básica deveassumir como seu objetivo, e mostram se os ganhos
de qualidade do sistema educacional estão socialmen-te bem distribuídos.
O caso brasileiro não é diferente. O SAEB temprocurado ser um instrumento para a superação de umadas falhas mais flagrantes do sistema educacional hoje,qual seja: as escolas não têm clareza sobre onde de-vem chegar e, muitas vezes, nem sabem de que ba-ses estão partindo.
O caminho escolhido para identificação des-tes objetivos foi o da negociação, da transparência edo debate. Por isso o SAEB vem assegurando o cum-primento dos seguintes princípios ou diretrizes no seuprocesso de desenvolvimento técnico e institucional:
1) Visibilidade social: identificando e apresen-tando para gestores, administradores, professores, paise alunos os resultados e produtos obtidos pelo siste-ma de ensino.
2) Responsabilização: procurando identificar aparcela de contribuição de cada segmento envolvidona obtenção dos resultados do processo educacional,o que induz ao comprometimento com a busca e aimplementação de ações corretivas e de aperfeiçoa-mento.
3) Desenvolvimento de competência técnico-científica: sendo fundamental a capacitação de recur-sos humanos para o desenvolvimento e fortalecimentoda competência avaliativa nos sistemas educacionais.
4) Estabelecimento de parcerias: entre o Mi-nistério da Educação, sistemas de ensino, universida-des e instituições de pesquisa para o desenvolvimentoe execução dos projetos de avaliação.
5) Utilização dos resultados: para formulação,reformulação de políticas, programas e projetos edu-cacionais, de maneira a ampliar (e mesmo induzir, emalguns momentos) a reflexão sobre questões da quali-dade dos resultados e sobre a atuação de todos osenvolvidos no processo educacional (gestores, profes-sores, pais, alunos e educadores).
Em síntese, o SAEB vem gradativamente tra-zendo elementos que permitem identificar as significa-tivas diferenças que existem entre o que a sociedadeespera como resultado do processo escolar, o que épossível dele esperar e o que efetivamente dele resultaem termos de desenvolvimento, nos alunos, de com-petências básicas, capacidade de pensar e qualida-des pessoais, isto é, a contribuição da escola para odesenvolvimento da cidadania.
Este é o rumo e este tem sido o grande desafio.
22
AN
AIS
DO
SE
MIN
ÁR
IO IN
TE
RN
AC
ION
AL
DE
AVA
LIA
ÇÃ
O E
DU
CA
CIO
NA
L
ANEXOS
Gráfico 1 – Percentagem de Alunos x C ondições Físicas da Escola4 Série do Ensino Fundamenta l – B rasila
51 4843
32
46
3140
35 3544
3635
3636
33
32
35
31 44 4233
17 12 15 19
33
18
3125
20 21 19
46
0
20
40
60
80
100
Telhado Pa redes Piso Po rtas eJanelas
Banheiro Cozinha Inst.H idrául.
Ins t. E létrica
Carteiras M esas,cadeiras,arm ários
ÁreaExterna
%
Bom Regular Ruim
5852
4337
5241
46
3338
49
3131
31
34
31
27
33 2746 38
33
149
1621
3016 23 25
19 2216
52
0
20
40
60
80
100
Telhado Pa redes Piso Po rtas eJanelas
Banheiro Cozinha Inst.H idrául.
Ins t.E létrica
Carteiras M esas,cadeiras,arm ários
ÁreaExterna
%
Bom Regular Ruim
Gráfico 2 – Percentagem de Alunos x Condições Fís icas da Escola8 Série do Ensino Fundamenta l – Brasila
23
AN
AIS
DO
SE
MIN
ÁR
IO IN
TE
RN
AC
ION
AL
DE
AVA
LIA
ÇÃ
O E
DU
CA
CIO
NA
L
Gráfico 3 – Percentagem de Alunos x Condições Físicas da Escola8 Série do Ensino Fundamental – Brasila
5447 43
3844 43 42 38 37
48
3434
33 36
28
3228 32 40 42
33
158
17 16
2814 24 21 18 17 14
48
0
20
40
60
80
100
Telhado Pa redes Piso Po rtas eJanelas
Banheiro Cozinha Inst.H idrául.
Ins t.E létrica
Carteiras M esas,cadeiras,arm ários
ÁreaExterna
%
Bom Regular Ruim
Bom Regular Ruim
Gráfico 4 – Percentagem de Alunos x Recursos Pedagógicos4a – série de Ensino Fundamental Brasil
24
AN
AIS
DO
SE
MIN
ÁR
IO IN
TE
RN
AC
ION
AL
DE
AVA
LIA
ÇÃ
O E
DU
CA
CIO
NA
L
Gráfico 6 – Percentagem de Alunos x Recursos Pedagógicos3a – série do Ensino Médio Brasil
Bom Regular Ruim
Gráfico 5 – Percentagem de Alunos x Recursos Pedagógicos8a – série de Ensino Fundamental Bras il
50
44
50
36
69
68
36
35
32
38
32
23
36
28
17
11
32
30
29
30
37
10
9
32
25
25
8
6
15
3
5
9
3
12
16
18
11
17
5
5
12
18
20
5
7
6
2
3
4
2
53
0 20 40 60 80 100 120
Bom Regular Ruim
25
AN
AIS
DO
SE
MIN
ÁR
IO IN
TE
RN
AC
ION
AL
DE
AVA
LIA
ÇÃ
O E
DU
CA
CIO
NA
L
Gráfico 7 M atemática–Proficiênc ia M édia Brasil e Regiões–
290295301298
266271
253253259
262
230237
174182181188153145
0
75
150
225
300
Norte Nordeste Sudeste Su l Cen tro -O este Bras il
3 sériea 8 sériea 4 sériea
Gráfico 8: Português
Proficiênc ia M édia - Brasil e Regiões
série3 a série8 a série4 a
26
AN
AIS
DO
SE
MIN
ÁR
IO IN
TE
RN
AC
ION
AL
DE
AVA
LIA
ÇÃ
O E
DU
CA
CIO
NA
L
Gráfico 9 Matem ática - 3ª série Ensino M édio−Proficiênc ia m édia segundo a idade dos alunos
225
250
275
300
325
350
=< 17 18 19 20 21 => 22
IDADE DO ALUNO
BR AS IL
N O RT E
N O R D E S TE
SU D E S TE
SU L
C -OE STE
Gráfico 10 Português - 3ª série Ensino Médio−Proficiência m édia segundo a idade do aluno
225
250
275
300
325
350
=< 17 A nos 18 An os 19 An os 20 An os 21 An os =>22 A nos
IDADE DO ALUNO
BR ASIL
N O RTE
N O R D ES TE
SU D ES TE
SU L
C -O ESTE
27
AN
AIS
DO
SE
MIN
ÁR
IO IN
TE
RN
AC
ION
AL
DE
AVA
LIA
ÇÃ
O E
DU
CA
CIO
NA
L
Tabela 1 – Distribui ção de proficiências da 4ª série do Ensino FundamentalBrasil, Regiões e Estados
Matemática Leitura5% 25% 50% Média 75% 95% 5% 25% 50% Média 75% 95%
BR 73 129 170 174 212 269 72 136 178 177 217 271
N 54 109 147 145 185 238 63 117 161 154 198 250
NE 59 117 158 153 201 264 62 124 166 160 208 264
SE 92 149 190 188 231 283 86 152 193 187 231 284
S 98 150 188 181 222 271 84 151 193 181 231 281
CO 89 145 181 182 220 273 91 150 188 185 223 275
RO 60 112 153 150 189 241 52 118 158 152 194 245
AC 46 94 132 129 167 216 61 105 145 147 186 237
AM 80 123 158 156 192 239 67 123 163 159 198 240
RR 77 125 157 157 190 241 76 130 167 162 201 246
PA 51 112 148 140 184 237 57 126 168 154 203 254
AP 33 85 128 127 168 232 25 89 135 134 184 249
TO 51 113 149 147 184 233 49 111 152 151 193 243
MA 41 98 140 141 181 237 34 91 138 139 183 240
PI 71 125 167 172 219 293 71 134 179 176 225 299
CE 57 116 156 151 198 259 77 134 173 163 214 263
RN 59 117 162 155 204 260 53 123 167 157 205 265
PB 41 101 150 148 198 264 56 117 161 160 209 271
PE 60 117 160 153 205 262 57 125 167 159 206 261
AL 41 91 138 137 181 246 45 105 152 150 197 257
SE 67 126 160 162 202 254 76 133 173 171 209 257
BA 68 121 156 156 194 250 62 133 175 167 213 261
MG 110 166 207 195 243 289 88 159 200 185 238 288
ES 77 129 162 166 199 257 80 131 168 169 206 261
RJ 84 139 179 181 224 280 91 150 190 187 226 281
SP 96 150 189 189 229 283 85 153 193 189 229 282
PR 99 155 196 190 233 278 82 162 203 189 238 283
SC 106 154 189 188 223 258 91 145 187 179 223 268
RS 91 140 175 170 209 260 79 143 181 175 220 279
MS 89 145 180 179 217 268 93 149 185 183 219 267
MT 71 123 162 157 198 259 62 118 162 153 197 247
GO 98 151 187 191 226 277 103 155 192 192 226 276
DF 107 157 191 191 226 276 119 170 202 203 237 288
28
AN
AIS
DO
SE
MIN
ÁR
IO IN
TE
RN
AC
ION
AL
DE
AVA
LIA
ÇÃ
O E
DU
CA
CIO
NA
L
Tabela 2 – Distribui ção de proficiências da 8ª série do Ensino FundamentalBrasil, Regiões e Estados
Matemática Leitura
5% 25% 50% Média 75% 95% 5% 25% 50% Média 75% 95%BR 172 216 247 253 279 324 163 217 249 252 279 319
N 167 206 233 237 260 298 158 208 237 238 264 304
NE 159 199 229 230 263 311 142 197 232 227 264 306
SE 192 233 264 262 293 336 186 234 263 262 291 330
S 195 236 263 259 290 327 192 235 261 257 289 325
CO 184 225 255 253 283 328 178 226 255 252 283 322
RO 168 207 233 234 261 300 154 207 236 234 261 294
AC 162 197 222 223 249 282 158 199 225 224 251 288
AM 170 209 237 236 265 301 154 209 236 233 262 303
RR 172 212 235 235 261 294 158 206 237 234 266 298
PA 176 215 244 249 273 314 182 222 252 253 278 312
AP 162 200 226 224 252 288 160 205 234 230 259 297
TO 157 194 224 222 252 287 140 191 227 218 255 293
MA 150 188 215 215 242 282 131 184 221 216 252 287
PI 158 199 229 228 257 291 138 195 226 224 255 292
CE 159 203 233 235 269 316 149 204 236 234 268 310
RN 156 196 230 232 270 321 143 195 236 232 271 312
PB 164 207 236 236 271 308 154 203 235 233 268 304
PE 158 196 228 230 262 314 141 192 228 227 261 306
AL 150 187 216 217 252 300 131 182 218 215 252 296
SE 168 208 237 240 268 316 155 206 237 236 266 308
BA 163 203 233 231 263 310 138 200 235 226 266 309
MG 199 239 267 265 297 341 190 236 265 260 293 332
ES 179 220 250 249 278 318 164 215 245 245 274 317
RJ 192 233 264 257 293 330 187 236 264 259 292 330
SP 190 233 263 263 293 332 189 235 265 264 291 329
PR 190 231 260 254 291 331 187 233 259 254 287 326
SC 199 234 257 256 282 314 190 230 254 253 280 310
RS 203 242 269 265 294 327 198 239 267 263 293 328
MS 180 220 248 246 272 310 168 220 249 247 276 317
MT 175 216 245 245 272 307 171 216 245 243 271 308
GO 180 217 248 248 280 328 178 223 252 250 281 323
DF 204 246 274 275 304 342 200 244 270 269 295 334
29
AN
AIS
DO
SE
MIN
ÁR
IO IN
TE
RN
AC
ION
AL
DE
AVA
LIA
ÇÃ
O E
DU
CA
CIO
NA
L
Tabela 3 – Distribuição de proficiências 3ª série do Ensino M édioBrasil, Regiões e Estados
M atem ática Leitura
5% 25% 50% M édia 75% 95% 5% 25% 50% M édia 75% 95%BR 207 252 285 290 321 370 187 242 275 277 306 347
N 195 239 267 271 299 348 179 230 263 262 294 333
NE 194 235 267 266 301 360 172 223 257 253 290 334
SE 229 268 298 298 329 373 207 256 287 285 315 353
S 235 276 305 301 333 371 207 256 287 283 315 355
CO 219 262 295 295 332 385 206 255 284 283 314 356
RO 204 255 294 280 328 359 178 251 285 279 313 344
AC 194 240 268 264 299 332 177 222 252 250 282 319
AM 208 242 266 275 294 354 192 234 266 265 296 338
RR 195 236 261 263 292 327 186 224 256 255 284 323
PA 198 238 267 269 296 335 173 229 263 262 293 332
AP 204 244 270 274 297 338 190 232 262 265 294 332
TO 179 223 264 266 307 361 166 218 253 249 287 326
M A 180 228 265 256 297 344 151 212 250 242 281 324
PI 187 231 261 258 296 342 165 217 252 245 283 319
CE 198 241 275 277 311 369 170 224 258 255 290 336
RN 183 230 262 260 296 338 164 219 255 252 291 333
PB 191 238 265 266 296 357 175 224 257 254 288 326
PE 192 230 258 262 291 346 170 216 249 247 281 324
AL 201 248 280 280 317 359 185 231 267 261 299 331
SE 215 257 288 294 341 392 191 238 273 272 309 363
BA 197 236 265 266 298 375 179 230 260 261 292 344
M G 233 272 302 303 332 370 203 258 287 283 314 351
ES 225 263 289 285 318 363 199 241 272 271 300 336
RJ 229 267 299 289 332 382 205 254 284 275 312 351
SP 227 269 300 300 330 373 219 263 293 291 319 355
PR 229 270 297 298 325 371 198 251 281 279 309 348
SC 233 271 298 292 328 359 209 256 285 281 313 352
RS 249 288 317 311 342 374 218 269 295 289 321 360
M S 216 254 281 282 311 351 205 248 274 273 300 338
M T 204 242 270 272 300 338 196 241 271 268 295 329
GO 217 257 287 290 328 377 201 253 284 282 314 357
DF 253 296 330 328 365 404 227 275 306 302 331 369
30
AN
AIS
DO
SE
MIN
ÁR
IO IN
TE
RN
AC
ION
AL
DE
AVA
LIA
ÇÃ
O E
DU
CA
CIO
NA
L
31
AN
AIS
DO
SE
MIN
ÁR
IO IN
TE
RN
AC
ION
AL
DE
AVA
LIA
ÇÃ
O E
DU
CA
CIO
NA
L
E DUCAÇÃO PARATODOS: ACESSO À
APRENDIZAGEM E CONQUISTA DO CONHECIMENTO ÚTIL
Robert Glaser*
I ntrodução
Todos nós sabemos que os indivíduos são edu-cados de acordo com as condições culturais e econô-micas que prevalecem no momento. Entretanto, as con-dições do passado poderão permanecer em vigor, mal-adaptadas e retardando o progresso, mesmo que acultura tenda à mudança. À medida que trabalhamospara a avaliação e o aprimoramento dos nossos siste-mas de educação, é necessário examinar as nossasmetas e as nossas realizações à luz do conhecimentomoderno; ao mesmo tempo, devemos identificar as res-trições e os obstáculos que nos emperram, e que tor-nam difícil a mudança.
Tendo em mente este tema da mudança, con-sideraremos dois aspectos fundamentais de um siste-ma de educação: como é determinado o acesso à opor-tunidade da educação, e como são avaliados os resul-tados da educação. Estas questões, acesso e realiza-ção, refletem-se em: como os alunos são seleciona-dos para a entrada na escola, como as suas habilida-des de aprender são facilitadas, e como a qualidadeda aprendizagem, a competência alcançada e as me-tas de educação são avaliadas.
A primeira função, acesso à educação, foi in-fluenciada por práticas sociais que tentam identificaraqueles que aparentam a habilidade, a aptidão ou aclasse social para aproveitarem a escolaridade numsistema de educação. O acesso à instrução é admi-nistrado através de testes e de outros procedimentosde seleção, e do uso de métodos para a classificaçãoe a colocação diferenciada dos indivíduos (a teoriapsicométrica teve a sua expansão principalmente nes-te contexto de utilização). Atualmente, enquanto tra-balhamos para melhorar os nossos sistemas, deve-mos nos perguntar se os métodos de seleção e declassificação desenvolvidos são agora funcionais eaceitáveis, para uma sociedade que deseja maximizaras capacidades e as realizações da maior parte detodos os cidadãos, que são o ponto focal de um siste-ma de educação.
A segunda função, avaliação do desempenhoe do produto da aprendizagem, evoluiu, em muitos depaíses, para testes de desempenho padronizados nosquais o desempenho dos alunos é comparado a nor-mas que proporcionam informação comparativa, masque não reconhecem os padrões de desempenho ne-cessários. Além disso, o que freqüentemente se ava-lia, é conveniente aos formatos estabelecidos de tes-tes, e às formas de instrução baseadas em teoriasmais antigas da aprendizagem, em que a lembrançada informação predomina, e em que os processos deraciocínio e de solução de problemas, bem como ouso eficaz do conhecimento, são menos evidentes. Paraque possa haver progresso e aprimoramento, os resul-tados do ensino e o desempenho dos alunos precisamser avaliados de acordo com padrões de mentalidadeativa, e com base em critérios de desempenho compe-tentes, em vez de normas de grupo apenas.
A cesso à educação
As práticas de seleção e colocação na escolapodem produzir efeitos variados. Alguns indivíduos sãopromovidos ao nível seguinte da escolaridade comoresultado desses procedimentos, e com vantagens sig-nificativas para eles mesmos e para a sociedade. Ou-tros são excluídos e poderão ser dirigidos a uma ins-trução menos avançada ou diluída, que pouco contri-buirá para aumentar as suas oportunidades de educa-ção. Superficialmente, o processo de seleção podeaparentar que escolhe os melhores talentos; contudo,existe a possibilidade de estar baseado em princípiosde aptidão e de inteligência, que desencadeiem umciclo de habilidade não desenvolvida. Um número de-masiadamente alto de alunos poderá ser excluído dedeterminadas experiências de educação,
*Robert Glaser, doutor em Psychological Measurement and Learning Theory (Indiana University), é diretor do Learning Research and Development Center, daUniversity of Pittsburgh (Estados Unidos). Autor e editor de extensa bibliografia (livros, artigos de periódico, coletâneas e relatórios técnicos), foi também editorda revista The New Educational Researcher.
32
AN
AIS
DO
SE
MIN
ÁR
IO IN
TE
RN
AC
ION
AL
DE
AVA
LIA
ÇÃ
O E
DU
CA
CIO
NA
L
presumivelmente porque lhes faltam os atributos e osantecedentes que sejam promissores do êxito naaprendizagem; entretanto, é preciso termos consciên-cia de que esses mesmos atributos poderiam ser apren-didos, em ambientes apropriados de educação.Freqüentemente, os indivíduos se vêem afastados deexperiências de aprendizagem legítimas, que poderi-am desenvolver neles as capacidades de que necessi-tam para virem a ser incluídos em um processo eficazde educação.
Freqüentemente, as experiências vividas pe-los alunos que apresentam baixo desempenho não osexpuseram à informação e aos modos de cognição quepoderiam ser úteis para a aprendizagem escolar; poroutro lado, estes podem ser aprendidos se tais alunospuderem exercitar esse conhecimento e essas habili-dades em ambientes adequados. Os testes de avalia-ção e outros critérios usados para determinar a pronti-dão e a retenção poderão revelar um número despro-porcional de crianças em situação de desvantagem,como não estando prontas para as atividades regula-res da escola, e dirigi-las a currículos mais leves que,muito provavelmente, não promoverão nelas as habili-dades de aprendizagem. Separar esses alunos da cor-rente principal da educação, com freqüência, resultarána sua exclusão de experiências educacionais fecun-das, impedindo-os de usar capacidades de aprendiza-gem onde poderiam exercitar o conhecimento e a ha-bilidade que eles têm disponíveis para o aprimoramen-to do seu rendimento educacional (Glaser, Silver, 1994;Oakes, 1985, 1990; Oakes, Lipton, 1990; Shepard,1991).
Para possibilitar o acesso à oportunidade daeducação, e para reduzir os aspectos de exclusão daavaliação estudantil, as práticas do futuro deverão serprojetadas para a investigação das possibilidades decrescimento dos alunos. É preciso que a avaliação e ainstrução sejam mais integradas, além de baseadasem padrões de desempenho. Dessa maneira, os pro-fessores estarão mais capacitados a reconhecer e aapoiar os pontos fortes de suas crianças, e a organizarambientes de aprendizagem que possam desenvolvernelas as habilidades de aprender. Os alunos com bai-xo desempenho deverão ser dirigidos a formas de edu-cação que não restrinjam as suas oportunidades deaprender e que desenvolvam capacidades de aprendi-zagem.
Para maior clareza sobre a questão do aces-so à educação, devemos repetir que o emprego de tes-tes para a seleção e a colocação é uma prática impor-tante em determinados momentos do desenvolvimentode uma sociedade, mas o apoio exagerado neles po-derá significar escrever as biografias dos indivíduosantecipadamente, determinando as suas vidas e assuas carreiras. Essa filosofia determinística precisa sersuavizada e já não é mais a única opção. Agora, preci-samos perguntar como o acesso à educação poderá
melhor contribuir para o crescimento dos alunos e parao seu potencial. A condição (e o problema de pesquisae desenvolvimento para o futuro) é projetar uma socie-dade educacional aberta à ajuda, que possa "serjulgada em termos da sua habilidade de facilitar adap-tações construtivas dos programas educacionais paraos indivíduos" (Thorndike, 1975), em que o conheci-mento utilizável e socialmente reconhecido possa serrealizado por todos os alunos, e em que altos níveis decompetência sejam atingidos por muitos. O objetivo éincrementar o acesso à oportunidade de educação, deforma que possam maximizar o bem-estar da pessoae da comunidade.
A primorando o acesso à oportunidade
da educação
Para sermos, agora, mais específicos, discu-tiremos várias áreas em que o uso e o desenvolvimen-to das habilidades dos alunos para aprender possamser consideradas com o propósito de facilitar ambien-tes de aprendizagem adaptativa. Focalizaremos trêspontos fortes, sobre os quais pode ser fundamentadaa educação na escola: 1) conhecimento baseado nacomunidade, 2) habilidades para auto-regulação, e 3)convicções sobre esforço e habilidade predeterminada.
1) Conhecimento baseado na comunidade
A educação que é adaptável ao aluno podeconsiderar os altos níveis de desempenho que resul-tam das exigências de solução de problemas e racio-cínio que os jovens enfrentam na sua vida quotidiana.Fora do ambiente formal da escola, os indivíduos de-senvolvem competências para solucionar problemasquantitativos e verbais, que surgem nas atividades co-munitárias. Isso ocorre com a necessidade de empre-go precoce e com a participação como aprendiz emuma atividade comercial ou profissional (Lave, 1988;Rogoff, 1990). A participação nessas práticas sociaisé uma forma fundamental de aprendizagem, e é preci-so considerar a sua importância para o plano pedagó-gico que se quer implantar. Este conhecimento dispo-nível pode ser relacionado ao conhecimento escolar,de modo que os indivíduos adquiram confiança nas suaspróprias habilidades de aprender. A escola precisa iden-tificar as estratégias que já foram absorvidas pelos alu-nos durante a sua vida quotidiana e no trabalho quepodem transformar-se na base para a futura aprendiza-gem. As formas de competência e de experiênciatrazidas para a escola por muitos dos alunos são so-fisticadas nos seus ambientes de utilização fora daescola, e podem ser imediatamente menos aplicáveisaos objetivos da escolaridade formal, mas geram co-nhecimento e habilidades que podem tornar-se base
33
AN
AIS
DO
SE
MIN
ÁR
IO IN
TE
RN
AC
ION
AL
DE
AVA
LIA
ÇÃ
O E
DU
CA
CIO
NA
L
de real educação e treinamento (Carraher, Carraher,Schliemann, 1985; Greeno, 1991; Rogoff, Lave, 1984;Saxe, 1990). As habilidades de cooperação utilizadasno trabalho junto com outros podem ser aplicadas àsrelações escolares, para o trabalho com os compa-nheiros e com os professores, para o êxito na escola(Sternberg et al., 1995).
2) Habilidades para a auto-regulação
A aprendizagem e a instrução são influencia-das pela habilidade dos indivíduos acompanharem eregularem as próprias ações. À medida que o desen-volvimento e a aprendizagem humana passaram a servistos como o resultado da atividade construtiva, as-sim como da memória, houve uma consciência maisintensa das habilidades de auto-regulação emprega-das por crianças e por adultos para o desempenho deuma tarefa, ou para a solução de um problema. Essasatividades reguladoras permitem que os alunos acom-panhem e exercitem o controle sobre o seu desempe-nho, à medida que vão desenvolvendo o seu trabalho(Brown, 1978). Essas habilidades incluem estratégiasde controle, como: a previsão dos resultados dos es-forços; o planejamento antecipado; a divisão apropria-da do tempo; a explicação para si mesmo, a fim deelaborar a aprendizagem e o entendimento; a identifi-cação das falhas para entender e o uso do conheci-mento adquirido anteriormente que seja relevante paraa situação. Os aprendizes podem usar essas habilida-des de monitoramento à medida que forem necessári-as, durante o desenrolar de uma tarefa nova, ou natentativa de compreender uma situação.
Os bons aprendizes usam freqüentementeessas habilidades, mas muitos indivíduos precisam serensinados a exercer essas capacidades. Assim, es-sas habilidades de regulação e de monitoramento tor-nam-se candidatas importantes para a avaliação dashabilidades para o sucesso escolar, transformando-setambém em práticas importantes que precisam serensinadas na escola, para expandir a habilidade deaprender.
3) Convicções sobre o esforço e sobre a habilidadepredeterminada
Em certas sociedades (por exemplo, a socie-dade dos Estados Unidos), existe uma compreensãomuito forte da aptidão ou da habilidade predetermina-da, como fator decisivo para o progresso e o desempe-nho. Administradores escolares, professores e os pró-prios alunos acreditam que nasceram com um certonível de habilidade, que determina os objetivos para osquais deverão dirigir a sua atenção. Nos sistemas es-colares associados a essa crença, alunos e professo-res agem de acordo com programas alternativos, des-tinados a serem os ideais para conseguir o melhor
desempenho de um aluno que tenha um nível deter-minado de habilidade (Dweck, 1988; Dweck, Leggett,1988; Resnick, 1995; Resnick, Nelson-LeGall, no prelo).
Em contraste com essa visão, estudos com-parativos entre países e entre sociedades descreve-ram padrões distintos de crenças em aptidão e habili-dade, e as práticas escolares resultantes (Holloway,1988; Peak, 1993; Stevenson, Lee, 1990). Determina-dos ambientes escolares enfatizam muito os hábitosde aprendizagem e os modos de interação com osoutros para aprimorar a aptidão para aprender. Os alu-nos acreditam que desenvolver as habilidades que pos-sam capacitá-los a melhorar a sua aprendizagem étão importante quanto demonstrar o que foi aprendido.Os objetivos de aprendizagem têm a mesma importân-cia que os objetivos de desempenho. O indivíduo nãoapenas esforça-se para mostrar quão bem uma deter-minada matéria foi aprendida, mas trata também dedesenvolver novas formas para aprimorar a sua própriacapacidade de aprender. Os alunos iniciam comporta-mentos de aprendizagem, como o teste do seu próprioentendimento, conscientes dos padrões para o seudesempenho.
O acesso à educação melhoraria se os siste-mas tradicionais, que valorizam excessivamente a ha-bilidade predeterminada e a aptidão, se voltassem paraos ambientes educacionais que enfatizam a importân-cia de realizar esforços para desenvolver a capacidadede aprender. Os sistemas baseados em esforços po-dem motivar a aprendizagem e restaurar nos jovens aconsciência de que eles podem apresentar contribui-ções positivas e produtivas, para o seu próprio proces-so de aprendizagem e para a sociedade.
Ressaltarei, mais uma vez, este ponto geral.Muitos dos atuais sistemas de educação e seus mo-dos de entrada na escola e na força de trabalho sãoprincipalmente elaborados a partir da crença de que otalento e a habilidade são, em grande parte, herdadose fixos. Como resultado, as práticas educacionais sãodestinadas a selecionar aqueles que possuam talentopara os currículos com altos níveis de exigência: evita-se o currículo que envolva desafio para um número enor-me de alunos, o que termina por confirmar as suaspróprias convicções de que não possuem talento parao raciocínio avançado. Os alunos não tentam romper abarreira das baixas expectativas, uma vez que elesmesmos, assim como seus professores e seus pais,aceitam o julgamento de que a sua habilidade é prede-terminada e que não possuem o nível correto de apti-dões. Não surpreende que o seu desempenho perma-neça baixo e o sistema se torne auto-sustentável.
Por outro lado, para o futuro, não será neces-sário prosseguir desta forma. A escolaridade e a pre-paração para a vida e para o trabalho poderão serconstruídas com base em suposições alternativas deque o esforço efetivamente cria a habilidade de apren-der, e de que o desenvolvimento de estratégias de apren-
34
AN
AIS
DO
SE
MIN
ÁR
IO IN
TE
RN
AC
ION
AL
DE
AVA
LIA
ÇÃ
O E
DU
CA
CIO
NA
L
dizagem e as expectativas de esforço e de realizaçãopodem gerar a habilidade. Um ambiente que estimuleo desenvolvimento de habilidades de aprendizagem epropicie o esforço pessoal influenciará a natureza dacompetência nos indivíduos. Não é questão, apenas,de ser recompensado pelo trabalho perseverante, mas,é o resultado do encadeamento de esforços voltadospara a aprendizagem e para padrões de desempenho,de modo que, provavelmente, possam desenvolver nãoapenas o conhecimento específico, mas também ashabilidades para aprender com eficiência.
R esultados da educação
Considerei aqui, na verdade, apenas um doslados da equação, o acesso à educação – ou seja, ospontos fortes e habilidades que as crianças e os jo-vens trazem para a escola. Elas englobam competên-cias que podem ser usadas e desenvolvidas para ga-rantir uma educação mais eficaz. Examinaremos ago-ra o lado do resultado da equação – os produtos ou osresultados da escolaridade e da aprendizagem.
Para poder indicar possibilidades de progres-so nesta área, devemos, mais uma vez, fazer referên-cia ao peso da atual prática disfuncional. Para a avali-ação dos resultados da educação, foi dada demasiadaênfase às medidas "com referência a normas" do de-sempenho educacional, onde, como já disse anterior-mente, a eficácia da educação é julgada em termos daposição de um indivíduo em relação ao desempenhodo grupo (Glaser, 1994). O aluno é julgado de acordocom graduações em porcentagens, como estando nopercentil 25 ou 75, ou tantos pontos acima da média.Índices desse tipo podem dar a informação de que umaescola, uma comunidade, ou um estado podem estarapresentando um desempenho relativamente melhor doque outros, mas há uma quantidade menor de informa-ções sobre a verdadeira natureza do desempenho ad-quirido e sobre a qualidade das realizações conquista-das. Para melhorar a educação, é necessário julgar osucesso da escola e o desempenho dos alunos emrelação àquilo que eles realmente sabem e podem fa-zer, e em termos de padrões de desempenho.
Além disso, é possível avaliar até que pontoos alunos conseguem ler palavras, efetuar operaçõesaritméticas, e recordar eventos históricos e literários.Mas, nos tempos modernos, tudo isso já não é bas-tante. Mais do que nunca, o nosso trabalho e a própriasociedade exigem a capacidade de usar esse conhe-cimento para o pensamento e para o raciocínio, e deempregar o que sabemos dentro do contexto das infor-mações que vão mudando. Precisamos ler para poder-mos compreender, resolver procedimentos matemáti-
cos com entendimento e raciocinar com conhecimen-to histórico e cívico, para vivermos, efetivamente, comocidadãos nas sociedades em desenvolvimento. Emgeral, a avaliação dos resultados da educação deveconsiderar não apenas o conteúdo do que é aprendido,mas também as maneiras de usar essa informação, eas formas de saber que proporcionem conhecimentointelectual e poder criativo.
Devemos avaliar os tipos de aprendizagem quecontribuam para a competência individual e para o usoda mentalidade humana. À medida que acontecemmudanças no conhecimento dos alunos, precisamosobservar o desenvolvimento concomitante dos proces-sos cognitivos envolvidos em solucionar problemas eem pensar com aquilo que eles conhecem (Anderson,1985). Devemos ir além do teste da mera memória, eavaliar o poder das estruturas interligadas de conheci-mento que representam significado, e que levam emconta os níveis complexos de explicação e entendi-mento. Os conceitos de estruturas coerentes e interli-gadas de informação, e a natureza do conhecimentoorganizado para o raciocínio devem dirigir os procedi-mentos modernos de avaliação dos resultados da apren-dizagem. Os nossos conceitos do passado, muitasvezes, resultaram na testagem de informações frag-mentadas, utilizando o formato de múltipla escolha,que não estimula a inferência e o raciocínio com o quesabemos. Agora, os educadores enfrentam o desafiode desenvolver e avaliar o conhecimento interligado eutilizável.
O desenvolvimento da competênciacomo base para a avaliação
Podemos fazer referência a estudos que com-param o desempenho de iniciantes e de indivíduos játreinados em vários campos, para entendermos o quese quer dizer com o desenvolvimento de conhecimentoorganizado e interligado. Esses estudos descrevemcomo o conhecimento e a habilidade são alterados àmedida que os indivíduos vão aprendendo e tornando-se mais competentes nos domínios de várias matéri-as, e à medida que vão ganhando experiência nas suasáreas de trabalho (Chi, Glaser, Farr, 1988; Glaser, 1996).A modificação nas características de desempenhoenquanto os indivíduos vão evoluindo da condição deprincipiantes para a atividade já mais treinada, possibi-lita uma estrutura para a avaliação de níveis de desem-penho (e um enfoque para a instrução) (Glaser, Chi,1988; Lane, Glaser, 1994). Permitam-me apresentarcinco exemplos dessas características da evolução daproficiência.
35
AN
AIS
DO
SE
MIN
ÁR
IO IN
TE
RN
AC
ION
AL
DE
AVA
LIA
ÇÃ
O E
DU
CA
CIO
NA
L
1) Conhecimento integrado, coerente
A aprendizagem efetiva e a experiência desen-volvem conexões significativas no conhecimento doaluno. Tal integração e conectividade está intimamen-te ligada à habilidade do indivíduo para compreender esolucionar situações problemáticas, em comparaçãocom a memória mais fragmentada de um iniciante, comtrechos isolados de informação. O conhecimento inte-grado permite que os alunos mais proficientes façaminferências, pensem através de analogias com o que jáconhecem e dêem explicações significativas sobre oseu próprio desempenho. A instrução de boa qualida-de enfatiza o conhecimento organizado.
2) O estabelecimento de procedimentos e a capacida-de de utilização do conhecimento
O desempenho competente está relacionadoa procedimentos para o uso do conhecimento. À medi-da que vai acontecendo a aprendizagem, a informaçãodeclarativa e os fatos de que temos conhecimento dei-xam de ficar meramente armazenados na memória, epassam a se relacionar às maneiras de usar essa in-formação. A avaliação eficaz determina não apenas oque se conhece, mas também como o que é conheci-do deve ser empregado. Ainda que tanto os iniciantesquanto os já mais treinados possam ser igualmentecompetentes na lembrança de um princípio ou de umaregra, os novatos reconhecem com menos freqüênciaonde poderá ser aplicado esse conhecimento e comoimplementá-lo. Nas avaliações típicas, é muito comumhaver uma natureza dissociada daquilo que medimos,que não inclui o sentido de aplicação ativa do conheci-mento de cada um.
3) Reconhecimento e representação de problemas
À medida que os alunos vão se tornando maiscompetentes em uma determinada matéria, muda asua maneira de considerar problemas e situações, eesta mudança pode também ser avaliada. Um exem-plo freqüentemente citado vem de um estudo feito comalunos durante a sua aprendizagem da física elemen-tar. Ao serem expostos a problemas de movimento(mecânica), os alunos iniciantes vão classificar o pro-blema em termos de características óbvias de superfí-cie como um problema que envolva um plano inclina-do, ou que inclua uma roldana. Um aluno mais adian-tado visualizaria a parte mais básica dos princípiossubjacentes, e diria: "Aí está um problema que envolvea Concentração de Energia, ou as Leis de Newton".Com base na forma como o problema é representado,através da superfície ou através dos princípiossubjacentes, a solução é executada mais ou menossegundo a forma avançada (Chi, Feltovich, Glaser,1981).
4) Gerenciamento de informação
Avaliar a forma como as pessoas gerenciam ainformação deverá ser, cada vez mais, um problemaprincipal da nossa época. A quantidade de informação
disponível e em evolução forçará as nossas avaliaçõesde desempenho a enfatizarem a utilidade da aprendi-zagem atual, para capacitar os alunos a usarem o seuconhecimento para a aprendizagem futura. Os alunosprecisam atingir o conhecimento e a habilidade neces-sários para trabalharem com grandes volumes de infor-mação; por exemplo, necessitam aprender a examinaruma variedade de perspectivas e a gerar conceitos deorganização para que possam empregar o que sabemem situações novas. Basicamente, uma boa parte daeducação dos alunos precisa focalizar habilidades ge-radoras, para a atualização do seu conhecimento. Éum problema difícil de avaliação, que precisará ser re-solvido no futuro.
5) Integração de habilidades básicas com desempe-nho avançado
As avaliações precisam medir se as habilida-des fundamentais atingiram ou não uma eficiência quepermita o desenvolvimento de um nível mais alto dedesempenho coordenado. As avaliações desse tipo sãoextremamente importantes para se relacionar as pri-meiras habilidades de leitura à compreensão de pala-vras e de histórias que tenham significado, e naintegração de operações quantitativas básicas comprocedimentos de solução de problemas matemáticos.Essa forma de avaliação pode também ser feita emetapas posteriores da educação, com aspectosconceituais e relativos a procedimentos da álgebra avan-çada e de cálculo, que são necessários na soluçãoeficiente de problemas complexos. (Isso poderá serum problema de menor importância quando houver dis-ponibilidade da utilização de computadores para asoperações fundamentais; os alunos necessitarão demenos prática nas habilidades básicas, embora preci-sem ser ensinados a compreendê-las).
Os componentes gerais do desempenho profi-ciente, como os cinco exemplos que acabamos dedescrever, diferenciam e contrastam os resultados deaprendizagem de alunos bem e mal-sucedidos emmuitas áreas de conteúdo. Juntamente com o teor daaprendizagem, esses componentes dão significado àsformas como o conhecimento é usado na atividadecognitiva de nível superior, que determina a excelênciados nossos alunos, a competência das nossas comu-nidades e as expectativas de alunos e de pais.
P adrões de aprendizagem e avaliação
Com esta aspiração geral de desempenho dealto nível em mente, há muito trabalho em curso naárea do enunciado explícito e concreto de padrões parao trabalho prático tanto de professores quanto de alu-nos. Em muitos países, este é um empreendimentopatrocinado pelo governo, com a assistência de vários
36
AN
AIS
DO
SE
MIN
ÁR
IO IN
TE
RN
AC
ION
AL
DE
AVA
LIA
ÇÃ
O E
DU
CA
CIO
NA
L
grupos dedicados ao desenvolvimento de currículos eorganizações de professores, preocupados com os ní-veis de desempenho nas áreas de Leitura e Lingua-gem, Artes, Matemática, Ciência e Aprendizagem Apli-cada ao Trabalho. Estes grupos estão publicando pro-dutos específicos, que podem ser úteis para a reformada educação.
Nos Estados Unidos, um Sistema de Avalia-ção de Novos Padrões, criado por um consórcio deorganizações profissionais e escolas (National Centeron Education and the Economy, University of Pittsburgh,1997), considerou três componentes inter-relacionadospara um sistema de avaliação. Em várias das matériasescolares, esses componentes são: 1) Conteúdo dedesempenho e descrições de processos: essas des-crições especificam o que os alunos devem saber, ofe-recendo exemplos como eles devem demonstrar o co-nhecimento e as habilidades que tiverem adquirido. 2)Amostras de trabalho e comentários: são as amostrasde trabalhos dos alunos que ilustram tipos de desem-penho em situações padronizadas, acompanhadas porcomentários que apontam as relações entre os padrõese as amostras de desempenho estudantil. 3) Examese portfólios de alunos: os padrões de desempenho sãoapoiados por exames e por um sistema de pastas,que complementam as provas; os portfólios contêmevidência acumulada do desempenho de alunos, bemcomo trabalhos ao longo de um período de tempo. Asprovas e os trabalhos selecionados dos alunos são dis-cutidos tendo em vista as descrições dos padrões dedesempenho.
Atualmente, em muitos países, existem ex-celentes exemplos de padrões e de sugestões de prá-ticas de avaliação que podem ser usadas como basepara o aprimoramento educacional. O segredo é aimplementação onde as comunidades e os sistemasestaduais se associam a alunos, pais, professores,sociedades dedicadas a currículos e ministérios deeducação, visando ao desenvolvimento de empreendi-mentos que sejam cuidadosamente avaliados, e visan-do à realização de metas estabelecidas. A coopera-ção através de todo o sistema, as expectativas com-partilhadas de alto nível e a própria avaliação são aschaves para o sucesso.
E scolaridade e comunidades para
a prendizagem e instrução
Se aceitarmos objetivos educacionais que es-timulem o pensamento e o uso ativo do conhecimento,então será preciso considerar as inovações nos ambi-entes escolares e nas salas de aula que ajudem a pro-duzir esses resultados. É necessário estender o ensi-no e a natureza dos ambientes escolares em direçõesque possam alcançar altos padrões para a maioria das
crianças e dos jovens, e que possam auxiliar muitosprofessores na utilização de habilidades profissionaispara a realização desses objetivos. Precisamos expe-rimentar formas de pedagogia que possam desempe-nhar a tarefa e atualizar os melhores professores comconhecimento moderno sobre a aprendizagem e acognição. A aprendizagem escolar e as experiênciaseducacionais, tanto na escola quanto fora dela, preci-sarão destinar-se a alcançar as características do de-sempenho competente como descrito, que permitemhabilidades de ordem superior no emprego do conheci-mento adquirido (Bruer, 1993).
As modificações na natureza do ensino de-vem ser consideradas, e cuidadosamente avaliadas.Em particular, a pesquisa pedagógica sugere que, paramuitas situações de instrução, há a necessidade demudança de enfoque: do professor como transmissore relator de conhecimento, para o aprendiz como cons-trutor e planejador da sua própria aprendizagem, sob aorientação do currículo. Somos impelidos a considerarque houve mudanças quando da aprendizagem passi-va se passa para o desempenho ativo do aluno, queadquire competência.
Com este objetivo, ambientes educacionaisforam projetados, tanto na escola elementar quanto emoutras onde os alunos aprendem como se fossem umacomunidade. Trabalham juntos para compreender eorganizar a informação em uma determinada área doconhecimento como parte do seu currículo. Duranteessa atividade, eles desenvolvem a capacidade paraesforços intelectuais conjuntos enquanto aprendem coma ajuda do professor e ensinando uns aos outros. Osalunos aprendem nesses grupos através de perguntase pesquisa, mais do que pelo que lhes é dito. Sãoestimulados à investigação de um tema científico,como: a natureza de uma prova geométrica, as propri-edades dos números, e as características dos diferen-tes gêneros literários e da escrita em geral. Enquantovão pesquisando, fazem perguntas, testam o que es-tão aprendendo, comparam-no com o conhecimentodo professor ou de outro especialista, e questionam osdetalhes desse conhecimento.
Como trabalham juntos, a aprendizagem émuito intencional e dirigida. Os alunos têm o firme pro-pósito de atingir padrões; adquirem formas de desem-penho que podem exibir, e usam conhecimento e habi-lidades que lhes permitem aprender a lição seguinte.Essa aprendizagem intencional pode ser vista nas tro-cas entre alunos em sala de aula, onde uns comentamo que outros disseram, para, em seguida, testarem opróprio raciocínio, afirmando: "Bem, o que eu achosobre este assunto é isso", chegando ao ponto de ex-pressarem o que sabem. Nesse tipo de ambiente edu-cacional, o que se torna evidente é o modo competen-te de pensar das pessoas, nas várias disciplinas. Porexemplo, os alunos não apenas aprendem os fatos dehistória ou de biologia, mas aprendem, além disso, como
37
AN
AIS
DO
SE
MIN
ÁR
IO IN
TE
RN
AC
ION
AL
DE
AVA
LIA
ÇÃ
O E
DU
CA
CIO
NA
L
o historiador ou o biólogo pensam ao acumularem evi-dências para chegar a conclusões e para propor expli-cações.
Nesses ambientes de aprendizagem, fatos einformações tornam-se parte dos dados de um esforçode aprendizagem e de raciocínio. Os alunos podemsentir-se ligados a eventos que estejam ocorrendo tan-to no mundo quanto nas suas comunidades, utilizandoessa informação oriunda de eventos exteriores para oque estiverem aprendendo. Por exemplo, podem em-pregar o seu conhecimento nas áreas de Matemáticae Ciências para o estudo de ecossistemas, podendoenviar essa informação (pela Internet) para uma comu-nidade próxima, para maiores informações. Podemempregar as suas habilidades de escrever para expli-car a outros alunos e aos seus pais como eles inter-pretam o que estão aprendendo. De uma forma geral,os alunos, com a orientação do professor, podem ava-liar a sua informação e as suas interpretações, ou ten-tar encontrar evidências em outras fontes para apoiaras próprias idéias.
Esses ambientes educacionais foram denomi-nados "comunidades para a construção do conheci-mento" (Brown, Campione, 1990, 1994; Scardamalia,Bereiter, 1991, 1996). Os alunos participam na trans-missão do conhecimento procurando, compartilhandoe adquirindo conhecimento entre eles mesmos comuma quantidade de orientação cada vez menor. Essascomunidades para a construção do conhecimento dis-tinguem-se pelos esforços de transferir aos alunos osprocessos que normalmente ficam sob o controle doprofessor. Os alunos são ajudados a formular metas, adirigir a sua própria atividade de consulta, a monitoraro seu entendimento e a utilizar os recursos que lhessão oferecidos para planejar o seu próprio ambiente deaquisição de conhecimento. Nesse ambienteparticipativo de aprendizagem, professores e alunoscompartilham a experiência de que dispõem, ou assu-mem a responsabilidade de descobrir e trazer para ogrupo o conhecimento de que precisam. Existe umacomunidade de discurso no qual a aprendizagem atra-vés da discussão construtiva, de conjecturas, dequestionamento, de crítica e apresentação de evidên-cia é a coisa normal a ser feita, e não a exceção (Brown,Campione, 1994; Campione, Brown, Jay, 1992).1 Umimportante conceito instrucional é que à medida queos alunos progridem para níveis superiores de conhe-cimento e de desempenho, tornam-se também cadavez mais hábeis, como agentes ativos, em apoio à suaprópria aprendizagem e à aprendizagem dos outros.As comunidades de construção de conhecimento, en-quanto ambientes de aprendizagem, passam atualmen-
te por cuidadosa avaliação e estudo (Cognition andTechnology Group at Vanderblit, 1992, 1994).
A integração da avaliação e da instrução
No futuro, testes e ensino, avaliação e apren-dizagem deverão ser eventos que se tornarão mais in-tegralmente relacionados (Frederiksen, Collins, 1989).À medida que for acontecendo o processo de aprendi-zagem, haverá disponibilidade de evidências para aavaliação das realizações e para o julgamento das eta-pas seguintes da instrução. As características da ava-liação, que são parte integrante da instrução, deverãoincluir, pelo menos, seis aspectos:
1) Acesso à oportunidade da educação – Comojá tive a oportunidade de enfatizar, para limitar os as-pectos de exclusão dos sistemas de educação, é ne-cessário que a avaliação seja destinada a examinar aspossibilidades de crescimento dos alunos. Os progra-mas de avaliação e de instrução deverão capacitar osprofessores a reconhecer e apoiar os pontos mais for-tes dos aprendizes, de maneira que possam chegar acurrículos com maior eficácia.
2) A exibição de competência – O conheci-mento e as habilidades deverão ser medidos de formaque sejam abertamente mostrados os processos e osprodutos da aprendizagem. Os critérios de desempe-nho através dos quais serão julgados os alunos serãoevidentes e claros, de forma que possam motivar edirecionar a aprendizagem e o ensino.
3) Auto-avaliação – A avaliação deverá impli-car o ensino da auto-avaliação. Uma vez que a avalia-ção e a instrução são intimamente relacionadas, assituações instrucionais deverão fornecer estímulo eprática, de forma que possam auxiliar os alunos a re-fletirem sobre o seu desempenho. Essas ocasiões paraavaliação permitem aos alunos estabelecerem padrõesgraduais através dos quais possam julgar as própriasrealizações, além de desenvolver a autodireção paraatingir níveis mais altos de desempenho.
4) Avaliação situada em termos sociais – Ascondições da avaliação podem exigir um desempenhoem um cenário social no qual os alunos contribuampara uma tarefa e para dar assistência aos outros. Comisso, há a vantagem de estimular os alunos a desen-volver e a questionar as suas definições de competên-cia; eles observam como os outros raciocinam, e rece-bem feedback sobre os seus próprios esforços. Neste
1Com o objetivo de facilitar uma comunidade de aprendizagem, foram projetados sistemas de computadores através dos quais as crianças podem interagir, comos objetivos de construir, explorar e compartilhar o conhecimento. Sua atividade concentra-se em uma base de dados da comunidade, gerada pelos própriosalunos, onde estes fazem comentários sobre as anotações uns dos outros, levantando questões, sugerindo fontes de informação e contribuindo com contra-argumentos ou com estímulo (Scardamalia, Bereiter, 1991).
38
AN
AIS
DO
SE
MIN
ÁR
IO IN
TE
RN
AC
ION
AL
DE
AVA
LIA
ÇÃ
O E
DU
CA
CIO
NA
L
contexto, não apenas o desempenho poderá ser avali-ado, mas também a facilidade com que um aluno re-cebe e se adapta à ajuda e à orientação.
5) Eficácia da instrução – As avaliações sãojulgadas em termos da sua eficácia em informar osprofessores no sentido de dedicarem tempo a determi-nados conceitos e conteúdos, e a habilidades cognitivasdo currículo. Os produtos da avaliação poderão ser in-terpretados em termos de como influenciam o ensinoe a instrução, e em termos da informação que forne-cem para o desenvolvimento de atividades de sala deaula que se relacionem às metas de aprendizagem.
6) Significado cognitivo – As avaliações pro-porcionam cobertura do conteúdo, mas não negligen-ciam processos significativos de desempenho, comoo levantamento de perguntas, a representação e o pla-nejamento de um problema antes da solução, e a pro-posta de explicações conceituais para os procedimen-tos de soluções. A construção de procedimentos deavaliação exige a análise dos aspectos cognitivos deuma atividade e a determinação de procedimentos re-lacionados de pontuação que ofereçam evidência dodesempenho cognitivo envolvido.
C omentários finais
As avaliações das habilidades de aprendiza-gem e das realizações de alunos devem ser projetadase empregadas de forma que levem em consideraçãoos propósitos da sociedade moderna e do conhecimen-to atual da aprendizagem humana. Reforma e aprimo-ramento contínuo serão impossíveis se continuarmosa carregar o peso de práticas que foram estabelecidaspara um tempo que já passou. Novas perspectivas sãooferecidas, hoje em dia, sobre a natureza do conheci-mento e das habilidades trazidas para a aprendizagem,e sobre a natureza do desempenho competente queresulta da instrução. Sistemas inovadores, que inte-grem o acesso à aprendizagem, à instrução e à avalia-ção podem hoje determinar o projeto de ambienteseducacionais que apóiem e respeitem a habilidadecognitiva humana, e que preparem as pessoas paravidas dignas, para o trabalho competente e para o cres-cimento social.
R eferências bibliográficas
ANDERSON, J. R. Cognitive psychology and itsimplications. San Francisco : Freeman, 1985.
BROWN, A. L. Knowing when, where, and how toremember : a problem of metacognition. In: GLASER,
R. (Ed.). Advances in instructional psychology.Hillsdale, NJ: Erlbaum, 1978. v. 1. p. 77-165.
BROWN, A. L., CAMPIONE, J. C. Communities oflearning and thinking, or a context by another name.In: KUHN, D. (Ed.). Contributions to humandevelopment: development perspective on teachingand learning thinking skills. Basel, Switzerland:Karger, 1990. v. 21. p 108-126.
________. Guided discovery in a community of learners.In: McGILY, K. (Ed.). Classroom lessons: integratingcognitive theory and classroom practice. Cambridge,MA: MIT Press/Bradford Books, 1994. p. 229-270.
BRUER, J. Schools for thought. Cambridge, MA: MITPress, 1993.
CAMPIONE, J. C., BROWN, A. L., JAY, M. Computersin a community of learners. In: DeCORTE, E. et al.(Ed.). Computer-based learning environments andproblem solving. Berlin: Springer-Verlag, 1992. v. 84.p. 163-192.
CARRAHER, T. N., CARRAHER, D. W., SCHLIEMANN,A. D. Mathematics in the street and in school. BritishJournal of Developmental Psychology, v. 3, p. 21-29, 1985.
CHI, M.T.H., GLASER, R., FARR, M. (Ed.). The natureof expertise. Hillsdale, NJ : Erlbaum, 1988.
CHI, M. T. H., FELTOVICH, P., GLASER, R.Categorization and representation of physicsproblems by experts and novices. Cognitive Science,v. 5, p. 121-152, 1981.
COGNITION AND TECHNOLOGY GROUP ATVANDERBLIT. From visual word problems to learningcommunities : changing conceptions of cognitiveresearch. In: McGILLY, K. (Ed.). Classroom lessons:integrating cognitive theory and classroom practice.Cambridge, MA: MIT Press/Bradford Books, 1994.p. 157-200.
________. The Jasper experiment: an exploration ofissues in learning and instructional design.Educational Tecnology Research and Development,v. 40, p. 65-80, 1992.
DWECK, C. W. Motivation. In: GLASER, R., LESGOLD,A. (Ed.). Handbook of psychology and education.Hillsdale, NJ : Erlbaum, 1988. p. 187-239.
DWECK, C. S., LEGGETT, E. L. A social-cognitiveapproach to motivation and personality.Psychological Review, Washington, DC, v. 95, p. 258-273, 1988.
FREDERIKSEN, J. R., COLLINS, A. A system'sapproach to educational testing. Educational
39
AN
AIS
DO
SE
MIN
ÁR
IO IN
TE
RN
AC
ION
AL
DE
AVA
LIA
ÇÃ
O E
DU
CA
CIO
NA
L
Researcher, Washington, DC, v. 18, n. 9, p. 27-32,1989.
GLASER, R. Changing the agency for learning :acquiring expert performance. In: ERICSSON, A.(Ed.). The road to excellence: the acquisition ofexpert performance in the arts and sciences, sportsand games. Mahwah, NJ : Erlbaum, 1996. p. 303-311.
________. Criterion-referenced tests: Part I. Origins,Part II. Unfinished Business. Educationalmeasurement : issues and practice, v. 13, n. 4, p.9-30, 1994.
GLASER, R., CHI, M.T.H. Overview. In: CHI, M. T. H.,GLASER, R., FARR, M. J. (Ed.). The nature ofexpertise. Hillsdale, NJ: Erlbaum, 1988. p. xv-xxviii.
GLASER, R., SILVER, E. Assessment, testing andinstruction. In: DARLING-HAMMOND (Ed.). Reviewof research in education. Washington, DC: AmericanEducational Research Association, 1994. v. 20. p.393-419.
GREENO, J. Number sense as situated knowing in aconcept domain. Journal for Research inMathematics Education, Reston, VA, v. 22, p. 1-49,1991.
HOLLOWAY, S. Concepts of ability and effort in Japanand the U.S. Review of Educational Research,Washington, DC, v. 58, p. 327-345, 1988.
LANE, S., GLASER, R. Assessment in the service oflearning. In: HUSEN, POSTLETHWAITE, T. N. (Ed.).The international encyclopedia of education. 2. ed.Oxford/Leuven : Pergamon Press, 1994. p. 370-374.
LAVE, J. Cognition in practice: mind, mathematics andculture in everyday life. Cambridge, England:Cambridge University Press, 1988.
NATIONAL CENTER ON EDUCATION AND THEECONOMY, UNIVERSITY OF PITTSBURGH.Performance standards. Pittsburgh, PA: NewStandards, 1997. v. 1-3.
OAKES, J. Keeping track: how schools structuresinequality. New Haven, CT: Yale University Press,1985.
________. Multiplying inequalities: the effects of race,social class, and tracking on opportunities to learnmathematics and science. Santa Monica, CA : Rand,1990.
OAKES, J., LIPTON, M. Tracking and ability grouping:a structural barrier to access and achievement. In:GOODLAD, J., KEATING, P. (Ed.). Access toknowledge: an agenda for our nation's schools. New
York : College Entrance Examination Board, 1990.p. 187-204.
PEAK, L. Academic effort in international perspective.In: TOMLINSON, T. (Ed.). Motivating students tolearn: overcoming barriers to high achievement.Berkeley, CA: McCutchan Publishing, 1993. p. 41-59.
RESNICK, L. B. From aptitude to effort : a newfoundation for our schools. Daedalus, v. 124, p. 55-62, 1995.
RESNICK, L. B., NELSON-LeGALL, S. Socializingintelligence. In: SMITH, L., TOMLINSON, P. (Ed.).Piaget, Vygotsky and beyond. Londres : Routledge.267p. (no prelo)
ROGOFF, B. Apprenticeship in thinking: children'sguided participation in culture. New York: OxfordUniversity Press, 1990.
ROGOFF, B., LAVE, J. (Ed.). Everyday cognition: itsdevelopment in social context. Cambridge, MA:Harvard University Press, 1984.
SAXE, G. B. Culture and cognitive development: studiesin mathematical understanding. Hillsdale, NJ :Erlbaum, 1990.
SCARDAMALIA, M., BEREITER, C. Adaptation andunderstanding: a case for new cultures of schooling.In: VOSNIADOU, S., DeCORTE, E., GLASER, R.,MANDL, H. (Ed.). International perspectives on thedesign of technology-supported learningenvironments. Mahwah, N.J.: Erlbaum, 1996. p. 149-163.
________. Higher levels of agency for children inknowledge building: a challenge for the design ofnew knowledge media agency for children inknowledge. Journal of the Learning Sciences,Hillsdale, NJ, v. 1, p. 37-68, 1991.
SHEPARD, L. A. Negative policies for dealing withdiversity: when does assessment and diagnosis turninto sorting and segregation? In: HIEBERT, E. H.(Ed.). Literacy for a diverse society: perspectives,practices and policies. New York: Teachers CollegePress, 1991. p. 279-298
STERNBERG, R. J. et al. Testing common sense.American Psychologist, v. 50, n. 11, p. 912-926, 1995.
STEVENSON, H., LEE, S. Contexts of achievement:a study of American, Chinese and Japanese children.1990. Monografias da Sociedade de Pesquisa emDesenvolvimento Infantil, 55. (1 & 2, Número de Série221).
THORNDIKE, E. L. Mr. Binet's test 70 years later.Educational Researcher, Washington, DC, v. 4, p.3-7, 1975.
40
AN
AIS
DO
SE
MIN
ÁR
IO IN
TE
RN
AC
ION
AL
DE
AVA
LIA
ÇÃ
O E
DU
CA
CIO
NA
L
41
AN
AIS
DO
SE
MIN
ÁR
IO IN
TE
RN
AC
ION
AL
DE
AVA
LIA
ÇÃ
O E
DU
CA
CIO
NA
L
O POTENCIAL DOSESTUDOS COMPARATIVOS
INTERNACIONAIS PARA OCONTROLE DE QUALIDADE
DA EDUCAÇÃO
Tjeerd Plomp*
I ntrodução
O trabalho preparado para este seminário des-creve o contexto para as principais metas do evento:discussões e reflexões sobre o significado da avalia-ção de um sistema de educação e a forma adequadade realizá-la. Propõe políticas baseadas em informa-ção, argumentando que "o aprimoramento qualitativona educação... só poderá fundamentar-se na informa-ção rigorosa, comparada e bem equilibrada" (p. 1). Aavaliação é considerada "um instrumento de primeiraclasse, a serviço de um novo estilo de política de edu-cação, e na operação de sistemas educacionais" (p.1). Outro aspecto importante é o de que o trabalhodefende a posição de que "uma das maneiras maiseficientes de executar a reflexão (sobre a qualidade daeducação) está em comparar as nossas próprias idéi-as e iniciativas às de outros países"(p. 1), e de que "aadoção de uma perspectiva supranacional dá outra vi-são das experiências locais, tornando possível analisá-las a partir de pontos de vista novos" (p. 2).
De acordo com este contexto, o trabalho dis-cute a importância de estudos comparativos internaci-onais para avaliação e controle da qualidade dos siste-mas de educação. Inicialmente, serão discutidos al-guns dos resultados do Third International Mathematicsand Science Study (TIMSS), que está, no momento,sendo realizado sob os auspícios da Associação Inter-nacional para Avaliação do Desempenho em Educa-ção (IEA). Esses resultados serão utilizados para ilus-trar a importância da missão da IEA, bem como ostipos de comparações proporcionados por ela. O tipode estudo desenvolvido pela IEA pode envolver umavariedade de funções para os responsáveis pela políti-ca em educação e para os que praticam atividadesligadas à educação, o que será ilustrado a partir dealguns exemplos. Finalmente, alguns comentários deconclusão indicarão alguns dos aspectos importantesda participação de um país em estudos internacionaisde avaliação comparativa.
T hird International Mathematics and
Science Study (TIMSS)
O TIMSS é o mais extenso e o mais ambicio-so estudo do desempenho educacional comparativojamais realizado; seus testes de desempenho nas áre-as de Matemática e de Ciências incluíram:
l 45 países;l cinco séries (3ª, 4ª, 7ª, 8ª e o último ano da
escola secundária);l mais de meio milhão de alunos;l testes aplicados em mais de 30 idiomas
diferentes;l mais de 15.000 escolas participantes;l quase 1.000 questões dissertativas, que
geraram milhões de respostas dos alunos;l avaliação de desempenho;l questionários de alunos, professores e dire-
tores de escolas, contendo em torno de 1.500 questões;l milhares de indivíduos, para a aplicação
dos testes e para o processamento dos dados.
O TIMSS foi conduzido com atenção dedicadaà qualidade, a cada um dos passos do caminho. Fo-ram aplicados princípios rigorosos para a tradução dostestes, sendo oferecidas numerosas sessões de trei-namento, com respeito aos procedimentos emprega-dos para a coleta de dados e para a pontuação, sendotodas acompanhadas por observadores do controle dequalidade. As amostras de alunos selecionados parao teste foram examinadas de acordo com rigorosospadrões, com o objetivo de evitar parcialidades e asse-gurar a comparabilidade. Esse controle da qualidadedo estudo resultou na indicação daqueles países quenão atendiam a todos os critérios de qualidade nastabelas de apresentação dos resultados.
Os resultados de desempenho do TIMSS fo-ram publicados pelo Centro Internacional de Estudosda Universidade de Boston (EUA), e pode-se consultar
* Tjeerd Plomp, professor da Faculty of Educational Science and Technology, da University of Twente, em Enschede (Países Baixos), é, desde 1990, presidenteda International Association for the Evaluation of Educational Achievement (IEA). Na sua produção bibliográfica, destaca-se a International Encyclopedia ofEducational Technology (2.ed. Oxford : Elsevier, 1996), inclui-se a colaboração em diversas coletâneas, a co-edição de livros e anais de conferências, alémda publicação de artigos em periódicos, como: Higher Education, Studies of Educational Evaluation, Computers in Education.
42
AN
AIS
DO
SE
MIN
ÁR
IO IN
TE
RN
AC
ION
AL
DE
AVA
LIA
ÇÃ
O E
DU
CA
CIO
NA
L
a bibliografia, para a lista completa de publicações pro-duzidas pelo estudo. Alguns desses estudos apare-cem resumidos e discutidos, para ilustração da poten-cial riqueza dos estudos internacionais de avaliaçõescomparativas.
A Tabela 1 contém os resultados dos testesde desempenho para Matemática na 7ª e na 8ª séries(Beaton et al., 1996a), enquanto que a Figura 1 apre-senta as várias comparações para o desempenho emCiências de 8ª série (Beaton et al., 1996b).
8ª Série*CingapuraCoréiaJapãoHong KongBélgica (Fl)República ChecaRepública EslovacaSuíçaPaíses BaixosEslovêniaBulgáriaÁustriaFrançaHungriaFederação RussaAustráliaIrlandaCanadáBélgica (Fr)TailândiaIsraelSuéciaAlemanhaNova ZelândiaInglaterraNoruegaDinamarcaEstados UnidosEscóciaLetônia (LSS)EspanhaIslândiaGréciaRomêniaLituâniaChiprePortugalRepública Islâmica do IrãKuwaitColômbiaÁfrica do Sul
643607605588565564547545541541540539538537535530527527526522522519509508506503502500498493487487484482477474454428392385354
7ª Série*CingapuraCoréiaJapãoHong KongBélgica (Fl)República ChecaPaíses BaixosBulgáriaÁustriaRepública EslovacaBélgica (Fr)SuíçaHungriaFederação RussaIrlandaEslovêniaAustráliaTailândiaCanadáFrançaAlemanhaSuéciaInglaterraEstados UnidosNova ZelândiaDinamarcaEscóciaLetônia (LSS)NoruegaIslândiaRomêniaEspanhaChipreGréciaLituâniaPortugalRepública Islâmica do IrãColômbiaÁfrica do Sul
601577571564558523516514509508507506502501500498498495494492484477476476472465463462461459454448446440428423401369348
Tabela 1 – Desempenho médio em Matemática
* Oitava e sétima séries na maior parte dos países.A sigla LSS após Letônia indica escolas falando letão apenas.Os países que aparecem em itálico não atenderam a uma ou mais diretrizes, referentes a taxas de participação nas amostragens, idade/série, especificaçõesou procedimentos de amostragem em sala de aula. O relatório apresenta desvios-padrão estimados para toda a pesquisa.
Fonte: Third International Mathematics and Science Study (TIMSS), 1994-1995.
43
AN
AIS
DO
SE
MIN
ÁR
IO IN
TE
RN
AC
ION
AL
DE
AVA
LIA
ÇÃ
O E
DU
CA
CIO
NA
L
P a ís
CingapuraRepública C hecaJapãoCoré iaBu lgáriaPa íses BaixosEslovên iaÁustriaHungriaIng laterraBé lgicaAustrá liaRepública E slovacaFederação R ussaIrlandaSuéciaEstados UnidosA lem anhaCanadáNoruegaNova ZelândiaTa ilândiaIs raelHong K ongSu içaEscóc iaEspanhaFrançaG réciaIs lândiaRom ên iaLe tôniaPortuga lD inam arcaLituâniaBé lgica (Francês)República Is lâm ica do IrãCh ipreKuwaitCo lôm b iaÁ frica do Sul
Cin
gapu
ra
Rep
úblic
a C
heca
Japã
o
Cor
éia
Bul
gária
Paí
ses
Bai
xos
Esl
ovên
ia
Áus
tria
Hun
gria
Ingl
ater
ra
Bél
gica
Aus
trál
ia
Rep
úblic
a E
slov
aca
Fed
eraç
ão R
ussa
Irla
nda
Sué
cia
Est
ados
Uni
dos
Ale
man
ha
Can
adá
Nor
uega
Nov
a Z
elân
dia
Tailâ
ndia
Isra
el
Hon
g K
ong
Sui
ça
Esc
ócia
Esp
anha
Fra
nça
Gré
cia
Islâ
ndia
Rom
ênia
Letô
nia
Por
tuga
l
Din
amar
ca
Litu
ânia
Bél
gica
(F
ranc
ês)
Rep
úblic
a Is
lâm
ica
do Ir
ã
Chi
pre
Kuw
ait
Col
ômbi
a
Áfr
ica
do S
ul
Figura 1 – Comparação de desempenho em Ciências: última série (8ª série*)
Instruções para ler a Figura 1:Procure o país a ser comparado em termos de desempenho na coluna vertical,comparando-o com os países relacionados na linha superior. Os símbolos indicarão se o desempenho médio dopaís é significativamente mais baixo do que o outro país comparado, significativamente mais alto do que o outro, ouse não há diferença estatística significativa entre os dois países.
*Oitava série na maior parte dos países. Ver Tabela 2, para maiores informações sobre as séries testadas em cada um dos países.1Estatisticamente significativo na 5ª série, ajustado para várias comparações.Porque a cobertura está abaixo de 65%, a Letônia aparece com a sigla "LSS", indicando apenas as escolas de língua letã.Os países representados em itálico não atenderam a uma ou mais diretrizes, referentes às taxas de participação na amostragem, especificações de idade/série,ou salas de aula.Procedimentos de amostragem: consultar Apêndice A, para maiores detalhes.
Fonte : Third Internationa l M athem atics and Sc ience Study (T IM SS ), 1994-1995 .
O s países foram ordenados po r desem penho m édio, tan to na linha horizontal quanto na co luna.
●▲ Desem penho m éd io s ignif icativam ente superior ao do país com pa rado.
Nenhum a diferença estatisticam ente s ign ifica tiva do país com parado.
Desem penho m éd io s ignif icativam ente inferio r ao do país com pa rado.▼
44
AN
AIS
DO
SE
MIN
ÁR
IO IN
TE
RN
AC
ION
AL
DE
AVA
LIA
ÇÃ
O E
DU
CA
CIO
NA
L
A Tabela 1 e a Figura 1 ilustram um dos obje-tivos dos estudos internacionais de desempenho com-parativo, que é especificamente fornecer aos respon-sáveis pela política de educação e aos que trabalhamem educação informações (indicadores) sobre a quali-dade do seu sistema educacional, em relação a gru-pos relevantes de referência de nações semelhantes.Esta é a função de "espelho": os países têm a possibi-lidade de determinar se gostam ou não do seu quadroou do seu perfil como país, quando comparados aosoutros.
A Tabela 1 apresenta apenas dados "de clas-sificação", como, por exemplo, Matemática de 8ª sé-rie, a Espanha aparecendo em 31° lugar e Portugal,
em 37° (de 41 países), e, para a 7ª série, a Espanhaem 32° e Portugal em 36°. A Figura 1 mostra maioresinformações para a área de ciências, em especial paraum determinado país, em relação a outros países quenão apresentam pontuações médias de desempenhoe que sejam significativamente inferiores ou superio-res, ou que não têm pontuações estatisticamente sig-nificativas.
Aplicando a abordagem da Figura 1 há, porexemplo, os resultados relativos à Espanha, em umexame geral dos países que apresentam em Matemá-tica um desempenho significativamente melhor/pior, ouainda não estatisticamente diferente da Espanha (verQuadro 1).
Este tipo de dado fornece informações aosresponsáveis pela política na Espanha sobre o nível dedesempenho do seu país em relação a outros paísesimportantes de referência. Além disso, demonstra queas tabelas de grupos, como a Tabela 1, geram um tipolimitado de informação, podendo resultar em interpre-tações enganosas, uma vez que não reflete nenhumainformação estatística. A Figura 1, que reflete esse tipode informação, revela que não apenas em Ciências aEspanha, na verdade, não apresenta um desempenho
melhor do que a Escócia, ou pior do que a Suíça, masmostra também que outros parceiros da União Euro-péia, como é o caso da Irlanda, da Bélgica, dos Paí-ses Baixos, da Alemanha e da Suécia, estão apresen-tando um desempenho significativamente melhor.
Entretanto, informações em tabelas e figuras,como as apresentadas, não ajudam os responsáveispela política, pelo desenvolvimento de currículos e aque-
les que trabalham na área de Educação a compreen-derem por que o seu sistema de educação apresenta
Quadro 1 – TIM SS – Ciências: Espanha e ou tros pa íses
Desempenho s ignificativamente superior
CingapuraCoréia
República ChecaJapão
Bulgá riaEslovênia
Bélgica (fl.)
ÁustriaHung ria
Países BaixosInglaterra
República EslovacaEstados Unidos
Austrá liaA lem anha
CanadáIrlanda
TailândiaSuécia
Nenhum a diferença s ignifica tivamente diferen te
Hong KongFederação Russa
NoruegaSuíça
Nova Ze lândiaEscócia
Desempenho s ignificativamente in ferior
IslândiaRom êniaFrançaGrécia
Bélgica (fr.)
D inamarcaIrã
Letônia (LSS)Portugal
ChipreLituân ia
ColômbiaÁfrica do Sul
45
AN
AIS
DO
SE
MIN
ÁR
IO IN
TE
RN
AC
ION
AL
DE
AVA
LIA
ÇÃ
O E
DU
CA
CIO
NA
L
o tipo de desempenho específico; por exemplo, por quea Espanha mostra um desempenho pior do que muitosde seus parceiros da Europa.
Tudo isso nos leva a um segundo objetivo dosestudos internacionais de desempenho comparativo,ou seja, a algum nível de entendimento dos motivospara as diferenças observadas nos desempenhos, en-tre os sistemas de educação.
Para esse segundo objetivo, é necessária ainformação sobre os processos de aprendizagem eensino, além de uma análise profunda dos resultadosde desempenho, de acordo com o contexto dessesdados primários. Os estudos comparativos da IEA es-tão também obtendo os diferentes tipos de dados pri-mários. No TIMSS, essa análise profunda ainda estápor ser feita. A International Association for theEvaluation of Educational Achievement (IEA) conside-ra esta uma importante tarefa dos próprios países par-ticipantes, uma vez que são eles que estarão prepara-dos para determinar as melhores questões para a pes-quisa e a análise, que sejam relevantes para o seusistema de educação. Mais adiante, será apresentadoum exemplo da Suíça.
A IEA: o que é, o que faz, sua missão, sua história
O TIMSS está sendo desenvolvido sob osauspícios da IEA, organização que realiza estudoscomparativos internacionais, nos quais se avalia o de-sempenho em educação, de acordo com o contextode variáveis de processo e insumos. A missão da IEA écontribuir para a melhoria de qualidade da educação,através de seus estudos.
A IEA surgiu há 38 anos, como uma coopera-tiva de institutos de pesquisa, que representam atual-mente 55 sistemas de educação (ver, por exemplo,Husen e Postlethwaite, para uma descrição resumidada história da IEA). Vários países estão representadoshoje em dia na Assembléia-Geral da IEA, através daspessoas responsáveis pelas políticas. Os coordena-dores nacionais de pesquisa e os centros de estudosda IEA são, com freqüência, alguns dos mais proemi-nentes em seus países: alguns fazem parte de seusrespectivos Ministérios de Educação, e outros têm li-gação com universidades, ou são centros independen-tes de pesquisa. Pela sua própria natureza, a IEA pos-sibilita uma rede de institutos e de indivíduos que, emconjunto, representam grande experiência e capacida-de intelectual; nesse sentido, passa a ser um local dereunião para organizadores de política, educadores,cientistas e pesquisadores.
Através dos anos, a IEA realizou vários estu-dos de avaliação sobre temas escolares básicos. Amaior parte deles foi determinada pelos próprios currí-culos, ou seja, foram desenvolvidas estruturas de tes-tes para a avaliação de resultados educacionais, combase na análise do currículo dos países participantes.Todos esses estudos incluíram também instrumentospara mensuração de variáveis de processos escolarese de sala de aula, assim como variáveis primárias tan-to de professores quanto de alunos. Como exemplos,citamos os estudos nas áreas de Matemática e Ciên-cias, habilidades em Leitura, Educação Cívica, e In-glês e Francês como línguas estrangeiras.
Ao lado disso tudo, a IEA realiza também ou-tros estudos, não baseados em currículos. Como exem-plos, o Pre-Primary Project and the Computers inEducation Study, do qual está sendo preparado umsucessor (o Second Information Technology inEducation Study).
Atualmente, há vários estudos em curso na IEA.O TIMSS é o mais extenso já realizado, cujos
resultados são discutidos por este trabalho. Os resul-tados da população número 3 (final da educação com-pulsória) serão divulgados em fevereiro de 1998. A IEAtem planos para repetir o TIMSS para a 8ª série em1998, para o Hemisfério Sul, e em 1999 para o Hemis-fério Norte. Os países que até agora não tiveram a opor-tunidade de participar do TIMSS são bem-vindos aoestudo.
Está em via de ser finalizada a primeira fasedo segundo Civics Education Study, o desenvolvimen-to dos perfis dos países, cuja primeira parte, do ano de1999, será dedicada à coleta de informações nos ní-veis das escolas, professores e alunos.
Um outro estudo, em âmbito distinto, é o Pre-Primary Project, um estudo de políticas e práticas naárea de atenção infantil.
Foi iniciado no outono de 1997 um segundoInformation Technology in Education Study (SITES),com um módulo de indicadores (uma pesquisa de ava-liação escolar limitada, em novembro de 1998). Exis-tem planos para dois outros módulos, especificamen-te um módulo de estudos internacionais de casos com-parativos sobre práticas inovadoras no uso da tecnologiada informação e da comunicação, e (para o ano 2001)uma pesquisa envolvendo escolas, professores ealunos.
Como já foi mencionado, a IEA reconhece doisobjetivos nos estudos internacionais de desempenhocomparativo: 1) fornecer aos responsáveis por políticae aos profissionais em educação informações sobre aqualidade da sua educação em relação a grupos dereferência relevantes, e 2) auxiliar no entendimento dosmotivos para as diferenças observadas entre os siste-mas educacionais (o que atende às necessidades dosorganizadores da política, mas que é claramente temade interesse dos pesquisadores).
46
AN
AIS
DO
SE
MIN
ÁR
IO IN
TE
RN
AC
ION
AL
DE
AVA
LIA
ÇÃ
O E
DU
CA
CIO
NA
L
Em linha com esses dois objetivos, a IEA tra-ta de focalizar dois tipos de comparações em seusestudos. A primeira, comparações internacionais dire-tas sobre os efeitos da educação em termos de pontu-ações (ou subpontuações) nos testes internacionais,segundo a forma ilustrada em relação ao TIMSS, naTabela 1 e na Figura 1.
O segundo tipo de comparação refere-se àverificação de até que ponto o currículo proposto deum país ("aquilo que deveria ser ensinado em uma de-terminada série") é implementado nas escolas, e al-cançado pelos alunos. Esse tipo de comparação ébasicamente dirigido às análises nacionais dos resul-tados de um país, ainda que essas análises possamser desenvolvidas de acordo com uma abordagem in-ternacional comparativa.
Um estudo típico da IEA trabalha com níveisde séries de três populações: educação elementar, iní-cio e final da educação secundária.
A IEA foi fundada como cooperativa de pes-quisa. No início, o seu interesse básico eram estudosinternacionais comparativos, a partir de uma perspec-tiva de pesquisa. Na segunda metade da década de80, a IEA começou a reconhecer o interesse cada vezmaior dos responsáveis pela determinação de políti-cas nos indicadores de educação. Desde então, a IEAassumiu como desafio atender também aos interes-ses dessas pessoas, através de seus estudos. A in-clusão dos indicadores de desempenho da IEA naspublicações da OCDE ilustra o êxito da Associaçãonesse esforço. A última edição da publicação Educationat a Glance, da OCDE (1996), apresenta um númerode indicadores baseados nos resultados do TIMSS.Exemplos de publicações da IEA que examinam ques-tões relevantes referentes à política são Postlethwaite,Ross (1994) e Keeves (1996), sendo Kellaghan (1996)outra fonte de relevo.
Nem todos os estudos deveriam incluir umaextensão e um desenho tão abrangentes quanto o es-tudo TIMSS. Entretanto, a IEA acredita firmemente quea conceitualização desses estudos (que é resumidana seção a seguir) permita a organização de estudosque possam atender às necessidades tanto dos res-ponsáveis pelas políticas quanto dos profissionais deeducação.
F unções dos estudos da IEA
Como já foi mencionado anteriormente, a im-portância dos estudos desenvolvidos pela IEA vai mui-to além da pura realização de comparações diretas,sob a forma de tabelas de grupos. As funções, a se-guir, ilustram a importância dos estudos internacionaisde desempenho comparativo (e dos indicadores deeducação).
1) Descrição
Fornecer aos responsáveis pela determinaçãodas políticas e à comunidade da educação informa-ções sobre a condição do "seu" sistema de educação,em um contexto de comparação internacional: muitosjá consideram essa atividade como já sendo interes-sante. Muitos dos responsáveis pelas políticas reco-nhecem atualmente que esse tipo de informação é umbom ponto de partida para a geração de questões paraanálise em maior profundidade (função "de espelho").A nossa discussão dos resultados apresentados comoexemplos na Tabela 1 e na Figura 1 ilustra isso.
O amplo interesse demonstrado em todo omundo pelos resultados do TIMSS ilustra a importân-cia dessa função.
2) Comparação com uma referência (benchmarking)
Esta função é melhor ilustrada através de umexemplo. No estudo TIMSS, alguns países da Ásia, e,na Europa, a parte flamenga da Bélgica e a RepúblicaCheca apresentam as pontuações mais altas nos tes-tes de Matemática. Caso outro país se mostrasse in-teressado no aprimoramento da sua própria educaçãona área de Matemática, poderia analisar o seu "pró-prio" caso em comparação com os países da Ásia e/ou da Europa, considerando muitas variáveis, relacio-nadas a aspectos curriculares da Matemática e daeducação científica (incluindo materiais curriculares),abordagens pedagógicas e processos de instrução,variáveis escolares, preparação de base e treinamentode professores (e treinamento no trabalho), etc. Possi-velmente, essas análises poderão resultar em propos-tas de mudanças, ainda que não devam ser esperadasrespostas fáceis. No caso desses países, uma ques-tão importante em um próximo estudo da IEA seriaverificar se o seu desempenho teria se aproximadodaquele dos países de referência escolhidos.
3) Controle de qualidade da educação
O controle está um passo a frente da atividadede benchmarking: a avaliação regular dos processoseducacionais em diferentes níveis do sistema de edu-cação, com o propósito de gerar a mudança, no mo-mento e onde quer que seja necessário ("tomada dedecisões informada"). Essa função é um exemplo docontrole do currículo baseado na avaliação (mas, nocaso dos estudos da IEA, com base na avaliação ba-seada no currículo). Para ela, são necessários dadosde tendência, ou seja, um ciclo de avaliações feitas deforma regular naquelas matérias que estejam sendocontroladas (como é o caso do ciclo de estudos daIEA e da OCDE nas áreas de Matemática, Ciências eHabilidades de Leitura). Por esse motivo, a IEA foi so-licitada a repetir o estudo TIMSS para a população de8ª série, em 1999.
47
AN
AIS
DO
SE
MIN
ÁR
IO IN
TE
RN
AC
ION
AL
DE
AVA
LIA
ÇÃ
O E
DU
CA
CIO
NA
L
4) Entendimento dos motivos para as diferenças ob-servadas
É possível que os responsáveis pela políticadesejem compreender as diferenças entre sistemas deeducação, ou mesmo as que possam existir dentrodeles, do ponto de vista da determinação de políticasnacionais (esta função deve ser diferenciada da pes-quisa nacional).
Esta função, mais uma vez, está um passo afrente da mera coleta de dados, com o objetivo de acom-panhamento: em última análise, atende às necessida-des dos responsáveis pela determinação de políticas,além de ser nitidamente também do interesse dos pes-quisadores. Um bom exemplo é a análise feita nosEstados Unidos dos dados do Second InternationalMathematics Study (SIMS), da IEA, que resultou numamonografia. O currículo com desempenho insuficiente(McKnight et al., 1989), como exemplo do TIMSS, serádiscutido mais adiante. Mais uma vez, nenhum estudopropõe respostas fáceis com respeito a que medidasdevem ser tomadas, para o aprimoramento da educa-ção em um país. Por outro lado, este tipo de pesquisapoderá levar a decisões quanto a políticas, sobre mu-danças na educação ("tomada de decisões informa-da"), ou sobre iniciativas como a dos EUA, em que oNational Council for the Teaching of Mathematics (NCTM)desenvolveu os bem conhecidos padrões para o ensi-no da Matemática.
5) Pesquisa nacional
Esta função refere-se à pesquisa exploratóriae/ou em profundidade das bases de dados da IEA.Muitos exemplos podem ser encontrados nos volumesda IEA, e aqui mencionamos apenas dois outros.Postlethwaite e Ross (1994) desenvolveram uma pes-quisa exploratória da base de dados da IEA, com rela-ção à Proficiência em Leitura (dados coletados entre1990 e 1991), em um esforço para encontrar indicado-res que pudessem discriminar entre as escolas maise menos eficazes (na área de Leitura).
O segundo exemplo é a monografia de Keeves(1996), The world of school learning: selected keyfindings from 35 years of IEA research, em que o autordiscute, com base em todos os estudos da IEA de-senvolvidos até 1994, dez conclusões principais, comsugestões de implicações para o planejamento educa-cional.
Q ue dados coletar: algumas
considerações práticas e teóricas
A questão de quais os tipos de dados devemser coletados em um estudo de avaliação comparativainternacional não pode receber qualquer resposta quenão inclua ambigüidades. O tema certamente não étrivial, quando se percebe que na maior parte dos estu-dos da IEA há a participação de mais de 20 países, eno TIMSS, de mais de 40. Muitos participantes even-tualmente terão diferenças nas funções ou mesmo nasmetas que desejam alcançar através do estudo. Al-guns, talvez, desejam enfatizar apenas a descrição aoredor de um pequeno número de indicadores, enquan-to que a intenção de outros poderá ser trabalhar comum número maior de variáveis (ligadas a desempenho),para terem a possibilidade de analisar adequadamenteas informações sobre o seu país. Além disso, em con-sonância com a sua missão, a IEA não deseja criaroportunidades para a condução de uma análise nacio-nal, com o intuito de expandir o entendimento sobre ofuncionamento dos sistemas educacionais em todosos níveis. Ainda existe um dilema entre o que é dese-jável e o que é viável: eventualmente, os pesquisado-res desejarão coletar um número máximo de dados,para terem a possibilidade de realizar análises secun-dárias em profundidade de uma base de dados rica,enquanto que as possibilidades em geral restritas paraa coleta de dados nas escolas, bem como os orça-mentos limitados, impõem limitações severas sobre aextensão da coleta de dados. Assim sendo, nessestipos de estudos, é necessário encontrar um meio-ter-mo, entre os interesses de todos os países participan-tes. A IEA, portanto, está-se esforçando para determi-nar um tipo de projeto e instrumentos que sejam tão"igualmente injustos" quanto for possível para todos ospaíses participantes.
Ao lado de tudo isso, para um estudo eficaz eeficiente, é preciso haver uma estrutura conceitual bemelaborada, que considere os aspectos a serem focali-zados no estudo. Praticamente todas as funções men-cionadas acima precisam de medidas para o desem-penho educacional, além de outros resultados da edu-cação, e em três níveis do sistema de educação:
Quadro 2 – Níveis do sistema de educação
Avaliação Nível do sis tema
do que os alunos aprendem m icro
do que e com o ensinam as esco las e os professores m eso
de quais os valores da com unidade ( o que os alunos devem aprender) m acro
l
l
l
48
AN
AIS
DO
SE
MIN
ÁR
IO IN
TE
RN
AC
ION
AL
DE
AVA
LIA
ÇÃ
O E
DU
CA
CIO
NA
L
Os estudos da IEA focalizam os três níveis,distinguindo três facetas do currículo:
l O currículo pretendido: aquilo que deve serensinado e aprendido, que pode ser medido através daanálise de documentos, como programas oficiais, des-crições de cursos, livros-texto;
l O currículo implementado: o que está ver-dadeiramente sendo ensinado, ou ocorrendo nas es-colas e nas salas de aula – conteúdo, carga horária,estratégias institucionais, etc.–, que pode ser medidoatravés de questionários (ou observações);
l O currículo atingido: aquilo que os alunosatingem ou aprendem, em termos de habilidadescognitivas, atitudes, etc., que pode ser medido atravésde testes.
No modelo conceitual do estudo TIMSS, porexemplo, as variáveis que exercem influência sobre aeducação são vistas como "situadas em uma série decontextos embutidos, a partir do mais global e avan-çando para o mais pessoal", segundo a forma ilustra-da na Figura 2 (Robitaille, 1993, p. 26-27).
Figura 2 – A estrutura conceitual para o TIMSS(Robitaille, 1993)
Currícu lo A ting ido (A luno)
An tecedentes Pessoais
Currícu loIm plem en tado(Sala de A ula)
Com unidade Local
Currícu loPre tend ido(Sis tem a)
Soc ie dade em G eral
Para maiores informações sobre a abordagemconceitual da IEA, consultar, por exemplo, Robitaille eGarden (1992), e Plomp (1992).
Em um estudo típico da IEA, é necessário re-alizar uma série de atividades, para coletar e fornecerdados e indicadores de boa qualidade, como análisede currículos, desenvolvimento de instrumentos (inclu-indo testes-piloto, tradução, etc.), amostragem, pro-dução de instrumentos, coleta de dados, depuração eelaboração de arquivos, controle de qualidade entre ospaíses participantes de cada componente, análise dedados, elaboração de relatórios.
Q ue dados devem ser coletados: alguns
exemplos
Entre as considerações tanto práticas quantoteóricas já discutidas, as questões de quais os dadosque devem ser coletados em estudos nacionais e in-ternacionais de avaliação podem ainda ser respondi-das de várias maneiras. Mais uma vez, as respostasdependem das funções, bem como das questões depesquisa a serem focalizadas pelo estudo. Por cimadisso tudo, os países participantes eventualmente de-sejarão empregar um estudo internacional comparati-vo para encontrar também respostas para algumasquestões nacionais. Destarte, a questão de "que da-dos" tem de ser respondida em separado, para cadaum dos estudos. Apresentaremos aqui alguns exem-plos típicos para estudos da IEA.
a) Dados de quais populações-alvo?
A escolha da(s) população(ões)-alvo é nitida-mente um reflexo das questões de interesse (para po-líticas ou para pesquisa). Por exemplo, como parte doseu ciclo de coleta de dados de desempenho, a OCDEdeverá concentrar-se em dados de jovens de 15-16 anosde idade, de forma poder fornecer aos responsáveispela política um perfil básico do desempenho dos alu-nos no final (ou próximo) do período de escola compul-sória.
Por outro lado, no estudo TIMSS da IEA, fo-ram coletados dados (entre outros) relativos às 3ª e 4ªséries (população 1), às 7ª e 8ª séries (população 2) eno último ano da escola secundária (população 3), oque permite uma série de comparações. Em primeirolugar, pode ser medida a evolução entre duas sériesadjacentes. Entretanto, incluindo itens comuns nostestes para as duas populações, pode ser medida tam-bém a evolução em Matemática e em Ciências, da 4ªsérie (escola primária) à 8ª (fase inicial da escola se-cundária). No TIMSS, podem também ser feitas com-parações entre as populações 2 e 3. Ainda, as popula-ções-alvo da IEA permitem o acompanhamento da qua-lidade da educação durante o período de escola com-pulsória.
b) Medidas múltiplas de avaliação
No estudo TIMSS/IEAs, foram coletados da-dos de desempenho de duas maneiras. Os testes dedesempenho, aplicados a todos os alunos participan-tes do estudo, consistiam de questões dissertativas ede múltipla escolha. Além disso, uma subamostra dealunos das populações 1 e 2 realizou uma série detarefas para a avaliação de desempenho, nas áreas deMatemática e de Ciências. A avaliação de desempe-nho, que foi a mesma para as duas populações, foi
49
AN
AIS
DO
SE
MIN
ÁR
IO IN
TE
RN
AC
ION
AL
DE
AVA
LIA
ÇÃ
O E
DU
CA
CIO
NA
L
administrada em forma de "circo", devendo o aluno re-alizar entre três e cinco tarefas. Os resultados apare-cem em Harmon et al. (1997). A Tabela 2 apresentaalguns dos resultados das avaliações de desempenho,
em combinação com os resultados de desempenhotirados da Figura 1 e da Tabela 1, para os países queparticiparam com relação à 8ª série, tanto nos testes dedesempenho quanto nas avaliações de desempenho.
A tabela ilustra a função "de espelho" dessesdados descritivos, que podem levar a questões impor-tantes para os responsáveis pela determinação de po-líticas e para os profissionais de educação de váriospaíses.
Vários países apresentam pontuações seme-lhantes para todas as medidas de avaliação: Cingapuraentre os mais altos e de forma constante, e, por exem-plo, Espanha, Portugal e Colômbia, abaixo da médiainternacional, de modo também consistente.
Podem ser observados aspectos interessan-tes, por exemplo, nos Países Baixos e na RepúblicaCheca. Os dois países apresentam pontuações nostestes de desempenho em Matemática e em Ciênciasmuito acima da média internacional, mas apenas pró-ximas à média internacional, quando se referem a ta-refas de desempenho. Caso se valorize a capacidadedos alunos de resolver problemas e tarefas de desempe-nho, então a satisfação desses dois países, comas suas altas pontuações nos testes de desempe-nho, não deverá ofuscar as preocupações que deverãoter com os seus resultados medianos nas tarefasde desempenho.
Alguns outros países apresentam um dos re-sultados desviando-se de um padrão. Por exemplo, aSuíça apresenta resultados muito bons em tarefas dedesempenho e em desempenho em Matemática, masmedianos na área de Ciências.
Os exemplos apresentados ilustram o fato deque a análise dos resultados descritivos, em múltiplasmedidas de avaliação, permite que os países determi-nem os aspectos que deverão merecer análises maisdetalhadas ou em maior profundidade e/ou discussõessobre a ênfase e o enfoque do currículo.
c) Dados primários
Sempre são coletados dados primários, comoparte dos estudos da IEA (ver Figura 2). São essas asinformações que permitem a atenção sobre questõesde pesquisa, com relação a que fatores possam estarcontribuindo para a educação de boa qualidade. Umoutro motivo para a coleta de tais dados é o fato de quepermite que os países busquem os fatoresdeterminantes dos resultados nacionais num contextointernacional.
M atemática CiênciasTeste de
Desem penho(pontos na esca la)
Tarefas de desempenhom édia – (% )
Teste dedesem penho
(pontos na esca la)
Tarefas de desempenhom édia – (% )
CingapuraRep. Checa
SuíçaBaixos
EslovêniaAustráliaCanadáSuécia
Ze lândiaInglaterraNoruega
EUAEscóciaEspanhaRom êniaChipre
PortugalIrã
Colômbia
M édia Int.
643564545541541530527519508506503502498487482474454428385
513
CingapuraSuíça
AustráliaRom ênia
SuéciaNoruega
InglaterraEslovênia
Rep. ChecaCanadá
N.ZelândiaP.BaixosEscócia
IrãEUA
EspanhaPortugalChipre
Colômbia
M édia Int.
70666666656564646262626261545452484437
59
CingapuraRep. Checa
P.BaixosEslovêniaInglaterraAustrália
SuéciaEUA
CanadáNoruega
N.ZelândiaSuíça
EscóciaEspanhaRom êniaPortugal
IrãChipre
Colômbia
M édia Int.
607574560560552545535534531527525522517517486480470463411
516
CingapuraInglaterra
SuíçaEscóciaSuécia
AustráliaRep. Checa
CanadáNoruega
N.ZelândiaP.BaixosEslovêniaRom ênia
EUAEspanha
IrãChipre
PortugalColômbia
M édia Int.
72716564636360595858585857555650494742
58
Fontes: B eaton et a l. (1996a, b ), Harm on e t al. (1997).
Tabela 2 – TIM SS para a 8ª Série: Pontua ções de realiza ç ão e desempenho para M atemática e C iências
50
AN
AIS
DO
SE
MIN
ÁR
IO IN
TE
RN
AC
ION
AL
DE
AVA
LIA
ÇÃ
O E
DU
CA
CIO
NA
L
No estudo de Proficiência em Leitura da IEA,Postlethwaite e Ross (1994) concluíram que um gran-de número de variáveis primárias estava influenciandoo desempenho em leitura, que, por sua vez, foram clas-sificados em várias categorias, basicamente indicado-res de:
l atividades dos alunos em casa;l contexto escolar;l características da escola;l recursos da escola;l iniciativas da escola;l administração e desenvolvimento da escola;l características dos professores;l condições das salas de aula, das ativida-
des dos professores;l métodos de ensino.Postlethwaite e Ross (1994) analisaram es-
ses indicadores por todo o país à luz da questão doque faz com que uma escola seja eficaz em leitura.Constataram que para aumentar o desempenho dosalunos na leitura, seria necessária a promoção da lei-tura voluntária, fora do ambiente da escola, em especi-al durante os anos de escola primária; além disso, asescolas deveriam dispor de bibliotecas nas salas deaula e/ou nas escolas, devendo os professoresenfatizarem a leitura para compreensão.
De uma forma geral, as experiências acumu-ladas, obtidas através dos estudos da IEA, em combi-nação com as questões a serem discutidas em umestudo, determinaram, em grande parte, que dadosprimários deveriam ser obtidos das escolas, dos pro-fessores e dos alunos.
d) Necessidade de avaliação nacional
Os estudos comparativos internacionais podemser usados por um país para o estudo da sua própriaprática educacional, em um contexto de comparaçãointernacional. No caso da Suíça, Moser (1997) anali-sou em Matemática, no TIMSS, a intensidade da influ-ência das práticas instrucionais (instrução orientadaàs crianças, em lugar de orientada às matérias) e dasvariáveis de instrução (autonomia dos alunos, em au-las orientadas às crianças, em comparação com ocomportamento baseado em tarefas, em aulas orien-tadas às matérias) sobre os resultados de aprendiza-gem, não apenas em termos do desempenho em Ma-temática, mas também da atividade interna, da ativida-de individual e do interesse pela Matemática. Ele con-cluiu que as práticas e as variáveis de instrução nãoexercem efeito significativo sobre o desempenho emMatemática, mas muito sobre outros resultados daaprendizagem. Com base nos melhores resultadosverificados no Japão (um país que coloca grande ênfa-se sobre as práticas de instrução sobre as matériasindividuais, e sobre o comportamento baseado em ta-refas), o autor conclui, ainda, que as práticas de instru-ção da Suíça podem ser melhoradas nesses aspectos.
Um outro exemplo de análise nacional da Su-íça relaciona-se a nossa conclusão anterior, de que noTIMSS a Suíça está alcançando resultados relativa-mente bons nas tarefas de desempenho e no desem-penho em Matemática, mas medianos em Ciências.Ramseier (1997) analisou as possíveis causas paraesse fato, concluindo que pode ser explicado atravésda discrepância entre o currículo suíço em Ciências(prioridades de ensino) e a parte de Ciências do testeinternacional de desempenho.
A maioria dos estudos internacionais compa-rativos permite um número limitado de questões nacio-nais ("opção nacional"). O exemplo da Suíça ilustraaté que ponto é importante que os países participan-tes de um estudo comparativo internacional conside-rem antecipadamente as questões nacionais (políticase/ou de pesquisa) que desejam examinar através des-ses estudos; além disso, que características peculia-res do sistema nacional precisam ser incluídas nosquestionários relativos à situação primária, para permi-tir análises nacionais relevantes.
O bservações finais
Considerando-se a discussão e os reflexos dosignificado da avaliação de um sistema educacional eos meios adequados para realizá-la, os comentários aseguir são relevantes para o envolvimento do Brasil e,de uma maneira mais geral, da região latino-america-na em práticas de avaliação internacional.
Em primeiro lugar, a importância da participa-ção de estudos comparativos internacionais aumentapara um país, quando países importantes de referên-cia participam também. Por esse motivo, um estudocomo é o caso do TIMSS é extremamente relevantepara a União Européia, para a América do Norte e paraalguns países da Ásia. Para incrementar a importân-cia dos estudos da IEA para a América Latina comoregião, é preciso promover o envolvimento de um nú-mero maior de países. O fato de que recentemente oBrasil e o Chile se juntaram à IEA é, na verdade, umsinal promissor, e a importância da participação des-ses países na versão de 1998/1999 do TIMSS seráintensificada a partir de quando um número maior depaíses da região passar a participar do estudo.
Os estudos do tipo dos da IEA são comple-xos, dos pontos de vista tanto logísticos comometodológicos. Uma característica importante dos es-tudos da IEA é o treinamento dos coordenadores naci-onais de pesquisa. Esse é um componente essencialdo estudo, uma vez que muitos coordenadores apa-rentam não estarem tão familiarizados com ametodologia e, principalmente, com as característicasespecíficas dos estudos comparativos internacionais.
51
AN
AIS
DO
SE
MIN
ÁR
IO IN
TE
RN
AC
ION
AL
DE
AVA
LIA
ÇÃ
O E
DU
CA
CIO
NA
L
Um outro benefício da participação nesses estudos,ainda que não bem tangível, é o desenvolvimento deuma rede de pesquisadores e de especialistas (nasáreas, por exemplo, de Amostragem, Psicometria,Desenvolvimento de testes, Análises de dados, etc.),que pode ser de ajuda quando os países desejam de-senvolver os seus próprios estudos de avaliação e deexame nacional.
Um aspecto importante, mas quefreqüentemente não recebe a devida atenção, é a pos-sibilidade de sintonizar as avaliações nacionais de acor-do com as internacionais. A ligação bem feita dos doisnão apenas aumentará os benefícios que poderão re-verter para o país a partir dos investimentos em estu-dos de avaliação, mas será também custo eficiente.
Um outro aspecto relacionado aos custos re-fere-se à questão de quais dados devem ser coletados.Como já foi ilustrado através dos exemplos dados, sãoos aspectos ligados à política e à pesquisa que deter-minarão principalmente quais os dados a serem reco-lhidos. Por outro lado, quando entram em cena fatoresrelativos a custos, e a partir do momento em que ainfluência sobre que dados receberão atenção (ou nãoreceberão) fica demasiada, corre-se o risco de limitara utilidade dos dados coletados. Se a IEA tivesse ape-nas coletado durante o TIMSS dados referentes a de-sempenho (que na verdade dão lugar a indicadores in-teressantes, como os que aparecem na Tabela 1 e naFigura 1), mas nenhuma informação sobre as escolas,sobre os professores e sobre os alunos, um país comoa Suíça jamais teria tido a possibilidade de realizaranálises nacionais em meio a um contexto internacio-nal, e teria perdido a oportunidade única de focalizaralgumas questões nacionais importantes. Com freqüên-cia, basta um mínimo aumento de custos para que sechegue à diferença entre a obtenção apenas de dadosreferentes a desempenho ou de um conjunto muito maisrico de dados, que permita análises mais profundas deaspectos importantes.
R eferências bibliográficas
BEATON, A. E. et al. Mathematics achievement in themiddle school years. In: INTERNATIONALASSOCIATION FOR THE EVALUATION OFEDUCATIONAL ACHIEVEMENT. Third InternationalMathematics and Science Study. Chestnut Hill, MA: Center for the Study of Testing, Evaluation andEducational Policy, Boston College, 1996a.
________. Science achievement in the middle schoolyears. In: INTERNATIONAL ASSOCIATION FORTHE EVALUATION OF EDUCATIONALACHIEVEMENT. Third International Mathematics
and Science Study. Chestnut Hill, MA : Center forthe Study of Testing, Evaluation and EducationalPolicy, Boston College, 1996b.
HARMON, M. et al. Performance assessment. In:INTERNATIONAL ASSOCIATION FOR THEEVALUATION OF EDUCATIONAL ACHIEVEMENT.Third International Mathematics and Science Study.Chestnut Hill, MA : Center for the Study of Testing,Evaluation and Educational Policy, Boston College,1997.
HUSÉN, T., POSTLETHWAITE, T. N. A brief history ofthe International Association for the Evaluation ofEducational Achievement (IEA). Assessment inEducation, Abingdon, v. 3, n. 2, p. 129-141, 1996.
KEEVES, J. The world of school learning : selectedfindings from 35 years of IEA. Amsterdam : IEA,1996.
KELLAGHAN, Thomas. IEA studies and educationalpolicy. Assessment in Education, Abingdon, v. 3, n.2, p. 143-160, 1996.
MARTIN, M. O. et al. Science achievement in theprimary school years. In: INTERNATIONALASSOCIATION FOR THE EVALUATION OFEDUCATIONAL ACHIEVEMENT. Third InternationalMathematics and Science Study. Chestnut Hill, MA: Center for the Study of Testing, Evaluation andEducational Policy, Boston College, 1997.
McKNIGHT, C. C. et al. The underachieving curriculum: assessing U.S. school mathematics from aninternational perspective. Champaign, IL : Stipes,1989.
MOSER, U. P. Swiss analysis of the TIMSS data. Chi-cago, IL, 1997. Trabalho apresentado na Conferên-cia Anual da American Educational ResearchAssociation (AERA).
MULLIS, I. V. S. et al. Mathematics achievement in theprimary school years. In: INTERNATIONALASSOCIATION FOR THE EVALUATION OFEDUCATIONAL ACHIEVEMENT. Third InternationalMathematics and Science Study. Chestnut Hill, MA: Center for the Study of Testing, Evaluation andEducational Policy, Boston College, 1997.
OECD. Education at a glance : OECD indicators. 4.ed. Paris : OECD/CERI, 1996.
PLOMP, Tjeerd. Conceptualizing a comparativeeducational research framework. Prospects, v. 22,n. 3, p. 278-288, 1992.
52
AN
AIS
DO
SE
MIN
ÁR
IO IN
TE
RN
AC
ION
AL
DE
AVA
LIA
ÇÃ
O E
DU
CA
CIO
NA
L
POSTLETHWAITE, T. N., ROSS, K. Effective schoolsin reading : implications for educational planners.Amsterdam: IEA, 1994.
RAMSEIER, E. Task characteristics and task difficulty: analysis of typical features in the Swiss performancein TIMSS. Frankfurt, 1997. Trabalho apresentado naConferência Européia sobre Pesquisa Educacional.
ROBITAILLE, D. F. (Ed.). Curriculum frameworks formathematics and science. Vancouver : PacificEducational Press, 1993. (TIMSS monograph, 1).
ROBITAILLE, D. F., GARDEN, R. (Ed.). The IEA studyof mathematics II : contexts and outcomes of schoolmathematics. Oxford : Pergamon Press, 1989.
53
AN
AIS
DO
SE
MIN
ÁR
IO IN
TE
RN
AC
ION
AL
DE
AVA
LIA
ÇÃ
O E
DU
CA
CIO
NA
L
O S INDICADORESDE EDUCAÇÃO DA OCDE:PROPÓSITOS, LIMITES E
PROCESSO DE PRODUÇÃO*
Norberto Bottani**
*Ao preparar este trabalho, utilizei partes de vários documentos internos não publicados da OCDE, produzidos como parte do projeto dessa instituição,"International Indicators Systems" (INES), que chefiei de 1988 a 1995. Agradeço, especificamente, a Donald Hirsch e a François Orivel pelos trabalhos que elesprepararam para a última Assembléia Geral do Projeto do INES, realizada em Lahti (Finlândia), em junho de 1995.
**Norberto Bottani chefiou vários setores da Organization for Economic Co-operation and Development (OECD), entre os quais o (International Indicators ofEducation Systems (INES)/ CERI Project, e, desde 1997, é diretor da Unit for Educational Research, do Cantão de Genebra (Suíça). Foi editor dos relatóriose livros da OCDE sobre Educação Infantil, Educação Multicultural e Indicadores Educacionais publicados entre 1976 e 1996. Juntamente com I. Delfau, foi oco-editor do fascículo especial do periódico International Journal of Educational Research, v. 14, n.4, sobre indicadores da qualidade dos sistemas educacionaisnuma perspectiva internacional, em 1990.
O bjetivos do conjunto de indicadores
de educação da OCDE
A metodologia que utiliza indicadores de edu-cação é hoje amplamente adotada para a avaliaçãodos sistemas nacionais de educação. Há possibilida-de de geração de centenas de indicadores, ainda quenão haja sentido em produzir tantos deles. Não é aabundância de informações e de medidas que produzi-rá um melhor conhecimento. Ainda mais, um conjuntogrande de indicadores é muito difícil de ser gerenciado.Desde 1991, os países da Organization for EconomicCo-operation and Development (OCDE) vêm tentandogerar um conjunto restrito de indicadores em educa-ção, além de identificar aqueles que sejam centraispara o fornecimento de informação essencial sobre ossistemas de educação. Apesar desses esforços, oconjunto de indicadores em educação da OCDE nãoapresentou grande evolução. O número de indicadoresincluídos no conjunto permaneceu estável, em tornode 50. É realmente difícil identificar os critérios para aseleção de indicadores: essa operação exige uma es-trutura conceitual que espelhe os propósitos da avalia-ção e dos sistemas de educação.
A estrutura conceitual do conjunto deindicadores em educação da OCDE
O esquema em torno do qual se organiza oconjunto de indicadores em educação da OCDE foi de-senvolvido através de várias etapas. A insatisfação comos modelos de organização que prevaleciam na déca-
da de 80, com ênfase sobre as causalidades e a faltade capacidade de interpretação reclamava a adoçãode uma estrutura de organização que fosse flexível. Aestrutura conceitual do International Indicators Systems(INES) é organizada em torno de uma abordagem com-binada, utilizando bases tanto conceituais quanto prag-máticas, e incorporando preocupações relativas àspolíticas.
Os parâmetros conceituais e teóricos que ex-plicam as opções que influenciaram a construção dosconjuntos de indicadores foram descritos em duas pu-blicações: The OCDE International Education Indicators.A framework for Analysis (1992) e Making EducationCount. Developing and Using International Indicators(1994).
A ambição da OCDE, ao propor um conjuntode indicadores internacionais em educação, era cobriruma ampla gama de serviços educacionais, ampliaros horizontes além do mundo do ambiente escolar for-mal, incluindo dados sobre a educação privada – for-mas tanto comerciais quanto sem fins lucrativos – ,sobre as atividades de treinamento executadas nas em-presas, sobre as compras domésticas de bens e servi-ços de educação, sobre pesquisa e desenvolvimentoem educação, e sobre os profissionais ligados à edu-cação, e não meramente os professores.
O quadro conceitual que levou à seleção dosindicadores assumiu, assim, uma função crucial naimplementação de uma estratégia de informação de-senhada para estabelecer os fundamentos para deci-sões políticas e para uma gestão firme com base nas
54
AN
AIS
DO
SE
MIN
ÁR
IO IN
TE
RN
AC
ION
AL
DE
AVA
LIA
ÇÃ
O E
DU
CA
CIO
NA
L
quais deveriam desenvolver-se as atividades de obten-ção de dados e de iniciativas de informação. Como foicorretamente indicado pelo Sr. Orivel, em sua análisedos primeiros três conjuntos de indicadores em edu-cação da OCDE, os fatores que influem no desempe-nho dos alunos são extremamente numerosos, e o seuimpacto varia, dependendo da presença ou não de ain-da outros fatores. Ainda mais, alguns fatores sãomaleáveis, ou seja, podem ser modificados através daintervenção externa, enquanto que outros não podemser mudados, ou a própria sociedade se recusa a fazê-lo. Por exemplo, o tamanho das turmas, ou a duraçãodo período de treinamento dos professores podem sermudados; as aptidões naturais, o ambiente familiar ougeográfico, a aceitação dos pares não podem ser mo-dificados. É virtualmente impossível medir todos aque-les fatores que poderiam representar um impacto. Poresse motivo, apesar da importância do trabalho de pes-quisa em educação, não há consenso sobre que fato-res exercem maior influência sobre o desempenho dosalunos. São extremamente raros os resultados queapresentam um alto grau de consistência. Assim sen-do, quando se escolhem indicadores que tenham acapacidade para rápida e corretamente informar aosusuários dos sistemas de educação sobre os desem-penhos em educação e alertá-los quanto ao estado daeducação, é preciso fazer algumas opções. Estas op-ções não são nem simples, nem neutras.
A OCDE utiliza macrodados para a constru-ção de seus indicadores em educação. A natureza dosdados utilizados ajuda a executar uma primeira sele-ção entre os distintos fatores a serem mantidos. Aindaassim, os indicadores agregados da OCDE são, via deregra, muito gerais para permitirem uma análise deta-lhada das relações entre os recursos investidos e osresultados obtidos. Entretanto, sua utilidade reside emoutro fato: eles ajudam a levantar certos aspectos rele-vantes, no nível macroeconômico. Isso foi demonstra-do pelo Sr. Orivel, ao examinar o caso de um dos indi-cadores compostos mais bem conhecidos, os gastosem educação comparados ao PIB. Desde 1975, vem-se verificando uma certa convergência entre os res-ponsáveis pelas decisões, no sentido de destinar, deforma significativa, mais ou menos uma média seme-lhante do PIB à educação – em torno de 6%. "A varia-ção desse indicador pouco a pouco foi-se estreitando.Os países que destinavam mais do que 6% do PIBtenderam a estabilizar, ou a reduzir esse valor, enquantoque aqueles que destinavam menos do que 4% do seuPIB à educação passaram a tratar de chegar ao valormédio de 5% ou 5,5%". O Sr. Orivel afirma que "essatendência, em direção a um certo nível de convergên-cia, provavelmente não é nenhuma coincidência, aindaque não haja declarações explícitas dos responsáveispelas decisões sobre esse ponto. Por outro lado,sentimo-nos tentados a propor uma hipótese, quanto àfalta de critérios formais sólidos, sobre os quais asautoridades públicas possam estabelecer um nível es-
pecífico de comprometimento para com a educação,estimula os responsáveis pelas decisões a não desti-narem significativamente mais ou menos do que amédia." E o Sr. Orivel prossegue, acrescentando que"é esse o tipo de argumento freqüentemente utilizadona tomada de decisões públicas sobre o financiamen-to de pesquisa e desenvolvimento e em defesa nacio-nal, com base na lógica de que, quando os parceirosfazem mais, os países precisam acompanhá-los, paranão ficarem para trás, ou para reduzirem a probabilida-de de virem a tomar o rumo errado".
O Sr. Orivel conclui, afirmando que "em váriasáreas da política educacional, os fatores sobre os quaisse baseiam as decisões em educação são mal defini-dos ou contraditórios, e pode ser útil para que se devatomar as decisões e examinar o que outros paísescomparáveis estão fazendo, quer seja porque a grandemaioria dos países tenha optado por uma determinadasolução, ou porque um país que tenha escolhido umaabordagem original esteja aparentemente obtendo re-sultados favoráveis". A competição internacional e acomparação entre os países chamaram intensamentea atenção para os indicadores, e assumiram importân-cia capital para o desenvolvimento de um conjunto in-ternacional de indicadores em educação.
Por esse motivo, a OCDE decidiu adotar, noinício do trabalho com os indicadores, uma estruturaconceitual extremamente simples, que era uma varia-ção relativamente esparsa de um modelo de entrada esaída. Esse modelo foi, e é, muito adequado para ageração de informações úteis para a platéia dos círcu-los políticos. Virtualmente, todos os esforços para aconcepção de indicadores em educação utilizaram ummodelo de entrada/saída, ou processado. Para a pro-dução de variáveis relevantes para a política, que pos-sam ser resumidas de modo claro e sucinto, e ser apre-sentadas e consideradas, não era preciso adotar ummodelo complexo e orientado para a pesquisa. Assim,a OCDE recorreu a uma estrutura tripartite de organi-zação dos indicadores, que gerava informações sobreos resultados da educação, quanto às característicasprimárias dos sistemas escolares e às situações soci-ais e econômicas de cada país, nas quais operam ossistemas de educação.
Propositalmente, os indicadores não eram or-ganizados de acordo com um "modelo". Um modeloimplicaria conexões sofisticadas e causais entre osindicadores; não é razoável supor que as variáveis re-presentadas por esses indicadores pudessem funcio-nar dessas maneiras. Desde o início do trabalho doINES, sempre houve firme consenso acerca do fato deque a organização e a seleção dos dados não eramcompatíveis com um modelo causal. Esse conceitoera considerado como muito pouco produtivo, conside-rando-se a falta de representatividade de relações ge-ralmente aceitas na educação.
Mas, para que possa ser útil e prática, a es-trutura de organização deve ser simples, global e
55
AN
AIS
DO
SE
MIN
ÁR
IO IN
TE
RN
AC
ION
AL
DE
AVA
LIA
ÇÃ
O E
DU
CA
CIO
NA
L
parcimoniosa. A estrutura de um conjunto internacio-nal de indicadores em educação não pode pretenderrepresentar todas as relações entre os elementos dosistema, e, ainda assim poder ser trabalhada. Enquantoisso, o conjunto precisa ser fiel, até certo ponto, à com-plexidade dos sistemas de educação.
O objetivo da estrutura não era oferecer umoutro modelo abrangente de educação, mas sim geraruma forma de colocar os indicadores em contexto, alémdas relações existentes entre eles. Ainda que a estru-tura não tenha a intenção de construir ligações de umanatureza causal, certamente ajuda a pôr em perspecti-va algumas das interações que ocorrem no funciona-mento dos sistemas educacionais.
Por esses motivos, a OCDE adotou uma abor-dagem pragmático-conceitual na organização dos in-dicadores. Existem várias modalidades de organizarindicadores. Podem ser organizados conceitualmente,refletindo um modelo ativo do sistema que tencionamdescrever. Podem ser organizados pragmaticamente,como as bitolas em um sistema ferroviário, para infor-mar um conjunto de decisões específicas e práticasde planejamento, como a contratação de pessoal ondeseja necessário a destinação de espaços, ou o examede problemas específicos de desempenho. Podem serorganizados em volta de aspectos políticos, como eqüi-dade, aquisição de aprendizagem, contribuição para aprodutividade econômica, e assim por diante. O con-junto da OCDE é uma abordagem combinada, que uti-liza bases tanto pragmáticas quanto conceituais, in-corporando ao mesmo tempo preocupações de natu-reza política. Uma abordagem dessa natureza pareciaser a forma mais apropriada para a organização dedados comparativos internacionais sobre educação, porvários motivos.
Em primeiro lugar, esses indicadores serviri-am menos para objetivos estreitos e imediatos degerenciamento, e mais para uma análise global de ten-dências gerais e diferenças entre os países. Em se-gundo lugar, as questões mais importantes para váriospaíses deveriam variar até certo ponto, o que impediriauma orientação a essas mesmas questões. Em ter-ceiro lugar, o conjunto englobaria tradições intelectu-ais diferentes dos países-membros da OCDE, estandoo seu ponto forte na sinergia das abordagens combina-das. Finalmente, emergiu uma visão conceitual e sis-temática da educação, que perece ter conquistadoaceitação e validade gerais.
Essa natureza mista assumiu implicaçõesimportantes com respeito aos tipos de indicadores queterminaram por ser sugeridos. Tivesse a abordagemsido estritamente conceitual, os indicadores teriam sidoconcebidos para o fornecimento de informações sobreos principais elementos determinados pela lógica oupela pesquisa, como sendo componentes básicos deum modelo pleno e ativo do sistema educacional. Emuma abordagem puramente pragmática, esses indica-dores que a experiência e as prioridades políticas su-
gerem como sendo de interesse poderiam ter apareci-do em uma lista eclética. Em vez disso, e como resul-tado da base mista, alguns dos indicadores termina-ram sendo selecionados porque eram de uma nature-za ao mesmo tempo lógica e empírica, enquanto ou-tros eram práticos e sensíveis a políticas em sua ori-entação.
Imaginou-se que, ao adotar uma abordagemcombinada, causar-se-ia um equilíbrio embutido entrea estabilidade e a flexibilidade, em um conjunto de in-dicadores que teria evoluído com o tempo. A referênciaa um modelo conceitual para o desenho de um conjun-to de indicadores teria muito provavelmente criado umproduto relativamente rígido, que arriscaria uma faltade sintonia com as preocupações da atualidade. Ain-da, muito tempo seria dedicado para chegar a um con-senso sobre o modelo, sem que fosse gerada qualquerinformação de utilidade, e sem aprimoramento na es-tratégia de coleta de dados. Uma abordagem ligada aquestões políticas muito provavelmente teria tido con-seqüências semelhantes, do ponto de vista operacional(é preciso lembrar que havia amplo consenso sobre afalta de validade dos dados obtidos até ali), e teria ori-ginado conjuntos de indicadores muito voláteis, à me-dida que fossem evoluindo as prioridades.
As áreas incluídas no conjunto de indicadoresenglobam informações importantes, que podem serexibidas sobre os sistemas educacionais das nações:as condições de seus desempenhos, suas caracterís-ticas e aspectos, além das condições sob as quaisoperam. Em relação aos propósitos analíticos, essaestrutura representa a educação como sendo um pro-cesso de vários componentes. É importante observarque muitos dos elementos educacionais da estruturainteragem de uma forma bastante complexa. Em ter-mos estatísticos, a estrutura de organização não pre-tende ser um simples modelo de regressão. Muitos deseus elementos são paralelos uns aos outros,recursivos, e operam em vários níveis: no nível do paíscomo um todo, no nível da escola, e no nível das unida-des de organização no meio dos dois.
Na estrutura, as condições demográficas eeconômicas são vistas como fatores de fundo, quedeterminam o trabalho a ser desempenhado pelas es-colas, e que estabelecem os recursos disponíveis parao financiamento dos programas escolares. Os siste-mas mais ricos conseguem apoiar programas maiselaborados. Ao mesmo tempo, níveis inferiores de edu-cação no passado, ou níveis mais altos de pobrezahoje, fazem parte da tarefa de oferecer educação dequalidade em muitos países.
Os programas e os processos educacionaissão vistos como as variáveis de entrada, que determi-nam o sucesso do programa escolar. Representam ascaracterísticas com base nas quais podem variar osprogramas de educação em vários países, e que po-dem explicar, ou pelo menos serem associados aosresultados da educação.
56
AN
AIS
DO
SE
MIN
ÁR
IO IN
TE
RN
AC
ION
AL
DE
AVA
LIA
ÇÃ
O E
DU
CA
CIO
NA
L
Os resultados são considerados em partecomo reflexos das condições gerais, em seus aspec-tos social, econômico e histórico, que afetam a educa-ção de cada país, e também em parte como reflexosdos efeitos das políticas, dos programas, das práticase das decisões na área de educação, e que constitu-em a escola em cada um dos países.
É imperativo sempre manter em mente a natu-reza repetitiva e de vários níveis dessa estrutura. Emprimeiro lugar, a repetitividade. Entre muitos dos indi-cadores constantes da estrutura, as relações podemacontecer em muitas direções de uma só vez. Porexemplo, as atitudes de alunos e do pessoal escolarpoderiam melhorar à medida que melhorassem os re-sultados. O apoio público poderá aumentar como re-sultado de um maior êxito dos programas. Simplesmelhorias na taxa de término dos cursos secundárioslevariam à melhora também da situação de educaçãoda população geral de um país. Os recursos disponí-veis deverão relacionar-se em parte, ainda que não in-teiramente, aos recursos despendidos. Esses são al-guns dos exemplos de algumas das interações e cír-culos de retroalimentação que poderão existir na es-trutura. Além disso, eles ilustram e explicam por quefoi adotada uma estrutura geral, em oposição à tentati-va de determinar o entendimento de todas essas inter-relações.
Em segundo lugar, a característica estruturalcom vários níveis: em cada um dos elementos, a varia-bilidade no sistema pode ser tão importante quanto avariabilidade entre os países. Isso deverá afetar a inter-pretação, uma vez que, com certeza, as comparaçõesglobais entre os países poderão tornar-se irrelevantes,caso existam grandes disparidades entre as escolas,ou entre as províncias de um país. Ainda assim, asdisparidades são significativas, enquanto podem refle-tir problemas sistemáticos, tais como serviços diferen-tes, ou distribuição desigual de recursos, que devemser solucionados.
Como já foi anteriormente afirmado, o objetivoprincipal dos indicadores em educação não é a expli-cação da educação como um processo, ou a verifica-ção de relações de causa e efeito dentro do sistema.Se isso for verdadeiro, então, como, e com que tipo deobjetivo seriam utilizados indicadores, e principalmen-te indicadores internacionais, como é o caso dos daOCDE? A melhor resposta é que eles constituem in-formação parcial e preliminar sobre o funcionamentode um sistema de educação. Devem levar a pesquisasmais detalhadas, ou a consideração do motivo peloqual o sistema funciona do jeito em que funciona, oque virá a exigir informação e análise adicionais.
A estrutura conceitual e organizacional adota-da até então em 1991 funcionava mais ou menos: pos-sibilitava um quadro para a produção de quatro conjun-tos de indicadores, mas não era apropriada para esti-mular a produção de novos indicadores, nem comple-xos nem profundos. Os países-membros haviam soli-
citado que a informação fosse utilizada de forma maissintética e mais analítica, indicando que a escolha dosindicadores deveria ser menos determinada pela dis-ponibilidade dos dados, e mais pela estrutura conceituale política. Em outras palavras, a abordagem prática eempírica foi considerada como tendo tido mais influên-cia sobre a construção dos quatro primeiros conjuntosde indicadores do que na abordagem conceitual e polí-tica. A estrutura existente é antiquada: não é eficazpara guiar e para controlar o desenvolvimento de indi-cadores, nem possibilita apoio analítico para a inter-pretação dos dados. As mudanças adotadas na apre-sentação do quarto conjunto demonstram claramentea necessidade de uma nova estrutura, e de revisão daoriginal.
L imites do conjunto de indicadores em
educação da OCDE
Analisando o conjunto de indicadores até ago-ra publicado, parece que a área contexto da educaçãoé a que mais mudou ao longo das quatro edições deEducation at glace. Houve uma expansão de cinco para13 indicadores, e uma redução para quatro na ediçãode 1996, a modificação de maior significado foi a intro-dução na terceira edição dos resultados de uma pes-quisa comum de opinião e expectativas públicas relati-vas aos sistemas nacionais de educação (OCDE,1995b; INES, 1995). De qualquer forma, é preciso lem-brar que os indicadores referentes a atitudes e a ex-pectativas não deverão ser gerados todos os anos, umavez que a OCDE não dispõe dos recursos para aimplementação de uma pesquisa anual de opinião.Assim, pode-se esperar uma grande variabilidade nosindicadores referentes a essa área para os próximosanos.
Nas primeiras edições do conjunto de indica-dores da OCDE, existem dois subgrupos comuns deindicadores na área em questão, ou seja, indicadoresdemográficos e indicadores econômicos. Essas duasseções são bastante pobres: fornecem apenas infor-mação de caráter muito geral, em sua maior partedirigida ao desempenho da população em termos deeducação, diferenças relacionadas a gênero, educa-ção e participação na força de trabalho e renda nacio-nal per capita. Esses dados demonstram a proporçãoda riqueza do país devotada à educação, e possibilitaum primeiro e interessante quadro sobre a relação en-tre a classificação pelo investimento total em educa-ção e a classificação pelo PIB per capita. Alguns paí-ses, como a Finlândia e o Canadá, gastam considera-velmente mais do que países que têm um PIB maisalto per capita, como é o caso dos Estados Unidos.Em particular, é interessante observar que alguns dos
57
AN
AIS
DO
SE
MIN
ÁR
IO IN
TE
RN
AC
ION
AL
DE
AVA
LIA
ÇÃ
O E
DU
CA
CIO
NA
L
países menos ricos, como a Irlanda e a Espanha, gas-tam uma porcentagem maior do seu PIB per capitapara alcançar o mesmo nível de investimento em edu-cação do que alguns dos países mais prósperos, comoa Holanda, o Japão, a Alemanha e a França. Se consi-derarmos que esses países precisam também investiruma porcentagem maior em outras áreas básicas, eque os países menos prósperos precisam educar omaior número de alunos, uma vez que o tamanho dapopulação jovem nesses países é maior do que emoutros lugares (por exemplo, a população entre 5 e 29anos de idade representa a metade da população daTurquia, e menos de um terço da população da Alema-nha), temos aqui uma primeira e interessante base dereferência para a avaliação das políticas de educação.
Os indicadores referentes ao contexto de edu-cação produzidos pela OCDE jamais incluíram qual-quer indicador sobre a produtividade dos países, sen-do a produtividade definida como o produto interno bru-to por indivíduo empregado. Em outras palavras, a pro-dutividade é uma medida da capacidade produtiva mé-dia dos empregados de um país. Os países com níveismais elevados de produtividade têm maior capacidadeeconômica, a partir da qual podem investir em infra-estrutura socioeconômica, aprimorar a educação, eelevar o padrão de vida de seus cidadãos. Entre 1961 e1991, os Estados Unidos experimentaram o mais bai-xo aumento anual médio em produtividade entre ospaíses do G-7 (1,05%). O Japão alcançou os mais al-tos ganhos em produtividade entre os países remanes-centes, com um aumento anual médio de 4,8% (NCES,1996).
O problema mais frágil e não resolvido nestaseção é a falta de dados nas áreas de saúde, habita-ção e estatísticas culturais e sociais. Esse tipo de in-formação é crucial para que seja possível uma melhorvisão do contexto educacional e das condições de fun-cionamento dos sistemas de educação.
A área de custos, recursos e processos esco-lares é a mais estável e a mais desenvolvida. O núme-ro de indicadores aqui varia de 21 a 26, que foi o máxi-mo alcançado em 1995, quando a OCDE calculou doisindicadores em pesquisa e desenvolvimento, que de-sapareceram na edição de 1996, além de vários indi-cadores referentes a recursos humanos, que desapa-receram na edição sucessiva.
A fortíssima seção financeira foi reorganizadade modo substancial entre 1992 e 1996. Graças aotrabalho desenvolvido para aprimorar, em termos decomparabilidade, a qualidade das definições e a medi-ção de recursos financeiros, foram reconsideradas ascategorias de despesas. Foi feita uma distinção claraentre despesas ou custos de educação e fontes derecursos para a educação. A implementação de novosquestionários para a obtenção de dados de naturezafinanceira, com as suas respectivas definições e ins-truções, permitiu a determinação de categorias explí-
citas de pagamentos de transferência e subsídios. Amudança tornou possível rastrear os fluxos de recur-sos destinados à educação desde as suas fontes ini-ciais até os usuários finais, e calcular tanto as distri-buições iniciais (antes da transferência) quanto finais(depois da transferência) dos recursos para a educa-ção por fonte.
Ainda, os novos instrumentos separam os gas-tos realizados por instituições de educação, ou os diri-gidos a elas, dos subsídios aos alunos. Essa distin-ção torna-se especialmente relevante no nível da edu-cação de terceiro grau. O total dos recursos emprega-dos em subsidiar os custos de vida dos alunos é, naverdade, bastante impressionante, mas não é possí-vel, no momento, obter números adequados ou atémesmo estimativas aceitáveis, uma vez que as fontesde recursos são múltiplas, não apenas em termos dosníveis do governo, mas em termos dos tipos de admi-nistração. Na França, por exemplo, uma estimativa em1995 era que o valor total de auxílio financeiro paradespesas de subsistência de alunos (subsídios parahospedagem e outras despesas de manutenção) erade aproximadamente de 24 bilhões de francos. Aindaque a exclusão desses recursos do cálculo dos indi-cadores permita evitar maiores distorções do própriocálculo, não é uma solução aceitável. No caso de al-guns países, as bolsas para alunos e outros subsídiosrepresentam parte importante dos seus orçamentospara educação, e não podem ser simplesmente igno-rados. Os valores reais das despesas com educaçãosão, portanto, subestimados, e a classificação dospaíses, em termos de despesas com educação, pode-ria mudar drasticamente se fosse incluído o total dossubsídios canalizados para os alunos.
Finalmente, como resultado do esforço parareduzir o número de indicadores identificando ao mes-mo tempo aqueles absolutamente necessários, a edi-ção de 1996 de Education at a Glace chegou a simpli-ficar ainda mais a apresentação de indicadores sobrecustos, publicando nada mais do que cinco indicado-res de natureza financeira.
A seção de indicadores sobre participaçãocompreendeu seis indicadores na primeira edição, setenas duas edições seguintes, e cinco na edição de 1996.Nessa última edição, desapareceram dois indicadores:o referente às características da transição da educa-ção de segundo grau para a de terceiro – ainda que osdados fossem incluídos nos indicadores sobre a parti-cipação na educação – e o indicador sobre acesso àeducação de terceiro grau.
Os indicadores nessa seção vêm sendo aper-feiçoados e melhorados de modo constante. Um exem-plo é o indicador sobre a participação na educaçãoformal, em relação à população de 5 a 29 anos de ida-de, que fornece, pela primeira vez, informação sobre oporcentual da população jovem que freqüenta a educa-ção formal, em tempo integral. Na terceira e na quarta
58
AN
AIS
DO
SE
MIN
ÁR
IO IN
TE
RN
AC
ION
AL
DE
AVA
LIA
ÇÃ
O E
DU
CA
CIO
NA
L
edições de Education at a Glace, o indicador incluiuma tabela sobre a expectativa média de escolarida-de, que dá informação sobre a duração hipotética dosanos de escola para uma criança de 5 anos. A expec-tativa média é em torno de 14 ou 15 anos. É mais curta– 13 anos ou menos – nos países orientais e na Tur-quia, sendo mais longa – 15,5 anos ou mais – na Bél-gica, Dinamarca, França, Alemanha e Holanda. É inte-ressante perceber que um aluno de 5 anos de idadeem um desses países tem uma média de 15 anos deescola à sua frente. O aluno não sairá do sistema for-mal de educação antes de atingir os 20 anos de idade.A expectativa de escolaridade aumentou nos anos maisrecentes praticamente em todos os países em que haviadados disponíveis. O aumento desde 1985 excede maisde um ano em muitos países, e nos países nórdicos oaumento foi de mais de 18 meses. A maior duração daescolaridade é um outro fator que contribui para a ele-vação observada nas taxas de matrícula ao longo dasúltimas décadas.
Duas outras novas abordagens desenvolvidasna edição de 1995 são o cálculo da proporção de alu-nos matriculados em segundos programas de educa-ção dos últimos anos da educação secundária e o cál-culo do indicador sobre a transição da educação infan-til para a educação primária para alunos de 4 a 7 anosde idade. Entretanto, o indicador realmente novo nestaseção é o que se refere à matrícula de adultos emcursos de educação e treinamento continuados, rela-cionados à atividade profissional, o que anuncia evolu-ções futuras na área de indicadores relativos à educa-ção de adultos e indicadores de aprendizagem no cur-so de toda a vida.
A seção de indicadores relativos a "pessoal"foi substancialmente enriquecida entre a segunda e aterceira edições, graças à implementação de uma pes-quisa entre professores que não foi repetida nos anossubseqüentes. Como resultado, esta seção – como aseção relativa ao contexto da educação – fica bastan-te instável através do tempo. Em 1996, não foi possívelcalcular alguns dos indicadores muito interessantesrelativos aos professores, publicados em 1995. O con-junto de indicadores em educação da OCDE continuadeixando muito a desejar nesta área. A sua limitaçãomais séria é a exclusão de dados sobre o pessoalempregado na educação de terceiro grau. Dois indica-dores não foram modificados em todas as edições: oindicador sobre o pessoal empregado em educação eo que reflete a proporção entre alunos e o corpo docente.
A seção mais original e inovadora dedicada aoambiente escolar e aos processos da escola/sala deaula foi incluída pela primeira vez na edição de 1995,tendo sido ampliada na edição de 1996, com um au-mento no número de indicadores de 7 para 10. Apesardessa evolução tão significativa, esta seção ainda nãoestá plenamente consolidada, uma vez que são bas-tante erráticas as fontes de dados que podem ser utili-
zadas pela OCDE para o cálculo de indicadores sobrea natureza, a eficácia e a qualidade dos processoseducacionais e das escolas. Devido à natureza diversae complexa das atividades desenvolvidas nas escolas,muitas dessas questões não são facilmente resolvi-das, como os resultados relativos a matrículas, gastosou exames. Mesmo assim, um determinado númerode características nacionais, regionais, da escola e dasala de aula, pode ser avaliado através da utilização deinformações relatadas pelos indivíduos envolvidos, ouretirados de enunciados de políticas. A eficácia da fre-qüência à escola não aparece refletida apenas nas va-riáveis curriculares, mas também no ambiente de ins-trução oferecido pelas escolas, e na importância atri-buída à educação fora da escola. A tentativa feita em1995 de usar dados do IEA gerados pelos questionári-os de informações primárias do Estudo de Letramentoem Leitura, para o cálculo de indicadores sobre práti-cas escolares não foi muito bem-sucedida. Os dadosdo International Association for the Evaluation ofEducational Achievement (IEA) foram coletados paraservirem como auxílio à interpretação à pontuação ob-tida pelos alunos na leitura, não sendo apropriados paraa construção de indicadores gerais sobre as práticasescolares. Apenas os indicadores relativos ao númerode horas de instrução e ao agrupamento entre as tur-mas foram calculados usando-se dados do IEA, oriun-dos do Estudo de Letramento em Leitura. Para a ob-tenção de informação adequada sobre o pessoal, tem-po de ensino, salários dos professores, currículos eprocessos escolares, a OCDE foi forçada a criar e aimplementar uma pesquisa específica, focalizando pro-fessores e escolas. A informação foi obtida através deuma pesquisa internacional entre as escolas adminis-tradas durante o ano letivo de 1995/1996. Baseadanuma amostra de probabilidade de aproximadamente400 escolas primárias por país, selecionadas com pro-babilidades proporcionais ao seu porte, permitiu apre-sentar em 1996 sete indicadores de processos relaci-onados à educação primária. As escolas primárias fo-ram definidas através da estrutura institucional nacio-nal do sistema de educação, independentemente dasidades e séries dos alunos matriculados. O raciocíniopor trás dessa opção era que uma vez que se dispu-sesse de informações que correspondessem às reaissituações das escolas, afastar-se-ia quaisquer perdasem termos de possibilidades de comparações interna-cionais, devidas a diferenças nas idades e nas séries.Os resultados foram ponderados através do número dealunos matriculados. Esses sete indicadores exa-minam:
l a estabilidade dos profissionais de edu-cação (como indicador substituto da con-sistência na educação);
l a liderança escolar (com enfoque especialsobre o papel desempenhado pela lideran-ça educacional em comparação com a li-derança administrativa);
59
AN
AIS
DO
SE
MIN
ÁR
IO IN
TE
RN
AC
ION
AL
DE
AVA
LIA
ÇÃ
O E
DU
CA
CIO
NA
L
l a cooperação entre o pessoal das escolas,e entre diretores e o pessoal;
l os procedimentos de monitoramento e ava-liação para garantir a extensão até que pos-sam ter sido alcançadas metas e intenções;
l as formas de encarar a variação no desem-penho dos alunos nas escolas, e como asescolas respondem às diferentes necessi-dades dos alunos;
l a orientação para o desempenho das políti-cas escolares (em relação ao ambiente eao monitoramento de padrões, tanto no ní-vel do aluno quanto da própria escola); e
l o ponto até o qual os pais são informadossobre os vários assuntos ligados à escola,em especial sobre o desempenho de seusfilhos, bem como o ponto até o qual os paisse vêem envolvidos na instrução, ou contri-buem diretamente na tomada de decisõesnas escolas.
Esses indicadores ilustram as diferenças naprática educacional, que podem ser influenciadas pe-las políticas de educação. Podem atuar não só como"modelos" mas também como exemplos de "boas prá-ticas", e são um elemento importante no discernimentoquanto ao desempenho das escolas. Devem ser inter-pretados à luz do contexto nacional da educação.
A seção dos indicadores relativos aos resulta-dos da educação é tanto aquela que menos mudou,em termos do número de indicadores (10, 10 e 12,respectivamente), quanto a que mais sofreu mudan-ças, em termos do teor dos indicadores. Nas quatroedições, existem três subgrupos comuns, ou seja, in-dicadores de resultados dos alunos, indicadores deresultados do sistema, e resultados do mercado detrabalho. O subgrupo mais instável é o que se refere aresultados dos alunos. Esses indicadores foram modi-ficados em todas as edições, visando utilizar os me-lhores dados gerados por duas fontes não-governamen-tais: a IEA e o Educational Testing Service (ETS). Osindicadores são enfocados no desempenho de mate-mática, ciências e leitura. Às vezes, o cálculo se refe-re à população de crianças de 9 anos de idade, masem geral focaliza os de 14 anos. É evidente que a OCDEnão conseguiu encontrar os dados apropriados para aprodução de um conjunto estável de indicadores, quefornecessem as informações esperadas pela opiniãopública, pelos usuários dos sistemas de educação epelos formuladores de políticas. Na terceira edição deEducation at a Glace, a OCDE foi forçada a usar, pelasegunda vez, dados oriundos da pesquisa deLetramento em Leitura da IEA, realizada em 1991. Nasegunda edição, os dados de Letramento em Leituraforam usados para calcular três indicadores padroni-zados sobre o desempenho dos alunos: comparaçõesmúltiplas, distribuição da pontuação dos alunos, e den-tro e entre as variações escolares. Na terceira edição,
foi usado o mesmo conjunto de dados, para o cálculode um indicador do progresso na leitura entre as ida-des de 9 e 14 anos. Os questionários de informaçõesprimárias da pesquisa da IEA foram usados para ocálculo de um segundo indicador sobre a quantidadede leitura, baseado na freqüência da leitura, e de acor-do com informações fornecidas por jovens de 14 anos.Apesar do interesse desses indicadores, e do raciocí-nio usado para calculá-los, a impressão que fica é queesses dados foram inventados, para evitar deixar es-paços vazios no subgrupo referente ao desempenhodos alunos. Dois outros subgrupos dessa mesma área– indicadores de resultados do sistema e resultadoseducacionais no nível do mercado de trabalho – sãomais estáveis, uma vez que as fontes dos dados sãoregulares: no caso dos indicadores de resultados dosistema, os dados vêm de questionários conjuntos daUOE, diretamente gerenciados pela OCDE; no casodos indicadores dos resultados do mercado de traba-lho, as fontes são as Pesquisas da Força de Trabalho.A vantagem da capacidade de controlar as fontes dedados, ou de ter acesso a dados produzidos com re-gularidade e muito bem definidos, está fora de ques-tão. Caso a OCDE deseje produzir indicadores quesejam relevantes para as políticas e indicadoresatualizados sobre o desempenho dos alunos, será ne-cessário reconsiderar a estratégia dos dados nessaárea.
O processo de produção
O desafio da tarefa de construir um conjuntode indicadores em educação da OCDE obrigou os pa-íses-membros e a Secretaria da OCDE a inovarem osmétodos de trabalho e a implementarem uma nova for-ma de cooperação internacional. As principais carac-terísticas da metodologia implementada para a cons-trução de uma rede internacional de fornecedores eusuários de dados e para a geração de um conjuntoconsensual de indicadores internacionais sobre a edu-cação foram as seguintes:
– feedback constante entre os países e a Se-cretaria da OCDE;
– avaliação periódica do progresso do traba-lho;
– engajamento coletivo, na identificação de pre-ocupações comuns e na preparação de fer-ramentas também comuns;
– informação constante de todos os atores (ge-radores de dados, produtores de dados e ou-tras pessoas envolvidas) sobre os objetivos,as tarefas e as prioridades a seremalcançadas.
Considerando a hostilidade de muitos indiví-
60
AN
AIS
DO
SE
MIN
ÁR
IO IN
TE
RN
AC
ION
AL
DE
AVA
LIA
ÇÃ
O E
DU
CA
CIO
NA
L
duos que trabalhavam em educação e dos principaisdecisores da política contra o desenvolvimento de indi-cadores em educação quando foi iniciada a atividade,em 1988, foi necessário inventar um novo estilo de co-operação entre os países-membros, para que fossepossível a criação de confiança mútua e consenso en-tre os participantes.
O desenvolvimento de um conjunto de indica-dores no nível internacional é uma operação complexae de muitas etapas. São muitos os atores envolvidos,com vários graus de responsabilidade. Além disso, aobtenção de dados em educação não é um processofácil: alguns são relativamente simples, outros conso-mem muitos recursos, alguns podem ser vistos comoindefensáveis do ponto de vista ético. Assim sendo, éessencial encontrar o ponto de concordância entre osgeradores de dados e os fornecedores sobre:
– a relevância conceitual e política dos dadosa serem obtidos;
– a forma adequada de medir eventosindicativos, características ou desempe-nhos em educação;
– as convenções para a coleta de dados;– os procedimentos para publicação e relatos; e– os recursos financeiros disponíveis para co-
brir os custos da obtenção e doprocessamento dos dados.
Quatro motivos principais contribuem para ex-plicar a importância desses componentes.
O envolvimento de muitos atores, dissemina-dos sobre várias administrações, e engajados em dife-rentes funções: pesquisadores nas várias disciplinas;planejadores de políticas; administradores; estatísticos,etc. Todos estes interlocutores pertencem a uma vari-edade de culturas, percebem os problemas de modosdiferentes, usam linguagens distintas e têm diferentestipos de treinamento de base científica. Uma coopera-ção efetiva entre eles não pode ser concebida sem pro-vidências organizacionais comuns, sem o desenvolvi-mento de uma linguagem comum, e sem um conjuntode ferramentas comuns.
A peculiaridade dos aspectos ligados à edu-cação. A educação é um terreno extremamente sensí-vel: diz respeito à própria sobrevivência de cada umadas comunidades, ao bem-estar de um país, à capaci-dade da nação de gerar conhecimento, de entender oseu contexto histórico e político, e de produzir e trans-mitir uma imagem da sua identidade. Assim, a infor-mação relativa à natureza e aos procedimentos da edu-cação é peculiar, altamente política, e culturalmenteprotegida. A construção de um conjunto internacionalde dados comparativos sobre a educação modifica asperspectivas tradicionais sobre a singularidade dos sis-temas locais, regionais ou nacionais de educação. Ospaíses-membros hesitam em concordar com odesmantelamento dessas crenças e em cooperar aber-tamente para a construção de uma representação
transnacional da educação, que invariavelmente de-monstra a homogeneidade do desenvolvimento da edu-cação e o peso relativo dos contextos nacional e local.Este processo pode ser imaginado apenas com basena confiança forte e mútua entre os fornecedores, ge-radores e analistas dos dados.
A natureza do trabalho, que implica o inter-câmbio de informação e de comunicação: ao coletaros dados, a OCDE manipula informações estatísticas,informações que envolvem milhares de indivíduos, suasocupações, suas instituições, sua renda, etc. Não épossível fazer desenvolver esse tipo de trabalho semuma forte legitimidade, que pode tão-somente ser deri-vada de uma preocupação comum e de uma concor-dância sobre as regras do respeito à confidencialidadee à privacidade.
As implicações políticas do trabalho: a gera-ção de um conjunto internacional de indicadores emeducação não significa pura e simplesmente trabalhoestatístico, ou trabalho de pesquisa, mas essencial-mente uma tarefa política, que diz respeito não a umnúmero limitado de especialistas, mas a um grandenúmero de decisores e usuários. Por isso, o programaestatístico internacional em educação não pode sergerenciado por um número restrito de profissionais emestatística. As decisões fundamentais sobre o progra-ma de coleta, processamento e publicação de dadosdevem ser tomadas de forma coletiva, por todas ascategorias de atores envolvidos com a implementaçãode uma estratégia democrática de informação em edu-cação.
Esses quatro motivos constituem o raciocíniopara a implementação de formas novas de cooperaçãono domínio da estatística e dos indicadores em educa-ção. Para alcançar essa meta, a OCDE implementouum sistema em rede. Considerando a utilidade da redepara a operacionalização da confiança mútua e para ageração de um consenso entre os distintos atores, ospaíses-membros da OCDE concordaram já em 1988em implementar um novo processo de trabalho, base-ado na Rede.
Uma rede, no caso do projeto do INES, é umaestrutura flexível e relativamente informal, que recrutaos seus membros em caráter voluntário, sem elos rígi-dos demais com as estruturas de poder e de decisões.Foram criadas redes para o desenvolvimento e prepa-ração de aglomerados de indicadores identificados comosendo relevantes pelos países-membros. Um país lí-der assume a responsabilidade pela organização daatividade. A abordagem em rede provou ser extrema-mente eficaz, representando uma forma poderosa demobilizar especialistas, e para gerar indicadores emáreas escassamente exploradas pelos estatísticos deeducação, como o desempenho dos alunos, rumos nomercado de trabalho de acordo com o nível de educa-ção, qualificação dos profissionais de educação, ex-pectativas da opinião pública em relação à educação,e os centros de tomada de decisões nos vários níveis.
61
AN
AIS
DO
SE
MIN
ÁR
IO IN
TE
RN
AC
ION
AL
DE
AVA
LIA
ÇÃ
O E
DU
CA
CIO
NA
L
A idéia de criação de uma rede ficou recente-mente em moda na vida profissional dos setores tantopúblico quanto privado. Entretanto, caso os objetivosda rede sejam mal definidos, poderão carecer de dire-ção, de comprometimento da parte de seus membrose de impacto. No caso das redes do INES, em con-traste, foi estabelecido o objetivo tangível de produzirindicadores utilizáveis em suas respectivas áreas. Aindaque esse objetivo tenha sido por vezes pouco claro,foram desenvolvidos métodos firmes de trabalho, natentativa de se chegar a eles.
O processo de criação da Rede do INES valea pena ser examinado, como sendo uma metodologiainovadora, que alcançou uma série de pontos que difi-cilmente seriam alcançados através de outros méto-dos. Vários aspectos distintivos merecem ser consi-derados, com respeito a evoluções futuras tanto no ní-vel nacional quanto internacional:
– O uso da rede para o desenvolvimento de de-finições padronizadas para a comparação en-tre dados obtidos nacionalmente. As redesconseguiram chegar a soluções para proble-mas há muito existentes com respeito àcomparabilidade, como, por exemplo, nasáreas de gastos em educação e proporçãoentre professores e alunos.
– O uso da rede para a identificação de áreasestratégicas em que sejam necessários no-vos dados. Ainda que se tenha levado maistempo para dominar essa atividade, a redegerou instrumentos internacionais para a co-leta de dados, cuja relevância acordada en-tre os países participantes é refletida no seucomprometimento em coletar as informaçõesnecessárias.
– O gerenciamento de um grande número departicipantes no processo de desenvolvimen-to. O alto nível de envolvimento é parcialmen-te sustentado pela natureza semi-autônomada rede, e pelo diálogo que gera entre os seusmembros, independentemente da Secretariainternacional. A rede mostra-se eficaz nãoapenas em termos da produção de indicado-res, mas também em termos de entendimentointernacional entre os participantes.
– O mecanismo da "criação das redes", queenvolveu não apenas reuniões regulares detrabalho, mas também um feedback cons-tante entre os participantes da rede e entre aprópria rede e a Secretaria internacional.
As redes são parecidas com clubes. Um gru-po de indivíduos que se encontre com regularidade, eque adquira um senso de "identidade de grupo" fazcom que seja mais fácil trabalharem juntos do que comestranhos. Com isso, tornam-se mais eficazes, aindaque, potencialmente possam ser levados a tomar deci-sões de interesse do clube, prestando atenção insufi-ciente aos interesses e prioridades mais amplos.
No centro das atividades de uma rede estãoas reuniões regulares, como um grupo. Estas reuni-ões acontecem duas vezes por ano, estendendo-seem geral por dois ou três dias. Um aspecto importantedas reuniões da rede é a sua diferença, em termos deestilo, da maior parte das reuniões internacionais comrepresentação de vários países. Em vez de assumiremum comportamento de "delegados", meramente expon-do as opiniões de cada país, os membros tendem atrabalhar em cooperação, em direção a metas comuns.A tarefa freqüentemente elusiva de definir e coletar in-dicadores que possam ser internacionalmente compa-rados no campo educacional é vista como um inter-câmbio intenso de idéias (através de brainstorming), enão como uma postura diplomática. O estilo informalque foi desenvolvido é reforçado pelas reuniões de na-tureza social e pela discussão que se desenvolve foradas sessões da rede, entre um conjunto relativamenteestável de membros. Esse método pragmático e pro-dutivo de trabalho nem sempre esteve presente em to-das as redes, e muito depende da personalidade dequem a preside, e do estabelecimento progressivo defamiliaridade e de confiança entre os membros, à me-dida que se conhecem melhor.
É questionável imaginar que a rede tivessedesenvolvido esse espírito de equipe, limitando-se nadamais que a encontros bianuais. Entretanto, a naturezade suas tarefas que, com freqüência, exigiam um es-forço "interativo" ao explorar uma variedade de formasde definir e de gerar indicadores, exige uma comunica-ção contínua, à medida que as propostas circulam erecebem comentários. O principal resultado desse pro-cesso intenso de feedback produziu um sentimentoúnico de propriedade, e é raro chegar a um resultadosemelhante, no nível internacional, quando os gruposem geral têm uma ligação bastante solta.
Em resumo, o processo de rede constituiu umacaracterística principal e inovadora do Projeto INES, eassumiu importância crucial para as evoluções do pró-prio INES. A rede é a melhor maneira de:
l obter informação freqüente, senão imediata,sobre as metas básicas, para criar a cons-tância de propósito durante todo o decorrerdo projeto;
l gerar feedback freqüente, para chegar a ob-jetivos de longo prazo, quando o esforço eo sentido de propósito poderiam tender aperder o ímpeto;
l investir recursos, tempo disponível e ener-gia para o aprimoramento contínuo do tra-balho;
l sustentar o esforço coletivo e construir umsenso de comunidade e de propriedade,além de um alto nível de confiança mútuaentre todos os atores engajados no processo;
l estimular o esforço coletivo e a cooperação;l criar uma organização dirigida à informação
e ao propósito;
62
AN
AIS
DO
SE
MIN
ÁR
IO IN
TE
RN
AC
ION
AL
DE
AVA
LIA
ÇÃ
O E
DU
CA
CIO
NA
L
l produzir uma "organização de aprendi-zagem"; e
l estimular um intenso controle crítico dosdados, resultados e informes, além de umavontade bem definida de fornecer dados decaráter nacional, de qualidade sempre me-lhorada.
C onclusão
Em resumo, há cinco princípios cruciais queorientaram a OCDE na preparação da sua coleção deindicadores em educação:
1) Prioridade dada à determinação de políti-cas: o desenvolvimento de um sistema de in-dicadores feito por estatísticos deve respon-der às necessidades de política. Os profissio-nais de estatística não estão em posição dedeterminar o que o público precisa saber. Nãodeve haver qualquer conflito entre a comunida-de científica e os responsáveis pelas políticassobre a determinação e a divulgação dos indi-cadores relevantes.2) Comparabilidade entre indicadores: a OCDEdedicou todo o esforço na produção de infor-mação que pudesse ser comparada, de modoque os países pudessem compreender a situ-ação do seu sistema de educação, com a pers-pectiva dos outros países-membros. A possi-bilidade de comparação foi o fator de diferençaque levou a operação da OCDE ao êxito.3) Comunicação: os indicadores são utiliza-dos para a comunicação entre os formuladoresde política e a opinião pública. A regra doura-da da comunicação é a clareza. Por conse-guinte, os indicadores precisam ser, ao mes-mo tempo, claros e simples, sem serem su-perficiais. Para isso, é preciso haver um nú-mero limitado de indicadores. O debate atualna OCDE é a redução do núcleo principal deindicadores dos 40 a 50 de hoje para 20. Noano passado, foram produzidos dois conjun-tos de indicadores: um conjunto técnico, paraos estatísticos, e um conjunto reduzido, de 20indicadores, para os responsáveis pelas políti-cas e para os jornalistas.4) Credibilidade estatística (confiabilidade): pre-cisão estatística, confiabilidade ou relevâncianão devem ser fatores suficientes que venhamdificultar a divulgação dos indicadores. É me-
lhor divulgar aproximações do que não publi-car nada.5) Responsabilidade: os que trabalham na áreade educação precisam ser responsáveis pe-los resultados do setor, da forma medida pe-los indicadores. Por sua vez, precisam ter umavoz na avaliação de se os recursos recebidoscorrespondem às exigências propostas pelosque estabelecem as políticas.São esses os princípios essenciais que orien-
taram o trabalho da OCDE, e graças aos quais che-gou-se ao sucesso, em especial na frente política, comodemonstrado pela grande atenção dedicada pelos meiosde comunicação ao conjunto de indicadores em edu-cação da OCDE. Hoje, as conclusões da OCDE sãodiscutidas pelos congressos. O trabalho da OCDEdemonstra que a escolha dos indicadores corretos eda população certa pode representar um enorme im-pacto sobre o sistema de educação, além de contri-buir para o aprimoramento da sua qualidade de umaextremidade a outra.
R eferências bibliográficas
INES. Public expectations of the final stage ofcompulsory education : technical report Network D.Edinburgh : The Scottish Office of EducationDepartment, 1995.
NCES. Education indicators: an internationalperspective. Washington, DC : US Office ofEducational Research and Improvement, 1996.
OECD. Education at a Glance : OECD indicators. Pa-ris, 1992a.
_______. The OECD international education indicators:a framework for analysis. Paris, 1992b.
_______. Education at a glance : OECD indicators.Paris, 1993.
_______. Making education count: developing and usinginternational indicators. Paris, 1994.
_______. Education at a glance : OECD indicators.Paris, 1995.
_______. Education at a glance : OECD indicators.Paris, 1996a.
_______. Education at a glance : analysis. Paris, 1996b.
63
AN
AIS
DO
SE
MIN
ÁR
IO IN
TE
RN
AC
ION
AL
DE
AVA
LIA
ÇÃ
O E
DU
CA
CIO
NA
L
– Condições Ditadas pelo Histórico Demográfico eEconômicol Características demográficas e
socioeconômicas da populaçãol Recursos financeiros disponíveisl Apoio públicol Grupos de alunos especiais
– Recursos e Processos Educacionaisl Recursos financeiros
l Despesas com educaçãol Fontes de recursos educacionais
l Participação em educaçãol Recursos humanos (funcionários de educação)l Processos escolares
l Conteúdo instrucionall Características do processo decisóriol Funcionamento & organização da
escola
– Resultados Educacionaisl Resultados alcançados pelo alunos
l Resultados em disciplinas especí-ficas
l Alfabetização adultal Desenvolvimento pessoal
l Resultados alcançados pelo sistemal Alunos formados em cada nível de
educaçãol Resultados alcançados no mercado de
trabalhol Desemprego e educaçãol Educação e rendal Situação após a conclusão do
processo educativol Satisfação dos alunos com as escolas
Ciclo de Feedback Recursividade
ANEXOS
REDES INES1ª Fase (1988-1989)
Rede 1Fluxos de a lunos
(AUS)
Rede 2Resultados dealunos (EUA)
Rede 3Eco logia de
escolas(FR)
Rede 4Financiamento de
educação(OST)
Rede 5Atitudes
e expectativas(NET)
2ª Fase (1989-1991)
TG 1 Matrículas (Secr. OCDE) TG 2 Financiamento de Educação (Secr. O CDE)Rede A
Resultados alcançadospelos alunos
(EUA)
Rede BDestino no m ercado de
trabalho(SUE)
Rede CEco logia de escolas
(FR)
Rede DAtitudes e Expecta tivas
(NL)
3ª Fase (1992-1996)
Coordenadores NacionaisTG
(Secr. OCDE)Rede A
ResultadosAlcançados pelos
A lunos(EUA)
Rede BDestino no
M ercado deTrabalho (SUE)
Rede CProcessosEscolares
(NET)
Rede DAtitudes e
Expectativas(RU)
OS INDICADORES EDUCACIONAIS DA OCDE
Estrutura conceitualCondições ditadas pelo h istórico
dem ográfico e econômicoRecursos e p rocessos
educacionaisResultados educacionais
64
AN
AIS
DO
SE
MIN
ÁR
IO IN
TE
RN
AC
ION
AL
DE
AVA
LIA
ÇÃ
O E
DU
CA
CIO
NA
L
O 4º CONJUNTO DE INDICADORESEDUCACIONAIS DA OCDE (1966)
Capítulo 1: Contexto demográfico, social e econômicoda educação
l C1: Resultados educacionais alcançados pelapopulação adulta
l C2: Diferenças de gênero nos resultados al-cançados pela população adulta
l C3: As dimensões relativas da população joveml C11: Taxas de participação da força de traba-
lho por nível de resultados educacionaisalcançados
Capítulo 2: Custos da educação e recursos humanose financeiroslF1: Despesas educacionais em relação ao
Produto Interno BrutolF3: Despesas em serviços educacionais por
alunolF3-R: Disparidades inter-regionais em despe-
sas em serviços educacionais por alu-no
lF5: Despesas educacionais por categoria derecursos
lF12: Recursos públicos por nível de governolF13: Proporção de despesas públicas em edu-
caçãolP31: Funcionários empregados na educaçãolP32: Proporção de alunos em relação ao cor-
po docente
Capítulo 3: Acesso à educação, participação eprogressãolP1: Participação em educação formallP2: Participação por parte de crianças
pequenaslP3: Participação em educação ao final da
educação obrigatória e posteriormentelP6: Participação em educação do terceiro
graulP8: Educação continuada orientada ao
emprego e treinamento para a força detrabalho adulta
Capítulo 4: Ambiente escolar e processos na escola/sala de aulal P11: Tempo total de instrução pretendido
para os alunos nas primeiras sériesdo nível secundário
l P33: Tempo de ensinol P35: Salários determinados por lei para
professores das escolas primáriaspúblicas e das primeiras séries dasescolas secundárias públicas
l P22(A): Estabilidade do corpo docente no ní-vel primário
l P22(B): Liderança escolar no nível primáriol P22(C): Cooperação com a equipe de apoiol P22(D): Monitoramento e avaliação no nível
primáriol P22(F): Orientação de resultados alcançados
no nível primáriol P22(G): Envolvimento dos pais nas escolas no
nível primário
Capítulo 5: Resultados de graduação em instituiçõeseducacionaisl R11: Alunos formados nas últimas séries do
nível secundáriol R12: Alunos formados no terceiro graul R14: Qualificações terciárias por campo de
estudol R15: Fornecimento de um alto nível de habili-
dades em campos relacionados com aciência
Capítulo 6: Resultados alcançados pelos alunos ealfabetização adultal R6: Resultados alcançados pelo alunos em
matemática e ciêncial R7: Diferenças entre alunos nos resultados
alcançados em matemática e ciêncial R9: Diferenças de resultados alcançados por
duas séries em matemática e ciêncial R10: Diferenças de gênero em matemática e
ciêncial R30: Alfabetização e a população adultal R31: Alfabetização de adultos por nível de re-
sultados educacionaisl R32: Habilidades de alfabetização de pesso-
as mais jovens em comparação com asmais idosas
l R33: Alfabetização de adultos por gênero.
Capítulo 7: Resultados alcançados pela educação nomercado de trabalho
l R21(A): Desemprego e educaçãol R21(B): Desemprego entre jovens e a educaçãol R22: Educação e renda gerada por empregol R24: Taxas de desemprego das pessoas
que abandonam o sistema educacional
65
AN
AIS
DO
SE
MIN
ÁR
IO IN
TE
RN
AC
ION
AL
DE
AVA
LIA
ÇÃ
O E
DU
CA
CIO
NA
L
A VALIAÇÃO DEALUNOS E APRENDIZAGEM PARA
UMA SOCIEDADE EM MUDANÇACaroline Gipps*
R esumo
Este trabalho examina as funções tradicionaisda avaliação e as atuais demandas por avaliação, paraacomodar os sistemas de educação às mudanças eco-nômicas globais. O seu argumento é que no próximomilênio, e com a revolução da informação, será impor-tante promover habilidades de uma natureza superior eboas estratégias de aprendizagem para uma grandeparte dos nossos alunos. O trabalho prossegue, con-siderando a natureza dos programas de avaliação dealta qualidade, de acordo com as relações críticas en-tre testes, ensino e aprendizagem principais. Apresen-tará ainda evidências do impacto do programa nacio-nal de avaliação sobre o ensino na Inglaterra.
I ntrodução
Eu mesma já argumentei em outras ocasiõesque está em curso uma mudança de paradigma naárea da avaliação: a passagem de um modelo de tes-tes e de exames difíceis (quando se aplicam provas asmais difíceis possíveis, dando ao candidato o mínimode orientação, sendo o número de fracassos a provade qualidade) para um outro modelo de avaliação, emque tentamos proporcionar a todos os candidatos umaverdadeira oportunidade de demonstrar o que sabem,o que entendem e o que podem fazer (oferecendo maisorientação, compartilhando critérios com os alunos, epropondo tarefas que estejam de acordo com a vidareal, ou com o que é feito em sala de aula). Ocorreuma mudança de paradigma, ou uma "revolução cien-
*Caroline Gipps foi professora de Educação e decano de Pesquisa, do Instituto de Educação, da University of London, antes de iniciar sua carreira na área depesquisa. Sua pesquisa atual é na área de Estratégias de Ensino, Avaliação e Retroalimentação dos Professores de 2ª a 6ª séries. Publicou vários trabalhossobre políticas e práticas na avaliação, e foi presidente da British Educational Research Association (BERA), em 1993. Seu livro A Fair Test? Assessment,Achievement and Equity (Um Teste Justo? Avaliação, Realização e Igualdade), escrito em conjunto com Patricia Murphy, recebeu o prêmio da SCSE de melhorlivro de Educação publicado em 1994. A terceira edição de Assessment: a Teacher's Guide to the Issues, escrito com Gordon Stobart, acaba de sair.
tífica" quando o paradigma antigo deixa de ser capazde lidar com um problema pendente.
Hoje em dia, a avaliação é necessária para arealização de toda uma variedade de objetivos: apoiaro ensino e a aprendizagem, fornecer informações so-bre os alunos, professores e escolas, atuar como dis-positivo de certificação e seleção, como procedimentode responsabilização, e para orientar o currículo e opróprio ensino. As novas formas, e o leque de objetivosda avaliação significam que o modelo tradicional, quefundamenta a teoria da avaliação, já não é mais ade-quado.
A mudança é causada em parte por este dile-ma: existe um número cada vez maior de demandaspor um sistema de testes que funcione em nível nacio-nal (por toda uma série de motivos, aos que chegareimais adiante) e que possa possibilitar meios de com-paração, enquanto que ao mesmo tempo o nosso en-tendimento da cognição e da aprendizagem nos indicaque necessitamos da avaliação para uma determina-ção mais direta dos processos que desejamos desen-volver, incluindo habilidades de ordem superior, o quetorna mais difícil chegar a esses meios de compara-ção. Entretanto, a questão não é apenas o nosso de-sejo de ir além dos testes tradicionais e da suatecnologia, mas o fato de que a mudança envolve umconjunto muito mais profundo de transformações, quelevam à mudança de paradigma: as nossas concep-ções subjacentes da aprendizagem, da avaliação e doque conta como sendo realizações são hoje radical-mente diferentes daquelas que estão nas bases domodelo tradicional de avaliação (Gipps, 1994).
A mensagem deste trabalho é que a avaliaçãoé uma parte importante da educação, e que, sempreque possível, deve ser de um tipo adequado, e usadopara a expansão da boa qualidade da aprendizagem.Tudo isso não quer dizer que os testes e exames pa-dronizados tradicionais não tenham mais lugar na polí-tica de avaliação, mas sim que precisamos projetarprogramas de avaliação que tenham um impacto posi-tivo sobre o ensino e sobre a aprendizagem.
66
AN
AIS
DO
SE
MIN
ÁR
IO IN
TE
RN
AC
ION
AL
DE
AVA
LIA
ÇÃ
O E
DU
CA
CIO
NA
L
F unções da avaliação
Tradicionalmente, exames extremamente con-ceituados foram utilizados para selecionar, separar eclassificar. Um exemplo são os exames de admissãoao Serviço Público, instituídos na Inglaterra em 1855,para identificar possíveis membros do funcionalismopúblico sem aceitar um processo paternalista. Aque-les primeiros exames eram usados para identificar com-petência, e para qualificar para admissão a determina-das profissões ou universidades. Com eles, surgiramdois "efeitos colaterais": um, o desenvolvimento danoção de um currículo, ou de um programa, e o outro,o fato de que o uso de provas teóricas e escritas paraadmissão a profissões ou instituições de grande statusdava à própria técnica de avaliação um status elevadosemelhante – que ainda mantém (Broadfoot, 1996).
Os meus colegas sociólogos, notadamenteTricia Broadfoot, descrevem a avaliação como um dis-positivo usado nas sociedades desenvolvidas, decor-rente do fornecimento da educação de massa comomecanismo de controle social; como base racional,além de justificável, para a designação de "funçõessociais desigualmente desejáveis", uma vez que osindivíduos deviam demonstrar competência através deum procedimento de certificação baseado na competi-ção. O uso de um procedimento justificável e a noçãoda competição, na qual os indivíduos concorrem embases aparentemente iguais, permitem que aqueles quenão têm sucesso aceitem o seu próprio fracasso. Ostestes de QI eram um meio de controle social "semigual, mostrando à maioria destinada ao fracasso queeste era o resultado da sua própria inadequação inata"(Broadfoot, 1979, p.44).
Os sistemas nacionais sempre precisarãoacompanhar os níveis de desempenho, com fins deplanejamento e demonstração. Por outro lado, surgiurecentemente uma nova função para a avaliação. Aavaliação vem sendo empregada por todo o mundodesenvolvido para "sintonizar" os sistemas de educa-ção, em resposta às mudanças globais. A economiagera a retórica: os desenvolvimentos tecnológicos exi-gem trabalhadores melhor educados, com maisdiscernimento e mais flexíveis por todo o mercado detrabalho, para fortalecer a base tecnológica do país epara promover um espírito empreendedor e de iniciati-va. A aparente falta de adequação do produto das es-colas às necessidades do mercado de trabalho noReino Unido da década de 80, como demonstrado pelonúmero de formandos não qualificados das escolas epela quantidade de jovens desempregados, sugere quea educação se teria afastado do "mundo real" do traba-lho, e o resultado foi o esforço em tentar reagregar aeducação à economia (Neave, 1988). Por outro lado, omodelo de escolaridade que se está desenvolvendo na
Inglaterra e no País de Gales, como resultado, é ummodelo de limites tradicionais de matérias, um modelode ensino de "transmissão" dentro de salas de aulaformais, de testes e exames que cada vez mais setornam formais do tipo lápis e papel, um modelo deexames feitos em uma só vez.
Na verdade, o que nós precisamos, para pre-parar os jovens para o próximo milênio, é ensinar atodos eles não apenas as habilidades básicas, mastambém as habilidades de ordem mais superior, deresolução de problemas, raciocínio crítico e avaliação;é necessário também ensiná-los a como tornar-seaprendizes eficazes, conscientes e no controle do seupróprio processo de aprendizagem, uma vez que a re-volução da informação do conhecimento, juntamentecom as mudanças nas carreiras e nas formas de tra-balho regular previstas para o próximo século exigemque nós todos continuemos a aprender além da escola.
A valiação e aprendizagem
Os teóricos da avaliação tradicionalmente nãofalaram sobre a aprendizagem. Entretanto, existe umarelação crítica entre o que é testado, e como é testa-do, com o que é ensinado, e como os alunos apren-dem. Para estimular o ensino e o desenvolvimento dehabilidades de ordem superior, processos de raciocí-nio e resolução de problemas, precisamos empregar aavaliação que reflita esses processos diretamente.
Os testes padronizados de desempenho tes-tam as habilidades dos alunos em recordar e em apli-car os fatos aprendidos rotineiramente: até mesmo itensdestinados à avaliação de atividades de mais alto nívelcom freqüência não exigem mais do que a capacidadede lembrar da fórmula apropriada, e de fazer substitui-ções, para chegar à resposta certa. Os alunos queconcebem o conhecimento como uma coletânea defatos empregarão estratégias de aprendizagem super-ficial, que visem à memorização bem-sucedida. Aaprendizagem mais profunda, nos "bons" aprendizes,por outro lado, envolve o pensamento sobre o significa-do daquilo que está sendo aprendido (Entwistle, 1992).(Embora me venha à mente que Bertrand Russel disseque "a maior parte das pessoas prefere morrer a pen-sar, e a maioria delas faz exatamente isso"). Esta no-ção de aprendizagem profunda, ou com um objetivo,tem claras implicações com respeito ao currículo e àpedagogia, mas também para a avaliação.
O ensino tradicional para provas e exames comfreqüência estimula a aprendizagem mecânica. E apren-der mecanicamente, que basicamente é uma atividadepassiva, leva à aprendizagem rasa, ou superficial: oaprendiz domina fatos que ele/ela possa lembrar, na
67
AN
AIS
DO
SE
MIN
ÁR
IO IN
TE
RN
AC
ION
AL
DE
AVA
LIA
ÇÃ
O E
DU
CA
CIO
NA
L
situação de prova. Os alunos tornaram-se bastante efi-cientes nessa forma de memorização, mas os fatosaprendidos dessa maneira podem ser rapidamenteperdidos/esquecidos. A informação que deve ser retidaprecisa ou ser entendida – "interagir com" e ser asso-ciada a mapas conceituais no cérebro – ou ser usadarepetidamente após ser aprendida. A aprendizagemsuperficial permitirá que os alunos manipulem fórmu-las ou que trabalhem através de exercícios detalha-dos, ainda que não compreendam os princípios funda-mentais. Isso quer dizer que os alunos terão dificulda-des em usar esses fatos/conceitos em circunstâncias
ou contextos outros, limitando assim o valor da suaaprendizagem.
A aprendizagem profunda, por outro lado, en-volve não apenas entender, mas também a intenção deentender o material, além de exigir uma abordagemativa à aprendizagem. Por aprendizagem ativa, nãoquero dizer que os alunos tenham que ser vistos comoestando fisicamente ocupados, ou "descobrindo" coi-sas, mas que devem estar pensando ativamente sozi-nhos, interagindo com o material. Espera-se que o pro-fessor ensine, mas a aprendizagem só pode ocorrernos alunos.
Evidentemente, a aprendizagem mecânica éimportante para alguns objetivos: existem algumascoisas que são provavelmente mais eficientes quandoaprendidas de forma automática, como identidadesnuméricas, ortografia, tabuadas. Essas são habilida-des que nos são mais úteis quando tiverem sido prati-cadas o suficiente para tornarem-se automáticas. Alémdisso, são freqüentemente requisitadas na vida quoti-diana, e não são facilmente esquecidas. De modo se-melhante, não há tempo para os alunos abordarem todaa aprendizagem de forma profunda. Daí a noção de"aprendizagem estratégica", que envolve uma combi-nação conscienciosa de aprendizagem superficial eprofunda.
A valiação para apoiar a aprendizagem
Para estimular e apoiar uma combinação deabordagens à aprendizagem, precisamos empregaruma variedade de abordagens da avaliação:
l Os testes de múltipla escolha, ou de res-postas curtas, são uma forma rápida e efi-ciente de testar a lembrança de fatos sim-ples, como, por exemplo, identidades nu-méricas, vocabulário de uma língua estran-geira, e habilidades básicas, como multi-plicação e ortografia. A menos que os itenssejam elaborados com cuidado, serão me-nos eficazes na avaliação do entendimentode conceitos e princípios.
l Respostas dissertativas, tarefas práticas eprojetos, quer sejam parte de uma prova oude um exame com hora marcada ou partedo próprio trabalho do curso, ou ainda,parteda avaliação de sala de aula de todos osdias, são mais capazes de avaliar o enten-dimento e de estimular um nível mais pro-fundo de aprendizagem. O que é mais im-portante, se o objetivo é a avaliação do en-tendimento, são os métodos que envolvamo aprendiz na aplicação do seu conheci-mento e na ligação deste com contextosreais. A avaliação não pode ocorrer testan-do a lembrança de peças isoladas e
Quadro 1 – Abordagens da aprendizagem
Abordagem de aprendizagem profunda
Intenção de desenvolver entendimento pessoal.
Abordagem de aprendizagem rasa ou superficial
Intenção de ser capaz de reproduzir o conteúdo,na m edida do necessário.
Inte ração a tiva com o conteúdo , principalm enterelacionando idéias novas a conhecim ento eexperiência anteriores.
Aceitação passiva de idéias e da informação.
Ligação entre as idéias, usando princíp ios deintegração .
Fa lta de reconhecim ento de princíp ios ou padrõesde orien tação.
Relação de evidências a conclusões. Enfoque da aprend izagem às necessidades deavaliação.
Fonte : Afte r Entw is tle , 19 92; M ordon, S alzo, 1984 ).
68
AN
AIS
DO
SE
MIN
ÁR
IO IN
TE
RN
AC
ION
AL
DE
AVA
LIA
ÇÃ
O E
DU
CA
CIO
NA
L
descontextualizadas de informação, queafastem o ensino e a própria aprendizagemdo entendimento, focalizando amemorização da informação necessária aosucesso da avaliação.
l Para um progresso eficaz na aprendiza-gem, é preciso sintonizar as tarefas a umnível adequado de dificuldade. Para que oprofessor possa ter conhecimento da situ-ação do aluno no seu nível de progresso, éimportante a observação informal, oquestionamento e as tarefas de avaliaçãoem bases regulares; essa chamada "avali-ação de professores" tem as principais ca-racterísticas da informalidade e da regulari-dade, de forma que as avaliações são fei-tas através do tempo e de contextos, paraque possa ser construído um quadro maiscompleto do que o que é possível construirmediante um teste ou um exame feito deuma só vez.
Habilidades de ordem superior, como é o casoda análise, da interpretação, da crítica, da síntese, daaplicação de conhecimento e habilidade e tarefas no-vas, da construção de um argumento convincente, etc.,são atividades complexas, que de uma forma geral nãopodem ser avaliadas de modos simples, que exijampuramente marcar as respostas certas, ou classifica-ções mecânicas. Parte do nosso desafio para o novomilênio será ensinar essas habilidades de ordem su-perior a um número muito maior de alunos do que ofizemos no passado. A avaliação do significado e doentendimento é portanto crucial no desenvolvimento detais habilidades.
Assim sendo, para estimular e apoiar a apren-dizagem estratégica, e para desenvolver aprendizeseficazes, é necessário dispormos de toda uma varie-dade de abordagens de avaliação, adequadas a deter-minados objetivos de aprendizagem:
l testes, tanto formais quanto informais, paraavaliar a lembrança de fatos, e a aquisiçãode habilidades básicas.
l tarefas e exames mais complexos e deta-lhados, que possam avaliar o entendimen-to e a aplicação.
l avaliação informal e contínua de professo-res, baseada na observação, questio-namento e em tarefas rotineiras de avalia-ção de aprendizagem em sala de aula.
Em resumo, é preciso testarmos o significa-do, e avaliarmos o entendimento; não devemos temeravaliar habilidades complexas no contexto, ou em ce-nários autênticos; as avaliações de boa qualidade mo-delam as verdadeiras atividades de aprendizagem comque desejamos que os nossos alunos se vejam envol-vidos, e que sejam ensinadas pelos professores.
A valiação numa sociedade em mudança
Então, o que sabemos sobre as boas práticasna avaliação, que nos possa ajudar a projetar a avalia-ção para o futuro?
Existem alguns princípios gerais: em vez dedirigir a atenção para a classificação e para a compa-ração em relação a alguma noção de desempenho"médio" – um conceito profundamente limitante – , pre-cisamos apoiar um tipo de abordagem em que sejamestabelecidos padrões de desempenho bem definidos,para a avaliação de alunos; esses padrões e proces-sos de avaliação são transmitidos aos alunos (progres-sivamente, à medida que forem ficando mais velhos).A avaliação que gradua e classifica os alunos uns emrelação a outros deve ser deixada para o mais tardepossível no sistema educacional; não deve ser este omodelo utilizado nos primeiros estágios, principalmen-te antes dos 11 anos de idade. Os alunos devem serestimulados a acompanhar e a refletir sobre o seu pró-prio trabalho/desempenho (com a ajuda positiva e cons-trutiva dos professores). A retroalimentação dada aosalunos, que é um fator crucial no processo de avalia-ção, deve enfatizar o domínio e o progresso.
A publicação de informação sobre testes nonível da escola e da sala de aula distorce o processoeducacional e estimula a "burla" de vários tipos; nemprofessores nem alunos conseguem evitar isso - ficampresos em uma armadilha. E, com essa situação, quemassume a responsabilidade, se os professores nãoensinarem coisas que não forem ser testadas? Nassituações em que forem inevitáveis os testes externosde grande importância, o emprego da avaliação basea-da no desempenho, juntamente com a avaliação deprofessores, deverá suavizar os piores efeitos sobre oensino; por outro lado, até mesmo isso, se a sua im-portância for grande demais, promoverá excessivamenteas atividades avaliadas e implicará o risco deestreitamento do currículo. Quando testes e examesmuito importantes levam ao fracasso uma grande pro-porção dos alunos, aparecem problemas de auto-esti-ma e motivação entre os alunos com pontuação baixa,o que significa risco concomitante de evasão escolar.A avaliação, de acordo com padrões claros, em umprograma discreto, com retroalimentação construtiva eum enfoque sobre o próprio desempenho do indivíduo enão sobre a comparação com outros, tem maior pro-babilidade de manter o envolvimento dos alunos, reten-do-os no sistema.
A avaliação de boa qualidade exige tempo eprecisa assim usar tarefas de boa qualidade, de formaa evitar que os alunos terminem por desperdiçar o seutempo: é indispensável que as tarefas estejam ancora-das em matérias importantes e relevantes, e a naturezae o modo dessas tarefas precisam estar baseados na-quilo que conhecemos da avaliação envolvente e justa.
69
AN
AIS
DO
SE
MIN
ÁR
IO IN
TE
RN
AC
ION
AL
DE
AVA
LIA
ÇÃ
O E
DU
CA
CIO
NA
L
No caso da avaliação com objetivos de sele-ção e de certificação, é improvável que seja reduzida asua grande importância, e por esse motivo são particu-larmente cruciais o estilo e o conteúdo das tarefas deavaliação: precisamos projetar uma avaliação de res-ponsabilidade que gere informação de boa qualidadesobre o desempenho dos alunos, sem distorcer a boaprática de ensino. Além disso, precisamos lembrar aosresponsáveis pelo estabelecimento das políticas a suaresponsabilidade pela avaliação das conseqüênciaseducacionais e sociais da utilização de testes em to-dos os níveis.
Existem alguns aspectos já conhecidos so-bre a avaliação que deverão ajudar-nos a orientar a pró-pria avaliação em um futuro previsível. Mas, o que dizerda avaliação para o futuro que não podemos prever?
Não será possível descrever a avaliação parao milênio, senão quando conseguirmos descrever aprópria educação para esse mesmo período. Estamosapenas começando a ter uma visão da educação, nomundo pós-moderno. Todos concordam que aglobalização econômica, a visão da cultura comocommodity, e a compressão do tempo e do espaço,que acompanham a revolução da informação, deveráimplicar transformações radicais na educação (Kenway,1992; Green, 1994), mas há menos unanimidade so-bre o que tudo isso poderia significar, por exemplo, emtermos de currículos. É imperioso considerarmos anatureza da educação para o milênio, em relação àrevolução do conhecimento e da informação: o conhe-cimento é um dos fatores mais importantes decompetitividade, no futuro de qualquer sociedade. Vi-vemos em um mundo de informações instantâneas, ede 24 horas de continuidade (Dalin, Rust, 1996, p. 33),ou ainda, podemos considerar que a informação esta-rá a apenas seis segundos de distância.
Isso quer dizer que:l os alunos ver-se-ão bombardeados com in-
formação, e os professores precisarãoajudá-los a organizar, conceitualizar e se-lecionar, em meio a essa impressionanteoferta;
l aprender a aprender tornar-se-á uma metafundamental do currículo;
l a noção do livro-texto terá que ser reconsi-derada (...dando "aos alunos conhecimen-to e visões gerais básicas, e auxiliando-osna exploração das muitas facetas de umcampo" ) (Dalin, Rust, 1996, p. 146);
l a sala de aula do futuro deverá extrapolaras suas quatro paredes, à medida que osalunos saírem, para ter acesso à informa-ção e à experiência, enquanto que a infor-mação do mundo exterior será trazida paraa sala de aula;
l a mudança de papel do professor será ine-vitável, devido a outras mudanças. Diferen-tes estruturas organizacionais, com a for-
mação de grupos maiores para determina-dos objetivos, acompanhadas pelo empre-go de assistentes de ensino, alunos traba-lhando juntos e usando sistemas de recu-peração de informações em rede e atravésde computadores, tudo parece provável.
O grande educador Jerome Bruner (1996, p.20), escrevendo sobre o futuro, argumenta que nós pre-cisamos passar de uma concepção empobrecida doensino, "... em que um professor único, presumi-velmente onisciente, explicitamente diz ou mostra aaprendizes presumivelmente ignorantes alguma coisasobre a qual eles supostamente nada sabem". Em vezdisso, Bruner fala do desenvolvimento de uma sala deaula como uma comunidade "de aprendizes mútuos,com o professor orquestrando as atividades. Observa-se que, ao contrário do que preconiza a crítica tradici-onal, essas subcomunidades não reduzem o papel doprofessor, ou a sua 'autoridade'. Na verdade, o profes-sor assume a função adicional de estimular outros acompartilhá-la. Da mesma forma que o narrador onis-ciente desapareceu da ficção moderna, o professoronisciente deverá desaparecer também da sala de aulado futuro " (p. 21-22, grifos da autora).
Como será então que deveremos conceber aavaliação, na sala de aula do futuro? Não esperamos,com as crianças sentadas em frente a fileiras de com-putadores, preenchendo séries intermináveis de folhasde trabalhos. A má prática pedagógica não irá transfor-mar-se em boa prática pedagógica simplesmente sefor traduzida de lápis e papel para disco e tela. Nempela adoção de testes de múltipla escolha, corrigidospor uma máquina. O processo é rápido e eficiente, massignifica que, com certeza, os alunos não precisam tera capacidade para escrever nada. Não posso evitar depensar que, no próximo milênio, vamos ainda desejarque os nossos jovens saibam ler e escrever, ainda queseja através de um teclado.
Várias questões continuam a aparecer, nasdiscussões sobre o futuro: a ênfase do local, em vezdo global (Kenway, 1992; Harrison, Bailey, Dewar,1996), do subjetivo, em vez do objetivo (Lincoln, 1992),a aceitação como válidas de toda uma variedade demetodologias (Lather, 1992; Griffiths, 1992), e a funçãodesempenhada pela tecnologia.
Como relacionar essas questões à avaliação?1. o local, em vez do global: é preciso subli-
nhar o papel do professor, de forma que aavaliação possa ser fundamentada em umcontexto "local", apoiando o profissio-nalismo do professor, e a flexibilidade daabordagem (mantendo ao mesmo tempo origor, subordinando-a a padrões nacionaise sujeitando-a a moderação externa).
2. o subjetivo em vez do objetivo: na minhavisão, isso quer dizer colocar o aprendiz no
70
AN
AIS
DO
SE
MIN
ÁR
IO IN
TE
RN
AC
ION
AL
DE
AVA
LIA
ÇÃ
O E
DU
CA
CIO
NA
L
centro da avaliação, e espero que tudo oque eu disse tenha enfatizado exatamenteisso. Entretanto, envolve também umaredefinição das relações de poder na avali-ação, e o envolvimento do aprendiz maiscomo um parceiro. Não quer dizer que osprofessores abram mão do controle – querdizer que os aprendizes assumam a res-ponsabilidade pelo seu desempenho, eacompanhem a própria aprendizagem. É oque denominamos auto-aprendizagem emetacognição. Temos consciência de queambos esses aspectos são vitais para aaprendizagem eficaz e de que ninguém éjovem demais para começar.
3. aceitação como válidas de toda uma varie-dade de metodologias: já argumentei que aboa prática exige que utilizemos toda umasérie de estratégias de avaliação, de modoque todos os aprendizes tenham uma opor-tunidade de apresentar um bom desempe-nho, além de uma variedade de estratégiaspedagógicas (que incluem um leque demateriais e de conteúdo, estilos de ensinoe disposições de sala de aula) para distin-tos grupos de alunos e para matérias dife-rentes (Murphy, Gipps, 1996). A diversida-de entre os alunos, tanto como indivíduoscomo aprendizes, fundamenta a propostade estratégias pedagógicas e de uma vari-edade de avaliações. Tudo o que conhece-mos sobre as diferenças entre os aprendi-zes, de qualquer maneira desafia os siste-mas tradicionais de educação, que supõempodem aprender da mesma maneira, e querealmente o fazem (Gardner, 1991).
C onclusões sobre a avaliação nacional na Inglaterra
Agora, gostaria de ilustrar o impacto de dife-rentes tipos de programas de avaliação sobre o ensi-no. Na Inglaterra e no País de Gales, é feita a avalia-ção de todas as crianças entre 7 e 11 anos de idade,nas escolas primárias. Os alunos são avaliados atra-vés de testes padronizados e das avaliações dos pró-prios professores, nas áreas de Leitura e Escrita, Ma-temática e Ciências. Esse programa de avaliação existedesde 1991, e tivemos a felicidade de ter podido reali-zar uma avaliação dele durante seis anos, focalizandoem primeiro lugar o programa de avaliação para crian-ças de sete anos de idade (na 2ª série, final do EstágioPrincipal 1), e para crianças de 11 anos de idade (na 6ªsérie, final do Estágio Principal 2).
O programa nacional de avaliação
A Lei de Educação de 1988 determinou umcurrículo nacional e introduziu a avaliação nacional. Oprograma de avaliação nacional é um acompanhamen-to crucial em relação ao currículo nacional, uma vezque era através do programa de avaliação que deviamser levantados os padrões. O primeiro estágio de de-senvolvimento do currículo nacional e do programa deavaliação foi a criação do Task Group on Assessmentand Testing (TGAT). O relatório produzido por esse grupo(Grã-Bretanha, 1988b) propôs as bases para a estrutu-ra do currículo que deveria ser apoiado por todos osindivíduos. Os indivíduos são divididos em um númerode metas de realização, que são articuladas em umasérie de oito níveis. A série de níveis tem o objetivo depermitir uma progressão: a maior parte dos alunos demais de 7 anos de idade estará no nível dois do siste-ma, enquanto que a maior parte dos alunos de mais de11 anos estará no nível quatro, e assim por diante. Asmetas de realização foram articuladas em cada umdos níveis, através de uma série de critérios, ou enun-ciados de realização, que formavam a estrutura básicade um sistema de avaliação baseado em critérios. (Osmuitos enunciados de realização foram hoje em diamodificados, para descrições em menor número e emum nível mais amplo). A Secretaria de Estado aceitouem 1988 as recomendações do TGAT, no sentido deque os alunos deveriam ser avaliados por seus profes-sores (Avaliação de Professores ou AP), com objeti-vos formativos e diagnósticos, dos 5 aos 16 anos deidade, sendo utilizadas tarefas padronizadas de avalia-ção (TPAs) nacionalmente, para moderação das avali-ações dos professores aos 7, 11 e 14 anos de idade,quando seriam então formalmente informadas, compropósito somativo. As TPAs de 7 e 11 anos seriamavaliações de desempenho, relacionadas a temas es-tendidos, e assemelhar-se-iam à boa prática de salade aula, ainda que pudessem incorporar testes formaisem áreas específicas.
Entretanto, uma grande quantidade de mudan-ças de ministros, políticas e de pessoal nos órgãosdedicados a currículos e a avaliações significou que omodelo de avaliação nacional implementado hoje emdia seja diferente em uma variedade de aspectos doque foi recomendado pelo TGAT (Black, 1993; Gippset al., 1992; Daugherty, 1995). As tarefas padroniza-das de avaliação transformaram-se em testes nacio-nais formais, restritos aos alunos de 11 anos de idade,e nas áreas de Matemática, Língua Inglesa e Ciênci-as. A avaliação no Estágio Principal 1 é hoje limitada àLíngua Inglesa e à Matemática, embora Ciências tives-se sido incluída até 1993. A intenção dos testes é ofornecimento de informações confiáveis de avaliaçãopara cada um dos alunos, tendo assim ficado mais
71
AN
AIS
DO
SE
MIN
ÁR
IO IN
TE
RN
AC
ION
AL
DE
AVA
LIA
ÇÃ
O E
DU
CA
CIO
NA
L
professores; além disso, os professores tinham quefazer a sua própria avaliação (APs), por todo o currícu-lo principal, antes da aplicação das TPAs. Foram ob-servados níveis cada vez maiores de discussões ecompanheirismo nas nossas escolas, nas primeirasetapas da implementação: de professores de outrosgrupos etários, apoiando professores de segunda sé-rie que, aparentemente, pareciam estar tendo que en-frentar uma tarefa gigantesca, e entre professores desegunda série durante todo o estudo, para a negocia-ção de significados para os enunciados de realizaçãoe para a padronização dos julgamentos. O envolvimentodos diretores, em apoio ao corpo docente, significouque havia um sentimento de "estar no mesmo barco",o que também ajudou a desenvolver formas de trabalhoem companhia uns dos outros. O esforço de ajudamútua com as TPAs, a moderação delas e das avalia-ções dos professores fizeram com que os professoressaíssem das salas de aula, levando-os ao contato detrabalho uns com os outros.
Um tema que primeiro nos chamou a atençãoem 1991 (Gipps et al., 1992) foi o maiorprofissionalismo entre professores de segunda série;foi uma observação feita em um terço das nossas es-colas, envolvendo professores de segunda série res-ponsáveis pelo treinamento em avaliação e pelo de-senvolvimento de políticas. Em 1994, cinco dos onzediretores de escolas primárias que haviam sobrado doestudo original (tendo continuado pelo segundo está-gio da nossa pesquisa, focalizando o Estágio Principal2) ressaltaram a contribuição dos professores de se-gunda série para a avaliação no Estágio 2.
Somente no segundo ano da avaliação nacio-nal, o governo conseguiu demonstrar a elevação dospadrões: o então secretário de Estado de Educação,John Patten, concedeu uma entrevista coletiva de im-prensa no final do ano de 1992, divulgando a subidados padrões, uma vez que a percentagem da popula-ção de alunos de 7 anos de idade que havia alcançadoníveis mais altos havia subido em leitura, ortografia ematemática (Resultados das "Crianças de 7 Anos"demonstram elevação de padrões, comunicado à im-prensa, DfEE, 21 de dezembro de 1992). Patten consi-derou isso como sendo a evidência de que o currículonacional estava "funcionando". Com base no nossoestudo, concluiríamos que essa elevação nos padrõesseria devida ao fato de que os professores estariamensinando com mais ênfase o que era pedido nas TPAs:pontuação, ortografia, caligrafia e aritmética mental. Foidada mais atenção à parte "básica", e isso ficou reve-lado nos melhores níveis de desempenho das crian-ças. A experiência com a aplicação dos TPAs auxilioutambém os professores a compreenderem os critériosde avaliação, ou os enunciados de realização, de for-ma que pudessem ensinar de uma maneira mais dirigidanos anos posteriores. Evidentemente, considerando-se as mudanças no currículo e nas tarefas de avalia-
abrangentes, em lugar de examinar estreitas camadasdo currículo, para moderar a avaliação dos professoresno nível da sala de aula. A partir de 1996, os testesdos 11 anos serão utilizados como base das "tabelasde ligas" das escolas primárias, ainda que não exis-tam tabelas do gênero para pontuações de criançasde 7 anos de idade. Muito pouca ênfase ou recursosforam investidos na avaliação de professores (AP), quepermanecem, assim, sem maiores esclarecimentoscom relação aos métodos. A avaliação dos professo-res é entregue aos pais juntamente com os resultadosde testes nacionais, porém os professores podem pro-por a elaboração de suas avaliações, até depois dorecebimento do resultado desses testes, e não há re-quisitos para a moderação dos padrões.
O projeto de pesquisa
O projeto "National Assessement in PrimarySchools: An Evaluation" (NAPS) foi financiado em duasfases na Universidade de Londres (Instituto de Educa-ção e King's College), pelo Conselho de Pesquisa Eco-nômica e Social (números de referência dos recursosR000232192 e R000234438). A primeira fase (1990-93) referia-se à introdução da avaliação nacional noEstágio Principal 1 (7 anos) (Gipps et al., 1995); asegunda fase prosseguiu para o Estágio Principal 2(11 anos), mas com uma atividade reduzida de acom-panhamento continuado do Estágio Principal 1(Brown et al., 1996).
O projeto era dirigido a escolas em quatro Ór-gãos Locais de Educação da Inglaterra (Local EducationAuthorities – LEAs), que, por sua vez, foram selecio-nados como sendo tão representativos nacionalmentequanto possível. Foram selecionadas oito escolas ale-atoriamente, através de amostragem estratificada emcada LEA, dando um total de 32 escolas. Entre osmétodos de obtenção de dados, incluíam-se observa-ção em sala de aula, entrevistas e questionários.
Outros pesquisadores realizaram estudos dotipo pesquisa, com tamanhos maiores de amostras; oobjetivo do nosso estudo foi examinar com maior pro-fundidade a prática dos professores e suas opiniões.
C onclusões
Estágio Principal 1 (avaliação de alunos de 7 anos)
A avaliação do Estágio Principal 1 começouem 1991. Nesse estágio, as TPAs eram tarefas base-adas em desempenho, conduzidas e pontuadas pelos
72
AN
AIS
DO
SE
MIN
ÁR
IO IN
TE
RN
AC
ION
AL
DE
AVA
LIA
ÇÃ
O E
DU
CA
CIO
NA
L
ção em cada um dos três anos, juntamente com afalta de confiabilidade dos resultados (Shorrocks et al.,1992), essas modificações nos padrões de desempe-nho devem ser tratadas com cautela.
O que os nossos professores da AvaliaçãoNacional nas Escolas Primárias estavam fazendo, deuma forma geral, não era dirigir diretamente o ensinoaos itens específicos do teste (embora as criançasexercitassem aritmética mental "rápida", para conse-guirem resolver as adições durante a prova em cincosegundos), mas ensinar áreas do currículo, de formaque as suas crianças fizessem avaliações nesses tó-picos. A diferença entre a situação que estamos ob-servando ultimamente e a da maior parte dos outrospaíses, em que se observa o ensino dirigido aos tes-tes, é que na Inglaterra e no País de Gales nós temosum currículo imposto, bem como testes também im-postos. Assim sendo, há alguma coisa a mais, alémdos itens do teste, para receber a atenção dos profes-sores. Além disso, as tarefas de avaliação foram modi-ficadas todos os anos, e verificou-se uma evolução doprograma de enunciados de realização incluídos nostestes, de modo que não seja fácil para os professoresestreitarem demais as suas atividades, ao prepararemos alunos para o teste.
O que foi muito claramente revelado pelo nos-so estudo é a mudança na prática de avaliação entreos professores de crianças (respeitadas as variaçõesindividuais), passando de uma abordagem intuitiva paraoutra, baseada em evidências e em registros escritos.Além disso, fica claro que a grande parte dos nossosprofessores ficou mais informada sobre o processo deavaliação, em vez de serem meros técnicos, operandode acordo com um sistema imposto. Por outro lado, oque foi mais significativo, em nossa opinião, foram asmudanças na prática de sala de aula.
Foram relatados por mais da metade dos nos-sos professores-chefes um cuidado maior no planeja-mento, a observação mais cuidadosa das crianças, alémde um entendimento mais detalhado do progresso in-dividual como tendo influência no ensino. As TPAs atu-aram como dispositivo de treinamento, e a moderaçãoem grupo ajudou a derrubar as barreiras. Tudo issosurgiu, entretanto, não pelo fato de ter que ser aplica-do um teste externo padronizado (como aconteceu comos professores de 6ª série e com os testes do EstágioPrincipal 2, em 1994), mas por causa das exigênciasda Avaliação do Professor e das atividades do tipo de-sempenho dos TPAs. Foram essas exigências que,juntamente com as especificações do currículo (aindaque detalhadas demais), tinham levado, segundo aopinião dos diretores, a um aprimoramento no planeja-mento, ensino e avaliação das turmas de 2ª série. Aintenção aqui não é menosprezar os problemas do pro-grama de avaliação, uma vez que houve muitos (sobre-carga, critérios de avaliação demais, ainda que inade-quados, baixos níveis de treinamento, principalmente
para a Avaliação de Professores, falta de confiabilidadenos resultados, etc.); o propósito é ressaltar o aspectode que, caso queiramos elevar os reais padrões deensino e a avaliação formativa (que, por sua vez, apóiatanto o ensino quanto a aprendizagem), precisamosde mais do que testes externos tradicionais que nossejam impostos.
Estágio Principal 2 (avaliação de crianças de 11 anosde idade)
Os testes do Estágio Principal 2 estão em umaetapa mais anterior de introdução: começaram seria-mente em 1995. Na sua maioria, as avaliações sãotestes padronizados e não tarefas de avaliação. Estãoplanejadas as tabelas de ligas para este ano, e portan-to, pode-se prever um impacto bastante rotineiro dosprofessores ensinando com os testes em vista.
Esse impacto pode ser diretamente observa-do das maneiras a seguir. Em 1995, as escolas quehaviam estado envolvidas desde 1993 na elaboraçãode testes piloto do Estágio Principal 2 relataram que,como resultado, tinham modificado as suas formas deorganização:
l quatorze haviam mudado do tipo de ensinode habilidades combinadas, para algumtipo de cenário;
l oito haviam abandonado o trabalho com tó-picos, através de todo o currículo, passan-do a uma forma de ensino mais baseadaem assuntos;
l quatro haviam passado a oferecer um en-sino mais dirigido a toda a classe;
l quatorze diretores de escolas haviam in-troduzido testes regulares e formais portodo o Estágio Principal;
l os testes haviam também significado umimpacto no ensino; por exemplo, umenfoque maior sobre a leitura e a escrita, ea apresentação da Matemática de formaque as crianças tivessem maior probabili-dade de bom desempenho nas provas;
l além disso tudo, todos os professores ti-nham feito alguma coisa para preparar osseus alunos para os testes, como, porexemplo, revisões de ciências, aplicaçãode provas passadas em Matemática, testescom horas marcadas em língua inglesa.
Entretanto, foi também constatado que os pro-fessores, em muitos casos, haviam modificado o seuestilo de ensinar. Entrevistamos detalhadamente 29professores do Estágio Principal 2, discutindo a suaabordagem ao ensino em 1995. Quinze dos vinte e noverelataram modos de ensino diferentes, de acordo comas várias e distintas circunstâncias. Descreveram quan-do se haviam tornado basicamente "transmissores" deconhecimento, quando estimulavam as crianças a des-
73
AN
AIS
DO
SE
MIN
ÁR
IO IN
TE
RN
AC
ION
AL
DE
AVA
LIA
ÇÃ
O E
DU
CA
CIO
NA
L
cobrirem sozinhas, e quando sentiam que estavam"construindo juntos a aprendizagem". Tudo seria aindamodificado de acordo com:
- o ensino de diferentes matérias;- o ensino de crianças diferentes;- o ensino de distintos grupos etários;- o uso de formas diferentes de organização
de alunos;- o espírito da escola.Nenhum dos professores endossou a pura
abordagem de "transmissão" ao ensino; de modo se-melhante, poucos a rejeitaram diretamente. Limitaramesta abordagem a determinados propósitos.
O fato de que a metade dos nossos entrevis-tados defendeu a abordagem mista ao ensino é inte-ressante, quando consideramos os comentários maisgerais dos nossos professores, sobre o efeito do currí-culo nacional em relação à prática de ensino adotadapor eles. Ainda que nenhum dos professores acredi-tasse que as crianças aprendessem unicamente a partirda transmissão de fatos, um quarto deles afirmou sen-tir-se pressionado a optar mais por essa atitude, devi-do à quantidade de trabalho a ser coberta pelo Currícu-lo Nacional, ou, em alguns casos, pelos próprios tes-tes. Afirmaram também a impossibilidade de utilizaras idéias das próprias crianças, como pontos de parti-da para o trabalho, e lastimaram isso. Alguns de seuscomentários foram:
Considerando o modelo "o professor transmi-te informação às crianças, e é assim que acon-tece o aprendizado" – acho que foi assim quepraticamente me senti pressionado a agir, devi-do ao peso do currículo.(...)"o professor transmitindo informação para ascrianças" – acho que este tornou-se muito maisenfatizado com o Currículo Nacional, simples-mente por causa do volume de conteúdo quetemos que ensinar.(...)O que eu acho, e o que o governo acha sãoduas coisas completamente diferentes. Se eupenso em como estava ensinando há cincoanos atrás, e como estou ensinando agora.Sempre houve participação minha, mas prova-velmente cada vez mais hoje, porque há tantacoisa a ser coberta.
O efeito sobre as habilidades de avaliação dosprofessores de Estágio Principal 2 foi menos marcanteaté agora, do que o foi para os professores de EstágioPrincipal 1. Isso se deve, na nossa opinião, aos requi-sitos limitados para a Avaliação de Professores e ànatureza padronizada dos testes. Entretanto, por cau-sa da alta visibilidade, houve um efeito maior sobre a
sua organização e sobre a sua prática de ensino, parapoderem alcançar altos resultados.
Através dos dois Estágios Principais, pode-mos notar muito claramente um efeito de direção doensino às necessidades dos testes; uma vez que ocurrículo é amplo, e que são necessárias habilidadesde avaliação do "processo" para a Avaliação de Pro-fessores, este efeito não vem sendo, até agora, parti-cularmente negativo ou limitante. Embora muitos pro-fessores lamentem a perda de autonomia, o CurrículoNacional e o programa de Avaliação serviram para apro-ximar as práticas nas escolas, o que poderá ser dese-jável, em termos de um sistema nacional.
As diferenças no programa de avaliação entreos dois estágios principais oferecem uma interessantecomparação, em relação ao impacto. No Estágio Prin-cipal 1, a combinação da avaliação de professoresmoderada e da avaliação de desempenho tem um efei-to amplo sobre a prática dos professores, incluindo umamaior ênfase no ensino do "básico". No Estágio Princi-pal 2, a combinação de testes padronizados, tabelasde ligas e uma redução de importância da avaliação doprofessor levaram à preparação para os testes, à ativi-dade de revisão e a uma modalidade mais "didática"de ensino.
As conclusões com relação às opiniões dosprofessores sobre a avaliação e às mudanças na práti-ca na fase primária são importantes não apenas naInglaterra, mas também para outros países que este-jam contemplando a introdução de um sistema nacio-nal de testes. O recente boicote acontecido na Ingla-terra demonstra os problemas da introdução de um sis-tema sem o apoio dos professores em geral. Pareceque na Inglaterra, o modelo atual de testes externosabrangentes e de uma avaliação do professor separa-da é agora considerado como amplamente aceito pe-los professores. Por outro lado, a maioria dos profes-sores preferiria em vez de dois resultados separados,algum tipo de combinação da avaliação do professorcom os resultados dos testes nacionais, para que sejadado um valor único mais válido para cada matéria.Dentro das circunstâncias inglesas, parece que vale apena avançar nessa direção, como sendo a que terámais impacto positivo no ensino e na aprendizagem,mantendo ao mesmo tempo a amplitude do currículo.
R eferências bibliográficas
BLACK, P. The shifting scenery of the NationalCurriculum. In: CHITTY, C., SIMON, B. (Ed.).Education answers back : critical responses togovernment policy. London : Lawrence and Wishart,1993. 181p.
74
AN
AIS
DO
SE
MIN
ÁR
IO IN
TE
RN
AC
ION
AL
DE
AVA
LIA
ÇÃ
O E
DU
CA
CIO
NA
L
BROADFOOT, P. Assessment, schools and society.London : Methuen, 1979.
BROADFOOT, P. Education, assessment and society: a sociological analysis. Buckingham : OpenUniversity Press, 1996.
BROWN, M. et al. The validity of national testing atage 11 : the teacher's view. Apresentado ao periódi-co Assessment in Education em 1996.
BRUNER, J. The culture of education. Cambridge, MA: Harvard University Press, 1996.
DALIN, P., RUST, V. D. Towards schooling for thetwenty-first century. London : Cassell, 1996.
DAUGHERTY, R. National curriculum assessment : areview of policy 1987-1994. London : Falmer, 1995.202p.
ENTWISTLE, N. The impact of teaching in learningoutcomes in higher education. Sheffield : SheffieldCVCP Staff Development Unit, 1992.
GARDNER, H. The unschooled mind : how childrenthink and how schools should teach. London :Fontana Press, 1991.
GIPPS, C. Beyond testing : towards a theory ofeducational assessment. London : Falmer, 1994.
GIPPS, C., MURPHY, P. A fair test? assessment,achievement and equity. Milton Keynes : OpenUniversity Press, 1994.
GIPPS, C. et al. Intuition or Evidence? teachers andnational assessment of seven year olds. Buckingham: Open University Press, 1995.
GIPPS, C. V. et al. National assessment at seven :some emerging themes. In: GIPPS, C. V. (Ed.).Developing assessment for the national curriculum.London : ULIE/Kogan Page, 1992.
GREAT-BRITAIN. Department of Education andScience. The national curriculum 5-16 : a consultationdocument. London : DES, 1988a.
________. National curriculum : task group onassessment and testing: a report. London : DES,1988b.
GREEN, A. Postmodernism and state education.Journal of Education Policy, v. 9, n. 1, p. 67-83, 1994.
GRIFFITHS, M. Making a diference : feminism,postmodernism and the methodology of educationalresearch. Trabalho apresentado durante a Economicand Social Research Council Conference, Liverpool,1992.
HARRISON, C., BAILEY, M., DEWAR, A. Responsivereading assessments : is postmodern assessmentof reading possible? Paradigms in ReadingAssessment. Routledge, 1996. No prelo.
KENWAY, J. Marketing education in the post-modernage. Trabalho apresentado durante a AmericanEducational Research Association (AERA)Conference, San Francisco, 1992.
LATHER, P. Critical frames in education research:feminist and poststructural perspectives. Theory intoPractice, v. 31, n. 2, p. 2-13, 1992.
LINCOLN, Y. S. Emergent paradigms and policyconundra : problems in exercise and use. Trabalhoapresentado durante a Economic and SocialResearch Council Conference, Liverpool, 1992.
MURPHY, P., GIPPS, C. Equity in the classroom :towards efective pedagogy for girls and boys. London: Falmer, 1996.
NEAVE, G. Education and social policy : demise of anethic or change in values? Oxford Review ofEducation, v. 14, n. 3, p. 273-283, 1988.
NUTTALL, D. The validity of assessments. EuropeanJournal of Psychology of Education, v. 11, n. 2, p.108-118, 1987.
SCHOOLS EXAMINATIONS AND ASSESSMENTCOUNCIL. National curriculum assessment at keystage 3 : a review of the 1991 pilots, with implicationsfor 1992. EMU/SEAC, 1991.
SHORROCKS, D. et al. ENCA 1 Project Report. London: SEAC, 1992.
WOOD, R. The agenda for educational measurement.In: NUTTALL, D. L. (Ed.). Assessing educationalachievement. London : Falmer, 1986.
75
AN
AIS
DO
SE
MIN
ÁR
IO IN
TE
RN
AC
ION
AL
DE
AVA
LIA
ÇÃ
O E
DU
CA
CIO
NA
L
A BORDAGENS DEVALOR AGREGADO PARA A
AUTO-AVALIAÇÃO ESCOLARNO REINO UNIDO
Sally Thomas*
I ntrodução
Nos últimos 25 anos, muitos trabalhos depesquisa foram desenvolvidos sobre as influências daescola. Os primeiros trabalhos de Coleman, Jencks eoutros (Coleman et al., 1966; Jencks et al., 1972)concluíram que as características familiares e doambiente exercem impacto mais importante sobre odesempenho dos alunos do que as de cada escola.Por outro lado, pesquisas subseqüentes (Rutter et al.,1979; Mortimore et al., 1988; Goldstein et al., 1993;Sammons et al., 1997) demonstraram não só que asescolas tipicamente recebem contribuições variáveisdos alunos, mas também que os resultados da atividadeescolar não são completamente determinados pelassuas contribuições. Por exemplo, Thomas e Mortimoreem 1996 relataram que de 70% a 75% da variaçãoescolar do desempenho entre alunos de 16 anos deidade na General Certification of Secondary Education(GCSE) podem ser explicados por medidas decontribuição dos próprios alunos. Entretanto, o que étambém importante, a variação remanescente entreas escolas, que permanece inexplicada – de 25% a30% – incorpora os impactos de cada uma das escolas(bem como de outros fatores externos) dos alunos.
A questão de formas apropriadas e válidaspara a descrição do desempenho das escolas temuma importância crucial. São poucos os que nãoconcordam com o fato de que há uma grandevariedade de metas importantes na freqüênciaescolar, como a intensificação das atitudes positivasdos alunos em relação à aprendizagem e aocomportamento, o estímulo de valores comunitáriose aspirações vocacionais, juntamente à promoção
do desempenho acadêmico. Por outro lado, oalcance deste estudo, é em sua maior parte,limitado ao aspecto do desempenho da escola,medido através de resultados de exames e detestes. Mais recentemente, as tendências dapolítica governamental na Inglaterra vêm dirigindoa atenção aos resultados brutos de examesescolares, sem levar em consideração o contextoda escola ou do corpo discente. Entretanto,muitos profissionais da educação, bem comovários pesquisadores acadêmicos vêm defendendoenfaticamente o argumento de que, isoladamente,os dados relativos aos resultados brutos deexames escolares – como aqueles publicadospelo Department for Education and Employment(DfEE) – serão sempre uma medida extremamenteinadequada de desempenho, além de serempotencialmente enganosos, se não acom-panhados deconhecimento sobre o contexto da escola em questão(McPherson, 1992; National Commission onEducation, 1993). Por exemplo, o já falecido DesmondNuttall (1990) argumentava que
...a justiça natural exige que asescolas sejam responsabil izadas tãosimplesmente por aqueles aspectos quepossam ser influenciados por elas (para obem ou para o mal), e não por diferençaspreexistentes entre os seus corpos dealunos. (p. 25)
Os resultados brutos são a respostaapropriada à indagação sobre "Como foi o
*Sally Mary Thomas, doutora em Psicologia, é conferencista e pesquisadora sênior do Instituto de Educação, da University of London. Participou da pesquisado ESRC: Optimal multilevel models of school effectiveness. É membro do International School Effectiveness and Improvement Center e do conselho editorialdo British Educational Research Journal.
76
AN
AIS
DO
SE
MIN
ÁR
IO IN
TE
RN
AC
ION
AL
DE
AVA
LIA
ÇÃ
O E
DU
CA
CIO
NA
L
desempenho da minha filha, ou do meu filho?",mas não a qua isquer perguntas sobre odesempenho da própria escola. Não podem serconsiderados como respostas sobre a eficácia daaprendizagem ou do ensino em cada sala de aulaou em cada escola. Não podem ser indicadoressobre se a escola apresenta o tipo de desem-penho que deveria.
O objetivo deste estudo é possibilitar umavisão geral e alguns exemplos daquilo que écomumente denominado medidas de valoragregado da eficácia da escola no Reino Unido.Em contraste com os resultados brutos dostestes, as medidas de valor agregado determinamo ponto de partida para uma maneira de avaliar odesempenho escolar que leva em consideraçãoos fatores referentes ao corpo discente, que ficamfora do controle da escola, mas que exercemsignificativo impacto sobre o desempenho dosalunos. Além disso, trataremos de demonstrarcomo as medidas mais detalhadas de valoragregado podem também ser empregadas para oexame das variações internas na eficácia de umaescola, nos níveis de sala de aula, das váriasmatérias e dos departamentos.
A dificuldade com as tabelas de
desempenho
Os responsáveis pe las pol í t icas dogoverno e os pesquisadores acadêmicos (Nuttallet al., 1989; Dearing, 1993) já enfatizaram osriscos de utilizar as tabelas de desempenhobaseadas apenas em resultados brutos. Aquelasescolas que tiverem um grupo de alunos com altodesempenho tenderão a apresentar bonsresultados apenas por esse motivo. Nem aquelaescola que apresente um alto desempenho inicial,nem a outra, inicialmente com baixo desempenhoreceberá qualquer apoio oriundo da publicação dastabelas brutas de desempenho. No caso daprimeira, passará despercebida a necessidade deaprimoramento; na última, poderá acontecer umadesmoralização intensa do pessoal, sem que hajaqualquer culpa sua. De uma maneira crucial, osindicadores de eficácia de valor agregado revelamse algumas escolas estão apresentando umdesempenho significativamente melhor ou pior doque outras, tendo levado em consideração aquelesfatores que dizem respeito ao corpo discente.Es te aspec to fo i f i rmemente i lus t rado napub l icação pe lo jo rna l The Guard ian dosresultados tanto brutos quanto de valor agregadode exames de nível A, em 1992 e 1993 (Thomaset al., 1992), conforme Tabela 1.
Na Tabela 1, de um total de 402 instituiçõespara maiores de 16 anos, seis foram classificadas en-tre os 25% superiores (Grupo A) das pontuações bru-tas de nível A; entretanto, ao serem considerados fato-res contextuais e de desempenho anterior no GCSE,suas pontuações de valor agregado caíram para os 25%inferiores (Grupo C). De uma forma geral, praticamenteuma em cada quatro instituições teve as suas classifi-cações com base nos resultados brutos modificadas,quando foram considerados os resultados com valoragregado.
Portanto, para que seja possível avaliar o de-sempenho de uma escola em particular, é preciso con-siderar toda uma variedade de informações, além dosresultados brutos dos testes ou dos exames. Uma dasfontes importantes são os dados sobre o valor acres-centado pela escola ao progresso de cada um dos alu-nos.
A avaliação do "valor agregado" em termos deeducação com o qual uma escola contribui para o de-sempenho do aluno tem vários objetivos:
l oferece uma forma mais justa e mais sig-nificativa de apresentação dos resultadosdos exames escolares;
l é uma ferramenta que gera dados tanto de-talhados quanto resumidos, que podem seranalisados pela escola, como parte da suaauto-avaliação;
l pode ser utilizada para examinar as ten-dências no desempenho de valor agregadoao longo do tempo, em relação às iniciati-vas para o aprimoramento escolar;
l gera medidas de desempenho que podemser comparadas a outros tipos de informa-ções disponíveis nas escolas, como opini-ões de grupos-chave, obtidas através dequestionários entregues a professores, paise alunos; e
l pode oferecer orientação adicional para oacompanhamento e para o estabelecimentode metas para alunos específicos ou paragrupos determinados de alunos (comomeninos ou meninas, ou determinados gru-pos étnicos).
Assim sendo, o conceito de "valor agregado"é tanto um indicador da eficácia de uma escola quanto
77
AN
AIS
DO
SE
MIN
ÁR
IO IN
TE
RN
AC
ION
AL
DE
AVA
LIA
ÇÃ
O E
DU
CA
CIO
NA
L
uma "ferramenta" a ser utilizada por diretores e peloseu pessoal, para a análise da intensidade da efetivaelevação do desempenho dos alunos. Como argumen-taremos a seguir, entretanto, nada disso é uma vara decondão: existem verdadeiras limitações, que precisamser bem compreendidas.
O que significa valor agregado
A expressão "valor agregado" é uma medidado progresso médio dos alunos ao longo de um deter-minado período de tempo (em geral, do ingresso naescola até os exames públicos, no caso das escolassecundárias, e ao longo de determinados anos, no casodas escolas primárias), e em comparação com outrasescolas dentro da mesma amostragem. Compara osresultados depois de fazer os ajustes relativos aosdesempenhos variáveis do corpo discente, e reflete oestímulo relativo exercido pela escola sobre o nível
anterior de desempenho de um aluno, em comparaçãocom alunos semelhantes de outras escolas. Conse-qüentemente, é preciso dispor de informações bási-cas precisas sobre o desempenho anterior dos alu-nos, para que seja possível calcular o componente devalor agregado (Mortimore et al., 1994; Thomas et al.,1995). O Gráfico 1 mostra um exemplo simples de dadosagregados ao nível da escola, para ilustração do com-ponente de valor agregado. Cada ponto representa umaescola. Uma pontuação positiva de valor agregado (porexemplo, residual) indica que a escola poderá estarapresentando um desempenho acima das expectati-vas. Uma pontuação negativa de valor agregado revelaque a escola pode estar apresentando um desempe-nho abaixo da expectativa. Entretanto, é preciso quehaja informações sobre o intervalo de confiança de 95%,para que seja possível avaliar se o desempenho de va-lor de uma determinada escola pode ter ocorrido poracaso. Em outras palavras, é vital o intervalo de confi-ança, para a determinação de se o desempenho deuma escola – acima ou abaixo das expectativas – éestatisticamente significativo (ver Gráfico 2).
Gráfico 1 – Exemplo de valor agregado
Além disso, é necessário que haja informa-ções sobre a incerteza estatística das medidas de de-sempenho, quando estiverem sendo comparadas es-colas diferentes. O exemplo do Gráfico 2 mostra quehá uma superposição dos intervalos de confiança de95% da maior parte das escolas, o que impossibilitadistinções mais sutis entre elas. A questão da incerte-za estatística gera uma restrição muito importante na
interpretação dos dados comparativos. Essencialmen-te, os intervalos de confiança refletem a falta de preci-são inerente nos cálculos de quaisquer medidas nu-méricas, como é o caso do valor agregado, até mesmoos das pontuações brutas. Além disso, ao estabele-cermos comparações entre escolas, o tamanho apro-priado do intervalo de confiança muda de acordo com onúmero de escolas que estiverem sendo comparadas(Goldstein, Healy, 1995).
115110105100959085
40
35
30
25
20
15
10
Va lor Ag regad o N egativo
Va lor Ag regad o Po sitivo
Pon
tuaç
ão T
otal
do
GC
SE
Teste de Leitu ra de Londres
78
AN
AIS
DO
SE
MIN
ÁR
IO IN
TE
RN
AC
ION
AL
DE
AVA
LIA
ÇÃ
O E
DU
CA
CIO
NA
L
15 10 5 0 -5 -10
-15
Iden
tidad
e da
Esc
ola
Pontuação GCSE de Valor AgregadoG
ráfic
o 2
– In
terv
alos
de
Con
fianç
a de
95%
Pontuação GCSE de Valor Agregado
Iden
tidad
e da
Esc
ola
79
AN
AIS
DO
SE
MIN
ÁR
IO IN
TE
RN
AC
ION
AL
DE
AVA
LIA
ÇÃ
O E
DU
CA
CIO
NA
L
U ma estrutura nacional de valor agregado
Um aspecto importante é que o governo acei-tou atualmente a importância das medidas de valor agre-gado, e a School Curriculum and Assessment Authority(SCAA) publicou as recomendações transitórias parauma estrutura nacional de valor agregado (SCAA, 1994;Fitz-Gibbon, 1995). Entretanto, a principal dificuldadeenvolvida na introdução de uma estrutura nacional devalor agregado está na falta de avaliações padroniza-das confiáveis para a medição do desempenho dos alu-nos antes de sua admissão na escola. Não existemavaliações nacionais dos alunos admitidos à escolaprimária, e as avaliações nacionais de currículos paraos Estágios Principais de 1 a 3 poderão não estabele-cer um nível suficiente de diferenças entre os alunos,ou poderão não ser suficientemente confiáveis para afinalidade de medição do valor agregado. São neces-sárias medidas confiáveis e sutilmente diferenciadas,para que seja possível descrever com precisão o pontode partida dos alunos. Por outro lado, caso a intençãoseja implementar qualquer modificação nas avaliaçõesnacionais de currículos, precisarão ser mantidos osbenefícios das avaliações de professores e de tarefaspadronizadas em relação à qualidade do ensino e daaprendizagem, havendo ao mesmo tempo acomplementação através de outras avaliações, quepossam ser empregadas para medir o valor agregado.Os novos avanços de hoje incluem o requisito de asLocal Education Authorities (LEAs) implementarem umsistema reconhecido de testes básicos para criançasde 5 anos de idade (SCAA, 1996). Algumas LEAs,como as de Surrey e de Hampshire, já empregaramavaliações básicas para medir a eficácia das escolasnos períodos pré-escolares (Sammons, Smees, 1997).
O desenvolvimento de medidas de valor
agregado
O desenvolvimento de medidas de valor agre-gado como indicadores da eficácia escolar foi gerado apartir de uma variedade de fontes:
l Das necessidades da pesquisa acadêmicaMuitos estudos sobre a eficácia escolar, em
especial os realizados antes de meados da década de80, foram dificultados pelo número limitado de técni-cas estatísticas disponíveis (Scheerens, 1992), alémde não terem acesso aos métodos de análise recente-mente desenvolvidos, sofisticados e hoje amplamentepreferidos, a modelagem de vários níveis (Goldstein,1987; Paterson, Goldstein, 1991; Goldstein, 1995).
l Das necessidades das LEAsOs requisitos da Lei de Educação de 1980, e
do Decreto de 1991 (das escolas), seção 16, no senti-do de as escolas publicarem os seus resultados "bru-tos" dos exames públicos, vieram a colocar uma ênfa-se muitas vezes maior sobre a busca por medidas maisjustas e mais precisas do desempenho escolar, o quelevou à coleta cada vez mais disseminada e sistemáti-ca de dados sobre os alunos pelas autoridades locaisde educação, incluindo informações sobre resultadosde avaliações e exames dos alunos, juntamente comoutras características, tanto referentes aos alunos quan-to às escolas (Hill, 1994, 1997).
l Das necessidades das escolas em particularAlém disso, as escolas individualmente pas-
saram também a encarar as questões relativas ao de-sempenho e à eficácia escolares como um aspecto doseu próprio controle e avaliação internos, além das ins-peções externas, como as realizadas pelo órgão localde educação, em nível nacional, pelo Office forStandards in Education (OFSTED) e pelo DfEE (DfEE,1996). Vários projetos, como os que foram criados pelaUniversity of Durham e pela National Foundation forEducational Research vieram auxiliar as escolas, atra-vés da proposta de medidas de valor agregado (Hill, 1997).
Pesquisadores acadêmicos, LEAs e escolasempregaram uma grande variedade de distintos proce-dimentos para a medição dos efeitos das escolas, uti-lizando fatores relativos aos antecedentes dos alunos(como condição socioeconômica) ou dados sobre oseu desempenho anterior, ou ambos, bem como dife-rentes níveis de sofisticação na análise (como, porexemplo, o emprego de dados individuais no nível dosalunos, ou dados agregados mais brutos, no nível daescola) (Gray et al., 1990; Thomas et al., 1993a, b;Thomas et al., 1994; Hill, 1994, 1997). Entretanto, apesquisa mais recente vem demonstrando que o de-sempenho anterior dos alunos é o indicador e o fatorde previsão mais confiável e mais importante para oseu desempenho posterior, explicando até 59% da va-riação total dos resultados acadêmicos dos alunos, e,conseqüentemente, até 76% da variação do desempe-nho entre escolas (Thomas, Smees, 1997).
Um aspecto importante gira em torno de quemetodologia de valor agregado deverá ser empregadana inexistência de dados de desempenho anterior (querse considere o nível nacional ou local). Na ausência dedados anteriores de desempenho, foram às vezes utili-zadas informações socioeconômicas e outras carac-terísticas dos alunos (como, por exemplo, fluência noidioma inglês, gênero, idade, nível de educação dospais, elegibilidade para refeições escolares gratuitas),como medidas aproximadas do desempenho anterior.
Um exemplo dessa abordagem é descrito norelatório do OFSTED (Sammons et al., 1994), que pro-
80
AN
AIS
DO
SE
MIN
ÁR
IO IN
TE
RN
AC
ION
AL
DE
AVA
LIA
ÇÃ
O E
DU
CA
CIO
NA
L
põe um procedimento intermediário para a avaliaçãodo desempenho escolar, na ausência de dados de de-sempenho disponíveis em nível nacional, na data deadmissão às escolas secundárias. Entretanto, é ne-cessário ressaltar o fato de que a pesquisa tem de-monstrado que sempre que existem dados de desem-penho do corpo discente disponíveis, a inclusão de in-formações de caráter socioeconômico no cálculo dasmedidas de valor agregado acrescenta pouco para aexplicação das diferenças reveladas entre as escolas(Thomas, Mortimore, 1996). Mesmo assim, continuasendo útil, como método para "ajuste" das medidas devalor agregado, e faz diferença para as estimativas ob-tidas para algumas poucas escolas específicas. Tudoisso assume importância especial no caso daquelasescolas que atendam a um corpo de alunos que apre-sente uma tendência qualquer, em direção a determi-nados grupos (por exemplo, meninos, ou alunos oriun-dos de famílias de baixa renda). É necessário tambémsublinhar o fato de que a presença de dados de de-sempenho estudantil de boa qualidade relativos a cadaaluno é crucial, uma vez que sem eles fica impossívela análise válida de valor agregado. Dessa forma, dispormeramente de dados socioeconômicos ou de dadosagregados ao nível da escola é na maior parte das ve-zes inadequado.
T écnicas estatísticas e metodologia para
a medição do valor agregado
É importante empregar as técnicas estatísti-cas e a metodologia apropriadas para a medição dovalor agregado como indicador da efetividade da esco-la. A seção a seguir descreve várias abordagens e as-pectos relacionados a essa metodologia. Os aspectoslevantados não são exclusivos, ainda que visem esti-mular mais pesquisas e o desenvolvimento de medi-das de valor agregado.
D ados detalhados ao nível do aluno e
modelagem de vários níveis
O processo de calcular o efeito que uma es-cola possa exercer sobre o progresso de um determi-nado aluno é bastante difícil. Quanto mais informaçãofor possível obter sobre cada aluno, cada subgrupo dealunos e sobre todos os alunos de uma escola, bemcomo de todas as escolas pertencentes a uma LEA,mais confiável e mais informativa deverá provavelmenteser qualquer análise subseqüente. A análise de regres-
são múltipla é a técnica estatística que permite queessa análise ocorra, enquanto que a modelagem devários níveis é um desenvolvimento mais recente des-sa técnica.
Um dos principais desafios para os pesquisa-dores foi o desenvolvimento de modelos que permitamque a análise estatística isole o efeito da experiênciana escola sobre os resultados de cada aluno (o de-sempenho alcançado pelo aluno), e o ponto até o qualas características do corpo de alunos (aquelas coisascom as quais os alunos chegam à escola – o nível dedesempenho que já tenham alcançado, seus antece-dentes socioeconômicos) afetam os seus resultados.A modelagem de vários níveis é hoje amplamente re-conhecida como a ferramenta mais precisa e mais fle-xível para a avaliação da natureza hierárquica dos da-dos de desempenho dos alunos, principalmente quan-do o objetivo for explicar a complexidade da eficácia daescola (Goldstein, 1987, 1995).
D iferentes modelos para separar emedir os efeitos
Thomas e Mortimore (1996) compararam cin-co modelos alternativos para a determinação da me-lhor abordagem de valor agregado. O melhor modeloincluía o controle relativo a toda uma variedade de fato-res relativos a cada um dos corpos discentes no cál-culo das medidas de valor agregado:
→ desempenhos anteriores dos alunos em tes-tes de habilidades cognitivas verbais, quan-titativas e não verbais;
→ gênero;→ idade;→ etnicidade;→ mobilidade;→ elegibilidade para refeições escolares gra-
tuitas.Entretanto, como já foi observado anteriormen-
te, o nível de desempenho que um determinado alunopossui quando é admitido a uma escola é o compo-nente principal nas análises válidas de valor agregado.
C ontinuidade dos efeitos da escolaprimária
Outros trabalhos de pesquisa na área de valoragregado focalizaram a questão da continuidade dosefeitos da escola primária no nível secundário(Sammons et al., 1995; Goldstein, Sammons, 1997).
81
AN
AIS
DO
SE
MIN
ÁR
IO IN
TE
RN
AC
ION
AL
DE
AVA
LIA
ÇÃ
O E
DU
CA
CIO
NA
L
Os primeiros resultados indicam um impacto duradou-ro da efetividade da escola primária sobre o progressodos alunos durante a escola secundária. Em outraspalavras, os alunos de escolas primárias em que oensino e a aprendizagem eram eficazes parecem con-tinuar a apresentar um progresso melhor na escolasecundária do que aqueles oriundos de escolas primá-rias menos eficazes. Conseqüentemente, os novosavanços na metodologia de cálculo das medidas devalor agregado poderão ter que considerar explicitamen-te as escolas anteriores freqüentadas pelos alunos.
A lunos que trocam de escolas
Este último aspecto é também diretamenterelevante, quando se considera a ocorrência bastantefreqüente de alunos que trocam de escola no decorrerde uma etapa educacional. Hill e Goldstein recente-mente levantaram que esse aspecto envolve implica-ções importantes para a precisão das medidas deefetividade das escolas, que se relacionem com umperíodo no tempo em que muitos alunos tenham saídoda escola, e muitos tenham sido admitidos (Hill,Goldstein, a ser publicado). São necessários maisestudos, para que seja possível determinar como essaquestão pode ser encarada, em uma estrutura nacio-nal de valor agregado.
E stabilidade através do tempo e
variações internas na eficácia da escola
As estatísticas gerais do desempenho dos alu-nos não podem gerar uma representação precisa daefetividade de uma escola em elevar e em manter odesempenho de todos os seus alunos, ou da capaci-dade que tem de sustentar os seus padrões através dotempo. A disponibilidade e a análise de dados referen-tes a cada aluno são essenciais para o exame dosvários aspectos da eficácia da escola. Algumas esco-las, que podem parecer eficazes, em termos da medi-da geral de valor agregado, poderão não mostrar-setão eficazes em termos de cada um dos departamen-tos, ou para os distintos grupos de alunos, ou aindaatravés dos diferentes períodos de tempo.
Como exemplo, utilizaremos os resultados deum estudo realizado com 94 escolas secundárias dacidade de Londres (Thomas et al., 1997a, 1997b). Esteprojeto focalizou três aspectos do desempenho noGCSE das escolas:
i) estabilidade dos resultados ao longo de trêsanos (1990-1992);
ii) consistência entre várias matérias, eiii) efeitos diferenciais para os vários grupos
de alunos, como os que apresentavam altos e baixosdesempenhos.
Foi empregada uma abordagem de valor agre-gado, controlando para determinados antecedentes dosalunos medidas de desempenho anterior no momentoda transferência para a escola secundária: gênero, ida-de, grupo étnico e baixa renda. Foram pesquisadassete medidas distintas de desempenho escolar: pon-tuação total no GCSE e pontuações em Inglês, Litera-tura Inglesa, Matemática, Ciências, Francês e Histó-ria. A partir desse estudo, chegou-se às seguintes evi-dências:
Estabilidade ao longo do tempo
A evidência no período dos três anos (1990-1992) demonstrou que os efeitos das escolas sobre apontuação total no GCSE foram mais estáveis (comas correlações de ano para ano variando de 0,82 a 0,85– a relação perfeita sendo expressa em termos de 1)do que no caso das matérias específicas. Aí, os resul-tados referentes a Francês revelaram-se os menos es-táveis, enquanto que os de História, os mais estáveispara o período dos três anos. Essas correlações sãoligeiramente mais baixas do que as do estudo seme-lhante, realizado por Gray e colaboradores, examinan-do a pontuação total do GCSE apenas (Gray et al.,1995; 1996), ainda que isto possa ser explicado pelainfluência especial da mobilidade de professores e dealunos nas escolas da cidade.
Apesar das evidências de uma grande estabi-lidade em algumas áreas, as correlações indicam queexiste ao mesmo tempo um grau substancial de mu-dança ao longo do tempo no que tange aos resultadosnas várias matérias, sublinhando a necessidade deexame dos resultados de mais de um dos anos, bemcomo das tendências expressas nos resultados du-rante um período mínimo de três anos. É importanteenfatizar que a melhoria "real" (ou piora) no desempe-nho seja resultado, talvez, de mudanças nas práticasou políticas de educação somente poderá seridentificada através do estudo das mudanças de longoprazo nos resultados, ao longo do tempo (idem).
Consistência entre várias matérias
As evidências referentes à consistência entreos resultados dos vários departamentos e os resulta-dos gerais das escolas (levando em consideração ostrês anos de dados) varia de bastante acentuada, emalguns casos, a bastante tênue, em outros. No casode uma proporção importante das escolas (por exem-
82
AN
AIS
DO
SE
MIN
ÁR
IO IN
TE
RN
AC
ION
AL
DE
AVA
LIA
ÇÃ
O E
DU
CA
CIO
NA
L
plo, praticamente um terço em 1991), foram reveladasdiferenças significativas entre os departamentos, emtermos de eficácia, que não teriam sido ressaltadascaso tivessem sido usadas apenas as pontuações to-tais do GCSE. Essas conclusões estão de acordo compesquisa anterior, que examinou uma variedade maislimitada de resultados (Goldstein, 1993), e que sugereenfaticamente a necessidade de examinar em detalheo desempenho da escola – não apenas em termos dedesempenho total no GCSE, mas também no nível dasvárias matérias – para identificar os departamentos demaior eficácia. Tymms e colaboradores desenvolveramum trabalho semelhante no nível primário, como partedo projeto nacional de valor agregado da SCAA (Tymms,Henderson, 1995). Entretanto, uma limitação ao exa-minar cada uma das matérias individuais é o fato deque, às vezes, o número de alunos que faz um deter-minado exame é muito pequeno (particularmente nonível A), e assim a incerteza estatística da pontuaçãode valor agregado pode ser relativamente grande. Dequalquer maneira, o impacto dessa limitação deveránaturalmente ir decrescendo, à medida que aumentaro número de registros com o passar do tempo, e àmedida que os tamanhos das amostragens forem fi-cando maiores.
Efeitos diferenciais para os vários grupos de alunos
O estudo focalizou também o aspecto impor-tante se algumas escolas poderão ser mais eficazespara um determinado grupo de alunos. A análise dovalor agregado revelou que algumas escolas obtiveramresultados de valor agregado que eram diferentes paraos vários grupos de alunos. As conclusões foram es-pecialmente marcantes para os alunos classificadosatravés de medidas de desempenho anterior e atravésde grupos étnicos. Além disso, foram encontrados efei-tos diferenciais significativos entre meninas em com-paração com meninos, e para os alunos oriundos defamílias de baixa renda, em comparação com os ou-tros.
Entretanto, os resultados sugeriram tambémque todos os alunos das escolas e dos departamentosque eram eficazes para o aluno médio tinham probabi-lidade de apresentar um desempenho relativamente bomno GCSE, ainda que determinados grupos (como osdos alunos não elegíveis para receberem refeições es-colares gratuitas) tinham a probabilidade de apresen-tar desempenho especialmente bom. Em contraste,todos os alunos das escolas e dos departamentos queapresentavam um nível mais baixo de eficiência para oaluno médio tinham a probabilidade de apresentar umdesempenho fraco, embora grupos específicos (comoos alunos de origem asiática) apresentassem a proba-bilidade de um desempenho não tão fraco. Mais umavez, essas conclusões ressaltam a utilidade das téc-nicas de valor agregado para permitir uma análise mais
sensível dos dados, além de garantir que possam serreconhecidos os baixos desempenhos de grupos es-pecíficos de alunos.
Foi desenvolvido um estudo semelhante comescolas primárias (Sammons et al., 1993; Thomas,1995), e em instituições para alunos maiores de 16anos (Goldstein, Thomas, 1996; O'Donoghue et al.,1997), indicando que as variações internas em termosde eficácia precisam ser acompanhadas em todas asetapas da educação obrigatória. De uma forma geral,essa evidência sugere fortemente que as escolas pre-cisam monitorar e avaliar o seu desempenho utilizan-do uma variedade de diferentes medidas de valor agre-gado para os grupos específicos de alunos, para cadaum dos departamentos, para diferentes turmas de alu-nos e diferentes pontos no tempo (e, sempre que pos-sível, também para distintos grupos de anos dentro daescola).
R esultados de valor agregado como instrumento para a auto-avaliação das escolas
Já enfatizamos a necessidade de as escolasanalisarem os dados de uma forma mais sensível emais detalhada, em uma variedade de níveis: dos alu-nos, dos vários grupos de alunos, subgrupos, o níveldas matérias, toda a escola e todas as escolas deuma LEA. O que é também importante, é que as esco-las precisam colaborar com outras escolas, nos níveislocal, regional e nacional, para que possam dispor dedados comparativos para as análises de valor agrega-do. Vários projetos da LEA estão em desenvolvimentoatualmente, e um relatório recente da UK's NationalFoundation for Educational Research apresenta maio-res detalhes (Hill, 1994, 1997).
Entretanto, a coleta e a análise de dados tan-to quantitativos quanto qualitativos será essencial, seas escolas quiserem transformar-se em instituições de"auto-avaliação".
... os indicadores não dão o diagnóstico, nemprescrevem a correção – pura e simplesmentesugerem a necessidade de ação (Nuttall,1990).
Os dados de valor agregado auxiliam a auto-avaliação da escola, levantando aspectos sobre asmudanças e/ou a consistência dos resultados ao lon-go do tempo, sublinhando as diferenças entre os de-partamentos de uma escola quando comparados a todoo valor agregado da escola, e permitindo que as esco-las se comparem a outras escolas (dentro dos limitesda incerteza estatística).
O Quadro 1 resume os diferentes aspectos eas diferentes abordagens a serem considerados na inter-pretação de resultados de valor agregado.
83
AN
AIS
DO
SE
MIN
ÁR
IO IN
TE
RN
AC
ION
AL
DE
AVA
LIA
ÇÃ
O E
DU
CA
CIO
NA
L
anos (por exemplo, 1993-1996). Foram fornecidas, alémdisso, pontuações adicionais para cada um dos resul-tados relativos aos alunos de desempenho superior,inferior ou médio, na data de admissão à escola. As-sim, as escolas puderam utilizar essa informação paradirigir a sua atenção a determinados alunos, grupos dealunos ou departamentos. Além disso, os consultoresda LEA de Lancashire forneceram informações adicio-nais às escolas, oferecendo também apoio e desen-volvimento no emprego dos resultados de valor agrega-do para a auto-avaliação escolar (Scanlon, 1996).
As novas evoluções do projeto de valor agre-gado de Lancashire incluem a obtenção de informa-ções sobre comportamento para todos os alunos da9a série (14 anos de idade) e da 11a (16 anos) duranteos semestres de primavera de 1996 e 1997. Utilizaminstrumentos inicialmente planejados para o ImprovingSchool Effectiveness Project (ISEP) (MacBeath,Mortimore, 1994; Thomas et al., 1997). As conclusõesde 70 escolas participantes, resumidas na Tabela 3,sugerem que em alguns casos, os comportamentosdos alunos (representados por cinco escalas de com-portamentos: cultura do aluno, auto-eficácia,engajamento com a escola, comportamento e apoiodo professor) variam entre as escolas de modo subs-tancial. Essa informação é usada confidencialmentepelas escolas, para avaliação do seu próprio impactosobre a experiência do aluno na escola. Em outraspalavras, os comportamentos relatados dos alunos sãoempregados como resultados importantes em si mes-mos, além dos resultados dos exames do GCSE.
Tanto o ISEP quanto o projeto de Lancashirevisam aumentar a variedade de resultados e de medi-das de valor agregado usados para avaliar a eficácia daescola, para refletir mais plenamente os objetivos es-colares. Além disso, os diretores de escolas de
Considerar a importância dos limites de confiança ao fazer comparações entre escolas - se houver superposiçãodos intervalos de confiança de duas escolas específicas, não haverá diferença significativa entre o seu desem-penho (ver, por exemplo, o Gráfico 1).Manter em mente as limitações da metodologia no caso da sua escola. Até que ponto são relevantes para osresultados da sua escola os aspectos de: erro de medição, inexistência de dados, precisão de dados e anatureza retrospectiva dos dados?Rastrear as mudanças nos resultados ao longo do tempo, para examinar os verdadeiros aprimoramentos e/ouas flutuações aleatórias no desempenho.Examinar a eficácia dos departamentos e/ou dos professores, em comparação com as medidas resumidas deeficácia escolar (por exemplo, desempenho total no GCSE para o aluno médio) e as suas implicações para aspolíticas relativas a toda a escola.Examinar a eficácia diferencial para os diferentes grupos de alunos (por exemplo, meninos/meninas, alunoscom alto/baixo desempenho), bem como as implicações para a igualdade de oportunidades.Empregar uma maior variedade de medidas de valor agregado, de forma a refletir mais plenamente as metas dafreqüência escolar (por exemplo, utilizando aspectos vocacionais e de atitudes dos alunos bem como resulta-dos acadêmicos).
Quadro 1 – Abordagens na interpretação de resultados de valor agregadopara estimular a auto-avaliação de escolas e professores
Um exemplo de uma análise de valoragregado para auxiliar naauto-avaliação da escola secundária
Em 1992, foi iniciado um projeto pela LEA deLancashire que visava desenvolver tanto quanto fossepossível as medidas mais precisas, mais apropriadase mais justas para a efetividade da escola secundária.Os resultados deveriam ser devolvidos às escolas, deforma confidencial, para ajudar na auto-avaliação indi-vidual. O projeto ainda prossegue, e desde 1993 no-venta e oito escolas secundárias de Lancashire têmestado envolvidas na coleta de dados detalhados so-bre todos os alunos. O método de análise utiliza astécnicas de modelagem de vários níveis, para o cálcu-lo de toda uma variedade de diferentes medidas de va-lor agregado (Thomas, Mortimore, 1996).
É usado o desempenho dos alunos na data deadmissão à escola para a análise do GCSE, incluindotrês medidas diferentes de desempenho anterior (pon-tuações NFERCAT nas áreas verbais, quantitativas enão-verbais). É também incluída uma grande variedadede fatores relativos aos antecedentes dos alunos –como gênero, grupos étnicos e mobilidade – que ficamfora do controle da escola, na análise de vários níveisdos resultados dos alunos. As principais conclusõesdo estudo incluem a revelação de que em 1993 umquarto das 79 escolas subiram ou caíram em 20 oumais casas quando os seus resultados de valor agre-gado foram comparados com as pontuações brutasmédias. Mais da metade oscilou em 10 ou mais ca-sas. Como se vê na Tabela 2, o projeto foi estendido acada ano, e em 1996, foram dadas 40 medidas de va-lor agregado diferentes a cada escola, incorporandocinco resultados diferentes do GCSE (total, melhores5, Inglês, Matemática e Ciências), relativos ao ano emcurso (1996) ou aos resultados combinados de três
84
AN
AIS
DO
SE
MIN
ÁR
IO IN
TE
RN
AC
ION
AL
DE
AVA
LIA
ÇÃ
O E
DU
CA
CIO
NA
L
Lancashire preencheram um questionário referente àscaracterísticas e aos processos de sua escola, junta-mente com as suas próprias opiniões sobre as esco-las eficazes de uma maneira geral. A intenção é queesse tipo de informação possa auxiliar as escolas em
relacionar as tendências que ocorram com o passardo tempo a medidas de valor agregado, no contexto,nas metas e nas estratégias individuais para aprimora-mento de cada escola.
Tabela 2 – Pro jeto de valor agregado da LEA de Lancash ire:M edidas de resu ltados dos a lunos empregadas ao longo de cinco anos
(1993 1997)
Pontuações de valor
–GC SE do agregado
1993
Pontuações de valoragregado
do GCSE - 1994
Pontuações de valoragregado
do GCSE - 1995
Pontuações de valoragregado
do GCSE – 1997/1998
Pontuação to tal (porfaixas de 1 a 3)
Inglês
M atemática
Pontuação to tal (porfaixas de 1 a 3)
Inglês (porfaixas de 1 a 3)
M atemática (porfaixas de 1 a 3)
C iências (porfaixas de 1 a 3)
Pontuação to tal (porfaixas de 1 a 3)Pontuação to talde 3 anos (porfaixas de 1 a 3)
Inglês (porfaixas de 1 a 3)
M atemática (porfaixas de 1 a 3)
C iências (porfaixas de 1 a 3)
Pontuação to tal (porfaixas de 1 a 3)Pontuação to talde 3 anos (porfaixas de 1 a 3)
Inglês (porfaixas de 1 a 3)3 anos de Ing lês (porfaixas de 1 a 3)
M atemática (porfaixas de 1 a 3)3 anos de Matem ática(por faixas de 1 a 3)
C iências (porfaixas de 1 a 3)3 anos de C iências(por faixas de 1 a 3)
M elhores 5 (porfaixas de 1 a 3)M elhores 5 durante3 anos (porfaixas de 1 a 3)
Escalas decomportam entodos alunosEngajam entocom a escolaAuto-eficáciaCom portam entoApoio de Professores
Notas:
– GCSE (General Certificate of Secondary Education) - exame realizado aos 16 anos.
– Faixas de 1 a 3 = As pontuações de valor agregado são calculadas em separado,
para os alunos classificados em três grupos (os aproximadamente 25% superiores
- 1; os 50% médios - 2; os 25% inferiores - 3), em termos de desempenho anterior
(aos 11 anos de idade) nos Testes de Habilidades Cognitivas do NFER.
– 3 anos = pontuação de valor agregado, calculada utilizando-se três turmas do
GCSE, incluindo a turma atual do GCSE (por exemplo, 1996), e duas turmas
anteriores (por exemplo, 1994 e 1995).
85
AN
AIS
DO
SE
MIN
ÁR
IO IN
TE
RN
AC
ION
AL
DE
AVA
LIA
ÇÃ
O E
DU
CA
CIO
NA
L
P assando da medição da eficácia daescola ao aprimoramento escolar
A tarefa de ligar as medidas de efetividade daescola ao aprimoramento escolar começa com a pre-missa de que a análise é o início, e não o fim do pro-cesso. O monitoramento em si mesmo não melhora o
desempenho, nem leva a distinções ou a comparaçõesdefinitivas. Portanto, é importante que as informaçõessobre a efetividade da escola, do departamento e dasala de aula sejam constantemente comparadas àpolítica e à prática do momento. Por exemplo, algu-mas escolas secundárias de Lancashire utilizarampontuações com valor agregado separadas para asmatérias, para que os alunos com desempenhos me-lhores e piores refletissem e avaliassem os seus siste-
Tabela 3 – Escalas do questionário referente ao comportamentodos alunos de Lancashire
Pontuação Média *
Desvio Padrão*
Escala 1: Engajamento com a escolaItem 1: Eu sempre gosto da escola [0 ,17].Item 3: Sem pre me dou bem com os professores [0,27].Item 5: Os professores são sem pre justos [0,33].Item 6: O trabalho escolar é sempre interessante [0,19].Item 31: Os professores são quase sempre simpáticos com os alunos [0,20].
2,85
Escala 2: Cultura dos alunosItem 2: Sem pre me dou bem com os outros da m esm a série que eu [0,34].Item 20: Nunca me sinto deixado de fora [0,38].Item 33: Ninguém abusa de m im [0,17].Item 36: Acho fácil fazer amigos [0,28].
3,28
Escala 3: Auto-eficáciaItem 26: Meu trabalho de aula é m uito bom [0,51].Item 28: Acho que sou muito inteligente [0,17].Item 29: Todos os m eus professores acham bom o m eu trabalho em sa la de aula [0,37 ].
2,93
Escala 4: ComportamentoItem 3: Sem pre me dou bem com os professores [0,07].Item 37: Como você descreveria o seu comportamento em aula? Bom [0,40].
Bomcom portamento? seu o descreveriam professores os que acha você Com o 38: Item
[0,56].
3,25
Escala 5: Apoio dos professoresItem 8: Os professores sem pre me ajudam a entender o meu dever [0,19].Item 11: Os professores sempre m e dizem que eu tenho capacidade [0,25].Item 14: Os professores sempre m e dizem como está o m eu desem penho [0,31].Item 16: Os professores sempre m e elogiam quando eu trabalho bem [0 ,29 ].Item 31: Os professores são quase sempre simpáticos com os alunos [0,14].
2,87
0,08
0,07
0,08
0,10
0,12
Notas:*Em todas as escolas.- Os pesos do LISREL aparecem entre colchetes.- LISREL (Linear Structural Equation Model for Latent Variables) (Joreskog,
K.G., Sorbom, D., 1989).- Variação da Escala: 1 (=categoria da resposta mais negativa) a 4 (=cate-
goria da resposta mais positiva, que aparece na tabela).
86
AN
AIS
DO
SE
MIN
ÁR
IO IN
TE
RN
AC
ION
AL
DE
AVA
LIA
ÇÃ
O E
DU
CA
CIO
NA
L
mas quanto ao GCSE. Além disso, as escolas da Ir-landa do Norte envolvidas pela DENI – originalmente,Raising School Standards Initiative (RSSI) – têm a in-tenção de empregar as medidas de valor agregado, bemcomo outros tipos de evidência, para avaliar o impactode determinadas estratégias de aprimoramento(Thomas, 1996).
As evoluções futuras na pesquisa de valor agre-gado provavelmente deverão basear-se nas conclusõesatuais, que investigam as relações entre as medidasde desempenho escolar e as condições que parecemaumentar ou dificultar a eficácia da escola nos diferen-tes tipos de contextos escolares. Esta abordagem exigeo uso de dados tanto qualitativos quanto quantitativos.Por exemplo, a pesquisa realizada por Sammons ecolaboradores (Sammons et al., 1997) empregou ametodologia de valor agregado para avaliar o desempe-nho da escola, mas combinando-a a informações ge-radas por entrevistas e por questionários, para investi-gação dos fatores e dos processos relacionados a umamaior eficácia dos departamentos ou da escola.
Por outro lado, é preciso dedicar mais aten-ção à questão crucial de quais iniciativas ou estratégi-as para o aprimoramento escolar representam alavan-cas bem-sucedidas para o melhor desempenho esco-lar ao longo do tempo. Um aspecto específico relacio-na-se à variedade de estratégias que poderão ter su-cesso nos vários tipos de contextos, como é o casodas áreas de alta ou baixa desvantagemsocioeconômica. O Improving School EffectivenessProject (MacBeath, Mortimore, 1994) está no momen-to examinando esses aspectos, e as conclusões doprojeto deverão gerar informações importantes comrelação à implementação e ao impacto de determina-das estratégias para melhorar a escola.
C onclusões
Este estudo focalizou, principalmente, o de-sempenho das escolas, em termos dos resultados dosexames e dos testes. Isoladamente, esses resultadossão insuficientes para julgamentos adequados sobre odesempenho escolar. Outros resultados relativos aosalunos, como freqüência, capacidade para aprendiza-gem independente, atitudes em relação à escola e àaprendizagem, comportamento e autoconceito são tam-bém importantes. A pesquisa na área de efetividade daescola visa examinar toda uma variedade de resulta-dos educacionais, e o Junior School Project (Mortimoreet al., 1988), o Lancashire Project (Thomas, Mortimore,1996) e o Improving School Effectiveness Project naEscócia (MacBeath, Mortimore, 1994) são exemplosdessa abordagem, que envolve a obtenção de dadosreferentes a atitudes de alunos, pais e professores,
além de resultados acadêmicos. Mesmo assim, o prin-cipal indicador de desempenho das escolas continuaa ser o seu sucesso em garantir que o máximo núme-ro possível de alunos alcance o seu potencial acadê-mico pleno.
Portanto, o monitoramento das variações in-ternas de desempenho em um ano e ao longo dos anosdeverá ser estimulado, para facilitar uma análise dospadrões para os diferentes grupos de alunos e aos ní-veis dos departamentos, das matérias e das salas deaula, bem como no nível geral, para que se possa ob-servar como esses padrões podem mudar com o pas-sar do tempo. Os resultados de pesquisas em que asescolas são agrupadas em categorias de efetividaderigidamente definidas demonstram que são poucas asescolas que apresentam um desempenho tanto con-sistente através das várias matérias quanto com esta-bilidade através do tempo (Thomas et al., 1997). Es-sas conclusões têm importância tanto prática quantoteórica. O desempenho da escola que varia muito atra-vés do tempo, ou entre os departamentos nas escolassecundárias, tem implicações para as políticas esco-lares integrais, e poderá representar evidência impor-tante do impacto das iniciativas de aprimoramento es-colar. O desempenho escolar que varia muito para osdistintos grupos de alunos (como meninos e meninas)tem implicações para as questões de oportunidadesiguais e direitos dos alunos. De modo semelhante, asdiferenças significativas entre as diferentes matériasno nível primário (Sammons, Smees, 1997) têm impli-cações importantes para a efetividade dos professoresatravés de todas as matérias constantes do currículonacional.
R eferências bibliográficas
COLEMAN, J. S. et al. Equality of educationalopportunity. Washington : US Government PrintingOffice, 1966.
DEARING, R. The National Curriculum and itsassessment : interim report, July 1993. London :National Curriculum Council, School ExaminationAssessment Council, 1993.
DfEE. Setting targets to raise standards : a survey ofgood practice. London : Department for Educationand Employment, 1996.
FITZ-GIBBON, C. T. National Value Added Project :general report - issues to be considered in the designof a National Value Added System. London : SchoolCurriculum and Assessment Authority, 1995.
87
AN
AIS
DO
SE
MIN
ÁR
IO IN
TE
RN
AC
ION
AL
DE
AVA
LIA
ÇÃ
O E
DU
CA
CIO
NA
L
GOLDSTEIN, H. Assessment and accountability.Education, v. 183, n. 3, p. 33-34, 1995.
GOLDSTEIN, H. Multilevel models in educational andsocial research. London : Charles Griffin, New York: Oxford University Press, 1987.
_______. Multilevel statistical models. 2. ed. London :Auckland, Sydney : Edward Arnold, 1995. (Kendall'slibrary of statistics, 3)
GOLDSTEIN, H. et al. A multilevel analysis of schoolexamination results. Oxford Review of Education, v.19, n. 4, p. 425-433, 1993.
GOLDSTEIN, H., HEALY, M. The graphical presentationof a collection of means. Journal of the RoyalStatistical Society, v. 581, n.1, p. 173-177, 1995.
GOLDSTEIN, H., THOMAS, S. Using examinationresults as indicators of school and collegeperformance. Journal of the Royal StatisticalSociety, v. 159, n.1, p. 149-163, 1996.
GOLDSTEIN, H., SAMMONS, P. The influence ofsecondary and junior schools on sixteen yearexamination performance : a cross-classifiedmultilevel analysis. School Effectiveness & SchoolImprovement, v. 8, n. 2, p. 219-230, 1997.
GRAY, J. et al. A multilevel analysis of schoolimprovement : changes in schools' performance overtime. School Effectiveness & School Improvement,v. 6, n. 2, p. 97-114, 1995.
GRAY, J., JESSON, D., SIME, N. Estimatingdifferences in the examination performance ofsecondary schools in six LEAs : a multilevelapproach to school effectiveness. Oxford Review ofEducation, v. 16, n. 2, p. 137-158, 1990.
GRAY, J., GOLDSTEIN, H., JESSON, D. Changes andimprovements in schools effectiveness : trends overfive years. Research Papers in Education, v. 11, n.1, p. 35-51, 1996.
HILL, N. Value added analysis : current practice in lo-cal educational authorities. Slough : NationalFoundation for Educational Research in England andWales, Education Management InformationExchange, 1994.
_______. Value added and school performance : recentLEA initiatives. Slough : National Foundation forEducational Research in England and Wales,Education Management Information Exchange,1997.
HILL, P., GOLDSTEIN, H. Multilevel modelling ofeducational data with cross-classification andmissing identification for units. Journal ofEducational and Behavioural Statistics. (1997, a serpublicado)
JENCKS, C. S. et al. Inequality : a reasssessment ofthe effect of family and schooling in America. NewYork : Basic Books, 1972.
JORESKOG, K.G., SORBOM, D. LISREL 7 : user'sreference guide. Chicago : SPSS, 1989.
MacBEATH, J., MORTIMORE, P. Improving schooleffectiveness : a scottish approach. [s.n.t]. Traba-lho apresentado na 20ª conferência anual da BritishEducational Research Association, Oxford, setem-bro, 1994.
McPHERSON, A. Measuring added value in schools.In: NATIONAL COMMISSION ON EDUCATION.Briefing n. 1. London, 1992.
MORTIMORE, P. et al. School matters : the junior years.Wells : Open Books, 1988.
MORTIMORE, P., SAMMONS, P., THOMAS, S. Schooleffectiveness and valued added measures.Assessment in Education: Principles, Policy &Practice, v. 1, n. 3, p. 315-332, 1994.
NATIONAL COMMISSION ON EDUCATION. Learningto succeed. London : Heinemann, 1993.
NUTTALL, D. Differences in examination performanceRS1277/90 : 25. London : Research and StatisticsBranch, ILEA, 1990.
NUTTALL, D. et al. Differential school effectiveness.International Journal of Educational Research, v. 13,n. 7, p. 769-776, 1989. Número especial :Developments in School Effectiveness Research,capítulo 6.
O'DONOGHUE, C. et al. 1996 DfEE study of valueadded for 16-18 year olds in England. London :HMSO, 1997.
PATERSON, L., GOLDSTEIN, H. New statisticalmethods of analysing social structures : anintroduction to multilevel models. British EducationalResearch Journal, v. 17, n. 4, p. 387-393, 1991.
RUTTER, M., et al. Fifteen thousand hours : secondaryschools and their effects on children. London : OpenBooks, 1979.
SAMMONS, P. et al. Assessing school effectiveness :developing measures to put school performance incontext. London : OFSTED, 1994.
88
AN
AIS
DO
SE
MIN
ÁR
IO IN
TE
RN
AC
ION
AL
DE
AVA
LIA
ÇÃ
O E
DU
CA
CIO
NA
L
SAMMONS, P. et al. Continuity of school effects : alongitudinal analysis of primary and secondaryschool effects on GCSE performance. SchoolEffectiveness & School Improvement, v. 6, n. 4, p.285-307, 1996.
SAMMONS, P., NUTTALL, D., CUTTANCE, P.Differential school effectiveness : results from areanalysis of the Inner London Education Authority'sJunior School Project Data. British EducationalResearch Journal, v.19, n.4, 381-405, 1993.
SAMMONS, P., THOMAS, S., MORTIMORE, P. Forginglinks : effective schools and effective departments.London : Paul Chapman, 1997.
SAMMONS, P., SMEES, R. Surrey LEA baselinescreening. London : Institute of Education, 1997.
SCANLON, N. Lancashire LEA Value Added Project.Preston : Lancashire LEA, 1996.
SCHEERENS, J. Effective schooling : research, theoryand practice. London : Cassell, 1992.
SCHOOL CURRICULUM AND ASSESSMENTAUTHORITY. Baseline assessment draft proposals.Londres : SCAA, 1996.
______. Value added performance indicators forschools. London : SCAA, 1994.
THOMAS, S. Considering primary school effectiveness: an analysis of 1992 Key Stage 1 results. TheCurriculum Journal, v. 6, n. 3, p. 279-295, 1995.
_______. Research proposal for DENI RSSI ValueAdded Project. London : Institute of Education, 1996.
THOMAS, S. et al. Stability and consistency insecondary schools' effects on students' GCSEoutcomes over 3 years. School Effectiveness &School Improvement, v. 8, n. 2, p. 169-197, 1997a.
THOMAS, S. et al. Differential secondary schooleffectiveness: examining the size, extent andconsistency of school and departmental effects on
GCSE outcomes for different groups of students overthree years. British Educational Research Journal,v. 23, n. 4, p. 451-469, 1997b.
THOMAS, S., NUTTALL, D., GOLDSTEIN, H. TheGuardian survey (of A-level examination results). TheGuardian, 20 Oct. 1992.
_________. The Guardian survey (of A-level examinationresults). The Guardian, 30 Nov. 1993.
________. Report on analysis of 1991 examinationresults. London : Association of MetropolitanAuthorities, 1993.
THOMAS, S., PAN, H., GOLDSTEIN, H. Report onanalysis of 1992 examination results. London :Association of Metropolitan Authorities, 1993.
THOMAS, S., SAMMONS, P., MORTIMORE, P.Determining what "adds value" to studentachievement. Educational Leadership International,v. 52, n. 6, p. 19-22, 1995.
THOMAS, S., MORTIMORE, P. Comparison of valueadded models for secondary school effectiveness.Research Papers in Education, v. 11, n. 1, p. 5-33,1996.
THOMAS, S., SMEES, R. Dimensions of schooleffectiveness. [s.n.t.]. Trabalho apresentado duran-te o 10th International Congress for SchoolEffectiveness and Improvement, 1997, Memphis,Tennessee.
THOMAS, S., SMEES, R., McCALL, J. Room forimprovement : an analysis of ISEP primary baselinemeasures. Trabalho apresentado no simpósio CriticalIssues in School Effectiveness Research, durante o10th International Congress for School Effectivenessand Improvement, 1997, Memphis, Tennessee.
TYMMS, P., HENDERSON, B. The Value AddedNational Project technical report : primary. London :School Curriculum and Assessment Authority, 1995.
89
AN
AIS
DO
SE
MIN
ÁR
IO IN
TE
RN
AC
ION
AL
DE
AVA
LIA
ÇÃ
O E
DU
CA
CIO
NA
L
A VALIAÇÃO PORDIÁLOGOS: UMA CONTRIBUIÇÃO
POSSÍVEL PARA OAPRIMORAMENTO ESCOLAR
David Nevo*
Extensas reformas ou inovações educacionais,até mesmo aquelas que defendem abordagens de bai-xo para cima, foram, em geral, iniciadas nos níveis es-tadual ou nacional, como iniciativa de partidos políti-cos, órgãos nacionais de educação, pesquisadores ouestudiosos do mundo acadêmico. Entretanto, os re-sultados dessas iniciativas ainda não foram vistos nonível da escola. Observando tentativas de inovação edu-cacional no mundo todo, parece claro que, se algumacoisa significativa de todo acontecer, não será no Mi-nistério de Educação, nem na universidade: será naescola, e na sala de aula. Pode ser que as reformassejam concebidas por aqueles responsáveis pela cria-ção da política, e planejadas nos Ministérios de Edu-cação, por especialistas e por administradores, maselas têm de ser implementadas nas escolas por pro-fessores e por diretores de escolas. Mudar a educa-ção é mudar a escola, e a avaliação utilizada para oaprimoramento de um sistema educacional não pode-rá ter eficácia sem que seja transportada, em sua ca-pacidade e potencial plenos, às instalações da es-cola. Se a intenção for utilizar a avaliação para me-lhorar a educação, ela terá de ser trabalhada no ní-vel da escola.
A avaliação sempre esteve dentro da escola,em especial dentro de suas salas de aula, mas numacapacidade extremamente limitada. A avaliação já es-tava lá até mesmo antes que os administradores deeducação começassem a empregá-la para a tomadade decisões, e para o controle ou a fiscalização desuas operações, no âmbito do sistema educacional.Entretanto, a avaliação na escola era, em geral, limita-da à avaliação dos alunos, sendo executada atravésde testes, notas e boletins de desempenho. A noçãode uma avaliação sistemática da própria instrução edos professores, a avaliação de programas e projetos,ou da escola como um todo, só chegou às instalaçõesda escola muito recentemente, e ainda está longe detornar-se prática comum, inclusive nos sistemas maisavançados de educação. Até mesmo aquelas escolasque tenham adotado abordagens inovadoras à avalia-
ção de alunos, como avaliação de desempenho,portfólios ou exposições, não necessariamente esten-dem a sua percepção de avaliação para além do âmbi-to da avaliação de alunos.
Por outro lado, não é apenas a escola que temuma percepção limitada da avaliação. Durante muitosanos, essa era também a percepção geral da avalia-ção na educação (Nevo, 1983, 1995). A avaliação edu-cacional era em geral equacionada à avaliação de alu-nos, e as palavras "avaliação" e "medição" eram emgrande parte percebidas como sinônimas. Até mea-dos da década de 60, a maior parte dos livros comtítulos como Avaliação Educacional, Medição e Avali-ação na Educação, etc., discutia principalmente (namaioria dos casos, somente) a avaliação de alunos,preocupando-se com a criação, a confiabilidade e avalidade de testes, a pontuação e a comparação devantagens e de problemas dos vários tipos de aspec-tos desses testes. A mudança surgiu no final da déca-da de 60, e principalmente nos Estados Unidos, quan-do foram sugeridos os conceitos de avaliação curriculare avaliação programática, no contexto de materiais re-cém-desenvolvidos para currículos e de projetos emgrande escala dirigidos a alunos em situações de des-vantagem social (Scriven, 1967; Stake, 1967;Stufflebeam et al., 1971).
Foram desenvolvidas percepções novas deavaliação, definindo a própria avaliação de uma formaque pudesse ser estabelecida a distinção entre o queé "avaliação" e o que é "medição", e estendendo oâmbito da avaliação para além da avaliação de alunos,com a introdução da avaliação de programas e de cur-rículos, seguida posteriormente pela avaliação de pro-fessores (Millman, 1981; Millman, Darling-Hammond,1990). Foram sugeridas funções novas, que deveriamser servidas pela avaliação, como a tomada de deci-sões e o aprimoramento, além da classificação e docredenciamento. A própria metodologia de avaliaçãofoi desenvolvida, combinando-se métodos de pesquisaquantitativos e qualitativos, e suplementando-os comoutros métodos, como procedimentos judiciais (Wolf,
*Davi Nevo, doutor em Avaliação Educacional, é professor da School of Education, na Tel-Aviv University. Autor de extensa bibliografia, foi editor do periódicoStudies in Educational Evaluation, de 1984 a 1994, e também colaborador da International Encyclopedia of Educational Technology.
90
AN
AIS
DO
SE
MIN
ÁR
IO IN
TE
RN
AC
ION
AL
DE
AVA
LIA
ÇÃ
O E
DU
CA
CIO
NA
L
1979) e crítica de arte (Eisner, 1979). A avaliação daeducação começou também a estabelecer a sua iden-tidade profissional, através do desenvolvimento de pro-gramas universitários para o treinamento de avaliado-res profissionais, nos níveis de mestrado e doutorado,e do estabelecimento de padrões acordados para ocontrole da qualidade da avaliação (Joint Committee,1981, 1988, 1994).
Entretanto, tudo isso ocorreu – no espírito ena prática – bem longe do prédio da escola. Os espe-cialistas em avaliação mostravam-se preocupados comproblemas conceituais relacionados à avaliação de pro-gramas e de projetos, e não com aspectos do interes-se de professores e de diretores de escolas, e exerci-am as suas profissões através de projetos de largaescala, nos níveis nacional e estadual. Nos EstadosUnidos da América – o berço da moderna avaliação e opaís que dispõe da maior indústria de testes do mundo– a avaliação forneceu as bases conceituais e as solu-ções metodológicas para o movimento deresponsabilização. Apoiou-se a idéia de propor neces-sidades de avaliação como forma de controlar as es-colas, e ajudou-se a criar a ilusão de que a instruçãopode ser determinada através de testes. Os avaliado-res em educação vêm-se mostrando mais interessa-dos no trabalho com os administradores e no atendi-mento das necessidades de informação dos respon-sáveis pelas políticas, do que na ajuda aos professo-res a aprimorar os métodos de avaliação que vêm sen-do usados há décadas, ou no fornecimento a pais e aalunos do tipo de informação de que eles precisam,como "clientes da avaliação".
Felizmente, algumas coisas começaram a sermodificadas na última década. Vários países estão noprocesso de reforma de seus sistemas de educação,de maneira que visam dar às escolas locais mais po-deres, sem necessariamente eliminar padrões e requi-sitos nacionais. Podem ser encontrados exemplos naGrã-Bretanha, na Nova Zelândia, na Espanha e na No-ruega. Até mesmo nos Estados Unidos, onde o distri-to escolar continua sendo o coração do sistema edu-cacional, ressurgiu o interesse no nível da escola. Con-ceitos do tipo gestão baseada na escola e escolasaceleradas estão atraindo mais atenção. O programaAmerica 2000, do presidente Bush, e, subseqüente-mente, do presidente Clinton, atribui grande importân-cia ao aumento de poder das escolas e das comunida-des locais, estabelecendo ao mesmo tempo padrõesnacionais que devem ser atingidos por todas as esco-las. Parece que chegou a hora de levar para os prédiosdas próprias escolas alguns dos recursos conceituais
e metodológicos que foram acumulados pelos avalia-dores de programas ao longo dos últimos 30 anos, ede utilizá-los para o benefício dos alunos, dos profes-sores e dos diretores de escolas.
Usar a avaliação no nível da escola implica umaabordagem baseada na escola, aproveitando as con-cepções atuais de avaliação educacional, e determi-nando orientações práticas para essa aplicação. As-sim sendo, na parte seguinte deste trabalho, apresen-tarei um número de princípios gerais de avaliação, apli-cados na minha abordagem da avaliação escolar. E,com base no meu trabalho com muitas escolas, nodesenvolvimento das suas capacidades de avaliação,demonstrarei em seguida como essa abordagem podeser implementada de modo realista, no nível da esco-la. Este trabalho será concluído com a sugestão deque um discurso de mudança poderá ser necessáriona avaliação educacional, para fazê-la passar de umdiscurso de descrição e de julgamento para um discur-so de diálogo.
P rincípios de avaliação para a avaliaçãoescolar
Com base no nosso entendimento atual doconceito de avaliação educacional, e de sua aplicaçãonas várias escolas no mundo todo, gostaríamos deapresentar aqui os seguintes princípios de avaliação,na nossa abordagem à avaliação baseada na escola.1
1. Os alunos e suas realizações não devem ser osúnicos objetos da avaliação escolar.
Como já mencionamos, existe uma tendênciaa equacionar a avaliação escolar aos testes e a avalia-ções de alunos. O que nós sugerimos é que qualquerentidade dentro da escola é um objeto potencial deavaliação, contanto que exista alguma necessidadejustificada de descrever a sua natureza, e/ou de avali-ar o seu mérito. Objetos típicos de avaliação escolarpoderão ser programas, projetos, materiais de instru-ção, professores e pessoal da escola, alunos e a pró-pria escola como um todo.
2. Os resultados ou impactos não devem ser o únicofator a ser examinado durante a avaliação de um pro-grama, projeto, ou de qualquer outro objeto de avalia-ção dentro da escola.
Isso não quer dizer que os resultados e osimpactos não sejam importantes, mas uma descrição
1 Para uma apresentação mais detalhada dessa abordagem e de seus princípios subjacentes, ver Nevo (1995).
91
AN
AIS
DO
SE
MIN
ÁR
IO IN
TE
RN
AC
ION
AL
DE
AVA
LIA
ÇÃ
O E
DU
CA
CIO
NA
L
inteligente de um objeto educacional e um julgamentojusto de seu mérito não podem ficar limitados ao âmbi-to estreito de medidas de resultados, como, por exem-plo, pontuações em testes. Para representar aabrangência completa de um objeto educacional, aavaliação precisa ser dirigida a, pelo menos, quatrotipos de informações, com relação à qualidade do ob-jeto. Esses quatro tipos de informações estão relacio-nados às metas do objeto, às suas estratégias e aosseus planos, ao seu processo de implementação e aosseus resultados e impactos.
3. A avaliação escolar tem de atender tanto à funçãoformativa da avaliação quanto à somativa, proporcio-nando informações para o planejamento e para o apri-moramento, mas também para a seleção, certificaçãoe responsabilização.
O conceito de "avaliação formativa" enfatiza aimportância da avaliação, como sendo construtiva eútil, ainda que em determinados casos tenha sido usa-do como desculpa não justificada para fugir das exi-gências de responsabilidade, sugerindo que a avalia-ção formativa é uma alternativa para a avaliaçãosomativa. Não há dúvidas de que a avaliação deve serconstrutiva para a pedagogia e para a administraçãodentro da escola, mas deve também auxiliar a escolana demonstração do seu mérito para as autoridadesda área de educação, para os pais, e para o públicoem geral. A tendência de evitar a avaliação somativa éespecialmente perturbadora quando ocorre em esco-las inovadoras ou experimentais, que utilizam a avalia-ção formativa para melhorar a sua operação, mas queparecem esquecer que deveriam ter também a avalia-ção somativa, para demonstrar o seu mérito como al-ternativa viável às escolas convencionais.
4. As necessidades internas de avaliação de uma es-cola podem ser melhor atendidas através de uma equi-pe de professores e de outros educadores, para quema avaliação é apenas parte da definição de suas ocu-pações, apoiada por treinamento adequado e assis-tência técnica externa.
A equipe de avaliação escolar é composta porprofessores e outros educadores (por exemplo,orientadores escolares), cujo treinamento profissionalnão é na área de avaliação, e para quem a avaliaçãorepresenta apenas uma pequena parte da descriçãode suas funções. O ponto forte de tal equipe de avalia-ção reside na sua formação pedagógica e educacio-nal, sua familiaridade com os contextos social e edu-cacional da escola, e no fato de que não representaqualquer tipo de ameaça ao corpo docente e à admi-nistração da escola. O seu ponto fraco mais importan-te é a sua falta de habilidades e experiência de avalia-ção, ainda que isso possa ser corrigido por treinamen-
to apropriado e por assistência técnica. Claramente, aminha preferência é por uma equipe de professores como apoio de assistência técnica de um avaliador em tem-po integral ou parcial, cuja única responsabilidade sejaa realização da avaliação interna da escola.
5. A avaliação baseada na escola deve ser fundamen-tada em uma combinação de avaliações internas eexternas, mas a avaliação interna é uma precondiçãopara a avaliação externa que tenha utilidade.
Na minha concepção, a avaliação baseada naescola não é um sinônimo da avaliação interna nemum antônimo da avaliação externa, mas sim uma com-binação de ambas. As várias funções da avaliação den-tro da escola podem e devem ser atendidas por avalia-ções tanto internas quanto externas. Entretanto, a exis-tência da avaliação interna dentro da escola é um pré-requisito para qualquer tipo de emprego construtivo daavaliação externa. Obviamente, os avaliadores internosexecutam melhor a função de avaliação formativa, e osavaliadores externos, a de avaliação somativa. Mas umaescola que não disponha de um mecanismo interno deauto-avaliação terá dificuldades para desenvolver atitu-des positivas em relação à avaliação, e lhe faltará aautoconfiança necessária para um diálogo construtivoentre a escola e a avaliação externa. Nesses casos, aavaliação se transforma em fonte de acusações e ati-tudes defensivas, em vez de servir como base para odiálogo entre os responsáveis internos e externos pelatomada de decisões.
O processo de desenvolvimento de um
sistema de avaliação baseado na escola
É necessário que existam várias condições,para que seja possível um contexto organizacional noqual a avaliação baseada na escola possa florescer ecrescer. Essas condições deverão ser desenvolvidasde forma gradual e de uma maneira coordenada, com-binando os recursos disponíveis na escola a recursosadicionais, a serem levantados fora do ambiente esco-lar. A avaliação escolar não é um processo que deixede envolver custos, nem é uma tarefa que não impliqueesforços, mas é viável, e a nossa experiência no traba-lho com escolas em vários países, no desenvolvimentoe na manutenção da avaliação escolar, indica que podeser feito, se houver vontade de que ocorra.
São necessários três elementos para se orga-nizar uma avaliação que tenha a escola em mente:consciência, treinamento e recursos organizacionais.O desenvolvimento de uma avaliação baseada na es-cola é tipicamente uma atividade de baixo para cima,como tantas outras atividades centradas na escola (por
92
AN
AIS
DO
SE
MIN
ÁR
IO IN
TE
RN
AC
ION
AL
DE
AVA
LIA
ÇÃ
O E
DU
CA
CIO
NA
L
exemplo, gestão), e seria interessante se fosse inicia-da lá mesmo. Na verdade, é isso o que ocorre comalgumas escolas, e o mesmo provavelmente poderiaacontecer com outras, principalmente no caso de sis-temas descentralizados de educação. Entretanto,essa, infelizmente, poderá ser uma expectativa nãorealista em muitos sistemas de educação, principal-mente aqueles que tenham longas tradições de cen-tralização e burocratização. Nesses casos, a escolaterá de ser estimulada a iniciar o desenvolvimento daavaliação baseada na escola, e terá de receber os re-cursos que forem necessários para mantê-la, possivel-mente dentro da tendência mais geral de atribuição demaiores poderes à própria escola.
O processo de desenvolvimento de um con-texto organizacional que possa levar às condiçõesmencionadas acima, levando ao desenvolvimento deum sistema de avaliação baseado na escola, consistede quatro etapas principais: 1) treinamento básico, 2)criação de equipes de avaliação escolar, 3)institucionalização da avaliação, e 4) criação de umdiálogo entre a avaliação interna e externa.
Fase I: Treinamento básico
O processo de desenvolvimento de uma avali-ação baseada na escola inicia-se com um workshopregional como parte do próprio serviço, oferecido a pro-fessores e diretores de escolas interessadas. Oworkshop deve oferecer de 50 a 80 horas de treina-mento básico, nas áreas de avaliação de programas,criação de testes, procedimentos para obtenção dedados, e análise desses dados. Pode ser realizadoem bases semanais ou bissemanais, ou sob a formade um seminário de uma semana, durante o períodode férias, com a suplementação de várias reuniõesmensais.
A idéia do workshop envolve dois objetivos prin-cipais. O primeiro é ajudar as escolas a conheceremmelhor a natureza da avaliação baseada na escola, deforma que possam tomar uma decisão informada comrespeito ao desenvolvimento do processo de avaliaçãonas suas escolas. Para este fim, é importante que di-retores, ou ao menos os seus assistentes, participemdo workshop. Além disso, é importante que, durante oworkshop, os participantes façam apresentações for-mais ou informais nas suas escolas, compartilhandoquestões que tenham sido discutidas durante oworkshop, para expandir os círculos daqueles que co-nhecem a idéia da avaliação baseada na escola, como,por exemplo, aqueles que deverão participar no pro-cesso de tomada de decisões sobre a introdução daavaliação nas suas escolas.
O segundo objetivo do workshop é o ensino da"linguagem" da avaliação, de modo que aqueles queirão desempenhar um papel ativo na avaliação possamcompreender as suas vantagens potenciais, para as
necessidades específicas de suas escolas. Não de-vem ser criadas expectativas no sentido de que, du-rante o workshop, diretores e professores possam"aprender a como fazer avaliações", conseguindo vol-tar para as suas escolas e começar a trabalhar, semassistência posterior. É extremamente difícil aprendera realizar uma avaliação, sem realmente ter a experi-ência de fazê-lo. Portanto, eles deverão aprender adesenvolver a avaliação apenas na fase seguinte, quandoefetivamente realizarem a avaliação nas suas escolas,com a assistência de seus instrutores externos de ava-liação.
Fase II: Criação de uma equipe de avaliação da escola
As escolas que resolverem prosseguir com odesenvolvimento da sua avaliação deverão criar equi-pes internas de avaliação, que consistam de três ouquatro professores, ao menos alguns dos quais tenhamparticipado dos workshops de treinamento básico. Adecisão de criar uma equipe de avaliação interna é emgeral tomada mais para o final da primeira fase.
A equipe consistirá de professores e de ou-tros educadores (por exemplo, orientadores escolares),que sejam liberados em parte de suas atividades, parao trabalho na avaliação. A regra geral é que os mem-bros da equipe deverão ser liberados em torno de qua-tro a seis horas por semana, e o coordenador da equi-pe, em torno de seis a oito horas por semana. Os pro-fessores devem trabalhar na equipe durante um perío-do de dois a três anos, sendo determinado um siste-ma de rodízio ao longo dos anos, de modo que um oudois membros sejam substituídos a cada ano. Com opassar do tempo, todos os professores deverão ter aoportunidade de participar da equipe de avaliação daescola.
Criada a equipe de avaliação, é preciso esco-lher o primeiro objeto da avaliação, que poderá ser umprojeto da escola, um programa de instrução, ou algu-ma área de atividade dentro da escola, como desenvol-vimento de pessoal, ou envolvimento de pais. Este seráo objeto sobre o qual a escola deverá praticar a suacapacidade de avaliação interna, e a equipe de avalia-ção aprenderá efetivamente como executar essa ativi-dade. Um instrutor externo de avaliação trabalhará emcooperação estreita com a equipe da escola, nos seusproblemas específicos de organizar a avaliação, deter-minar ou desenvolver os instrumentos adequados paraesse fim, obter dados e analisá-los, e elaborar relatóri-os sobre as conclusões da avaliação.
Fase III: Institucionalização da avaliação
Depois que a escola tiver passado por váriasavaliações de vários objetos escolares, realizadas pelasua equipe interna de avaliação, e após ter sido consi-derada a utilidade dessas avaliações, bem como a sua
93
AN
AIS
DO
SE
MIN
ÁR
IO IN
TE
RN
AC
ION
AL
DE
AVA
LIA
ÇÃ
O E
DU
CA
CIO
NA
L
importância para as atividades administrativas e peda-gógicas da escola, chega o momento deinstitucionalizar a avaliação escolar. A equipe internade avaliação já terá se tornado um componente perma-nente da estrutura da escola, recebendo recursos deforma contínua, depois da fase experimental. É preci-so tomar providências para oferecer à equipe assistên-cia técnica, que normalmente será muito menos inten-siva do que a assistência dada na fase anterior, efornecida de acordo com as solicitações da própriaequipe. A equipe prosseguirá com o processo de ava-liação de um ou dois projetos ou atividades escolarestodos os anos, de acordo com as necessidades daescola. Os resultados de todas as avaliações serãoacumulados e organizados em uma base de dados daescola, juntamente com outras informações fornecidasà escola, como pontuação em testes, resultados depesquisas, ou resultados de avaliações externas quesejam relevantes para a escola. A base de dados daescola deverá ser organizada de maneira que possaser de utilidade para professores e administradoresescolares durante o seu trabalho quotidiano, servindoao mesmo tempo de base para o desenvolvimento deum portfólio escolar, que inclua dados sobre a qualida-de geral da própria escola. É este portfólio que irá auxi-liar a escola a demonstrar a sua qualidade quando fornecessário, servindo como base de diálogo com a ava-liação externa.
Fase IV: Estabelecimento do diálogo com a avaliaçãoexterna
Durante a última fase de desenvolvimento, quepoderá ser implementada em paralelo com a terceirafase, a escola deverá estar pronta para a avaliaçãoexterna, a ser realizada por um órgão nacional ou regi-onal de educação. A avaliação externa deverá ser obri-gatória em todas as escolas, quer tenham ou não de-cidido criar uma equipe de avaliação interna. Por outrolado, as escolas que decidirem desenvolver equipesinternas de avaliação deverão receber um prazo de umou dois anos, para o início da avaliação externa, deforma a permitir que a capacidade de avaliação internada escola se torne operacional.
Entretanto, as escolas não devem simples-mente aprender a como encarar as avaliações exter-nas obrigatórias: devem também encomendar avalia-ções externas, realizadas por avaliadores profissionais,grupos de pais, ou equipes de professores de outrasescolas. As avaliações externas iniciadas pela própriaescola poderão focalizar a avaliação de objetos de in-teresse especial para a escola, ou a própria escolacomo um todo. Isso estenderia o âmbito do diálogoentre a avaliação interna e externa, que é, na verdade,o cerne da nossa abordagem da avaliação baseada naescola.
M udando o discurso da avaliação
O discurso tradicional da avaliação é coercivopor natureza, devido ao poder atribuído ao avaliador,como portador do conhecimento, ou da informação, ecomo juiz da qualidade. Esse tipo de discurso cria umarelação entre o avaliador e o avaliado, ou cliente daavaliação, que poderia ser semelhante ao que Freire(1970) costuma chamar de relação "bancária". De acor-do com aquele grande educador brasileiro, a relaçãobancária é uma atividade assimétrica de duas partes,que inclui um "depositante" e um "depositário". Aplica-do à educação, o aluno é o depositário, e o professor odepositante. O depositante possui todo o conhecimentoe a sabedoria; o depositário é vazio e ignorante. É fun-ção do professor (depositante) depositar o seu conhe-cimento e a sua sabedoria na mente do aluno (deposi-tário). A função do aluno é absorver e digerir todos osdepósitos. Essa abordagem, de acordo com Freire, éa fonte da opressão na educação. Para interromperessa opressão, a educação tem de ser baseada emum diálogo, e não em um processo de atividadebancária.
Um processo semelhante ao processo bancá-rio de Freire pode ser observado na avaliação. Quandoo avaliador fornece informações ao responsável pelatomada de decisões ou ao cliente sobre os objetosque avaliou, ele é o fornecedor, o depositante e o clien-te, o depositário. O avaliador tem uma variedade de"boas respostas" para as perguntas que ele esperaque sejam relevantes para os seus clientes, e que,portanto, serão úteis para eles. A relação entre o ava-liador e a sua platéia é até mesmo mais assimétricaquando o avaliador não apenas informa ao cliente oque está ocorrendo, mas também qual é a situação,ou o que será melhor de uma forma geral, ou para ele,especificamente.
Assim como os alunos, que não aprendemgrande coisa através de um processo freiriano de "ati-vidade bancária", em que os professores simplesmen-te tentam depositar conhecimento nas suas cabeças,os educadores não irão aprender muito dos avaliado-res cujo objetivo seja depositar em suas mentes des-crições prontas da realidade e julgamentos quanto aoseu valor. E, assim como os alunos, que não ficammotivados para usar o que aprendem através dessaforma de ensinamento, os educadores não se motivama usar a avaliação que seja apresentada a eles atravésde um discurso coercivo de uma só via, da descriçãoe/ou do julgamento. Destarte, o diálogo na avaliação énecessário por dois motivos. Em primeiro lugar, parapossibilitar um processo melhor de aprendizagem paraentender a realidade, e, em segundo lugar, para au-mentar a motivação para usar o que foi aprendido. O
94
AN
AIS
DO
SE
MIN
ÁR
IO IN
TE
RN
AC
ION
AL
DE
AVA
LIA
ÇÃ
O E
DU
CA
CIO
NA
L
diálogo pode tornar a avaliação mais criteriosa,incrementando a sua utilização.
A educação é um empreendimento extrema-mente complexo, e a avaliação é uma profissão extre-mamente jovem. Para entenderem as complexidadesda educação com os meios limitados de avaliação, osavaliadores em educação precisam ser mais modes-tos nas promessas que fazem, com respeito à suahabilidade de explicar melhor os "verdadeiros proble-mas" da educação, e da sua capacidade de determi-nar a qualidade da sua prática. Além disso, precisamser mais flexíveis na sua prontidão para colaborar comaqueles que estiverem sendo submetidos à avaliaçãoe com outros avaliadores, em um esforço conjunto paracompreender os aspectos importantes da prática edu-cacional e tentar melhorá-la. A avaliação deve ser abase para diálogo, e não a origem de descriçõesassertivas unilaterais e de julgamentos autoritários, eos avaliadores devem desejar tornar-se participantesconstrutivos nos diálogos educacionais, em vez degeradores de informação inquestionável ou árbitrosautoritários.
O diálogo no processo de avaliação é tambémnecessário para incrementar as possibilidades de quevenha a ser usada algum dia. A pesquisa no empregoda avaliação já demonstrou que ela tem maior probabi-lidade de ser usada por seus clientes nas ocasiõesem que eles sejam envolvidos na sua própria iniciação,e quando são mantidos informados sobre o seu pro-gresso, através da interação com os avaliadores du-rante todo o transcurso do processo de avaliação. Umdiálogo contínuo entre os avaliadores e as suas platéi-as poderá ser extremamente construtivo no desenvol-vimento de atitudes positivas em relação à avaliação,originando maior receptividade para as suas conclusões.
Os indivíduos submetidos ao processo de ava-liação sentir-se-ão menos ameaçados pelas conclu-sões da avaliação externa, e por isso mesmo adotarãoatitudes menos defensivas em relação a elas, se dis-puserem das suas próprias conclusões, que possamrespaldar, complementar, contradizer ou colocar emdisputa as conclusões externas. Quando alguém quevai ser avaliado não dispuser de nada que é seu quan-do lhe forem apresentadas conclusões negativas deuma avaliação externa, tudo o que poderá fazer serádefender-se, tratando de desacreditar as conclusõesde avaliação, ou oferecendo desculpas para o seu pró-prio fracasso. As duas reações – descrédito da avalia-ção ou defesa do fracasso – não são comportamentosmuito construtivos, que possam levar ao aprimoramen-to. Um diálogo, que incorpore perspectivas distintas,baseado em vários conjuntos de conclusões, poderáser uma maneira mais útil de entender os problemaseducacionais, e de utilizar a avaliação para lidar comeles. Para fazer da avaliação um instrumento maiscriterioso e mais útil para a escola, é preciso progredir-mos para um discurso mais dialogal de avaliação, em
lugar de um discurso descritivo ou cheio de julgamen-tos. Alguns princípios específicos devem ser seguidos,para criar bases sólidas para o diálogo. Isso modifica-ria a perspectiva da avaliação, e deveria ser expressoem várias das atividades de avaliação escolar, como,por exemplo, a avaliação de alunos, avaliação de pro-fessores, de programas e a avaliação da escola emsua totalidade.
Em primeiro lugar, a relação entre o avaliadore as suas platéias tem de ser uma relação de duasmãos. Deve ser uma relação em que haja um fluxo deinformações em duas direções, e um processo duplode aprendizagem mútua. As duas partes envolvidas nodiálogo não necessariamente serão iguais, mas existesimetria na suposição de que ambas têm alguma coi-sa a aprender da outra, e alguma coisa a ensinar umaà outra. É um processo em que, no começo, ninguémsabe tudo, mas em que as duas partes sabem algumacoisa, e em que, à medida que se engajam no diálogo,vêm a saber mais e mais.
Com respeito à avaliação de alunos, a suposi-ção seria a de que não é apenas o professor que co-nhece o valor de um aluno: o próprio aluno tem tam-bém algo a dizer sobre a qualidade do seu trabalho, e,para que seja determinada qual é realmente a sua con-dição, essas duas fontes de informação devem sercombinadas. Para avaliar o aluno, professor e alunotêm de "comparar anotações" e intercambiar informa-ções e interpretações mútuas da informação disponí-vel. Um exemplo desse processo de duas mãos podeser visto em alguns dos novos métodos alternativos deavaliação, como o método do portfólio e da exposição,em que a contribuição do aluno, assim como as suasreflexões, são componentes importantes da sua avali-ação. Ainda, o processo de duas vias pode ser obser-vado também quando, em paralelo à avaliação do alu-no, a escola trata também de obter classificações domesmo aluno para a avaliação de professores. Issoreflete a suposição de que o aluno tem algo a desco-brir sobre a sua aprendizagem a partir do seu profes-sor, e que o professor pode ficar sabendo alguma coi-sa sobre a sua atividade de ensino a partir dos seusalunos.
Ao combinarmos as avaliações externa e in-terna para avaliar a escola como um todo, com o obje-tivo de responsabilização ou de aprimoramento esco-lar, supomos que não exista uma única forma objetivade avaliar a qualidade da escola. A chamada verdadesobre a qualidade da escola não é prerrogativa de umavaliador externo, nem da própria escola, que atestapela sua qualidade. Mesmo que exista uma verdadeúnica sobre a escola, estará em algum nível intermedi-ário, e portanto somente poderá ser revelada atravésde um diálogo entre as duas partes, as duas recolhen-do dados e interpretando-os.
Em segundo lugar, é indispensável que hajarespeito e confiança mútuos entre as partes. As duas
95
AN
AIS
DO
SE
MIN
ÁR
IO IN
TE
RN
AC
ION
AL
DE
AVA
LIA
ÇÃ
O E
DU
CA
CIO
NA
L
têm de acreditar que haja um interesse genuíno de cadauma delas em compreender o que está em jogo, e quepode representar contribuição significativa para tal en-tendimento. Um sistema educacional que adota umaconcepção burocrática de ensino, definindo as funçõesde seus professores como implementadores de umcurrículo prescrito por administradores e especialistas,não confia que os professores possam entender o en-sino, nem confia que eles possam ser qualificados paraavaliar a sua qualidade. Tal sistema provavelmente bus-cará um programa de responsabilização baseado emavaliação externa, ou empregará supervisores nacio-nais, cujo trabalho seja avaliar e supervisionar as ativi-dades dos professores. Um sistema de educação comuma concepção mais profissional do ensino esperaráque os seus professores planejem, desenhem e avali-em o seu trabalho, tratando de alcançar metasidentificadas e de atender a padrões definidos de ex-celência. Um sistema assim perceberá os professorescomo profissionais, que estão interessados em com-preender os problemas da sua profissão, em manteros seus padrões e em garantir a sua qualidade. Essesprofessores são percebidos como parceiros confiáveispara a avaliação de professores, e como profissionaisrespeitáveis, cuja avaliação será melhor servida pelosportfólios dos professores do que pelas pontuaçõespadronizadas dos testes de seus alunos. Em um sis-tema de educação como esse, a avaliação de profes-sores poderá basear-se num diálogo entre professoresde avaliação externa e de auto-avaliação interna.
Em terceiro lugar, é preciso que os avaliado-res sejam modestos, reconhecendo as suas limitaçõesdentro do domínio do que há de mais avançado, emtermos de avaliação educacional. Alguns avaliadorestendem a fazer promessas sem garantias, a partir dasdescrições objetivas e avaliações imparciais de seusclientes, que esperam obter através de seus podero-sos instrumentos e metodologia de avaliação. Essaspromessas extrapolam em muito as capacidades dosatuais métodos de avaliação, e são, em geral, expres-são de "orgulho profissional" exagerado, ficando no li-miar da arrogância e das afirmativas enganosas. Àsvezes, essa arrogância é racionalizada por uma ideo-logia de isolamento, que leva o avaliador a preservar asua objetividade afastando-se tanto quanto possível deseus clientes e dos indivíduos a serem avaliados, paraevitar parcialidades e envolvimento.
Em quarto lugar, a avaliação tem de ser perce-bida como um processo, e não como uma atividadeisolada. A menos que a intenção seja trabalhar comaspectos triviais, a avaliação é um processo complexode tratar de compreender questões também comple-xas. Às vezes, usam-se figuras para explicar coisas.Outras vezes, criam-se descrições e representaçõesextensas, para chegar ao quadro real. É um processoque envolve a apresentação de conclusões, a sua aná-lise, a sua discussão com grupos pertinentes, compa-
ração com outras conclusões, obtenção de informa-ções adicionais, produção de mais conclusões,enfrentamento de complexidades agregadas, e assimpor diante... Se for assim que a avaliação é percebida,então o diálogo será uma parte integrante do seu pro-cesso, quando são confrontadas várias perspectivas evárias conclusões, na tentativa sempre presente deexpandir o entendimento. Talvez seja este o verdadeiroprocesso. Mas, se a intenção é o trabalho com proble-mas simples, que possam ser tratados através de ava-liações simples e isoladas, por que nos importaríamoscom o diálogo? Por que nos importaríamos com qual-quer coisa?
Em quinto lugar, a avaliação deve ser justa, etem de ser justa para as duas partes envolvidas nodiálogo. A avaliação precisa ser justa de uma varieda-de de maneiras. Em primeiro lugar, tem de serconduzida de acordo com preceitos legais, éticos, ecom a devida atenção ao bem-estar daqueles que esti-verem associados à avaliação, ou que possam ser afe-tados pelas suas conseqüências. Não se pode espe-rar que os professores que sentirem que estão sendoavaliados pelos diretores ou pelos pais de uma formainjusta participem em um diálogo sincero com respeitoa essa avaliação.
Para que a avaliação possa ser justa, os doislados precisam determinar com clareza o propósito daavaliação e seus benefícios esperados, qual deverá sero seu preço, e quem arcará com os custos, e não ape-nas aqui os custos financeiros. Não seria realista es-perar que uma escola entre em um diálogo com umaavaliação externa, ainda que voluntariamente escolhi-da pela própria escola, se a uma determinada alturachegar à conclusão de que está sendo explorada, pormotivos que não atendem às necessidades diretas. Issopode ocorrer quando a escola acreditar que uma certaavaliação serve principalmente aos interesses da pes-quisa do avaliador, e às necessidades de informaçõesdo sistema de educação, em vez de ser útil à escola.
Em sexto lugar, é preciso que a avaliação sejarelevante às questões que estiverem em jogo. Um diá-logo, qualquer diálogo, é uma tarefa que exige muito,que necessita de abertura, autoconfiança e muita ener-gia da parte dos participantes. A tendência das pesso-as é evitar o diálogo, se ele não estiver relacionado àsquestões que forem efetivamente importantes para elas.Se a avaliação tratar principalmente de aspectos trivi-ais, ou se estiver preocupada com sofisticaçãometodológica, e não com aspectos de substância, opessoal da escola perderá o interesse na própria avali-ação, e evitará participar de qualquer diálogo. A ten-dência de alguns avaliadores, de confundir os seus cli-entes com sofisticação metodológica, quando não con-seguem encantá-los com as suas conclusões, é umatentativa ingênua de tratar de dar à avaliação uma boaaparência, quando realmente não a tem. Esses esfor-ços conseguirão apenas aumentar a alienação do pes-
96
AN
AIS
DO
SE
MIN
ÁR
IO IN
TE
RN
AC
ION
AL
DE
AVA
LIA
ÇÃ
O E
DU
CA
CIO
NA
L
soal da escola em face da avaliação, além de prejudi-car a sua reputação.
Em sétimo lugar, as duas partes deverão serresponsáveis pelas conseqüências da avaliação. Se aintenção for desenvolver um diálogo entre as avaliaçõesexterna e interna, é indispensável que exista um senti-mento de responsabilidade conjunta pelas conseqüên-cias. Se a avaliação externa de uma escola forconduzida por uma organização nacional ou regional,e se quisermos instalar um diálogo entre a escola eaquela organização sobre a qualidade da escola, aescola não poderá ser abandonada, para encarar osresultados da avaliação. A organização de avaliaçãodeverá comprometer-se com uma parceria plena, nodesenvolvimento de soluções para os problemas quevierem a ser revelados através da avaliação. A motiva-ção para a escola, de engajar-se em diálogo sério parao aprimoramento escolar, será muito pouca, se a so-brecarga de melhorar ficar apenas sobre os seus pró-prios ombros. Abandonar assim a escola, para soluci-onar os problemas encontrados, não apenas limita aspossibilidades de encontrar as soluções apropriadas,mas implica também o fato de que a escola será cul-pada por aqueles problemas. E acusações, em vez deestimular a solução de problemas e as ações constru-tivas, levam a atitudes defensivas e a contra-acusa-ções. Infelizmente, exigências exageradas pelaresponsabilização e a utilização da opção dos paiscomo forma de remediar problemas da escola são, naverdade, exemplos dessa tendência dos sistemas deeducação, de não compartilhar com as suas escolas aresponsabilidade de enfrentar as conseqüências daavaliação escolar.
C onclusão
A avaliação pode ter um papel importante noaprimoramento da educação, e pode ser realizada den-tro do contexto da escola, mas, para torná-la possível,é necessário mudar a sua natureza, e não pura e sim-plesmente de uma maneira técnica. Até agora, a rela-ção entre um avaliador e um cliente foi concebida comouma relação essencialmente assimétrica. Essaassimetria vai contra os princípios de um diálogo cons-trutivo, e a distinção que pressupõe, entre o avaliador eo cliente, terá de ser reconsiderada. A distinção foiproposta por avaliadores proeminentes, com a boa in-tenção de desenvolver abordagens da avaliação orien-tadas ao cliente, enfatizando a importância de atenderàs necessidades de informação de clientes identifica-dos, e não aos interesses de pesquisa de avaliadoresindividuais.
Entretanto, essa distinção entre avaliadores eclientes enfatizava também a distinção entre aquelesque sabem e aqueles que devem receber o conheci-mento; entre aqueles que tratam de obter informaçãosistemática e aqueles que pensam de forma intuitiva;
entre aqueles que descobrem o que está errado e aque-les que têm de corrigir; entre aqueles que têm a auto-ridade do conhecimento e aqueles que têm a autorida-de da ação. Talvez o que seja necessário agora sejareduzir essa distinção, para criar uma base de diálogoentre as duas partes. Quiçá a regra deva ser a de queninguém deve ter a autoridade para avaliar, se não es-tiver pronto para compartilhar a responsabilidade pelasconseqüências da avaliação. E não se deve esperarque ninguém use a avaliação, se não estiver fazendo aavaliação. Os avaliadores precisam estar prontos paraaprender com os seus clientes e com as suas platéi-as, e não apenas para ensiná-los. E os clientes deve-rão não apenas ser recipientes da informação, mastambém coletores e fornecedores dessa informação.
Provavelmente, a escola jamais será um bomcliente da avaliação, a menos que comece a fazer aavaliação, tornando-se um parceiro igual no diálogo parao aprimoramento escolar. É preciso que as escolastenham a avaliação em mente, se a intenção for fazercom que a avaliação tenha qualquer papel significativopara melhorar a educação. Mas as escolas são forma-das por alunos, professores e por administradores, esomente eles poderão fazer dela uma escola que te-nha a avaliação em mente. Alunos, professores e ad-ministradores escolares devem transformar-se em par-ticipantes ativos dos diálogos de avaliação, em vez decontinuarem sendo recipientes passivos das descriçõese dos julgamentos oriundos das avaliações. É precisoque eles parem de reclamar da má qualidade da avali-ação, e que comecem a realizá-la de uma maneiramelhor.
R eferências bibliográficas
EISNER, E. W. The educational imagination. New York: MacMillan, 1979.
FREIRE, P. Pedagogy of the oppressed. New York :Continuum, 1970.
GUBA, E. G., LINCOLN, Y. S. Effective evaluation. SanFrancisco, CA : Jossey-Bass, 1981.
________. Fourth generation evaluation. Newbury Park,CA: Sage, 1989.
JOINT COMMITTEE ON STANDARDS FOREDUCATIONAL EVALUATION. The personnelevaluation standards. Newbury Park, CA : Sage,1988.
JOINT COMMITTEE ON STANDARDS FOREDUCATIONAL EVALUATION. The programevaluation standards. 2. ed. Thousand Oaks, CA:Sage, 1994.
97
AN
AIS
DO
SE
MIN
ÁR
IO IN
TE
RN
AC
ION
AL
DE
AVA
LIA
ÇÃ
O E
DU
CA
CIO
NA
L
________. Standards for evaluations of educationalprograms, projects and materials. New York :McGraw-Hill, 1981.
MILLMAN, J. (Ed.). Handbook of teacher evaluation.Beverly Hills, CA : Sage, 1981.
MILLMAN, J., DARLING-HAMMOND, L. (Ed.). The newhandbook of teacher evaluation : assessingelementary and secondary school teachers.Newbury Park, CA : Sage, 1990.
NEVO, D. School-based evaluation : a dialogue forschool improvement. Oxford : Pergamon, 1995.
________. The conceptualization of educationalevaluation: an analytical review of the literature.
Review of Educational Research, Washington, DC,v. 53, n. 1, p. 117-128, 1983.
SCRIVEN, M. The methodology of evaluation. Chica-go: Rand McNally, 1967. (AERA Monograph Serieson Curriculum Evaluation, n. 1)
STAKE, R. E. The countenance of educationalevaluation. Teachers College Record, New York, v.68, p. 523-540, 1967.
STUFFLEBEAM, D. L. et al. Educational evaluationand decision making. Itasca, IL : Peacock, 1971.
WOLF, R. L. The use of judicial evaluation methods inthe formation of educational policy. EducationEvaluation and Policy Analysis, Washington, DC, v.1, p. 19-28, 1979.
98
AN
AIS
DO
SE
MIN
ÁR
IO IN
TE
RN
AC
ION
AL
DE
AVA
LIA
ÇÃ
O E
DU
CA
CIO
NA
L
99
AN
AIS
DO
SE
MIN
ÁR
IO IN
TE
RN
AC
ION
AL
DE
AVA
LIA
ÇÃ
O E
DU
CA
CIO
NA
L
A VALIAÇÃO DOSISTEMA EDUCATIVO: AS
ESTRUTURAS INSTITUCIONAISNA FRANÇA
Jacqueline Heritier*
Na França, a avaliação do sistema educativo é,doravante, uma obrigação fixada pela Lei de Orienta-ção da Educação, de 10 de julho de 1989. A nova impor-tância concedida à avaliação foi reforçada pela elabora-ção do Plano de Modernização do Serviço Público daEducação Nacional. Estes dois textos servem de refe-rência para identificar os atores institucionais responsá-veis pela avaliação do sistema educacional na França.**
Dois motivos explicam as necessidades de ava-liação:
– a pressão externa: a educação exige,hoje, um investimento financeiro considerável.Na França, 7,4% do PIB, ou seja, 578 milhõesde francos são destinados à educação, o querepresenta 9.900 francos por habitante. A opi-nião pública tem, portanto, o direito de exigir aapresentação de resultados, que são medidospor meio da avaliação;
– a pressão interna: a avaliação contribuipara o aperfeiçoamento do sistema educacionalpela verificação da implementação dos objetivosnacionais. Em um sistema desconcentrado, noqual os atores locais são cada vez mais autôno-mos, a avaliação corresponde a uma preocupa-ção de regulação: a desconcentração e adescentralização implicam uma adaptação lo-cal dos objetivos nacionais. A grande diversida-de das ações não deve levar a resultados desi-guais. Por isso, é imperativo avaliar esses resul-tados de forma a assegurar a coerência nacional.Na França, diferentes atores institucionais inter-
vêm na avaliação do sistema educativo.
O s atores no âmbito nacional
a) Inspeção Geral
A Lei de Orientação, de 10 de julho de 1989,atribuiu uma posição central à Inspeção Geral no dis-positivo da avaliação do sistema educativo. As mis-
sões de Inspection Générale de l'Education Nationale(IGEN) foram, então, definidas em coerência com osdispositivos da Lei de Orientação. Doravante, o contro-le da atividade individual dos professores passa parasegundo plano, em benefício da avaliação global dapolítica educacional. A cada ano um programa de tra-balho determina as áreas nas quais a avaliação deveráser feita. Os resultados desse trabalho serão objeto deum relatório anual, publicado de forma a torná-lo aces-sível a todos. A definição de uma missão global de ava-liação necessita, igualmente, que o trabalho seja reali-zado por equipe interdisciplinar. Assim, o acompanha-mento da avaliação da renovação pedagógica dos es-tabelecimentos de ensino médio exige que seja consi-derado o conjunto das disciplinas ensinadas na escolabem como os aspectos relativos à organização geraldo estabelecimento.
A Inspeção Geral desempenha um papel essen-cial na definição das avaliações acadêmicas, já queestabelece, com o reitor, o programa de trabalho dasequipes territoriais de inspeção.
Enfim, a Inspeção Geral exerce função primordi-al nas avaliações institucionais representadas pelosconcursos e exames, tanto na definição dos temasquanto na constituição dos júris e nas modalidades deatribuição de notas.
b) Direção de Avaliação e de Prospectiva (DEP)
Esta Direção é responsável, de um lado, pelaorganização, pela coleta e pelo tratamento do conjun-to dos dados estatísticos do Ministério e, por outrolado, pela formulação e implantação da avaliação dosistema educativo. O conhecimento estatístico é, defato, condição indispensável para a implementação daavaliação. A DEP é, juntamente com a Inspeção Geral,o segundo ator central na avaliação do sistemaeducativo.
*Direction de l'Évaluation et de la Prospective (DEP)/França.**A autora refere-se ao seu artigo e ao artigo do professor Claude Sauvageot, intitulado "Avaliação e Monitoramento dos Estabelecimentos Escolares", tambémneste volume. Os dois artigos são complementares, devendo o artigo da professora Heritier ser considerado a primeira parte, e o do professor Sauvageot asegunda parte, de um mesmo trabalho (N.E.).
100
AN
AIS
DO
SE
MIN
ÁR
IO IN
TE
RN
AC
ION
AL
DE
AVA
LIA
ÇÃ
O E
DU
CA
CIO
NA
L
Foi no final da década de 70 que a avaliaçãoganhou destaque no âmbito do Ministério, com a cria-ção do Serviço de Estatística. Em 1987, esse serviçotornou-se uma direção independente, com sua deno-minação atual. O programa de trabalho da DEP ilustraa extensão e a diversidade de suas áreas de atuação.A cada ano, seu programa de trabalho é elaborado,levando em consideração três fatores:
– a continuidade dos trabalhos em andamento;– as demandas de outras direções da adminis-
tração central;– a preocupação de provocar determinadas re-
flexões ou de desencadear novas operações,a fim de fornecer instrumentos pertinentespara o debate público sobre a escola ou parao monitoramento do sistema.
No que se refere à avaliação, pode-se distinguirdois tipos de trabalho:
– os que visam melhorar o conhecimento do sis-tema;
– os que se propõem a promover, em todos osníveis do sistema, a avaliação.
Na primeira categoria, encontram-se os estudosdos quais a própria DEP é a executora ou que elasubcontrata a outros organismos (por exemplo, com-parações temporais: certificados de estudos.... ou in-ternacionais).
Na segunda categoria, encontram-se todos osinstrumentos elaborados pela DEP e divulgados parauso dos diversos atores do sistema que deles se utili-zam (avaliações das turmas de CE 2, 6e, 2e do ensinofundamental, banco de dados, indicadores paramonitoramento dos estabelecimentos escolares).
Para cumprir essa dupla missão, a DEP man-tém relações de trabalho e de intercâmbio com profes-sores, diretores de estabelecimentos de ensino e ins-petores. Determinados estudos são feitos em colabo-ração com a Inspeção Geral ou com organismos depesquisa.
Os procedimentos da Inspeção Geral e da DEPsão, portanto, complementares. A Inspeção Geral, ali-ás, participa ativamente na maioria dos grupos de tra-balho da DEP e, em numerosos casos, é estabelecida,desde a fase da formulação, uma real comple-mentaridade dos enfoques.
c) O ministro e seu secretariado
O ministro desempenha papel decisivo na defi-nição da política educativa. Exerce, igualmente, fun-ção determinante na avaliação:
–- no início do processo, decide o que deveráser avaliado e determina sua execução à Ins-peção Geral e à DEP (política dos ZEPs, zo-nas experimentais, violência...);
– no final, o ministro é o único juiz dos desdo-bramentos que devem ser ao término de umaavaliação.
O s atores acadêmicos e departamentais
A Academia e o Departamento são os primeirosescalões da desconcentração do Ministério da Educa-ção Nacional. São, também, os territórios de interven-ção dos Inspetores Pedagógicos Regionais (IPR-IA) edos Inspetores da Educação Nacional (IEN).
a) O papel dos inspetores
Os IPR-IAs e os IENs têm a vocação de partici-par da avaliação global das políticas ou dos organis-mos: avaliação do funcionamento dos estabelecimen-tos, de determinada política...
É uma demanda sistemática que se inscreve emum programa de trabalho anual, formulada em conjun-to pelo reitor e por seu correspondente na InspeçãoGeral.
b) O papel dos reitores
Alguns reitores implantaram estruturas de avali-ação no organograma da reitoria. Isso revela a vontadede dispor de um instrumento que permita dialogar como Ministério e com as coletividades territoriais. Esseencaminhamento deve ser mantido; a desconcentraçãoe a descentralização da gestão do sistema educativonecessita de regulação das iniciativas locais pela ava-liação.
O s atores locais
São aqueles que trabalham no seio do estabele-cimento de ensino: professores, quadro da direção/ad-ministrativo, pessoal de educação.
a) Os professores
Desempenham um papel fundamental na avalia-ção: dentro da sala de aula, para controlar a progres-são da aprendizagem; quando das provas, para validaresse aprendizado.
Os professores são os responsáveis pela articu-lação da avaliação e da orientação em um processoevolutivo discutido com o aluno. São levados a motivaro aluno (e seus pais) na auto-avaliação de seu aprendi-zado em relação a seu projeto ou a suas aspiraçõesprofissionais. Além da função de avaliação dos alunos,
101
AN
AIS
DO
SE
MIN
ÁR
IO IN
TE
RN
AC
ION
AL
DE
AVA
LIA
ÇÃ
O E
DU
CA
CIO
NA
L
a Lei de Orientação de 10 de julho de 1989 determinaque a equipe educativa do estabelecimento elaboreum projeto educativo e a respectiva modalidade deavaliação.
b) Os diretores de estabelecimentos de ensino
A atual regulamentação confere aos diretores umpapel essencial no processo de orientação dos alunosjá que a decisão final é de sua competência. Por con-seguinte, participam da implantação e da harmonizaçãodos procedimentos de avaliação.
c) Outros atores locais
Há cerca de vinte anos, assiste-se, no âmbitodo sistema educativo, a uma evolução que pode serresumida pelo termo "abertura à escola". Baseia-se naidéia de que a escola não pode, sozinha, atingir todosos objetivos educativos e que é necessário associarparceiros à sua ação: alunos, pais, médicos escola-res, representantes das coletividades territoriais, repre-sentantes do mundo econômico.
Trata-se de um movimento em curso no qual aavaliação deveria, em um prazo determinado, ocuparum lugar cada vez mais importante.
Os atores da avaliação do sistema educativo fo-ram, portanto, agrupados em três grandes categoriasde acordo com seu nível de intervenção: nacional, aca-dêmico e local. Essas categorias correspondem aostrês níveis territoriais e hierárquicos: o ministério, a rei-toria e o estabelecimento escolar. Mas essas instânci-as não são de mesma natureza: o ministério e a reito-ria são entidades administrativas. Nelas avalia-se, masnão se ensina. Na realidade, o local central do sistemaeducativo é o estabelecimento escolar, no qual coexis-tem administração e ensino.
A política educativa pode ser decidida fora doestabelecimento escolar (o que é amplamente o casono sistema francês), mas em última instância ela éimplementada no estabelecimento escolar. Portanto,é nele também que ela é avaliada. O estabelecimentoescolar é, por conseguinte, o local para o qual conver-gem todas as avaliações. Quaisquer que sejam as ava-liações, é sempre o ato de ensinar que é avaliado.
102
AN
AIS
DO
SE
MIN
ÁR
IO IN
TE
RN
AC
ION
AL
DE
AVA
LIA
ÇÃ
O E
DU
CA
CIO
NA
L
103
AN
AIS
DO
SE
MIN
ÁR
IO IN
TE
RN
AC
ION
AL
DE
AVA
LIA
ÇÃ
O E
DU
CA
CIO
NA
L
A VALIAÇÃO EMONITORAMENTO DOS
ESTABELECIMENTOSESCOLARES
Claude Sauvageot e J. C. Emin (colaborador)*
O
s Indicadores de Monitoramento dos Estabelecimentos de Ensino Médio(IPES)
A Direção de Avaliação e de Prospectiva doMinistério da Educação Nacional concluiu a implanta-ção de um dispositivo de indicadores destinados a to-dos os estabelecimentos escolares de ensino médio:colégios, liceus de educação geral e tecnológica e li-ceus profissionalizantes. Todos recebem esse dispo-sitivo no início do ano, desde 1996. Isso se tornou pos-sível graças à ampla utilização do potencial dos novossistemas de informação e de transmissão dos dadosimplantados, nesses últimos anos, em benefício dosestabelecimentos de ensino médio.
Esse dispositivo pretende responder a duasexigências significativas: a primeira, de ordeminstitucional, que torna a elaboração e a avaliação dosprojetos-escola uma necessidade legal; a segunda,corresponde a uma demanda social cada vez mais ur-gente e exigente quanto aos resultados e à eficiênciados estabelecimentos escolares, o que é testemunhadopelo sucesso alcançado pela imprensa na publicaçãodos resultados do baccalauréat "escola por escola", denumerosas listas de laureados e da classificação porestabelecimento, procurando ser apresentado de maneirasólida.
O fato de mobilizar importantes meios para sa-tisfazer essa dupla exigência institucional e social podehoje parecer natural, mas é resultado de uma evoluçãoprogressiva que acompanhou o reconhecimento dasdiversidades locais pelas instituições e terminou porlegitimar o estabelecimento escolar como entidadeespecífica de educação, tendo um efeito próprio, o que,no sistema educativo francês, é relativamente recente.Aliás, o quadro conceitual que subentende a implanta-ção desses instrumentos é diverso daquele que con-duziu, na década de 70, à elaboração e à implantaçãodas linhas de orientação dos estabelecimentos secun-dários: arriscando ser caricatural, poder-se-ia dizer que
esses trabalhos foram inspirados pela busca da renta-bilidade dos estabelecimentos escolares, enquanto osdispositivos atuais são fundamentados na intenção deapreciar sua eficácia educativa global.
1 Serviço prestado aos estabelecimentosde ensino
Um dos elementos do diagnóstico apresenta-do, tanto pelos inspetores gerais quanto pelos outrosobservadores, sobre a situação dos estabelecimentosde ensino e seus responsáveis em matéria de instru-mentos de monitoramento, era a dificuldade que tinhamem encontrar indicadores pertinentes e sua falta desavoir-faire para concebê-los de maneira relativamenteeconômica; pode-se acrescentar que quando os esta-belecimentos de ensino puderam e souberam elaborarindicadores pertinentes, raramente esse esforço con-seguiu manter-se, sendo diversos os motivos: cansa-ço ou impossibilidade de coletar todos os anos os da-dos necessários, problemas de formatação dessesdados, ou, simplesmente, mudança na equipe de dire-ção do estabelecimento.
Adotou-se, então, o partido de apoiar os esta-belecimentos escolares, primeiramente, fornecendo-lhes uma base de indicadores totalmente calculados apartir de informações recolhidas nos sistemas de infor-mação e de gestão nacionais, em seguida, harmoni-zando esses indicadores de referências nacionais eacadêmicas que lhes permitissem situar-se em rela-ção aos demais estabelecimentos e, por fim, dando-lhes meios para calcular, acompanhar e armazenar namemória os indicadores específicos que desejassemelaborar para serem avaliados e regulamentarem seuprojeto. Tudo isso foi possível apenas porque os siste-mas de informação e de gestão da educação nacional– principalmente no ensino médio – evoluíram, consi-deravelmente, a partir do início da década de 90.
*Direction de l'Évaluation et de la Prospective (DEP)/França.
104
AN
AIS
DO
SE
MIN
ÁR
IO IN
TE
RN
AC
ION
AL
DE
AVA
LIA
ÇÃ
O E
DU
CA
CIO
NA
L
Até 1992, o Sistema de Informação era es-sencialmente fundamentado em "questionários", res-pondidos manualmente pelos estabelecimentos esco-lares que, geralmente, não dispunham de equipamen-tos de informática. O tratamento estatístico era efetua-do em pesados computadores, geralmente em nívelnacional. Os serviços acadêmicos dispunham, igual-mente, de computadores de capacidade limitada, masnão havia ligação entre os meios de tratamento dosníveis nacional e regional. Além disso, o sistema deenquête era diferente do sistema de gestão dos esta-belecimentos escolares, o que complicava e tornavaainda mais pesado o trabalho dos diretores de estabe-lecimentos escolares e era fonte de erros na coleta dedados.
Um grande esforço de construção e de implan-tação de novos sistemas de informação foi realizadodesde então. Cerca de 7 mil colégios e liceus públicosbeneficiaram-se progressivamente de instrumentosinformatizados para a gestão dos alunos e professo-res; foram, ao mesmo tempo, equipados commicrocomputadores e, enfim, com um sistematelemático que colocou os estabelecimentos escola-res em contato com as academias e estas com a ad-ministração central.
Dois elementos do novo sistema de informa-ção são especialmente solicitados para construir osindicadores fornecidos pelos estabelecimentos de en-sino: o aplicativo "Scolarité" que faz o recenseamentoe acompanha, durante toda a escolaridade do ensinosecundário público, os 4,8 milhões de alunos dos co-légios e dos liceus públicos e permite "geri-los" de modocompleto e coerente, nos planos pedagógico, educativo,administrativo e financeiro; os aplicativos "Emplois-Postes-Personnels" que integram, de maneira total, agestão dos estabelecimentos secundários e seus em-pregos.
Esses dois elementos são os mais solicita-dos para o cálculo dos indicadores, mas esse cálculoutiliza igualmente aplicativos que permitem gerir osexames e concursos, os que admitem coletar e tratar,por estabelecimento, os resultados dos alunos nasavaliações nacionais na admissão na classe de 6e (1ºano do ensino básico) e no 1º ano do ensino médio,bem como os dados referentes à inserção dos alunosno término do sistema educativo. O conjunto dessesdados permite o cálculo de indicadores relativos a cadaestabelecimento, cujos responsáveis consultam facil-mente nos computadores disponíveis.
Trata-se do primeiro retorno de informa-ções ordenadas que beneficiam os estabelecimentosa partir dos dados que eles mesmos forneceram aosdiferentes sistemas de informação e de gestão. É or-ganizado segundo dois princípios políticos essenciais.
2 Os princípios
2.1. Um instrumento que deve servir, simultanea-mente, à avaliação interna e à avaliação externa
O nome dado ao dispositivo – "Indicadores parao Monitoramento dos Estabelecimentos Secundários"– enfatiza, em primeiro lugar, a avaliação interna daescola. É um instrumento destinado ao diretor do es-tabelecimento e à sua equipe, um instrumento de di-agnóstico da situação e do funcionamento do estabe-lecimento, de avaliação da política que está sendoconduzida e de seus resultados, de regulação e deacompanhamento de seu projeto. Mas, deve tambémser um instrumento de prestação de contas de suasatividades e de seus resultados; a noção de prestaçãode contas deve, aqui, ser tomada no sentido amplo dotermo. Os colégios e os liceus são unidades do servi-ço público da Educação Nacional e como tais devem,evidentemente, "prestar contas" de sua tutela, certa-mente, mas também, de forma mais ampla, à coletivi-dade. Uma parte dos indicadores propostos aos liceus,aqueles relativos ao seu desempenho, estabelecidosa partir dos resultados do baccalauréat são, aliás, ob-jeto de publicação desde as provas realizadas em 1993.
2.2. Instrumento que associa uma base de indica-dores-padrão e indicadores específicos para cadaestabelecimento
Encontramos aqui, sob outra forma, adualidade evocada acima: deve-se dispor, para cadaestabelecimento – e cada estabelecimento deve dis-por – de indicadores correspondentes ao que é consi-derado indispensável de ser levado em conta no planometodológico e, também, no plano político, para avali-ar – e para que o próprio estabelecimento avalie – seufuncionamento, seus resultados e seu desempenho.Propõe-se-lhe, então – em certa medida é obrigado autilizar – uma base-padrão de indicadores que consti-tui um compromisso entre tudo que é considerado de-sejável de ser apreciado para avaliar, o mais completa-mente possível, o funcionamento e o desempenho doestabelecimento e, o que parece efetivamente razoá-vel de ser feito, no estado atual das informações dispo-níveis, com um custo aceitável. Trata-se assim de pro-por, preferencialmente, elementos padronizados de
105
AN
AIS
DO
SE
MIN
ÁR
IO IN
TE
RN
AC
ION
AL
DE
AVA
LIA
ÇÃ
O E
DU
CA
CIO
NA
L
avaliação dos próprios estabelecimentos, em vez deelementos de avaliação de seus projetos, que são di-versos e específicos.
Mas importa que cada estabelecimento pos-sa também, paralelamente, descrever e avaliar aspec-tos particulares de seu projeto, de seu funcionamentoou de seus resultados; que possa dotar-se de indicado-res específicos, sob a condição, claro, de dispor dasinformações necessárias ou de estar organizado paracoletá-las. De fato, é normal, em um contexto no qual alei convida os estabelecimentos a "definir as modalida-des particulares de implementação dos programas e dosobjetivos nacionais", que a avaliação e a regulamenta-ção dessas modalidades particulares sejam facilitadas.O dispositivo oferece-lhes essa possibilidade.
3 A bateria-padrão de indicadores
Para dar uma idéia, serão tomados, comoexemplo, os liceus de educação geral e técnica, fican-do entendido que cada tipo de estabelecimento de en-sino médio (colégios, liceus profissionalizantes e liceusde educação geral e técnica) dispõe de uma bateriaque, a partir de um tronco comum, leva em considera-ção o que é específico a cada um. Essas baterias deindicadores foram construídas recorrendo-se amplamen-te à experiência e às necessidades dos usuários, utili-zando-se, ao mesmo tempo, como pano de fundo, ostrabalhos de pesquisa sobre a escola eficaz.
Quadro 1 – IPES: Indicadores-padrão para os liceus
Indicadores referentes à população acolhida
– Características dos alunos presentes no início do ano letivo: sexo, média de idade, categoriasocioprofissional, proporção de alunos atrasados, proporção de alunos estrangeiros, proporção de repetentes;
– Características dos alunos admitidos no liceu no início do ano letivo: sexo, idade, proporção de repetentes,proporção de procedentes de escolas particulares;
– Escola de origem dos alunos que ingressam no liceu no início do ano letivo.
Indicadores de recursos e de meios
– Meios horários;– Características dos professores;– Efetivos de alunos por opção.
Indicadores de resultados
– Taxa de êxito no baccalauréat por série;– Taxa de acesso ao baccalauréat;– Proporção de alunos detentores do baccalauréat entre os alunos concluintes do ensino médio;– Destino dos alunos que concluem o liceu.
Indicadores de funcionamento
– Futuro dos alunos ao término do 1º ano do ensino médio;– Proporção de horas de aula efetivamente assegurada ao aluno;– Tamanho das divisões; importância dos serviços ligados ao ensino;– Importância dos serviços ligados à vida escolar;– Movimento do corpo docente;– Acidentes no estabelecimento escolar;– Estatuto dos alunos.
Indicadores ambientais
– Intensidade das relações com o meio ambiente econômico;– Dados socioeconômicos por zona de emprego.
106
AN
AIS
DO
SE
MIN
ÁR
IO IN
TE
RN
AC
ION
AL
DE
AVA
LIA
ÇÃ
O E
DU
CA
CIO
NA
L
Em numerosos casos, foi necessário recorrerao que se poderia chamar de "a regra do compromis-so" entre o desejo de construir um indicador que des-se conta do modo mais preciso e completo possível deum fenômeno e a preocupação de utilizar da melhormaneira os dispositivos de informação e de gestãoexistentes e de não multiplicar os registros de novosdados de informação, a respeito dos quais os estabe-lecimentos de ensino são – com justa razão – particu-larmente reticentes. Em seguida, houve o cuidado delimitar-se a cerca de vinte indicadores o que, às vezes,implicou resistir à tentação de levar tudo em conside-ração, para limitar-se apenas a algumas linhas mes-tras que os estabelecimentos poderiam, como vimosanteriormente, completar em função de suas necessi-dades e de suas prioridades específicas. A esses indi-cadores são associados, como mencionado, referên-cias nacionais, acadêmicas e até departamentais, quepermitem aos estabelecimentos se situarem em rela-ção aos outros.
Empreenderam-se esforços, nessa tarefa, pararespeitar dois princípios: de um lado, fornecer um con-junto de indicadores que se integrassem em uma re-presentação formalizada em um modelo de ação e deorganização dos estabelecimentos escolares e, deoutro lado, apresentar os indicadores que dessem con-ta, além dos resultados de um estabelecimento deensino, de seu desempenho efetivo, de seu "valor acres-cido".
A representação formalizada é completamen-te clássica; considera-se que um estabelecimento deensino é uma organização que, em um dado meio edevido a determinado tipo de funcionamento, mobilizarecursos para que os alunos que recebem e que pos-suem determinado número de características saiamcom características de nível superior. Caso a bateriade indicadores propostos não meça o conjunto dos ele-mentos desse modelo (por exemplo: não inclua o indi-cador que dê conta do "clima" do estabelecimento deensino, o qual se sabe ser um elemento importante desua eficiência), inclui, entretanto, pelo menos um indi-cador para cada um desses aspectos (cf. Quadro 1).
Sua concepção é, como indicado acima, dife-rente daquela que havia presidido à elaboração e àimplantação das linhas de orientação dos estabeleci-mentos escolares, no final da década de 70. Essaslinhas de orientação eram, em ampla medida, conce-bidas com base no modelo dos instrumentos utiliza-dos pelas empresas industriais e procuravam forneceraos estabelecimentos escolares os meios para apre-ciarem o mais corretamente possível os recursos colo-cados à sua disposição (horas de ensino, meios finan-ceiros, instalações) e o uso que lhes foi dado e pararelacioná-los com as atividades que exerciam. Oenfoque era, então, essencialmente dirigido à gestãofavorável dos recursos (de eficiência) bem mais do quea uma ótica de eficácia em relação aos objetivos dosistema educativo.
O dispositivo atual, ao contrário, esforça-se emdar aos estabelecimentos escolares meios para apre-ciarem suas características de funcionamento e, con-siderando o contexto no qual se situam, para pro-porem hipóteses quanto à eficiência de suas ações,quanto ao modo como suas características interagemumas com as outras, em uma palavra, quanto à políti-ca que conduzem. A partir dos dados que lhes sãopropostos pelos indicadores, cabe aos estabelecimen-tos escolares determinar seus pontos fortes, pontosfracos e elaborar seu projeto. Nessa ótica é, evidente-mente, essencial que os estabelecimentos disponhamde uma visão tão correta quanto possível dos resulta-dos que atingem, relativamente aos objetivos que lhesforam fixados, como unidades do serviço público naci-onal de educação.
4Extrapolar a apreciação dos resultados para avaliar o "valor acrescentado" dos estabelecimentos: os indicadores de desempenho
Trata-se de uma das principais contribuiçõesdesse dispositivo. É tão importante que, como sabe-mos, os resultados das escolas de ensino médio nobaccalauréat, a cada ano, são objeto de publicaçãopela imprensa e, isso, sob forma de listas dos laurea-dos ou da classificação considerada como capaz dedar conta dos méritos e das qualidades comparadasdos estabelecimentos escolares.
A opção escolhida pela DEP é contrária a deuma lista de premiados baseada em um único indica-dor capaz de dar conta, sozinho, de todo o desempe-nho de um estabelecimento. Tem duas característicasindissociáveis: inicialmente, apresenta vários indicado-res para cada escola (três são publicados), insistindono fato de que eles devem ser examinados simultane-amente, porque cada um tem um interesse particular,sublinhando aspectos diferentes e complementares dosdesempenhos dos estabelecimentos de ensino. Emseguida, propõe, para cada um entre eles, uma apreci-ação relativa à ação própria de cada escola, eliminan-do, tanto quanto possível, a influência de fatores sobreos quais a eficiência do estabelecimento não teria in-fluência como, por exemplo, o maior ou menor grandeatraso escolar que possam ter os alunos recebidos.
4.1. Vários indicadores complementares para apre-ciar os resultados de um estabelecimento escolar
A taxa de êxito no baccalauréat é o mais tradi-cional indicador, o mais conhecido do grande público –e sobretudo o mais fácil de ser estabelecido – que re-laciona o número de alunos da escola, aprovados nobaccalauréat em 1994, com o número de alunos pre-
107
AN
AIS
DO
SE
MIN
ÁR
IO IN
TE
RN
AC
ION
AL
DE
AVA
LIA
ÇÃ
O E
DU
CA
CIO
NA
L
sentes na primeira prova. É fonte de orgulho para umestabelecimento escolar selecionar entre os alunos quequerem cursar a 1ª série do ensino médio e, em segui-da, selecionar entre os alunos de 1ª e 2ª séries doensino médio, aqueles que considera aptos a obter obaccalauréat e deixar que os outros liceus recebamaqueles alunos cujas possibilidades de sucesso con-sidera fracas. Ao contrário, a taxa de aprovação de umestabelecimento em que a quantidade de alunos de 3ºano, detentores do baccalauréat, é numerosa – não daprimeira vez, mas após uma ou várias reprovações –será menos favorável, embora uma proporção impor-tante desses alunos tenha-se "bacharelado" ao deixaro liceu.
Se esse indicador é totalmente insuficientepara dar conta da eficiência do conjunto de um liceu,ele não pode ser negligenciado, sendo que tem a van-tagem de poder ser estabelecido facilmente e de poderser apresentado para cada seção do baccalauréat.
A taxa de acesso dos alunos do 1º ano doensino médio ao baccalauréat avalia, para um alunodesta série, a probabilidade de obter o baccalauréatao término de uma escolaridade inteiramente realiza-da no liceu, qualquer que seja o número de anos ne-cessários para isto. Essa taxa não é estabelecida apartir de um conjunto real de alunos, mas resulta docálculo efetuado sobre um conjunto instantâneo (cf.anexo 1). Contrariamente ao precedente, esse indica-dor se interessa, portanto, pelo conjunto da escolari-dade no liceu. Considera no crédito deste apenas osalunos que têm possibilidade de nele efetuar uma es-colaridade completa, coroada de sucesso, mesmo seessa escolaridade inclui uma ou várias repetências; aocontrário, os alunos que tiveram de deixar o liceu, sejaporque este liceu não oferecia a seção que o alunodesejava estudar, seja porque foram direcionados a umadeterminada seção visando eliminá-los, ou, simples-mente, porque mudaram de domicílio, são considera-dos, do ponto de vista do indicador, como alunos que oliceu não soube (ou não pôde) conduzir ao baccalauréat,mesmo se, no final das contas, o aluno obteve essediploma em outro estabelecimento escolar.
Esse indicador é, portanto, muito mais perti-nente do que a taxa de êxito no baccalauréat para ava-liar a eficácia global de um liceu em relação ao objetivoessencial do sistema educativo francês, que é o delevar até o nível do baccalauréat, seguido do diploma,uma parte importante dos jovens. Pode, entretanto, serafetado por fatores sobre os quais o liceu tem poucoou nenhum controle e que não dependem, propriamen-te, de sua eficiência; nesse sentido, um liceu que ofe-rece todas as seções do baccalauréat e que é relati-vamente isolado – e, no resto dispõe das mesmas coi-sas – tem mais trunfos para manter seus alunos até o3º ano do ensino médio (e até a obtenção de umbaccalauréat) do que um liceu que numerosos alunos
deixam durante o ciclo porque não oferece a seçãoque desejam ou porque está situado em uma zona ondea concorrência de outros estabelecimentos é muitoforte.
A proporção de "bachalerados" entre os alu-nos que terminam o ensino médio indica, entre todosos alunos que deixaram o estabelecimento em umdeterminado ano, independente do motivo, aqueles queo deixaram, de posse do certificado. O índice pode seraplicado em dois momentos: quando se refere aos alu-nos de qualquer nível (1º, 2º e 3º anos do ensino mé-dio) que deixam o liceu, identifica, como o precedente,o conjunto da escolaridade no estabelecimento, masde um modo diferente, já que avalia as possibilidadesde um aluno de 2º ano deixar o liceu como titular dobaccalauréat, independentemente do número de anosque nele passou. Quando se refere apenas aos alunosque terminam o 3º ano, avalia as possibilidades queum aluno, inscrito no 3º ano, tem de deixar o liceutendo o diploma do baccalauréat, até mesmo repetin-do o 3º ano no estabelecimento; fornece, então, umainformação particularmente útil (que os indicadores pre-cedentes não permitiam localizar tão exatamente), di-ferenciando os liceus que, por quererem privilegiar astaxas de êxito, mostram-se reticentes diante darepetência de 3º ano e aqueles que, ao contrário, con-cedem uma ou mesmo várias novas oportunidades aosalunos que não obtêm o baccalauréat na primeira ten-tativa.
4.2. A apreciação do "valor acrescentado" pelosliceus
As três taxas apresentadas acima constitu-em dados brutos que não informam sobre a questãofundamental: como avaliar a própria ação do liceu, oque "acrescentou" ao nível inicial dos alunos que rece-beu. Em outras palavras, caso um liceu apresente umvalor alto para um indicador, isto é devido ao fato de terrecebido bons alunos, dotados de bons métodos detrabalho, que puderam obter o baccalauréat sem es-forço particular de sua parte, ou então, deve-se ao fatode que soube desenvolver nos alunos, talvez menosdotados, no início, os conhecimentos e as capacida-des que lhes permitiram ter êxito?
Para avaliar esse valor acrescido, cuida-se deeliminar a incidência de fatores de êxito escolar exteri-ores ao liceu para isolar o que é devido à sua própriaação. Para isso, busca-se, considerando os fatoresexternos de êxito escolar, o que poderia (ou deveria)ter sido, em média, a situação dos alunos do liceu emrelação ao êxito ou ao acesso ao baccalauréat a fimde verificar sua situação efetiva, que é mais ou menosfavorável relativamente à situação de referência.
4.2.1. As taxas esperadas
108
AN
AIS
DO
SE
MIN
ÁR
IO IN
TE
RN
AC
ION
AL
DE
AVA
LIA
ÇÃ
O E
DU
CA
CIO
NA
L
Na falta de poder dispor, imediatamente, deuma medida do que poderia ser, com segurança, omelhor indicador de previsão do resultado dos alunosno baccalauréat, de seu nível de escolaridade no iníciodo 2º grau ou do nível de preparação para o ensino de2º ciclo, foram selecionados dois fatores externos prin-cipais, disponíveis no sistema de informação da Edu-cação Nacional, que constituem, igualmente, excelen-tes indicadores de previsão de êxito ou de acesso aoexame: a idade e a origem socioprofissional dos alu-nos. O cruzamento desses dois dados fornecem, defato, uma boa aproximação das possibilidades de aces-so e de êxito ao baccalauréat de um aluno: enquanto,para o conjunto dos alunos que freqüentam os liceusde ensino geral e técnico públicos e privados com con-
tratos, a taxa média de êxito no baccalauréat ficou em75,8% na sessão de 1996, essa mesma taxa de êxitoé relativamente contrastada, caso se considere a ida-de e a categoria socioprofissional dos alunos (cf. Tabe-la 1). O fato de dispor dessas característicassociodemográficas para o conjunto dos alunos dos li-ceus permite calcular, para cada estabelecimento, ataxa de êxito e as taxas de acesso "esperadas", ouseja, o valor esperado para essas taxas caso, emmédia, todos os alunos do liceu tivessem a mesmaescolaridade e o mesmo sucesso no baccalauréat doque o aluno médio comparável – isto é, de mesma ida-de e origem socioprofissional – do conjunto dos liceus(cf. Anexo 2).
Tabela 1 – Baccalauréat geral e técnico – Sessão de 1996Taxa nacional de êxito segundo a idade e a origem socioprofissional dos alunos dos estabelecimentos
públicos e privados sob contrato (França metropolitana + departamentos de além-mar)
A taxa de aprovação esperada de um liceu nobaccalauréat é, então, a taxa de êxito que seria a sua,caso seus alunos conhecessem o mesmo êxito nobaccalauréat que o conjunto dos candidatos de mes-ma idade e da mesma origem socioprofissional de to-dos os liceus. Utiliza-se o mesmo raciocínio para cal-cular a taxa de acesso esperada dos alunos de 2º anoao baccalauréat.
De fato, duas taxas de aprovação esperada eduas taxas de acesso esperado são apresentadas paracada estabelecimento de ensino. Uma é calculada to-mando por base o conjunto dos alunos da Academiaonde o estabelecimento de ensino encontra-se situa-do; a outra, tem por base o conjunto dos alunos daFrança. De fato, as diferentes academias apresentam,bem como os estabelecimentos de ensino, taxas deaprovação e de acesso ao baccalauréat sensivelmen-te diferentes, e levar em consideração apenas as ta-xas esperadas calculadas em base nacional discrimi-naria, às vezes, muito pouco os estabelecimentos deuma mesma academia.
4.2.2. Apreciação relativa do valor acrescentadosegundo diversos pontos de vista
Dispõe-se, assim, por comparação entre as ta-xas esperadas e as taxas brutas, de um enfoque rela-tivo do valor acrescentado de um liceu: se, para umindicador, a variação entre a taxa bruta e a taxa espe-rada é positiva, cabe pensar que, do ponto de vistaavaliado por esse indicador, o liceu trouxe aos alunosque recebeu mais do que teriam recebido caso tives-sem freqüentado um estabelecimento mediano, o queé um índice de boa eficiência relativa. Caso a variaçãoseja negativa, ter-se-á suposição inversa. Com certe-za, a variação não pode ter o mesmo sinal caso setrate de taxa esperada em uma base acadêmica ou detaxa esperada em uma base nacional. Encontrar-se-á,no Encarte nº 1, uma ilustração desse procedimento.
Assim, o indicador pertinente em matéria deaprovação no baccalauréat é, não a taxa bruta de apro-vação, nem as taxas esperadas, mas a variação entrea taxa bruta e as taxas de aprovação esperadas. Uma
Idade em 31/12/1996
+e Anos 20 Anos 19 – e Anos 18
68,9%75,3% 90,3% favorável M uito
67,8%72,4% 85,6% Favorável
Categoria
67,7%71,9% 84,0% M édia
Socioprofissional
64,7%70,3% 81,4% Desfavorável
Pais dos
66,9%72,5% 86,3% Total
109
AN
AIS
DO
SE
MIN
ÁR
IO IN
TE
RN
AC
ION
AL
DE
AVA
LIA
ÇÃ
O E
DU
CA
CIO
NA
L
variação positiva em uma determinada série permitepensar que as terceiras séries desse ano tiveram boaeficiência, pelo menos se todos os alunos estiveramefetivamente presentes no baccalauréat.
Encarte nº 1
No gráfico abaixo, estão representadas, a título deexemplo, as taxas brutas de acesso e a esperada de to-dos os liceus de uma Academia. A primeira bissetriz ilus-tra a situação de igualdade entre as duas taxas. Cadaponto representa um estabelecimento de ensino. Se umponto está acima dessa primeira bissetriz, significa, en-tão, que o liceu permitiu a um número de alunos maior
que o esperado aceder ao baccalauréat, em relação àpopulação escolar acolhida. Se estiver abaixo, estará emsituação inversa.
Pode-se, sobretudo, ler as disparidades de de-sempenho entre estabelecimentos. Em uma horizontal,na qual figuram todos os estabelecimentos com a mes-ma taxa esperada, vê-se claramente que esses estabe-lecimentos podem ter valores acrescentados sensivel-mente diferentes. É nesse estágio que transparece o in-teresse deste tipo de análise. Por exemplo, o estabeleci-mento A, cuja taxa bruta é de 55%, tem elevado desempe-nho em termos de acesso ao baccalauréat. Não é esse ocaso do estabelecimento B, embora a taxa bruta de aces-so seja, entretanto, de mais de 70%.
Da mesma forma, o indicador pertinente, noque se refere ao acesso do 1º ano do 2º grau aobaccalauréat, é a variação entre a taxa de acesso bru-ta e as taxas de acesso esperadas. Uma variação po-sitiva permite pensar que o liceu possui boa eficiênciaglobal, já que leva ao baccalauréat mais alunos do 1ºano do que o esperado, considerando as característi-cas externas desses alunos.
No que se refere ao terceiro indicador, a pro-porção de "bacharelados" entre os alunos que termi-nam o liceu não é associada a um valor esperado;
contenta-se em confrontá-lo com duas médias: essamesma proporção para o conjunto dos liceus da Aca-demia, de um lado; para toda a França, por outro lado.Não caberia, certamente, tirar, apenas da confronta-ção dessas médias, conclusões sobre a eficiência doestabelecimento. Mas ela completa as apreciaçõesapresentadas pelos dois primeiros indicadores.
Na verdade, a apreciação combinada dos dife-rentes indicadores apresentados é que permite dar todoo sentido ao dispositivo. Encontrar-se-á, no Encarte nº2, um exemplo da análise do desempenho e da situaçãode um liceu, elaborada a partir desses dados.
Gráfico 1 – Taxa de acesso bruta e taxa de acesso esperada dos liceus da Academia de Lille
Taxa
de
aces
so b
ruta
Taxa de acesso esperada
X
XXXXXXXX
XX
X
XX
X
XX X
XX
X
X
X
XX
XXXX X
XX
XX XXX
XXXX
XXXXXXX
X
XX XXXX XX
XX XX
XXXXXXXXX
XXX
XX X
XXXX X
XX
XXXX
X
XX XXXX
XX
X
403020
20
30
40
50
60
70
80
90
9080706050
110
AN
AIS
DO
SE
MIN
ÁR
IO IN
TE
RN
AC
ION
AL
DE
AVA
LIA
ÇÃ
O E
DU
CA
CIO
NA
L
Encarte nº 2Três indicadores de um liceu e um exemplo de interpretação
1 – Taxa de aprovação no Baccalauréat por série
Taxa A B C D E F* F8 F** G H Total
Bruta 86 69 83 91 56 77 67 76
Esperada (base acadêmica) 76 68 83 84 71 72 69 75
Esperada (base França) 77 68 85 78 73 69 69 74
Presentes 135 121 123 85 34 57 197 752
*Menos F8, F 11 e F 12
**F 11 e F 12
2 – Taxa de acesso do 1º ano do ensino médio ao Baccalauréat
TaxaBruta Esperada (base acad.) Esperada (base França)
Efetivo do 1ºano
71 65 63 do 2º grau 681
3 – Proporção de bacharelados entre os alunos no término
P/estabelecimento P/academia P/França
1º, 2º, 3º doensino médio 78 67 70
3º ano doensino médio 94 91 88
Na análise dos resultados do baccalauréat (indi-cador nº 1), esse liceu aparece como médio. De fato, trêsalunos, entre quatro que se apresentaram para o exame,obtiveram o diploma. Se levarmos em consideração asorigens sociais e a idade dos alunos, as terceiras sériesdesse liceu apresentam resultados próximos do que eraesperado (75% da taxa esperada em base acadêmica,74% da taxa esperada base França). 0 exame de cadasérie permite matizar essa interpretação global. As séries13, C e G apresentam taxas medianas e exibem resulta-dos próximos do que se podia esperar delas. As sériescom os melhores desempenhos são as A, D e F, comuma contribuição, em termos de valor acrescido, maissignificativo para a série A. A menos eficaz é a série E, queapresenta uma taxa de aprovação bruta fraca (56%), com-parada com as taxas esperadas de 71% e de 73%. Énecessário, entretanto, relativizar essas últimas taxas,estabelecidas com base em apenas 34 alunos.
Analisando as taxas de acesso (indicador nº 2) eas proporções de "bacharelados" entre os alunosconcluintes do ensino médio (indicador nº 3), pode-semelhor delinear a situação desse liceu. Um aluno do 1ºano geral e técnico desse estabelecimento tem 71% depossibilidade de obter o baccalauréat nesse mesmo li-
ceu. Considerando-se a estrutura social e a separação
dos alunos por idade, podia-se esperar que essa proba-
bilidade fosse de 65%, em referência à Academia, ou de
63% em relação ao conjunto nacional. Com uma taxa de
aprovação média, mas com uma taxa de acesso elevada,
pode-se supor que esse liceu pratique políticas de
repetência ou de reorientação eficazes entre as séries
que oferece. Esse liceu mantém grande parte de seus
alunos até que eles sejam diplomados, mesmo se, para
isso, for necessário um quarto ou até um quinto ano de
estudo no estabelecimento. Outros liceus teriam, talvez,
reorientado seus alunos para outros estabelecimentos
de ensino.
Essa hipótese é confirmada pela análise da pro-
porção de "bachalerados" entre os alunos que concluí-
ram o ensino médio. De fato, quase todos os alunos de 3º
ano (94%) deixam o liceu com o baccalauréat. Se nos
interessarmos em todos os que deixam o liceu, essa pro-
porção cai para 78%, o que é bem superior às médias
acadêmica (67%) e nacional (71%). Isso confirma bem a
idéia de que se deixa esse liceu, mais do que os outros,
após ter obtido o baccalauréat em qualquer das opções
propostas.
111
AN
AIS
DO
SE
MIN
ÁR
IO IN
TE
RN
AC
ION
AL
DE
AVA
LIA
ÇÃ
O E
DU
CA
CIO
NA
L
A nexos
ANEXO 1
TAXA DE ACESSO DO 1º ANO DO ENSINO MÉDIOAO BACCALAURÉAT
A taxa de acesso do 1º ano ao baccalauréat,para um liceu, é o produto das taxas de acesso do 1ºao 2º ano, do 2º ao 3º ano e do 3º ao baccalauréat,calculadas para este estabelecimento de ensino emum ano determinado.
O cálculo dessas taxas não se fundamenta naobservação de um conjunto real de alunos de 1º ano,mas sobre o que se convencionou denominar de con-junto instantâneo. Essas taxas descrevem melhor, emum dado momento, o que ocorre em um estabeleci-mento, do que aquelas baseadas em conjunto reais.De fato, nesse último caso, seríamos obrigados a es-perar que o conjunto de alunos tenha deixado o liceu(4 ou 5 anos, pelo menos).
A taxa de acesso de um nível a outro traz, paraa população dos alunos de um estabelecimento dei-xando o nível inicial, a população daqueles que têmacesso ao nível superior no mesmo estabelecimento.
A fórmula é a seguinte, por exemplo, para o ano1992-1993:
ESLTaxa de acesso de um nível a outro = x 100 EI - ERL
Com:EI = alunos inscritos no nível inicial em setembro de1992;ERL = alunos do estabelecimento que repetiram o ní-vel inicial no liceu em setembro.Para o cálculo das taxas de acesso do 1º ao 2º ano edo 2º ao 3º ano:ESL = alunos do estabelecimento que passaram parao nível superior no liceu em setembro de 1993.Para o cálculo da taxa de acesso do 3º para obaccalauréat:ESL = alunos do estabelecimento que tenham obtidoo baccalauréat em junho ou em setembro de 1993.
ANEXO 2
TAXAS ESPERADAS
Se a taxa bruta de aprovação no baccalauréat écalculada simplesmente – trata-se da relação entre onúmero de "bachalerados" e o número de candidatospresentes na primeira prova –- o cálculo da taxa deaprovação esperada é mais complexa.
Taxa de aprovação esperada
Para calcular a taxa de aprovação esperada,agrupam-se os alunos do liceu que se apresentaramno baccalauréat em doze subpopulações obtidas com-binando-se três categorias de idade (i) e quatro agru-pamentos de origem social (j). A taxa de aprovaçãoesperada no baccalauréat é obtida aplicando-se aosefetivos de cada uma das 12 subpopulações (n, j) astaxas brutas de aprovação (t, j) do conjunto dos alunosde mesma idade e da mesma categoriasocioprofissional constatados na população de refe-rência (todos os alunos escolarizados nos estabeleci-mentos públicos ou privados sob contrato da Acade-mia – base acadêmica – ou da França – base França).
ΣΣ ni, j x ti, j i jTaxa de aprovação esperada = ΣΣ ni, j i j
Os agrupamentos por idade (i) correspondem aosalunos:
– sem atraso escolar;– com um ano de atraso escolar;– com mais de um ano de atraso escolar, isto é,
aos alunos tendo 18 anos e menos; 19 ou 20anos e mais, no ano do baccalauréat.
Os agrupamentos por profissão e por categoriassociais (i) são feitos em quatro categorias elaboradas,levando em conta os resultados dos estudos sobre aaprovação escolar dos alunos em função de sua ori-gem social:
– categoria denominada "muito favorecida", com-preendendo os diretores, as profissões inte-lectuais superiores e todos os professores;
– categoria denominada "favorecida", compreen-dendo os chefes administrativos;
– categoria denominada "média", agrupando agri-cultores proprietários, artesãos, comerciantes,chefes de empresas, empregados;
– categoria denominada "desfavorecida", reunin-do os operários e os inativos.
Taxa de acesso esperada
Para calcular a taxa de acesso esperada, deacesso de um nível a outro, agrupam-se os alunos donível inicial em doze subpopulações obtidas combinan-do-se as mesmas três categorias de idade (i) e osmesmos quatro agrupamentos de origem social (j) queforam utilizados para o cálculo das taxas de aprovaçãoesperadas. Em seguida, aplica-se aos efetivos das dozesubpopulações do nível inicial (n, j) as taxas brutas deacesso (ta, j) do conjunto dos alunos de mesma idade
112
AN
AIS
DO
SE
MIN
ÁR
IO IN
TE
RN
AC
ION
AL
DE
AVA
LIA
ÇÃ
O E
DU
CA
CIO
NA
L
e de mesma categoria socioprofissional, calculadassobre a população de referência (todos os alunos, deum mesmo nível, qualquer que seja o estabelecimentopúblico onde são escolarizados, contabilizados em ní-vel acadêmico – base acadêmica – ou nacional – baseFrança).
A fórmula é a seguinte: ΣΣ ni, j x tai, j i j
Taxa de aprovação esperada = ΣΣ ni, j i j
113
AN
AIS
DO
SE
MIN
ÁR
IO IN
TE
RN
AC
ION
AL
DE
AVA
LIA
ÇÃ
O E
DU
CA
CIO
NA
L
A RRANJOS INSTITUCIONAISPARA AVALIAÇÃO
Ernest R. House*
Quais serão os melhores arranjos institucionaispara a realização de avaliações? Para responder a estapergunta, é preciso, em primeiro lugar, considerar omotivo que nos leva à avaliação profissional. A avalia-ção, como instituição de informação para as decisõespúblicas, surgiu apenas durante a última terça partedo século XX, em primeiro lugar, e de maneira maisdisseminada, nas sociedades capitalistas avançadas.
O capitalismo avançado – altamente valoriza-do pela sua eficácia em aprimorar os padrões de vida –é também um processo extremamente desestabilizador.Enormes massas de pessoas migram para longe desuas casas e de suas famílias, em busca de trabalhoem cidades estranhas, afastando-se de seus amigos,de suas associações tradicionais, e até mesmo de seusidiomas maternos. Quando todos os empreendimen-tos humanos se vêem sujeitos a padrões de produtivi-dade e de eficiência, sobra pouco espaço para o que étradicional ou característico de qualquer comunidade.Por outro lado, foram as formas tradicionais de autori-dade - a Igreja, a comunidade e a família – que deramapoio à legitimidade dos governos.
Com as bases tradicionais de apoio fragilizadaspela mobilidade tanto do capital quanto da mão-de-obra,e com as rápidas modificações na tecnologia e nosestilos de vida, é necessário que os governos encon-trem outras fontes de legitimização para as suas ações,além das tradicionais. Existe toda uma variedade defontes de legitimidade, mas, o que é mais importante,os governos precisam demonstrar que têm capacida-de para sustentar a melhora material de suas socieda-des, ou seja, de aumentar a prosperidade material desuas populações. Poucos regimes conseguem sobre-viver sem oferecer essa grandeza material. Assim sen-do, os governos nessas sociedades tratam de criar ascondições econômicas que possam facilitar os empre-endimentos capitalistas.
Outra fonte de legitimidade é a instituição daciência profissional, que assumiu parte da autoridadeuma vez investida na religião. A avaliação profissional,através da sua identificação com a ciência, dá legitimi-
dade às ações do governo, avaliando seus programase políticas, em relação ao seu valor social. Quando opresidente Lyndon Johnson deu partida em seus con-troversos programas da "Great Society" nos EstadosUnidos, nos anos 60, garantiu sua aprovação noLegislativo simplesmente assegurando ao Congressoque aqueles programas seriam avaliados. Em grandeescala, a avaliação foi iniciada nos Estados Unidosem torno do ano de 1967.
É preciso notar que não estou afirmando quea avaliação seja puramente cosmética, ou que sejarealizada apenas tendo em vistas a legitimidade. Aocontrário, a avaliação efetivamente serve para determi-nar a eficácia de programas, políticas e do pessoal.Informa as ações do governo e educa a opinião públi-ca. Também não estou sugerindo que exista nenhumelemento de insinceridade nesses esforços. Entretan-to, sem a função legitimizadora oferecida pela avalia-ção a um público cético, outras fontes de informaçãoseriam adotadas em seu lugar, como o emprego deespecialistas. A avaliação científica tem a vantagemda credibilidade pública de suas conclusões.
C redibilidade
Para gerar essa credibilidade, é preciso que aavaliação seja vista como independente nas suas con-clusões, e como sendo justa até certo ponto. Casoseja considerada como indevidamente parcial, perderáa sua credibilidade. A falta de credibilidade é o proble-ma das comissões do governo, em que cidadãos proe-minentes chegam às conclusões que o governo dese-ja. Freqüentemente, as pessoas não confiam nessascomissões, porque elas não são independentes, e por-que não têm credibilidade científica. Refletem a orien-tação do governo.
*Ernest R. House é professor da School of Education na University of Colorado, desde 1985. Dentre a sua produção bibliográfia, destacam-se as duas últimasobras: Professional evaluation: social impact and political consequences (1993) e Productivity in Education: policies, markets and teacher assets (1998). Realizouestudos sobre avaliação para várias instituições: National Education Association, Ford Foundation, OECD, Federal Coordinating Council for Science,Engineering and Technology in Washington.
114
AN
AIS
DO
SE
MIN
ÁR
IO IN
TE
RN
AC
ION
AL
DE
AVA
LIA
ÇÃ
O E
DU
CA
CIO
NA
L
Para que sejam consideradas como acreditá-veis, as avaliações deverão ser baseadas em duas prá-ticas principais. Uma delas é o emprego de umametodologia científica objetiva, como já sugeri, e a ou-tra prática relaciona-se aos avaliadores, que deverãoser politicamente independentes dos programas e daspolíticas sob avaliação. Em meio à comunidade de ava-liação profissional, perdura um debate constante so-bre a eficácia das várias metodologias de avaliação, eessas discussões variam desde as melhores formasde obtenção de dados como apresentar as conclusões.Freqüentemente, esses debates têm um cunho alta-mente técnico, ainda que, apesar disso, não sejammenos ferrenhamente contestados.
A maior parte dos julgamentos sobre asmetodologias adequadas encontra-se nas mãos dacomunidade profissional, e não no governo. O empre-endimento da avaliação profissional, assim como oempreendimento médico profissional, depende de ummercado livre de idéias, para forjar as suasmetodologias. O governo influencia indiretamente ametodologia, a partir do momento em que aprova quemétodos deverão ser utilizados nos estudos patrocina-dos por ele, ainda que raramente se envolva diretamentenos debates metodológicos.
Por exemplo, em um estudo de cinco anos daprincipal agência de avaliação da National ScienceFoundation (NSF), constatei que os órgãos do governotendem a aprovar as metodologias tradicionais para osestudos, como pesquisas e visitas de campo, que se-jam bem compreendidas e aceitas tanto por avaliado-res quanto por não avaliadores. Há menos probabilida-de de as agências do governo aprovarem o financia-mento de metodologias novas, de que as pessoas dis-cordem. E esse conservadorismo metodológico fazsentido, se a legitimidade dos estudos for uma preocu-pação importante.
A segunda das estratégias principais para agarantia da legitimidade é a localização dos avaliado-res em lugar que seja resguardado da interferênciapolítica. Não se deseja que as conclusões da avalia-ção sejam modificadas por aqueles cujos programasestejam sendo avaliados. Se a agência de avaliaçãoestiver localizada em local protegido daqueles que fo-rem ser submetidos à avaliação, haverá menos oportu-nidade de interferência com os estudos. Assim, a agên-cia de avaliação da NSF está localizada na sua própriadivisão, tendo o seu diretor status igual ao dos direto-res das divisões de programas. Eventualmente, a agên-cia de avaliação é localizada dentro de uma agênciasuperior da organização. Por exemplo, o Federal Bureauof Investigation (FBI) tem a sua agência de investiga-ção localizada no escritório do diretor assistente des-sa instituição.
Por outro lado, há um preço a ser pago poresse tipo de independência política. Quando a agênciade avaliação é afastada dos programas, existe menos
comunicação entre os avaliadores e o pessoal dedica-do aos programas. Esta separação reduz a possibili-dade de as conclusões da avaliação serem utilizadaspor aqueles que trabalham nos programas. Uma dasprincipais preocupações dos avaliadores da NSF éconvencer o pessoal dos programas a empregar asconclusões da avaliação. Para estimular o uso dasconclusões, é necessário engajar o pessoal envolvidono programa desde cedo no projeto do estudo, paraque o aceitem. Mas a separação das agências nãoencoraja esse tipo de cooperação.
Uma outra forma de estimular o uso das con-clusões da avaliação é construir de maneira ativa umacultura de avaliação, dentro das próprias agências dogoverno. Isso pode ser feito através da organização deseminários para o pessoal envolvido no programa, atra-vés de reuniões individuais com ele, e, principalmente,ajudando o pessoal do programa a entender e a partici-par no planejamento da avaliação e na implementaçãode suas conclusões. Entretanto, a criação de umacultura de avaliação em uma agência é um processoque leva muito tempo; somente poucas agências emWashington foram bem-sucedidas nessa tarefa. Odesenvolvimento de uma cultura de avaliação continuasendo uma tarefa a ser considerada, e não uma tarefarealizada (House, Haug, Norris, 1996).
Além de ser científica e independente, a avali-ação deve também ser vista como sendo justa. Comisso, quero dizer que os interesses e os pontos devista relevantes devem ser representados na avaliação.Uma avaliação terá pouca credibilidade aos olhos dopúblico em geral se representar apenas os interessese os pontos de vista do governo. É preciso que a avali-ação represente os interesses de todos aqueles quesejam afetados de modo significativo pelo programa(às vezes mencionados como "partes interessadas").Atualmente, um dos debates mais controversos nacomunidade de avaliação diz respeito a que interessesdeveriam ser representados.
T endências recentes
Esses foram os avanços das últimas poucasdécadas. E as outras tendências? Uma tendência po-derosa foi a de os governos reduzirem o seu tamanho.Essa redução de tamanho faz parte de uma teoria eco-nômica (da escola de economia de Chicago), que afir-ma que os governos devem limitar os seus gastos, deforma que haja mais dinheiro disponível para o setorprivado, que, presumivelmente, pode usar os recursosde maneira mais eficaz, para gerar mais riqueza. Alémdisso, de acordo com essa teoria, os governos devemdesregulamentar o setor privado.
115
AN
AIS
DO
SE
MIN
ÁR
IO IN
TE
RN
AC
ION
AL
DE
AVA
LIA
ÇÃ
O E
DU
CA
CIO
NA
L
Ainda, os próprios governos devem ser maisparecidos com empresas, mais empreendedores(Osborne, Gaebler, 1992). Devem planejar e avaliar osserviços públicos, mas os próprios serviços públicosdevem ser prestados pelo setor privado, em vez de poragências do governo. O governo deve planejar as suasatividades, em vez de produzi-las. Por vezes, o conjuntodessas políticas é chamado de "nova gestão pública".
Essas políticas resultaram em redução dosrecursos do governo e levaram a uma outra função paraa avaliação. Os governos desejam efetuar grandes cor-tes de orçamento, querendo também que esses cor-tes sejam vistos como legítimos. Em especial, foi esteo caso na Europa, onde a recente onda de avaliaçãofoi intimamente associada aos escritórios de contabi-listas e de orçamento. O governo Thatcher, na Grã-Bretanha, foi talvez o primeiro a utilizar a avaliação pri-mariamente como instrumento para o corte de custos,mas vários outros governos fizeram a mesma coisa,incluindo os governos social-democratas nos paísesnórdicos (Henkel, 1991).
Tudo isso resultou em modificações na pró-pria comunidade profissional de avaliação. Enquantoas primeiras comunidades de avaliação, nos EstadosUnidos, eram basicamente formadas por funcionáriosdo governo dedicados à pesquisa social, na Europa,contabilistas, economistas e especialistas em orça-mento tornaram-se mais freqüentes. Os critérios deeficiência tornaram-se tão importantes quanto os crité-rios de eficácia , para a avaliação de programas.
Um outro resultado foi que os próprios servi-ços de avaliação passaram a ser terceirizados, ou con-tratados externamente. Com o intuito de reduzir o seutamanho, as agências do governo vêm terceirizandomuitos serviços do governo junto ao setor privado. Ta-refas uma vez realizadas pelos órgãos do governo es-tão hoje sendo executadas por empresas privadas. Anova gestão pública sustenta que essas empresas pri-vadas têm a capacidade para executar esses serviçosde modo mais eficiente. E, de fato, ao reduzir seusquadros, os órgãos do governo com freqüência não dis-põem de pessoal suficiente para executar internamen-te as tarefas.
As avaliações são também cada vez maisterceirizadas. Por exemplo, na já mencionada agênciada NSF, nada mais do que três especialistas em avali-ação administram em torno de 20 milhões de dólaresem estudos. Virtualmente todos os estudos de avalia-ção são contratados de firmas privadas. O pessoal daNSF simplesmente não poderia realizar a tarefa, mes-mo que o desejasse. Políticas semelhantes foramadotadas na Austrália, na Nova Zelândia, na Grã-Bretanha e na Holanda (Boston et al., 1996).
Esse movimento de terceirização resultou nodesenvolvimento de mercados especializados de avali-ação. Empresas com e sem fins lucrativos realizamestudos para o governo. Entretanto, vale a pena obser-
var que o mercado de avaliação desenvolvido não temas características de um mercado neoclássico. Emum mercado neoclássico, existem muitos comprado-res e vendedores de bens e de serviços. Se os com-pradores não gostam de um produto, podem voltar-separa outros vendedores do produto. Se os vendedoresnão gostam do preço oferecido pelo seu produto, en-contram compradores que ofereçam um preço melhor.Assim, as relações de mercado são impessoais, e nãode pessoal. E, presumivelmente, o mercado é mantidoem equilíbrio a um alto nível de eficiência, através des-se balanço de compradores e vendedores impessoais.
Entretanto, o mercado de avaliação que vai sedesenvolvendo não é assim, ao menos não em Wa-shington. Por exemplo, apenas quatro empresas reali-zam toda a atividade de avaliação da NSF. O pessoaldessas empresas desenvolve relacionamentos pesso-ais estreitos com o pessoal da NSF. Afinal de contas,os funcionários da NSF precisam dispor de conclusõesde avaliação para exibir ao Congresso, e necessitamde contratados confiáveis para fornecer as avaliaçõesa tempo. Por outro lado, as quatro empresas contrata-das tornam-se dependentes dos recursos da NSF, querespondem por uma parte significativa de seus orça-mentos.
Assim, em lugar de relacionamentos impes-soais de muitos compradores e de muitos vendedores,o mercado passa a ser caracterizado por relações bi-laterais pessoais, cara a cara. As vantagens dos mer-cados – custos baixos, alta qualidade – não necessa-riamente se aplicam a esses mercados. Os serviçosadquiridos podem realmente custar mais, e a qualida-de do produto pode ou não ser um problema, depen-dendo da competência dos contratados.
É isso que os economistas chamam de "mer-cado imperfeito", e, para fazer com que esse mercadofuncione, é preciso que o governo tome determinadasprovidências. O órgão do governo deve ter a capacida-de para definir exatamente o que deseja, independen-temente de seus contratados, as empresas responsá-veis pela execução da avaliação. O órgão deve ser ca-paz de determinar quais são os bons contratados, decontrolar de perto os produtos e de diferenciar as ava-liações boas das más (House, 1997). Essas tarefasexigem a inclusão de alguma maneira de atividades defiscalização na organização.
A contratação da avaliação de terceiras par-tes levanta também aspectos relativos ao controle dasconclusões da avaliação. Na Grã-Bretanha, principal-mente os governos Thatcher e Major propuseram con-tratos de avaliação que atribuem um controle conside-rável sobre as conclusões de avaliação a patrocinado-res do governo das próprias avaliações (Norris, 1995).Em alguns casos, as conclusões foram suprimidas oumodificadas, e foram negadas aos avaliadores oportu-nidades de tornar públicas as suas conclusões.
Ainda que esse controle não pareça ser umproblema importante em todos os países, é fácil compre-
116
AN
AIS
DO
SE
MIN
ÁR
IO IN
TE
RN
AC
ION
AL
DE
AVA
LIA
ÇÃ
O E
DU
CA
CIO
NA
L
ender que a prática disseminada da supressão dasconclusões pelo governo terminaria por negar acredibilidade das avaliações como um todo, do pontode vista do público. Os avaliadores gerariam relatóriosem que ninguém acreditaria. A longo prazo, essas prá-ticas seriam autodestrutivas para o governo, uma vezque levariam à contaminação de uma fonte de legitimi-dade do próprio governo. Mas, evidentemente, o gover-no é conhecido por ter optado por práticas não inteli-gentes no passado, e por ter garantido vantagens acurto prazo a custos de longo prazo.
Assim, em resumo, a avaliação é o produtodas interações do governo, da comunidade de avalia-ção profissional e do mercado econômico. As interaçõesentre esses três setores da sociedade moderna – ouseja, o Estado, a sociedade civil e a economia – sãocomplexas, mutuamente dependentes, e às vezesconflitantes. Mas é essa a estrutura das economiascapitalistas avançadas.
D esafios futuros
Quais são os futuros desafios a serem consi-derados por essas organizações institucionais de ava-liação? Em primeiro lugar, existe o problema potencialda interferência política, como já foi levantado. Nitida-mente, a avaliação tem funções políticas, e é politica-mente útil, mas, para desempenhar adequadamente asua função de legitimização para o governo, não podeter os seus processos politizados. Perderá toda a suacredibilidade. Ter credibilidade significa ter a capacida-de para publicar conclusões negativas. Que cidadão,onde quer que pudesse estar, acreditaria que as açõesdo governo são sempre positivas?
Em segundo lugar, existe o problema econô-mico dos mercados especializados de avaliação. Co-nexões estreitas entre os governos e as empresas re-sultam em relacionamentos bilaterais próximos, o quepode terminar por afetar a qualidade e a credibilidadedo trabalho. Será que as empresas que forem tão de-pendentes das agências do governo gerarão relatóriosfavoráveis aos programas dessas mesmas agências?Há sinais disso nas avaliações da NSF. Em uma ex-tensa avaliação, com visibilidade nacional, os avalia-dores mostraram-se relutantes em criticar a política dogoverno, embora os avaliadores da NSF argumentemque este não é um problema muito disseminado.
Evidentemente, é fácil ver que as empresascontratadas imaginem que, ao produzirem relatóriosnegativos, terão menos probabilidade de receberemcontratos futuros da agência. Ironicamente, neste caso,o que os funcionários das agências desejam ver sãoas conclusões negativas, de forma que possam saber
onde e como cortar alguns dos programas. É impor-tante saber como a terceirização das avaliações e odesenvolvimento de um mercado de avaliação afetamas próprias avaliações, mas não dispomos de um en-tendimento sobre esse fenômeno.
Em terceiro lugar, estão as questõesmetodológicas, que incluem a acomodação dasmetodologias ideais de avaliação aos aspectos políti-cos. Buscam-se métodos que sejam possíveis de se-rem apoiados, do ponto de vista político, e que sejamprofissionalmente aceitáveis – o que nem sempre éfácil de achar. E é possível imaginar de que forma es-sas questões poderiam interagir. Por exemplo, em qual-quer operação burocrática, o fluxo de informações atra-vés dos níveis técnico, administrativo e institucional éproblemático (Wilson, 1989).
Os funcionários técnicos fazem o trabalho, aopasso que os próprios especialistas em avaliação fis-calizam os contratos e operam os programas. Admi-nistradores, em geral diretores de divisões ou de de-partamentos, preocupam-se com os produtos finais, epodem ter apenas um conhecimento superficial dasempresas que estejam realizando o trabalho. Os che-fes institucionais, no topo da organização, lidam comlegisladores, com o público e com outras forças políti-cas, para obterem recursos para a sua agência. Pos-suem consciência nada mais do que vaga sobre o tra-balho que está sendo desenvolvido. A comunicaçãoentre esses níveis pode ser disfuncional.
O desastre do ônibus espacial Challenger,causado por um anel de vedação, é um exemplo im-pressionante, quando os funcionários técnicos (os en-genheiros) desaconselharam o lançamento da nave,devido ao tempo frio. A empresa contratada, a MortonThiokol Corporation, tinha conhecimento de que osanéis de vedação, que selam os tanques de combustí-vel, poderiam apresentar mau funcionamento no inver-no. Os altos administradores da National Aeronauticsand Space Administration (NASA) foram informadosdo perigo, mas jamais compreenderam plenamente aprobabilidade de falha do anel de vedação. Estavam atal ponto preocupados com as conseqüências políti-cas de não lançar o ônibus espacial, que o desastreaconteceu: o ônibus foi lançado e explodiu. Conside-rando-se que cada um dos níveis da organização esta-va preocupado com um aspecto distinto, as probabili-dades de falhas na comunicação eram altas.
A mesma coisa pode ser dita da avaliaçãodentro do governo. Por exemplo, os legisladores exi-gem informação "de impacto", uma necessidade trans-mitida aos especialistas em avaliação através da ca-deia de comando. Os especialistas em avaliação e asempresas contratadas determinam o que é tecnica-mente viável de ser feito sob aquelas circunstâncias,ou seja, que tipos de informações poderão ser obtidas.Entretanto, aquilo que o Congresso quer dizer com "in-formação de impacto" e o que pode ser produzido são
117
AN
AIS
DO
SE
MIN
ÁR
IO IN
TE
RN
AC
ION
AL
DE
AVA
LIA
ÇÃ
O E
DU
CA
CIO
NA
L
duas coisas diferentes. Pode-se encontrar muitas fa-lhas de entendimento à frente.
Em quarto lugar, há uma questão prática, so-bre de quem serão os interesses e pontos de vista aserem incluídos na avaliação, de forma que ela sejaconsiderada como tendo sido justa e imparcial. É in-dispensável que as avaliações tenham aparência deserem justas e imparciais, para terem credibilidade.Ser imparcial significa incluir os interesses de todasas partes relevantes na avaliação, incluindo aquelasque tenham poder de voz. Não somente deverão serrepresentados na avaliação os interesses dos ricos edos poderosos: com isso, focalizam-se questões dejustiça social na avaliação.
Já discuti esses aspectos em um livro de 1980,mas deverei entrar em maiores detalhes em um outrolivro, ainda não terminado (House, 1980). Em poucaspalavras, o meu argumento é que a avaliação deve serdemocrática, dialogal e deliberativa. Deve ser demo-crática, no sentido de que inclua os interesses e ospontos de vista de todas as partes interessadas. Deveser dialogal, em termos de que precisa estabelecerum diálogo com as partes interessadas, de forma quea avaliação possa representar autenticamente os inte-resses dessas partes. E a avaliação precisa serdeliberativa, para que possa dar às partes interessa-das a oportunidade de deixar claros os seus verdadei-ros interesses, de modo que se consiga chegar a deci-sões bem tomadas. Em termos gerais, a avaliaçãodeverá servir para informar uma democracia deliberativa.
C onclusão
Em resumo, e com respeito às providênciaspara a realização de avaliações, elas precisam ser in-dependentes a ponto de ter a capacidade de chegar aconclusões que sejam imparciais. Devem ser vistascomo sendo críveis, se quiserem atingir essa função.Sua imparcialidade advirá da utilização da metodologiacientífica apropriada, e da proteção contra a interferên-cia política. Dentro do governo, as agências de avalia-ção deverão ser localizadas em órgãos independen-tes, posicionados próximos aos responsáveis pela to-mada de decisões, mas não no mesmo escritório dosprogramas a serem avaliados. Os métodos científicos,que evitem quaisquer formas de parcialidades, devemser oriundos da comunidade profissional de avaliação.
Cada vez mais, as avaliações vêm sendo pa-trocinadas por órgãos de governos, sendo realizadasatravés de contratos firmados com empresas particu-lares, a ponto de vir desenvolvendo-se um mercado
especializado para serviços de avaliação. Essas em-presas contratadas precisam ser vistas como compe-tentes, do ponto de vista profissional, e as agênciasdos governos devem tomar determinadas providênciaspara que esses arranjos possam funcionar, incluindotanto a fiscalização da qualidade das avaliações pro-duzidas, quanto a capacidade dos próprios contrata-dos para a avaliação.
Finalmente, estou consciente de que muitaspessoas imaginarão que seja ingênuo falar da inde-pendência política dos avaliadores dos governos, queos funcionários do governo sempre tratarão de interferirnas avaliações e de influenciar as conclusões, para asua própria vantagem. E, é claro, muitos funcionáriosde governos farão isso. Por outro lado, a outra consi-deração significativa é a relativa fragilidade dos gover-nos nos Estados capitalistas avançados. Nessas so-ciedades, os governos necessitam de legitimidade, umavez que as decisões econômicas críticas foram colo-cadas além do seu alcance. Os governos precisam deamigos, que possam dar apoio à sua legitimidade, ain-da que esses amigos sejam justos e imparciais.
R eferências bibliográficas
BOSTON, J. et al. Public management : the NewZealand Model. Oxford, England : Oxford UniversityPress, 1996.
HENKEL, M. Government, evaluation and change. Lon-dres : Jessica Kingsley Publishers, 1991.
HOUSE, E. R. Evaluación, poder y ética. Madrid :Morata, 1994.
________. Evaluation in the government marketplace.Evaluation practice, v. 18, n. 1, p. 37-48, 1997.
________. Evaluating with validity. Beverly Hills, CA :Sage Publications, 1980.
HOUSE, E. R., HAUG, C., NORRIS, N. Producingevaluations in large bureaucracies. Evaluation, v. 2,n. 2, p. 135-150, 1996.
NORRIS, N. Contracts, control, and evaluation. Journalof Education Policy, v. 10, n. 3, p. 271-285, 1995.
OSBORNE, D., GAEBLER, T. Reinventing government.Reading, MA : Addison-Wesley, 1992.
WILSON, J. Q. Bureaucracy. New York : Basic Books,1989.
118
AN
AIS
DO
SE
MIN
ÁR
IO IN
TE
RN
AC
ION
AL
DE
AVA
LIA
ÇÃ
O E
DU
CA
CIO
NA
L
119
AN
AIS
DO
SE
MIN
ÁR
IO IN
TE
RN
AC
ION
AL
DE
AVA
LIA
ÇÃ
O E
DU
CA
CIO
NA
L
C OMO PODE A AVALIAÇÃOCONTRIBUIR PARA A POLÍTICA EDUCACIONAL?
OS USOS DA INFORMAÇÃO
Barry MacGaw*
A política de educação é formulada eimplementada nos níveis do sistema e da escola.Mesmo naqueles casos em que o sistema impõeseveras restrições ao que as escolas fazem, sempreexiste lá algum grau de discernimento sobre a formaespecífica das políticas e sobre como podem serimplementadas.
Alguns sistemas altamente descentralizados,como é o caso dos Estados Unidos da América e daInglaterra e do País de Gales, estão tratando dedesenvolver políticas nacionais mais fortes, paradeterminar uma estrutura para as políticas escolares.Outros sistemas tradicionalmente centralizados estãono processo de devolver muito mais responsabilidadepelas decisões sobre políticas e práticas à escola, aindaque possam criar algum tipo de estrutura deresponsabilidades, de forma que fique claro para asescolas sobre quais aspectos elas devem consultaras autoridades centrais sobre suas políticas, programase desempenho.
O uso da informação no nível do sistema
Existem várias maneiras através das quais ossistemas de educação podem avaliar as suasoperações, no nível do próprio sistema.
Uma das maneiras é a análise externa. ODepartamento de Educação Escolar de Nova Gales doSul, Austrália, adotou essa abordagem durante váriosanos, reunindo um pequeno grupo de renomadoseducadores da Inglaterra e dos Estados Unidos que seencontravam todos os anos para analisar e escreverrelatórios sobre algum aspecto do sistema. A vantagemque pode advir de um painel de grandes especialistasdepende do saber e da condição dos que fazem partedele, da abrangência das questões que examinam, e
da adequação da informação sobre a qual se baseiamos seus julgamentos.
Uma estratégia alternativa é aquela em que osistema estabelece alguns métodos de rotina para aavaliação do seu próprio desempenho, obtendo eanalisando uma variedade de dados sobre odesempenho do sistema.
A adoção de um enfoque sobre osresultados
Durante as décadas de 60 e 70, vários paísesdesenvolvidos buscaram formas de expandir osrecursos para financiamento de seus sistemas deeducação, enquanto se acomodavam em primeiro lugarcom o aumento da população, e em seguida com amaior participação, além dos anos de freqüênciaobrigatória à escola.
Já na década de 80, foram sendo levantadasdúvidas sobre as vantagens geradas pelo crescentevolume de recursos dirigidos. Como foi constatado peloComitê de Avaliação da Qualidade da Educação daAustrália (1985), pouca informação havia sido obtidasobre a eficácia dos programas introduzidos com o novofluxo de financiamento, não havendo assim nenhumaexplicação bem-fundada sobre os benefícios. Quaseuma década mais tarde, a ausência de evidências sobrevantagens passou a ser interpretada como a presençade evidências para a ausência delas. Ainda mais, oargumento era o de que se os recursos podiam seraumentados sem que houvesse benefícios, podiamtambém ser reduzidos sem detrimentos (ComissãoVictoriana de Auditoria, 1993).
A ausência de dados sobre os efeitos dos novosprogramas e de outras reformas não serviu muito bem
*Barry McGaw é diretor do Conselho Australiano de Pesquisa Educacional (ACER). Foi o autor do estudo de caso australiano para o projeto da Organização paraa Cooperação e Desenvolvimento Econômico (OCDE) sobre a definição de padrões na educação. Em 1996-1997, o relatório final da sua análise sobre ocertificado da High School em Nova Gales do Sul foi a base para o informe oficial do governo, divulgado em agosto de 1997.
120
AN
AIS
DO
SE
MIN
ÁR
IO IN
TE
RN
AC
ION
AL
DE
AVA
LIA
ÇÃ
O E
DU
CA
CIO
NA
L
aos que haviam proposto aquelas iniciativas. Por outrolado, muitos deles permaneciam relutantes em apoiara implementação de qualquer programa explícito demonitoramento, argumentando que as medidasprovavelmente empregadas seriam limitadas demaispara que pudessem refletir toda a variedade de suasmetas educacionais.
Observava-se a tendência de afastar o enfoquedos insumos, ainda que, em um primeiro momento,apenas para medidas intermediárias, como aparticipação. A participação mais intensa tornou-se emsi mesma uma meta. Para as subpopulações emsituações de desvantagem, o objetivo passou a ser aredução das diferenças entre a população como umtodo e a subpopulação em questão, em termos de taxade participação além dos anos de educação obrigatória.
Cada vez mais, o enfoque foi transferido daparticipação para os resultados. Na Austrália, porexemplo, um relatório nacional sobre a educação deaustralianos aborígenes (Departamento de Emprego,Educação e Treinamento, 1988) baseou as suasrecomendações para o desenvolvimento eimplementação de políticas em torno de quatro tópicos:
l envolvimento dos povos aborígenes e doEstreito de Torres no processo de tomada de decisõesno campo da educação;
l igualdade de acesso aos serviços deeducação;
l igualdade na participação na educação; el resultados educacionais apropriados e iguais.Estes tópicos refletem a mudança de enfoque,
mais geralmente do acesso e da participação para osresultados. Acesso e participação são meios, e nãofins. São condições necessárias para o desempenho,mas não o garantem, e realmente não são a certezade resultados com igualdade.
A própria maneira de expressar os resultadosfoi também sujeita a mudanças. O debate sobre osobjetivos comportamentais nas décadas de 60 e 70era um argumento sobre o nível de especificidadeapropriado no enunciado de resultados esperados emum currículo. Os objetivos comportamentais eramenfatizados, com base no fato de que o seu usodeterminava aquilo que os professores deveriamesperar, de uma forma que tornaria óbvia a realizaçãodo objetivo, uma vez que a evidência poderia serobservada no comportamento do aluno. Os críticosargumentavam não só que havia outros objetivosimportantes, além do comportamento, mas tambémque a divisão dos objetivos em partes menores epossíveis de serem observadas desagregaria aaprendizagem a tal ponto que o quadro do todo seriaperdido em suas partes.
A tendência atual, em direção a especificaçõesde resultados, envolve até certo ponto esse risco dedesagregação, ainda que a abordagem seja distintaem aspectos importantes. O mais significativo deles éque existe uma abordagem mais integrada à
conceitualização dos resultados. As seqüências deresultados através dos anos sucessivos de freqüênciaescolar são especificadas de forma clara, paradescrever o desenvolvimento esperado naaprendizagem de um aluno em um determinado tema.Esta abordagem foi adotada na estrutura de currículonacional na Austrália, na especificação de estágiosprincipais na Inglaterra e no País de Gales, e em váriosenunciados sobre padrões nos Estados Unidos.
Na abordagem australiana, por exemplo, ocurrículo foi dividido em oito principais áreas deaprendizagem, para cada uma das quais foramdesenvolvidas seqüências de resultados previstos, aolongo de várias linhas.
Na área de Língua Inglesa, há três linhas:l expressão oral e compreensão oral;l leitura e visualização el escrita.Em Estudos da Sociedade e do Meio Ambiente,
há seis linhas:l pesquisa, comunicação e participação;l tempo, continuidade e mudança;l lugar e espaço;l cultura;l recursos el sistemas naturais e sociais.No caso dos Estudos da Sociedade e do Meio
Ambiente, a primeira linha trabalha com os principaisprocessos empregados em todos os estudos nestaárea, enquanto que os outros cinco identificam osconceitos principais a serem aprendidos.
Há, em curso, um debate sobre o lugar ocupadopelo conteúdo entre o aspecto dos resultados, masestá claro que eles apenas especificam a estrutura doconhecimento, das habilidades, das atitudes e dosvalores a serem aprendidos. Os enunciados dosresultados não incluem um currículo, através do qualpudessem ser adquiridos conhecimento, habilidades,atitudes e valores. O desenvolvimento do currículo éuma tarefa separada, a receber informações daestrutura dos resultados.
D os resultados aos modelos a seremseguidos
A especificação dos resultados da educaçãoenvolve a determinação de algo, com respeito àsexpectativas da aprendizagem. É um passo importanteem direção ao estabelecimento de padrões, mas poderájamais chegar lá.
Os resultados especificados na estrutura docurrículo nacional da Austrália, por exemplo, definemuma seqüência de resultados que se espera sejamalcançados pelos alunos durante os seus primeiros dez
121
AN
AIS
DO
SE
MIN
ÁR
IO IN
TE
RN
AC
ION
AL
DE
AVA
LIA
ÇÃ
O E
DU
CA
CIO
NA
L
anos de freqüência escolar. Esses resultados sãoagrupados em oito níveis, bastante amplos, nãohavendo especificação quanto ao nível da seqüênciade resultados que os alunos deveriam alcançar em cadauma das etapas da escola. O nível 8 foi inicialmenteconcebido como o nível que os alunos deveriamalcançar na 11ª e na 12ª séries. Por causa do currículoaltamente estruturado existente nos estados para essasséries, com as avaliações associadas, abrangendo atotalidade dos estados, o que se revelou foi a extremadificuldade em desenvolver um enunciado comum deresultados para um Nível 8 projetado para cobrir essasséries. Ao fim, o Nível 8 foi mantido, para descrever osresultados que os melhores alunos poderiam alcançar,antes do final da 10ª série.
A falta de ligação direta entre o nível de série eo nível do resultado foi bastante proposital. Na verdade,a intenção era deixar claro que, em qualquer que fossea série, a expectativa era que os alunos estivessemtrabalhando em uma variedade considerável de níveis.Os alunos na Austrália avançam através das váriasséries por idade, e não através do progresso efetuado,ao chegar a resultados específicos. Não seria razoávelsupor que todos os alunos de uma série estejam emuma determinada etapa da sua aprendizagem, e aescola e o currículo de aula devem levar esse fato emconsideração.
Alguns dos sistemas dos estados desde entãoligaram os onze anos, do Jardim de Infância à 10ª sériea oito níveis da seqüência de resultados. O Estado deVictoria cancelou o Nível 8 e ligou sete níveis aosprimeiros onze anos, até a 10ª série. A Introduçãodessas ligações foi em parte uma resposta a umanecessidade percebida, no sentido de que osprofessores recebessem diretrizes mais claras daquiloque, de uma forma geral, deveriam esperar dos seusalunos. Além disso, foi uma tentativa de estabeleceras expectativas sobre a velocidade em que, em geral,se espera que os alunos aprendam o conteúdo cobertopelo currículo escolar.
Cada vez mais estão sendo descritos objetivosexplícitos dessa natureza, como modelos a seremobservados, em termos de desempenho. O que aindanão ficou claro é como exatamente esses modelosdeverão ser estabelecidos. Os padrões passados dedesempenho dos alunos de diferentes séries poderãoservir como uma base. Uma outra seria a comparaçãocom níveis de desempenho esperados nas sériescorrespondentes em outros sistemas, incluindo os deoutros países.
Conceitos de modelos a serem seguidos
A noção da determinação de modelos a seremseguidos (benchmarking) veio dos setores empresariale industrial. Ali, a discussão gira em geral em torno dacomparação com um modelo de "melhor prática", atémesmo "melhor prática em nível mundial". A prática debenchmarking enfatiza o processo, e não os resultados.
Não é que os resultados sejam irrelevantes. Até certoponto, eles não são ambíguos, e possibilitam critériosclaros de acordo com os quais é possível julgar oprocesso.
O critério dos resultados não precisa ter umcaráter financeiro, ainda que seja financeira, em últimaanálise, a medida do desempenho de uma empresa daárea empresarial ou industrial. Um departamento deaquisição dentro de uma fábrica, por exemplo, podeser comparado contra departamentos de aquisição deorganizações semelhantes, ou com o componente deaquisição de uma organização especializada, que purae simplesmente compra e vende. As característicasdos processos de aquisição da companhia externapoderiam ser introduzidas na empresa, usando aprimeira como modelo. Os aprimoramentos dedesempenho poderiam ser testados, através do usode indicadores explícitos de desempenho, comotransações por membro do pessoal em alguma unidadede tempo, ou custo por transação.
Nos casos em que os resultados sejam maisambíguos, como na prestação de serviços de naturezahumana ou social, o enfoque do processo debenchmarking tende a ser concentrado nos resultados,e não mais no processo. São realizadas comparaçõescom outras organizações em termos de medidas dosresultados. A melhor prática é definida em termos deresultados, pelo menos durante as primeiras etapas.
É fácil encontrar exemplos na prática médica.No caso de saúde pública, são usados comoindicadores as taxas de mortalidade e morbidade.Evidentemente, o quadro obtido poderá ser bastantecomplexo. Caso caia a taxa de mortalidade infantil,bem poderá haver um crescimento da taxa demorbidade entre as crianças, já que terão sobrevividoaquelas portadoras de algum tipo de incapacidade. Àmedida que declinam as taxas de mortalidade devidasa um tipo de enfermidade, poderão elevar-se outras,devido a outras doenças, mas com a idade média demorte mais alta do que era antes. Aqueles que nãomorrem devido à causa anterior, poderão viver durantemais tempo, mas ficarão mais propensos à morte emconseqüência da segunda causa. Outros indicadoresreferem-se à duração média da hospitalização para ospacientes que recebam tratamento para umadeterminada condição, taxa de retorno de pacientescom alta, e assim por diante.
Benchmarking em educação
Na educação, a discussão mais atual doprocesso de benchmarking concentra-se nosresultados. Os modelos a serem copiados sãotipicamente definidos como níveis de desempenho quedevem ser esperados de todos os alunos com o mesmoestágio de escolaridade. Os estados australianos queligaram as suas séries escolares a níveis na estruturado currículo nacional podem argumentar que os
122
AN
AIS
DO
SE
MIN
ÁR
IO IN
TE
RN
AC
ION
AL
DE
AVA
LIA
ÇÃ
O E
DU
CA
CIO
NA
L
resultados no nível ligado a uma determinada sérierepresentam o modelo para aquela série, determinandoo que deve, pelo menos, ser esperado dos alunosdaquela série.
Por outro lado, as coisas não são tão diretasquanto parecem, uma vez que existem 11 séries (doJardim de Infância à 10ª série), e oito níveis deresultados. As ligações definidas no Estado de Victoriaaparecem na Tabela 1.
Tabela 1 – Ligação entre o nível de resultados eas séries em Victoria, Austrália
A adaptação feita em Victoria da estrutura docurrículo nacional, como sendo a sua EstruturaCurricular (CSF), claramente vai além da especificaçãodas seqüências nas quais podem ser alcançados osresultados, e passa a ser uma proposta de intençõessobre quando se espera que esses resultados sejamefetivamente alcançados.
O documento referente a cada área principalde aprendizagem explica às escolas que essas ligaçõesentre as séries escolares e os níveis constantes doCSF são feitas:
para possibilitar diretrizes claras para as escolas sobre
o tempo e a progressão do currículo e dos padrões. A
Diretoria reconhece que não há ritmos iguais no
processo de aprendizagem das crianças. O CSF oferece
descrições sobre os anos de freqüência escolar
necessários para a cobertura dos elementos mais
importantes das principais áreas de aprendizagem...
Ao desenvolver os padrões, a Diretoria descreve
padrões esperados em determinados níveis. Os padrões
não representam simplesmente descr ições
informadas de desempenhos do momento, mas
relacionam-se especificamente às aspirações do
enfoque curricular (Board of Studies, 1995, p. 4).
No nível nacional, na Austrália, há um projetoatual que está sendo dirigido pela Associação deCurrículo, para a determinação de modelos a seremseguidos referentes ao desempenho dos alunos no
campo de letramento e conhecimento numérico para a3ª e a 5ª séries, sendo distribuídas as minutas dasdescrições, para comentários.
Os sistemas de exames públicos nos estadose territórios da Austrália, ao final da 12ª série, são umaavaliação do desempenho dos alunos nas matérias queeles tenham optado por estudar. Durante muitos anos,os sistemas operaram sem distinção de "aprovado/reprovado". Os alunos são solicitados a terminar umdeterminado número e padrão de cursos, para aobtenção de um certificado em que aparecem osresultados por matéria. Em alguns casos, aparecemnotas na escala de 0 a 100, mas 50 não é a nota "parapassar", uma vez que uma proporção fixa de candidatosem geral recebe notas abaixo de 50.
Em Nova Gales do Sul, o governo adotou umaabordagem de referência a padrões para a avaliação einformação sobre o desempenho dos alunos, da formarecomendada por uma análise do Certificado de HigherSchool (McGaw, 1997), mas acrescentou um requisito,de que as bancas do exame determinem um nívelmínimo de aceitação de desempenho que receberá nota50 (ministro da Educação e do Treinamento de NovaGales do Sul, 1997). Não vai haver requisito para queuma determinada proporção de alunos tenha nota abaixode 50. O fato de os alunos receberem notas acima ouabaixo vai depender de que tenham alcançado o padrãoexigido, ou o modelo. Ainda está para ser definido oponto até o qual os modelos serão comparáveis entreas matérias.
F ontes e formas de dados
Quando o enfoque no nível do sistema eraconcentrado nos insumos, eram usados váriosindicadores sobre a qualidade desses resultados, paraavaliação do sistema como um todo. O nível dedespesas por aluno era o mais óbvio e o maisfreqüentemente usado. Uma importante análise daescola realizada no início da década de 70 revelou oinvestimento australiano em educação escolar comobaixo, quando comparado a outros países da OCDE, evariável quando eram examinados os sistemas dentrodo país (Comitê Interino, 1973). O comitê de análisedesenvolveu um índice de utilização de recursos, comometa para o aumento nos investimentos que tinha deser alcançada até o final da década de 70 em todos ossistemas, com apoio financeiro do governo federal. Ameta foi alcançada.
Outros indicadores referentes a insumos, querefletiam em grande parte a forma de direção dosrecursos financeiros, concentrava-se no número e no
Nível deresultado
S érie
Nível 1Nível 2Nível 3Nível 4Nível 5Nível 6Nível 7
Final da Série P repara tóriaFinal da 2 ª sé rieFinal da 4 ª sé rieFinal da 6 ª sé rieFinal da 8 ª sé rieFinal da 10 ª sé rieE xtensão para os que passam do N ível 6
123
AN
AIS
DO
SE
MIN
ÁR
IO IN
TE
RN
AC
ION
AL
DE
AVA
LIA
ÇÃ
O E
DU
CA
CIO
NA
L
nível de treinamento dos professores, número e tipo depessoal auxiliar, oportunidades de desenvolvimentoprofissional para os professores, e assim por diante.
A atenção passou a ser canalizada para osalunos, à medida que se passou cada vez mais a olhar,na década de 80, as taxas crescentes de participaçãoalém dos anos de freqüência obrigatória à escola, ouseja, após a 10ª série. Esse era visto como um objetivodesejável, ainda que não fosse um indicador direto dosresultados. Como indicado anteriormente, na discussãosobre a educação de aborígenes, a participação é umacondição necessária, mas não suficiente, para odesempenho.
Os dados sobre desempenho dos alunos falammais diretamente sobre a possibilidade de um sistemade educação estar capacitando os alunos a alcançaremos resultados estabelecidos como metas deaprendizagem. Todos os sistemas de educaçãoaustralianos dispõem hoje em dia de algum tipo deprocesso para a coleta anual de dados, através do qualse acompanham os níveis de desempenho dos alunos.A maior parte deles examina o desempenho na 3a série,
em especial para avaliar se os alunos desenvolveramas habilidades básicas nas áreas de letramento econhecimento numérico que serão pré-requisitos paraoutras formas de aprendizagem, e na 5a série. Outros,acompanham também o desempenho durante asprimeiras séries da escola secundária.
A maior parte dos sistemas, hoje, avalia todoo grupo de alunos, para fornecer relatórios aos pais.Com esse volume de avaliações para receberem notase para a geração de relatórios, utilizam-se formas muitolimitadas de dados. As respostas dos alunos precisamser corrigidas por máquinas, o que limita as formas,ainda que não completamente, à múltipla escolha.
Durante os primeiros anos, e ainda hoje naparte ocidental da Austrália, o acompanhamento incluíaapenas uma amostra representativa de alunos, e nãotoda a população estudantil. Com um volume maisrestrito de respostas a serem pontuadas e incluídasem relatórios, ficou aberta a possibilidade de questõesmais complexas e respostas abertas. A Figura 1 mostraum exemplo do acompanhamento do desempenho dosalunos em Ciências, no Estado de Victoria.
Figura 1 – Material de estímulo para avaliação dos conceitos de Ciências dos alunos
124
AN
AIS
DO
SE
MIN
ÁR
IO IN
TE
RN
AC
ION
AL
DE
AVA
LIA
ÇÃ
O E
DU
CA
CIO
NA
L
A questão, que aparece na Figura 1, é umadentre várias, que pediam uma resposta dissertativa,que revelasse alguma coisa da idéia que o aluno tinhasobre a matéria. Nesse item, as respostas foramclassificadas de acordo com as categorias ordenadasque aparecem na Tabela 2.
Tabela 2 – Categorias das respostas dadas poralunos à questão sobre condensação
Usando um modelo de créditos parciais dateoria de item-resposta, é possível calibrar a localizaçãodos limites entre as categorias de respostas a umaquestão desse tipo. A escala possui propriedades deintervalos e valores numéricos que podem ser atribuídosa ela, para indicar as unidades da escala. A escolhados valores numéricos é arbitrária, assim como o é aescolha dos valores das escalas Fahrenheit e Celsius,para a temperatura. Os resultados da calibraçãoaparecem na Figura 2.
condensação quando o ar resfria
da atmosfera – sem indicação de mecanismo
condensação – sem mencionar a atmosfera
líquido fora da jarra vem de dentro
líquido passou pelos lados da jarra
respostas impossíveis de interpretar
Figura 2 – Calibração dos limites para o item sobrecondensação
A partir daí e de outras questões, quefocalizavam o conceito da estrutura da matéria, foipossível calibrar a estrutura da escala da matéria, queaparece na Figura 3. O item sobre condensaçãoenvolvia apenas uma mudança física, mas alguns dosoutros, que tinham a ver com o processo de cozimento,envolviam mudanças químicas, e assim pode levar osalunos cujo modelo da matéria ia além da teoria daspartículas para a idéia da recombinação das partículasde modos diferentes, à medida que as substâncias vãosendo formadas em uma reação química.
noção de reações químicasmodelo da matéria em partículas
conhece processo não facilmenteobserváveis
identifica apenas os componentesobservados
observações e definições simples
exemplos ou "mágica" como explicação
Figura 3 – Escala da estrutura da matéria
Usando uma amostra relativamente grande dealunos, a equipe de pesquisa responsável por essaavaliação da aprendizagem dos alunos conseguiu,através de um teste com papel e caneta, efetuar umainvestigação detalhada do entendimento conceitual dosalunos na área de Ciências, do tipo usado porprofessores de Ciências, com o uso de técnicas muitomais intensas de entrevistas (Adams, Doig, Rosier,1991). O instrumento de avaliação foi posteriormentepublicado em separado, sob o título Tapping Students'Science Beliefs (Adams, Doig, Rosier, 1992).
I nterpretação dos dados
O amplo acompanhamento do desempenho dealunos em um sistema de educação pode ser uminstrumento bastante desastroso, a menos que recebacuidadosa atenção às interpretações que precisarãoser feitas com os dados obtidos. Por sua vez, issoexigirá que sejam levadas em consideração as platéiasa que se destinam tanto os próprios dados quanto asinterpretações deles.
Público para as interpretações
O acompanhamento no nível do sistema é, emgeral, justificado como uma forma de satisfazer asnecessidades de responsabilização para com o público.Neste caso, a platéia é o público em geral. Para queessa necessidade seja bem satisfeita, tudo dependerádo nível de abertura e acessibilidade do relatório sobreo desempenho geral dos alunos do sistema.
Outros que podem ter um interesse legítimono acompanhamento no nível do sistema são altasautoridades do próprio sistema; neste caso, o
63
61
60
58
64
62
60
58
56Categoria de resposta Pontos
condensação quando o ar resfriada atmosfera – sem indicação de m ecanism ocondensação – sem m encionar a atm osfe ralíquido fora da jarra vem de dentrolíquido passou pelos lados da jarrarespostas im possíveis de interpretar
432100
125
AN
AIS
DO
SE
MIN
ÁR
IO IN
TE
RN
AC
ION
AL
DE
AVA
LIA
ÇÃ
O E
DU
CA
CIO
NA
L
acompanhamento deverá informá-los sobre o impactogeral de suas políticas.
Nos casos em que o acompanhamento érealizado com a verificação de toda a população dealunos, cada escola e os próprios pais poderão obterinformações sobre respectivamente um determinadoaluno, ou uma determinada escola, dentro do contextodo padrão geral dos resultados.
Dados no nível do sistema
Ainda que os dados relativos à participaçãonão constituam uma medida do resultado, eles sãosignificativos para questões de eqüidade, e sãoimportantes em qualquer avaliação da política deeducação. As diferentes taxas de participação porgênero, por condição socioeconômica, localização (árearural ou urbana) todas poderão sinalizar a necessidadede iniciativas de natureza política, para a redução dasdesigualdades.
Além disso, os efeitos podem ser mais sutis.Não é simplesmente uma questão de se os alunos
estão participando, mas também em quê. Por exemplo,em Nova Gales do Sul, o estudo da Língua Inglesa éoferecido através de quatro diferentes cursos, da 11ª à12ª série, sendo organizados hierarquicamente por nívelde exigência intelectual. Ou seja, os cursosdeterminam diferentes tipos de expectativas para osalunos, e presume-se que o número de matrículas reflitaos níveis de desempenho anterior dos alunos. A análiserecente do Certificado de Higher School de Nova Galesdo Sul revelou que as expectativas eram diferenciadaspor classe social, bem como por desempenho anterior(McGaw, 1997, p. 44).
Isso pode ser comprovado através dacomparação do número de matrículas nos cursos na11ª e 12ª séries, de alunos com desempenhoigualmente bom em Língua Inglesa, na avaliação emnível estadual realizada no final da 10a série, e quefreqüentavam escolas secundárias não-seletivas dogoverno, mas que tinham distinção em termos degeografia - um grupo dos subúrbios de classesocioeconômica mais baixa de Sydney, e o outro daárea de nível socioeconômico de médio para alto daZona Norte de Sydney. A Tabela 3 mostra os detalhes.
Entre os alunos representados como os 10%superiores em Língua Inglesa da 10a série, os da partemais ao sul de Sydney têm probabilidade maior do queos da parte Norte da cidade de serem matriculados nosegundo curso em Língua Inglesa com menor nível deexigência durante a 11ª e 12ª séries, e menos probabi-lidade de serem matriculados em qualquer um dos doiscursos com maior nível de exigência. Verifica-se umpadrão semelhante com relação aos alunos dos 30%superiores em Língua Inglesa da 10ª série; a exceçãoé que, para esse grupo mais amplo, há uma maior pro-babilidade de os alunos da Região Sudoeste optarempor um curso com menor nível de exigência, na mes-ma matéria.
A verdade é que os alunos viam-se limitadospela variedade de cursos oferecidos nas suas escolas.A estrutura de cursos altamente diferenciada em Lín-gua Inglesa (assim como em outras matérias) em NovaGales do Sul visava oferecer cursos que fossem apro-
priados para os alunos com diferentes níveis de de-sempenho anterior. De fato, a diferenciação dos cur-sos é mapeada de acordo com a diferenciação social.Os alunos da Zona Sudoeste de Sydney, como apare-ce na Tabela 3, não são diferentes dos da Zona Norte,em termos de desempenho anterior em Língua Ingle-sa; a única diferença acontece em termos de geografiae condição socioeconômica.
A interpretação dos dados de desempenho nonível do sistema não é um processo direto. Os resulta-dos podem fornecer informações sobre o nível e sobrea abrangência dos desempenhos dos alunos, além decomparações através de séries, caso sejam examina-das mais séries, e caso os testes sejam interligados ecalibrados de acordo com uma escala comum. A ques-tão de se o nível de desempenho é satisfatório ou nãogeralmente aparece como aspecto principal em qual-quer discussão pública sobre a educação.
Tabela 3 – Percenta g ens de alunos de escolas não-seletivas do governo, matricu ladosem vários cursos de Língua Ing lesa durante a 12 série
emsuperio res 30% Ing lês da 10 sé rie em
acom aco rdo de 1994 ,
es tadua lava liação
emsuperio res 10% Ing lês da 10 sé rie em
acom aco rdo de 1994 ,
es tadua lava liação S O de
S yd neyN de
S yd neyS O de
S yd neyN de
S yd neyIng lês de 12 sé rie em 199 6 M F M F M F M F
D o is cu rsos com m a io r ex igênc iaS egundo cu rso com m en os ex igênc iaC urso com m enor e xig ênc ia
1378 9
2270 8
2273 5
3562 4
3367 0
5148 1
5644
0
6336 1
ª
ª
ª
126
AN
AIS
DO
SE
MIN
ÁR
IO IN
TE
RN
AC
ION
AL
DE
AVA
LIA
ÇÃ
O E
DU
CA
CIO
NA
L
Caso exista um enunciado claro sobre os ní-veis esperados de desempenho, estes podem servircomo modelo a ser seguido, e de acordo com o qualpodem ser julgados os níveis reais de desempenho.Evidentemente, uma outra possibilidade é que seja le-vantada a questão de se as expectativas estão deter-minadas no nível correto ou não.
O acompanhamento repetido através do tem-po pode fornecer evidência de qualquer mudança nospadrões de desempenho, contanto que os testesefetuados durante os vários anos estejam interligados,e possam ser calibrados de acordo com uma escalaque seja comum. Caso os materiais de teste não se-jam firmes, a ligação entre os testes aplicados nosvários anos poderá ser estabelecida, não através dautilização repetida do mesmo conteúdo, mas atravésdo desenvolvimento de um teste composto com mate-riais dos testes aplicados nos vários anos, além de
seu emprego com alunos que sejam comparáveis en-tre si, pertencentes a um outro sistema.
Uma recente pesquisa nacional de habilida-des de letramento, entre alunos de escolas primárias,na Austrália, é uma boa ilustração para esse aspecto.Esta pesquisa investigou os níveis de letramento entrealunos de 3ª e 5ª séries, nos cinco aspectos doletramento determinados na estrutura do currículo na-cional, ou seja, escrita, leitura, visualização, expres-são oral e escuta.
A pesquisa determinou a extensão dos níveisde desempenho dos alunos, e os mapeou de acordocom os níveis de resultados na estrutura do currículonacional (Comitê Administrativo para o Exame de Alfa-betização de Inglês da Escola Nacional – NSELS,1997). As percentagens dos alunos nos vários níveisdas quatro dimensões de letramento avaliados apare-cem na Tabela 4.
Estes resultados possibilitam um nível básico(1996) de desempenho com os quais é possívelcomparar os níveis de desempenho de alunos similares,em anos posteriores. Além disso, a pesquisa gerouinformações sobre os níveis de desempenho dossubgrupos. As meninas apresentam um nível dedesempenho mais alto do que os meninos em todosos aspectos relacionados a letramento, com a diferençamaior aparecendo na escrita e a menor na visualização.Os alunos de condição socioeconômica mais alta têmdesempenho melhor do que os de condição mais baixa,e a diferença entre os gêneros fica maior a favor dasmeninas cujos pais têm ocupação manual, nãocapacitada.
O ministro das Escolas da Commonwealth, daEducação Vocacional e do Treinamento queria umacomparação mais precisa, com um modelo a serseguido claramente definido, mais do que possibilitavaesse mapeamento de níveis de desempenho. O ComitêAdministrativo solicitou aos pesquisadores Masters eForster, do Conselho Australiano de PesquisaEducacional, que tentassem localizar, nas suas cincoescalas do NSELS os pontos divisórios que pudessemcorresponder a propostas de modelos a serem seguidos
para o projeto nacional sob a administração daAssociação de Currículo.
Essa tentativa limitou-se às áreas de leitura eescrita, uma vez que eram esses os dois aspectosreferentes a letramento para os quais as propostas demodelos estavam mais avançadas. Ao final, constatou-se que não era possível passar da proposta dos modelosa serem seguidos para a determinação de sualocalização correspondente nas escalas de leitura eescrita do Exame de Letramento de Inglês da EscolaNacional (NSELS), sendo assim a tarefa desenvolvidado ponto de vista oposto. Pediu-se que ospesquisadores dos modelos determinassem se cadauma das tarefas das avaliações de escrita e leitura doNSELS correspondiam a desempenhos adequados oumenos do que adequados nas áreas de leitura e escrita,no caso de alunos de 3ª ou 5ª séries. As suasconclusões foram então combinadas, para determinaras notas para aprovação nos testes da pesquisa. Opercentual de alunos que ficaram acima ou abaixo dasnotas de aprovação definidas pelos pesquisadoresaparece na Tabela 5. Esses resultados forampublicados em um outro relatório (Masters, Forster,1997).
ª ª ª ª ª ª ª ª ª ª
127
AN
AIS
DO
SE
MIN
ÁR
IO IN
TE
RN
AC
ION
AL
DE
AVA
LIA
ÇÃ
O E
DU
CA
CIO
NA
L
Esses resultados transformaram-se então embase para um acirrado e substancial debate público.Os informes dos meios de comunicação o descreviamcomo a revelação de uma crise de letramento nas es-colas. Embora todas as provas disponíveis mostras-sem que não tinha havido queda nos padrões deletramento, esses resultados foram não apenas inter-pretados como tendo sido baixos, mas como sendomais baixos do que no passado, ou com certeza maisbaixos do que os críticos conseguiam recordar, emtermos de quais seriam esses padrões no tempo dasua própria freqüência à escola.
Os resultados refletem os níveis de desempe-nho dos alunos em relação aos níveis em que foramdeterminados os modelos a serem seguidos. A ques-tão sobre se esses modelos estariam em um nível altodemais ou baixo demais pode ser encarada através doexame dos tipos de desempenho em leitura e escritaque ficam logo acima e logo abaixo do modelo. Casoos desempenhos abaixo dos modelos estabelecidosfossem considerados como satisfatórios para os alu-nos da série relevante, o modelo poderia ser reduzido.
Comparações internacionais
Uma outra maneira de formar uma opinião so-bre se os níveis de desempenho eram ou nãosatisfatórios seria através do uso de dados comparati-vos oriundos de um outro sistema, ou de um outro país.O Third International Mathematics and Science Study(TIMSS) possibilitou comparações entre os sistemasde educação dos estados e territórios australianos, bemcomo entre a Austrália e outros países.
As comparações internacionais possibilitadaspelo TIMSS foram de uma maneira geral encorajadoraspara a Austrália. A Tabela 6 mostra os resultados. Haviapaíses com desempenhos superiores aos da Austrá-lia, mas, ainda assim, os alunos australianos mostra-ram um bom desempenho nas comparações internaci-onais. Nenhum país de língua inglesa ou da EuropaOcidental aparecia à nossa frente. Enquanto isso nospermitia algum nível de satisfação, não devia ser razãopara atitude de complacência. Um dos estados, o deWestern Australia (Austrália Ocidental), atingiu níveisde desempenho comparáveis ao país de mais alto de-sempenho, que foi Cingapura.
Enquanto isso permitia algum nível de satisfa-ção para os australianos, não devia ser razão para ati-tude de complacência. Nitidamente, existem padrõesmais altos sendo atingidos em outros locais, e é preci-so encarar a questão sobre se esses padrões maisaltos devem também ser esperados na Austrália. Issotraz à mesa a possibilidade de tentar chegar à melhorprática internacional, não em termos de processos,mas sim de resultados, ainda que o aspecto de pro-cessos tenha também que ser examinado.
D o acompanhamento do desempenho àmudança de políticas
A intenção agora é empregar de forma produti-va os resultados do acompanhamento, passando daavaliação à ação.
Tabela 5 – Percentual de alunos que alcan ç am os padrões esperadosem letramento
Escrita LeituraNível de desem penho 3 série 5 série 3 série 5 sérieAlcança o padrãoNão alcança o padrão
7228
6733
7327
7129
ª ª ª ª
128
AN
AIS
DO
SE
MIN
ÁR
IO IN
TE
RN
AC
ION
AL
DE
AVA
LIA
ÇÃ
O E
DU
CA
CIO
NA
L
Da avaliação à ação
É necessário que seja desenvolvida uma aná-lise mais detalhada do que a mera comparação e ins-peção dos dados médios de caráter geral, para que asinformações geradas pelos programas de acompanha-mento possam ter utilidade como base de avaliação.
Essas análises detalhadas do desempenhodos alunos australianos no TIMSS, em comparaçãocom os de outros países, que apresentaram um de-sempenho melhor, em especial Cingapura, o Japão e aCoréia indicam as deficiências na Austrália na área deMatemática. Eventualmente, a Austrália poderia terimaginado que os seus alunos apresentariam um de-sempenho pior nas tarefas ligadas a cálculos matemá-ticos, uma vez que essa área recebe menor ênfasenos currículos australianos, e os alunos apresentamum desempenho mais baixo aí. Por outro lado, a Aus-trália poderia ter pensado que os seus alunos apresen-tariam melhor desempenho nas atividades relaciona-das à solução de problemas, o que não aconteceu:eles às vezes apresentam bom desempenho, masfreqüentemente aparecem significativamente abaixo,também nesse tipo de tarefa (Stacey, no prelo).
A análise dos dados relativos àssubpopulações poderá também indicar as áreas emque é também necessário algum nível de ação. É sem-pre importante verificar o que esses dados têm a dizer,em termos de aspectos ligados à eqüidade nos resul-tados. Os grupos em situação de desvantagem podemser identificados, podendo receber uma quantidadeadicional de recursos, ou até mesmo programas espe-ciais.
O Estado de Nova Gales do Sul utilizou, a umadeterminada altura, os seus resultados no Teste deHabilidades Básicas na área de letramento para a 3asérie, para a identificação daquelas escolas que apre-sentavam um número significativo de alunos com maudesempenho, para encaminhar professoresespecializados em letramento precoce para as esco-las que tivessem revelado as maiores necessidades.
Da ação à avaliação
Esses tipos de análises de dados, vindos doacompanhamento do sistema, poderiam então levar aconsiderações de reforma curricular, para resolver defi-ciências quando fossem consideradas como sérias.
Quaisquer que fossem as iniciativascurriculares introduzidas dessa forma deveriam ser ava-liadas com bastante seriedade, sem seremimplementadas simplesmente pela confiança cega nosucesso. A longo prazo, é preciso que apareçam asvantagens nos níveis de desempenho, a partir do acom-panhamento do sistema. A curto prazo, à medida queforem sendo implementadas e desenvolvidas as inicia-tivas, é preciso que seja empregado todo o arsenal do
avaliador formativo, para a instalação de uma base paramodificação e aprimoramento do programa.
O acompanhamento amplo de um sistema éum instrumento inadequado demais para poder ser amedida através da qual poderão ser formadas ou avali-adas iniciativas curriculares específicas.
O uso da informação no nível da instituição
Os dados que vêm do nível do sistema pode-rão produzir também informações no nível da institui-ção, principalmente se for testada toda a população dealunos. Por outro lado, a interpretação dos dados donível da instituição não é fácil, uma vez que é o resulta-do não apenas do que a instituição faz, mas tambémdas características dos alunos que fazem parte da ins-tituição. Isso quer dizer que as instituições devem tra-tar de enxergar além das comparações com outras ins-tituições, ainda que dêem atenção a elas, para chega-rem a uma análise interna mais detalhada de si mes-mas e da sua comunidade.
E strutura de responsabilidades no níveldo sistema
O sistema de avaliação no nível do sistemamais elaborado da Austrália é o que foi implementadoem Victoria, juntamente com um programa que visavaao retorno substancial das responsabilidades às esco-las, com respeito a muitas decisões relativas a aspec-tos curriculares, dos professores e do pessoal, quepertenciam antes ao domínio da autoridade central. Aautoridade central transferiu a responsabilidade paraas escolas, mas impôs ao mesmo tempo uma estrutu-ra de responsabilidades, de acordo com a qual as es-colas devem informar tanto as suas próprias comuni-dades quanto também a própria autoridade central.
De acordo com essa estrutura de responsabi-lidades, as escolas desenvolvem uma declaração demissão de obrigações, em consulta com a sua comu-nidade, apresentam relatório anual à comunidade e àautoridade central, expondo o desempenho e o pro-gresso em relação aos planos estratégicos contidosna declaração de missão, e realizam uma análisetrianual com a ajuda de uma equipe externa, para exa-me e revisão da declaração de missão para o triênioseguinte.
Esse programa vem sendo progressivamenteintroduzido em todas as escolas do governo, desde1993, quando foi iniciado com um pequeno grupo de
129
AN
AIS
DO
SE
MIN
ÁR
IO IN
TE
RN
AC
ION
AL
DE
AVA
LIA
ÇÃ
O E
DU
CA
CIO
NA
L
escolas voluntárias. Em torno de 300 escolas junta-ram-se ao programa em 1994, mais 500 em 1995, e asúltimas 400 no meio do ano de 1995.
A estrutura de responsabilidades baseia-se emcinco princípios: foco sobre o cliente, orientação parao desempenho, propriedade e transparência locais,integração de todas as partes do planejamento, políti-ca e atividades operacionais da escola, e, ainda as-sim, um conjunto comum de requisitos para todas asescolas, com relação à obtenção e à publicação dosdados.
F ontes e formas de dados
A estrutura de responsabilidades permite queas escolas desenvolvam as suas próprias prioridadese os seus próprios planos, de acordo com as políticase programas gerais do sistema, além de acompanha-rem o desempenho em relação ao programa escolarlocal, que resulta das suas prioridades e de seus pla-nos.
O processo de obtenção e avaliação de dadosdas escolas baseia-se:
l na aprendizagem do aluno, usando:– o desempenho dos alunos demonstrado em
testes aplicados em todo o estado e, nocaso das escolas secundárias, nos examesdo Certificado Victoriano de Educação e ou-tras avaliações, para a 12ª série;
– no julgamento dos professores sobre os de-sempenhos dos alunos em relação à Currí-culo e Estrutura de Padrões.
l no currículo, usando:– as designações de cargas horárias para as
oito áreas curriculares;– a participação por gênero nas matérias da
escola secundária, quando os alunos têma possibilidade de opção;
– as opiniões dos pais sobre a qualidade docurrículo.
l no ambiente da escola, usando:– a freqüência escolar;– o número de acidentes entre os alunos;– as opiniões dos pais sobre o ambiente da
escola.
l na responsabilidade, usando:– dados sobre as matrículas dos alunos, prin-
cipalmente mudanças através do tempo;– no caso das escolas secundárias, destino
dos alunos que deixam a escola;
– percepções dos pais sobre o valor dos rela-tórios de desempenho de seus filhos.
l na administração, usando:– opiniões do pessoal, sobre a qualidade da
administração da escola;– extensão do desenvolvimento profissional
entre os membros do pessoal;– faltas do pessoal.
l nos recursos, usando:– demonstrativo dos resultados financeiros
anuais;– total de receitas e despesas da escola.
Para estabelecerem as suas metas, as esco-las precisam levar em consideração o acesso e a eqüi-dade para os alunos de famílias que não falam inglês,os que são portadores de incapacidades e os alunosaborígenes.
As escolas recebem orientação do Escritóriode Avaliação do Departamento de Educação sobrecomo implementar a estrutura de responsabilidades,incluindo como obter e analisar os dados relevantes.Entre os documentos fornecidos pelo Escritório, inclu-em-se: Developing a School Charter, School AnnualReport Guidelines, School Organisational Health Survey,para a pesquisa com o pessoal, e Parent OpinionQuestionnaire e Monitoring Parent Opinion: User Guide,como documento associado.
I nterpretações dos dados
Público das interpretações
Há duas espécies principais de público a quemse destinam os relatórios anuais das escolas e os re-latórios trianuais de análise. Uma é a comunidade dasescolas. A outra, o Escritório de Avaliação, que exami-na os relatórios, combinando também dados de relató-rios de todas as escolas, para gerar um relatório paratodo o sistema.
Metas institucionais como critérios
Um dos enfoques principais na interpretaçãodos dados oriundos das análises são as próprias me-tas da escola, definidas na sua declaração de missão.Se a declaração de missão de uma escola estabeleceo letramento como prioridade, por exemplo, esse as-pecto terá peso maior na avaliação que a escola faz doseu progresso, e nos seus relatórios para a comunida-de e para o Escritório de Avaliação.
130
AN
AIS
DO
SE
MIN
ÁR
IO IN
TE
RN
AC
ION
AL
DE
AVA
LIA
ÇÃ
O E
DU
CA
CIO
NA
L
Comparações entre instituições
O Escritório de Avaliação utiliza os dados com-binados das escolas, quer sejam todas as escolas, ouamostras representativas entre elas, para determinaras distribuições como as escolas possam comparar-se. São descritas como modelos, mas são, evidente-mente, nada mais do que representações do desem-penho do momento entre as escolas.
Não se pede que as escolas façam compara-ções entre si mesmas e todas as escolas, mas com"escolas semelhantes". Esse agrupamento de "esco-las semelhantes" baseia-se na proporção de alunosde uma escola que usa um idioma que não seja o in-glês em casa, e na proporção de alunos consideradoscomo em "situação de risco". Os alunos "em situaçãode risco" são considerados como aqueles que rece-bem subsídio do governo para os pais de baixa renda.
Estimativas de "valor agregado"
No momento, não se está tratando de estimaro valor agregado para as escolas primárias ou secun-dárias. A possibilidade de ser introduzido esse tipo deabordagem vai aumentando agora, quando está sendoincluída nos programas de testes toda a população dealunos há já alguns anos. Existem hoje grupos de alu-nos que passam por escolas em alguns sistemas, paraquem há avaliações de desempenho em várias séries.Com esses dados, é possível usar uma medida anteri-or de desempenho para isolar do desempenho subse-qüente aqueles aspectos não acrescentados pelasescolas com o passar dos anos, para poder calcular ainfluência da escola. Por outro lado, os procedimentosnão são diretos, uma vez que a medição do valor agre-gado é um residual, que tem tipicamente baixo nível deconfiabilidade. Qualquer tipo de residual, até mesmosimples diferenças entre duas medidas, é muito me-nos confiável do que as medidas a partir das quais écalculado.
No caso do final da escola secundária, comas avaliações da 12ª série, foi calculado o valor agre-gado na Austrália. Nos dois casos, a abordagem ado-tada tem falha conceitual da mesma maneira. A medi-da dos efeitos não relacionados com a escola, nosdois casos, é um teste geral de habilidades desenvol-vidas aplicado aos alunos já quase no fim da 12ª série.No caso do Estado de Western Australia a principalutilidade do teste é determinar uma escala de resulta-dos de exames nas diferentes matérias, e expressá-los em uma escala comum.
No caso de Victoria, o que existe é um Testede Avanço Geral (GAT), destinado a revelar as avalia-ções com base na escola que possam estar anormal-mente altas (ou baixas), para submetê-las à análise.Quando as avaliações de uma escola e os resultados
para os mesmos alunos no GAT estiverem suficiente-mente fora de linha, são enviados à escola avaliadoresindependentes, para revisão do trabalho dos alunosanteriormente avaliado pela própria escola. Se a avali-ação da escola for mais alta do que o esperado, pas-sada esta nova avaliação, o processo de estimativa dovalor agregado rotulará então a discrepância, comoevidência de valor agregado, e não como evidência deuma elevação artificial das avaliações da escola.
Caso essa prática fique padronizada, haveráum incentivo para as escolas tentarem baixar o de-sempenho de seus alunos no GAT, para criar uma dis-crepância entre esses resultados e os da avaliação daescola, de uma forma que não pudesse ser anuladaatravés de uma revisão das avaliações feitas pela es-cola. Uma outra reação seria tentar inflacionar sufici-entemente as avaliações da escola, para receber algu-ma vantagem da estimativa de valor agregado, aindaque não o suficiente para causar análise externa.
O problema tanto com a abordagem daWestern Australia (hoje abandonada) quanto com a deVictoria é que elas usam uma avaliação atual de de-sempenho de 12ª série como substituto para o desem-penho no momento de admissão às 11ª e 12ª Séries,ou, o que é pior, como substituto para "inteligência".
C onclusão
Existem grandes volumes de dados e muitasoutras informações potencialmente disponíveis para asescolas e os sistemas escolares poderem avaliar odesempenho, e para modificar a política e a prática.Sempre existe o risco de coleta de dados desorgani-zada, o que cria mais informação do que é possívelusar de forma sensata. Com freqüência, sabemos maisdo que entendemos. A escolha cuidadosa dos dadosa serem usados e a análise e interpretação apropria-das podem transformar a informação em entendimen-to, e, quem sabe, finalmente em sabedoria.
R eferências bibliográficas
ADAMS, R., DOIG, B., ROSIER, M. Scienceachievement in Victorian schools: 1990. Hawthorn,Vic. : Australian Council for Educational Research,1991.
_____. Tapping students' science beliefs. Hawthorn, Vic.: Australian Council for Educational Research, 1992.
131
AN
AIS
DO
SE
MIN
ÁR
IO IN
TE
RN
AC
ION
AL
DE
AVA
LIA
ÇÃ
O E
DU
CA
CIO
NA
L
AUSTRALIA. Department of Employment, Educationand Trainig. Report of the Aboriginal Education PolicyTask Force. Canberra : Australian GovernmentPublishing Service, 1988.
AUSTRALIA. New South Wales Minister for Educationand Training. Securing their future : New South WalesGovernment's reforms for the Higher SchoolCertificate. Sidney : NSW Gouvernment, 1997.
AUSTRALIA. Quality of Education Review Committee.Quality of education in Australia. Canberra :Australian Government Publishing Service, 1985.
AUSTRALIA. Victorian Commission of Audit. Report ofthe Victorian Comission of Audit. Melbourne, 1993.
BOARD OF STUDIES. English - curriculum andstandards framework. Carlton : Victoria, 1995.
INTERIM COMMITEE FOR THE AUSTRALIANSCHOOLS COMMISSION. Schools in Australia.Canberra : Australian Government PublishingService, 1973. Presidente do comitê: Professor P.H. Karmel.
MANAGEMENT COMMITTEE FOR THE NATIONALSCHOOL ENGLISH LITERACY SURVEY. Mappingliteracy achievement : results of the 1996 NationalSchool English Literacy Survey. Canberra :Department of Employment, Education, Training andYouth Affairs, 1997.
MASTERS, G. N., FORSTER, M. Literacy standardsin Australia. Canberra: Commonwealth of Australia,1997.
McGAW, B. Shaping their future : recommendationsfor reform of the Higher School Certificate. Sydney :Department of Training and Education Co-ordination,1997.
STACEY, K. Insights for mathematics. In: LOKAN, J.,GREENWOOD, L. (Ed.). Raising Australianstandards in mathematics and science : insightsfrom the Third International Mathematics and ScienceStudy. Melbourne : Australian Council for EducationalRese
132
AN
AIS
DO
SE
MIN
ÁR
IO IN
TE
RN
AC
ION
AL
DE
AVA
LIA
ÇÃ
O E
DU
CA
CIO
NA
L
133
AN
AIS
DO
SE
MIN
ÁR
IO IN
TE
RN
AC
ION
AL
DE
AVA
LIA
ÇÃ
O E
DU
CA
CIO
NA
L
ONZE DILEMAS COM QUE SEDEFRONTAM OS ESTUDOS INTERNACIONAIS:
COMENTÁRIOS PARA A MESA*
Juan Casassus**
P ossibilidades e limitações dos estudosinternacionais de avaliação
Em primeiro lugar, gostaríamos de agradeceraos organizadores a amabilidade do convite para parti-cipar deste importante seminário internacional sobreavaliação educacional.
É uma honra podermos comentar a apresen-tação do professor Plomp, da International Associationfor the Evaluation of Educational Achievement (IEA).Com sua palestra, todos aprendemos muito sobre oIEA e os estudos auspiciados por este organismo. Érealmente digno de admiração o trabalho iniciado porBloom e Husen, e continuado por destacados pesqui-sadores durante 38 anos de trabalho pioneiro realizadono campo da avaliação.
O documento de trabalho deste seminárioconstitui o marco geral de nossas observações. Emespecial reconhecemo-nos na visão ali contida sobre areflexão comparada como método de progresso e apre-ciamos o convite para participar da construção de umaagenda aberta para o futuro.
A palestra que acabamos de escutar do pro-fessor Plomp reflete a experiência acumulada nos es-tudos auspiciados pelo IEA. Gostaríamos de aventurarque as qualidades por ele atribuídas aos estudos inter-nacionais do IEA são também extensivas ao conjuntodos estudos comparativos internacionais. Entre elesse encontram não somente os auspiciados pelo IEA,mas também os de outras entidades como: Organizationfor Economic Co-operation and Development (OECD),Internacional Assessment of Educational Progress(IAEP), Educational Testing Service (ETS) ou Unesco,particularmente os do Southern Africa Consortium forMonitoring Educational Quality (SACMEQ), do progra-ma de monitoramento de Educação para Todos e doLaboratório Latino-Americano de Avaliação da Quali-dade da Educação.
*As expressões aqui apresentadas são de responsabilidade do autor e não comprometem nem a Unesco nem o Laboratório Latino-Americano de Avaliação daQualidade da Educação. O autor aproveita a oportunidade para agradecer a Eduardo Cabezón, Sandra Cusato e Juan Carlos Palafox pelos comentários feitosà versão preliminar deste texto.
**Juan Casassus é funcionário da Unesco desde 1977, e desde 1988 é especialista regional em políticas, planejamento e gestão da educação da Orealc. É autore co-autor de várias publicações sobre administração da educação e qualidade da educação. Coordena o Laboratório Latinoamericano de Evaluación de laCalidad de la Educación, com sede em Santiago do Chile, e realiza freqüentes missões de assessoria aos países que participam desse projeto.
O Laboratório Latino-Americano deAvaliação da Qualidade da Educação
Para situá-los no contexto a partir do qual for-mulamos nossos comentários, permitam-nos expres-sar brevemente que, diferentemente do IEA, o Labora-tório Latino-Americano é uma rede intergovernamental,que agrupa o conjunto de sistemas de medição e deavaliação dos sistemas de Educação da América Lati-na e do Caribe. Desta rede (com exceção do Uruguai)participam todos os países de fala portuguesa e espa-nhola da região. Criada em 1994, no México, sua coor-denação foi confiada ao Escritório Regional da Unescoem Santiago do Chile, e o Laboratório conta com oapoio financeiro dos países-membros, da Unesco, daFundação Ford e do Banco Interamericano de Desen-volvimento (BID), entre outros.
Entretanto, apesar de ser uma redeintergovernamental, suas ações não estão distantesdas preocupações do IEA. O Laboratório desenvolveum programa que contém quatro linhas de ação orien-tadas no sentido de apoiar a formulação e gestão depolíticas educacionais:
a) estudos comparativos internacionais (comoo levantamento de informações do estudointernacional nos países-membros, conclu-ído no dia 28 de novembro);
b) geração de padrões (standards) regionais;c) fortalecimento institucional dos países-mem-
bros por meio de formação, assistência téc-nica, disponibilidade de bases de dados ebancos de itens;
d) desenvolvimento de um programa de pes-quisa e experimentação no âmbito da ava-liação e as variáveis associadas ao rendimentoescolar.
134
AN
AIS
DO
SE
MIN
ÁR
IO IN
TE
RN
AC
ION
AL
DE
AVA
LIA
ÇÃ
O E
DU
CA
CIO
NA
L
O professor Plomp deu ênfase às possibilida-des abertas pelos estudos internacionais. Concorda-mos com os pontos de vista por ele expostos. Efetiva-mente, cremos que este tipo de estudo tem múltiplaspossibilidades e, apenas com o propósito de reforçar oque já foi mencionado, permitimo-nos repeti-las. Osestudos internacionais:
a) produzem descrições comparativas que fun-cionam como um espelho onde cada paíspossa "ver" a si mesmo de uma maneiradiferente, ao olhar-se em comparação comoutros;
b) estabelecem referências em matérias es-pecíficas;
c) facilitam o monitoramento ou o acompanha-mento dos processos em diferentes níveisdo sistema mediante a constituição de sé-ries históricas;
d) produzem informações que permitem inter-pretar as diferenças observadas entre ossistemas educacionais;
e) facilitam os estudos de diferenças e derecorrências entre países.
A estes elementos já mencionados, podería-mos acrescentar outros, próprios das redesconversacionais, como o Laboratório, tais como:
f) facilitar os processos de integraçãosupranacional (M. H. Guimarães de Castroe M. I. Pestana, 1996);
g) dar origem aos processos de formação, aosprocessos de implementação;
h) avançar por meio de acordos, em face desua vinculação com a política educacional;
i) melhorar as possibilidades de financiamen-to dos sistemas por seu impacto e suavinculação com os meios de comunicaçãode massa.
Em resumo, estes estudos, graças às suascontribuições em termos de informação e análise, abrempossibilidades, tanto no plano da política educacional,como no da gestão dos sistemas, da pesquisa e dacomunicação social.
O s dilemas
Entretanto, em vez de nos concentrarmos nasqualidades e possibilidades dos estudos internacionais,gostaríamos de aceitar a orientação do documento detrabalho, em seu convite à reflexão e à criação de agen-das abertas para o futuro.
Considerando que na América Latina todos ospaíses já têm ou já instalaram sistemas de medição ede avaliação, podemos afirmar que a etapa de
sensibilização acerca da importância da avaliação játerminou. Portanto, entramos em outra etapa, que sedeve caracterizar por uma maior reflexão acerca damedição e da avaliação no contexto regional, com opropósito de melhor orientar seu impulso atual.
Para isso gostaríamos de sugerir um conjuntode dilemas expressados como opções, surgidos du-rante o Estudo Internacional que o Laboratório Latino-Americano realizou em 1997, e na observação da ex-periência de outros estudos semelhantes.
Queremos enfatizar que falamos de dilemas ede opções. Não estamos falando de antípodas ou con-tradições. Cada um destes dilemas e suas opçõespodem ser interpretados como os extremos de umcontínuo, e não são necessariamente discretos entre si.
Ao falarmos de dilemas, estamos nos referin-do a um conjunto de perguntas, tensões e, conseqüen-temente, de suas opções, que emergem e demandamponderação e decisões.
Na realidade, alguns destes dilemas estão in-terligados, de maneira que a postura que se adote arespeito de uma opção poderia, em honra da coerên-cia intelectual, levar logicamente a uma postura simi-lar a respeito de outra opção. Entretanto, vistos emconjunto, embora estes dilemas ou opções possamrefletir um estilo ou sensibilidade, não cremos que pos-sam constituir-se, neste momento, como modelos pu-ros nos quais cada um possa identificar-se de maneiraconsistente com um conjunto, em oposição a outro.
Por enquanto, acreditamos que a mensagemé que eles devem ser considerados ou confrontados, afim de que os estudos internacionais possam ser maisférteis em seus propósitos.
Os estudos do Laboratório têm um propósitoinvestigativo. Mas não se trata de uma investigação dotipo fundamental, como poderiam ser os estudos emuniversidades ou outros centros acadêmicos. Trata-sede estudos destinados a apoiar e facilitar a formulaçãoe a implementação da política educacional dos paí-ses-membros.
Correndo o risco de simplificar algo complexo,mas consciente de que o contexto deste seminárionão permite ir além de seu mero enunciado, postula-mos os seguintes dilemas, que se apresentam comoopções, para facilitar uma visão de conjunto:
1. Avaliação do sistema e/ou avaliação doaluno;
2. A relação entre teoria, medição, interpreta-ção e política educacional;
3. Objetivos de políticas e/ou objetivos dositens dos estudos;
4. A dimensão lógico-matemática como prog-nóstico das finalidades do sistema;
5. Perspectiva psicométrica e/ou perspectivaedumétrica;
6. Perspectiva linear e/ou perspectivasistêmica;
135
AN
AIS
DO
SE
MIN
ÁR
IO IN
TE
RN
AC
ION
AL
DE
AVA
LIA
ÇÃ
O E
DU
CA
CIO
NA
L
7. Avaliação do homogêneo e/ou avaliaçãodo diverso;
8. Objetivos das disciplinas e/ou objetivostransversais (holísticos);
9. Objetivos dominantes (únicos) e/ou objeti-vos alternativos;
10. Conhecimento e/ou competências e habi-lidades;
11. Globalidade e/ou enfoque local.
1. Avaliação do sistema (prestação de contas –accountability) e/ou avaliação do aluno
Esta é uma distinção (e uma decisão penden-te) que, por ser evidente, nem sempre se esclarece. Aavaliação que os organismos realizam, como o Labo-ratório ou o IEA, ou mesmo os sistemas nacionais demedição, é a avaliação dos sistemas educacionais enão a avaliação dos alunos.
É compreensível que neste plano, por váriasrazões, exista uma certa confusão. Uma delas é a his-tória, pois a avaliação começou como uma avaliaçãodos alunos em classe, por parte dos professores. Ou-tra é que a ênfase atual sobre a aprendizagem – nodiscurso da "avaliação da aprendizagem" – tende amanter uma ambigüidade em relação ao objeto da ava-liação. Embora sejam os alunos os que respondem aprovas e questionários, na realidade não são os alunosque são avaliados: o que se avalia é o rendimento dosistema, por meio das respostas dos alunos. Então,as interrogações dos estudos deveriam consistente-mente orientar-se, não às pessoas que são os alu-nos, mas ao sistema no qual estão inseridos estesalunos.
Dentro desta perspectiva, as comparações sãoreferentes aos sistemas e não a populações. Se levar-mos em conta que estamos avaliando sistemas emfunção de populações, teremos uma variedade de ti-pos de estudos como aspectos da vinculação dos sis-temas em relação às populações.
2. Teoria, medição, interpretação e política educacional
Como mencionado anteriormente, o fato dehaver medição e avaliação parece estar quase univer-salmente aceito. O dilema não se encontra aí, mas apartir desse ponto. São muitos os estudos que foramdesenvolvidos recentemente. Jamais, na história daeducação, foram acumuladas – com metodologias cadavez mais sofisticadas e de maneira mais sistemática –tantas informações relativas ao funcionamento dos sis-temas e aos usuários dos mesmos. Entretanto, muitoembora as bases empíricas continuem crescendo emtamanho, sofisticação e complexidade, parece que avinculação entre elas e o planejamento e a
implementação da política educacional encontra-seinterrompido.
A teoria, a interpretação e a formulação depolíticas encontram-se atrasadas em relação ao de-senvolvimento das bases empíricas, a ponto de se po-der dizer que a falta de desenvolvimento teórico fazcom que a vinculação entre dado ou indicador e medi-da de políticas seja inexistente ou incoerente.
Para exemplificar este ponto, consideremosalgumas das medidas de política mais favorecidas atu-almente quando se quer melhorar a qualidade da edu-cação. São elas: a redução das jornadas nas escolas,o aumento do gasto público e a redução do número dealunos por professor.
Se nos apoiarmos, por exemplo, nos resulta-dos do estudo TIMSS, podemos ver que Cingapura,primeira no ranking do TIMSS sob diferentes perspec-tivas, mantém uma alta porcentagem de seus alunosem escolas com dupla ou tripla jornada; ou que, ape-sar de ter um gasto público muito inferior ao dos paí-ses europeus e outros asiáticos comparáveis, tem umalto lugar no ranking de leitura (Postlewhaite, Ross1996).
A Coréia, uma das primeiras do ranking doestudo TIMSS, tende a manter um elevado número dealunos por professor (Delanoi, 1997).
Quer isto dizer que se deva aumentar as jor-nadas, baixar o gasto público, ou aumentar o númerode alunos por professor? Não é esta necessariamentea conclusão. A conclusão é que os dados devem seranalisados e interpretados de maneira excepcionalmen-te cuidadosa antes que se convertam em políticas aserem adotadas pelos vários países. Vendo por umprisma ligeiramente diferente, Ken Ross (1997) anali-sou a questão sob o nome de "falácia ecológica". Aquestão deste dilema está em que, entre o aumentodas bases empíricas, a crescente complexidade dasmesmas e as medidas de política, gerou-se um vazioteórico e interpretativo, que é necessário preencher.
3. A orientação da política e/ou a orientação dos itensdos estudos (correspondência entre a política e os itens)
A orientação das políticas educacionais estáem plena mudança e diversificação. Passamos de umasituação de reprodução do passado e construção danação a uma grande diversidade de orientações, quevinculam a educação a temas como o trabalho, os pro-blemas sociais, a situação ambiental, a criatividade, odesenvolvimento pessoal, as preocupações locais, aglobalização. Ou, com um olhar mais limitado, ao inte-rior dos objetivos das disciplinas, ela é vinculada, porexemplo, à identificação, à definição e à profundidadedo tratamento dos temas ambientais nos programasde ciências.
Neste contexto de mudança das orientaçõesde política – mudança que aumenta à medida que sobe
136
AN
AIS
DO
SE
MIN
ÁR
IO IN
TE
RN
AC
ION
AL
DE
AVA
LIA
ÇÃ
O E
DU
CA
CIO
NA
L
de grau o nível escolar em que se aplica a medição – édifícil manter a correspondência e as prioridades entreos itens selecionados e as orientações das políticas.A situação se torna mais complexa quando pretende-mos medir e comparar um mesmo sistema em doismomentos de tempo diferentes, pois é bem conhecidoo provérbio que diz que, "se você quiser medir a mu-dança, não mude a vara (o instrumento) com quemede", o que implica que os itens não devam ser mu-dados.
4. A dimensão lógico-matemática como preditora deêxito do sistema
Presenciamos atualmente uma situação naqual há uma tendência de privilegiar a dimensão lógi-co-matemática, por diversos motivos. Por um lado,aparece como elemento discriminador quando se querselecionar por competências para a produção; igual-mente, quando se pensa nas competências para odesenvolvimento científico e tecnológico. Por outro lado,aparece como a linguagem privilegiada na correntecurricular que favorece o enfoque da resolução de pro-blemas.
Aqui, porém, novamente nos encontramos como dilema de que os objetivos dos sistemas educacio-nais se abrem constantemente a outras dimensões,nas quais as competências exigidas são de ordemmuito diferente da lógica matemática. Estas compe-tências, para sermos sensíveis ao que foi sugerido poroutros autores como H. Garner, H. Maturana, ouGoleman, encontram-se enraizadas em outros planos,como o cinestésico, o emocional, o espacial, ointerpessoal, o intrapessoal ou o comunicacional.
A dominação exercida pela dimensão lógico-matemática apresenta um dilema que, se não for re-solvido, pode ter efeitos empobrecedores ediscriminatórios, justamente contrários aos previstosna política educacional de um país.
5. Perspectiva psicométrica e perspectiva edumétrica
Num passado recente, a medição (em especi-al os modelos com referência à norma) foi o principalprocedimento para aferir (assess) os resultados de ren-dimento na maioria dos sistemas nacionais e interna-cionais de avaliação. As idéias de Bloom e de Schriversobre o papel formativo da avaliação e, também, osavanços recentes no plano da psicologia cognitiva(Garner, Steinberg) têm sido confrontados pela ênfaseobjetiva e discriminatória (seletiva) da avaliação vistapela perspectiva psicométrica.
De fato, podemos observar que está se de-senvolvendo atualmente uma tendência, na medição ena avaliação, que busca meios para modificar o papel
dos procedimentos das provas buscando utilizá-los nãomais somente como elementos de discriminação mas,também, como instrumentos de retroalimentação parafins educacionais. Um exemplo disso é a difusão defac-símiles de provas e a difusão de itens pela Internet,o que tem por objetivo aumentar o caudal informativo ereduzir a dimensão surpresa/segredo na aplicação dasprovas.
Em outro plano, o desenvolvimento de mode-los orientados para a referência a critério, como osmodelos tipo Rasch, Lisrel ou os da Teoria de Respos-ta ao Item, facilita a articulação psicométrica eedumétrica, bem como a articulação de referências anorma e critério.
6. Perspectiva linear e perspectiva sistêmica
Os paradigmas atuais da pesquisa científica,nos âmbitos sociais e biológicos, apontam para a pers-pectiva de variáveis multivariadas ou fatores não relaci-onados de maneira causal ou linear com seus efeitos.Este tipo de relação de fatores foi denominada articu-lação "sistêmica", contrastando com a mais tradicio-nal relação causal das ciências naturais.
Por outro lado, a medição, na perspectiva dapsicologia, tem buscado relações lineares a partir dasquais se possam predizer condutas sociais. A teoriada medição, ao ser aplicada à educação, foi fortemen-te influenciada por esta perspectiva linear de prognós-tico. Entretanto, à medida que avançamos com umavisão cada vez mais complexa dos processos educa-cionais, mais necessário se torna poder distinguir aspesquisas orientadas para a busca de relações cau-sais e lineares, daquelas que se orientam rumo a umavisão analógica ou sistêmica capaz de incorporar dife-rentes configurações, como as ecológicas, as sociaise as culturais. Damos especial ênfase às culturais,pois elas têm um enorme potencial para complicar asrelações causais e lineares.
7. A avaliação do homogêneo e a avaliação do diverso
Até agora, a avaliação de diversos sistemasera realizada mediante a aplicação de provas que con-tinham itens comuns. Para comparar, avalia-se o quehá em comum. O mesmo ocorre com os sistemasnacionais, que têm a preocupação de avaliar o queexiste de comum em seus países.
Entretanto, mais uma vez nos encontramoscom um movimento nas políticas educacionais que vaiem sentido contrário. A orientação predominante nasreformas curriculares atuais consiste em que o espa-ço local esteja cada vez mais representado. Igualmen-te, os países com populações indígenas estãoinstitucionalizando a multi(inter)culturalidade e as ati-
137
AN
AIS
DO
SE
MIN
ÁR
IO IN
TE
RN
AC
ION
AL
DE
AVA
LIA
ÇÃ
O E
DU
CA
CIO
NA
L
vidades bilíngües na educação. Este fato, porém, difi-cilmente é captado pelos sistemas de avaliação.
Para fazer frente a este dilema, o de poder darconta do diverso nos sistemas de avaliação centradosno homogêneo, particularmente nos contextos demulti(inter)culturalidade, o Laboratório Latino-America-no criou um grupo de trabalho com os países interes-sados.
8. Objetivos das disciplinas e objetivos transversais(holísticos)
Os estudos internacionais de caráter avaliativoaté agora focalizaram principalmente os rendimentosnas disciplinas (Matemática, Ciências, Linguagem,Leitura, etc.) em detrimento dos objetivos de carátertransversal. Entretanto, uma das tendências prioritáriasno atual desenvolvimento curricular, numa região comoa América Latina, é o desenvolvimento de objetivos ecompetências de tipo transversal, distribuídos ao lon-go das diferentes disciplinas.
A preocupação com o valorativo, as dimensõesculturais particulares, a auto-estima, o desenvolvimen-to da democracia, ou ainda preocupações com a edu-cação preventiva em relação a situações sociais comoa Aids, ou o abuso de drogas, ou o meio ambiente sãoas novas orientações temáticas que animam as mu-danças curriculares atuais.
Para enfrentar este tipo de dilema, o Laborató-rio, igual ao que ocorreu com o dilema anterior, criougrupos de trabalho para refletir sobre as implicações emudanças metodológicas necessárias para enfocar aavaliação dos temas transversais.
9. Objetivos únicos (dominantes) ou objetivos alternativosem nível supranacional
De certa maneira, este dilema estácorrelacionado ao anterior. Ao medir os resultados dediferentes sistemas educacionais com os mesmositens, tendemos a outorgar uma influência e um pesomuito grandes a esses itens. Por seu intermédio éexercida grande pressão, quando chega a hora de to-mar decisões quanto aos conteúdos curriculares quedevem ser ensinados nos diferentes sistemas educa-cionais. A seleção de itens nos estudos internacionaisnão só tende a sacralizá-los mas, como conseqüêncialógica, sacraliza também os métodos de ensino dospaíses que têm os melhores resultados nessas maté-rias. Esta possibilidade entra em tensão com o desen-volvimento de opções surgidas de outros contextos quenão tiveram tanto êxito nos estudos internacionais, masque correspondem a lógicas nacionais particulares.
Isso, porém, não ocorre apenas em relaçãoàs orientações gerais de política. Até mesmo em con-
textos bem delimitados, como o do ensino de Mate-mática, além dos especialistas em Matemática ou emensino de Matemática, são numerosos os grupos cha-mados para manifestar sua opinião – muitas vezes con-trária – sobre o assunto, como, por exemplo, as asso-ciações de pais num país como os Estados Unidos,onde se encontra a liderança exercida pelo NationalCouncil of Teachers of Mathematics (NCTM) do movi-mento de standards em Matemática.
10. Conhecimentos e/ou competências e habilidades
Este dilema talvez seja o mais trabalhado econhecido. Outras das tendências claras na educaçãoem nível mundial referem-se à mudança generalizadana ênfase curricular, partindo dos conteúdos conceituaisenciclopédicos, rumo ao desenvolvimento de matériascom conteúdos mais vinculados a atividades ou apli-cações práticas. Este processo se orienta, então, nãoa acumular dados e conhecimentos enciclopédicos nosalunos, mas sim a desenvolver competências e habili-dades sobre um número menor de conhecimentos.
Este processo, porém, é obstaculizado peloexercício avaliativo. Esta dificuldade torna-se evidentena observação de, pelo menos, duas tendências per-sistentes. A primeira pode ser situada em nível do pró-prio ensino, porquanto a identidade e fortaleza dos do-centes decorre do domínio dos conhecimentos dasmatérias que eles possuem e pelas quais são respon-sáveis. Entretanto, além de ser fonte de identidade, opoder dos docentes na sociedade e na cultura escolaradvém de se manter vigente o valor desse domínio.
A segunda dificuldade é própria do campo daavaliação. Ao observar as práticas dos sistemas deavaliação podemos notar que foi gerado o que pode-mos denominar uma "cultura avaliativa". Esta culturaestá assentada sobre um conjunto de práticas de ava-liação. No ethos avaliativo situam-se em lugar privilegi-ado, ou de domínio geral, as provas de múltipla esco-lha, cujo uso põe em destaque a dimensão dememorização do processo educacional. (Notemos queneste plano, a cultura avaliativa complementa bem acultura docente). Face ao impacto da avaliação sobrea orientação dos processos educacionais em classe,enquanto não se puderem realizar outras práticasavaliativas – a um custo razoável – esta prática predo-minante atua em detrimento da transformaçãocurricular.
11. Globalização e/ou enfoque local
Os estudos internacionais se dão bem com aglobalidade. Entretanto, vemos também que existe ummovimento mundial para o desenvolvimento local daeducação e para a adaptação dos conteúdos a essas
138
AN
AIS
DO
SE
MIN
ÁR
IO IN
TE
RN
AC
ION
AL
DE
AVA
LIA
ÇÃ
O E
DU
CA
CIO
NA
L
realidades. Embora isto tenha sido indicado com fre-qüência como um problema, em termos teóricos nãodeveria haver contradição.
Na prática, a ação e o trabalho humano sãosempre locais. O que varia não é a localização da ação,e sim o seu alcance. O tema está, não no locus, masno alcance, que é variável de acordo com váriosparâmetros, sendo que o menor deles não é o uso daInternet nas escolas.
O dilema, em nossa opinião, não está no locus,e sim nos conteúdos da globalização e da natureza dacompetitividade. Quer dizer, por um lado, o dilema estáno que vai ser posto nos conteúdos da globalização,no sentido de saber se vão ser caracterizados predo-minantemente como processos pertencentes ao âm-bito econômico e financeiro, e, conseqüentemente, comum caráter reducionista e dominante, ou, pelo contrá-rio, se terão uma dimensão holística, diversificadora eflexível.
Por outro lado, há a questão da natureza dacompetitividade, se ela é interpretada como uma ativi-dade dinamizadora pelo seu conteúdo de rivalidade, dedepredação e de negação dos outros, ou se será situ-ada no plano da cooperação e da complementação.
Do ponto de vista educacional, o tipo de inter-pretação ou a construção conceitual que se faça daglobalização e da natureza da competitividade terácertamente um grande impacto sobre a geração dosnovos programas curriculares. Quanto à metodologiada relação entre o enfoque global e o local, considera-mos que um marco conceitual desenvolvido pelo IEA,que estabelece a associação entre currículo intentadoe o macro; entre currículo implementado e o meso eentre currículo conseguido e o micro, apresenta umapista que pode ser fértil para avançar na análise destedilema.
C onclusão
A avaliação conseguiu situar-se em um lugarestratégico na criação e implementação das políticaseducacionais. Conseguiu tal coisa por vários motivos,o mais importante dos quais talvez tenha sido o depoder tornar visível algo que até agora havia sido invisí-vel, a saber, um resultado do processo educativo, per-mitindo gerar um novo tipo de política educacionalcentrada precisamente nesse resultado.
Concluindo, gostaríamos de destacar que nosencontramos em um momento privilegiado quanto àspossibilidades dos estudos internacionais e sua utili-dade para os sistemas nacionais, tanto pelas novasoportunidades de reflexão e de investigação que de-vem salvaguardar os níveis de complexidade dos pro-cessos educacionais e ao mesmo tempo, quanto man-ter um nível de comunicabilidade necessário com osníveis de responsabilidade política, os meios de comu-nicação de massa.
Cremos que, finalmente, um lugar privilegiado,que esteja em condições de cumprir os requisitos decomplexidade e de comunicabilidade são as redesconversacionais do tipo do Laboratório Latino-Ameri-cano de Avaliação da Qualidade da Educação, quepermitem os intercâmbios entre responsáveis de sis-temas com o propósito de avançar comparativamente,identificando sucessos, mas também, compartindo, emconfiança, as vicissitudes e o que se deve evitar nestanova etapa.
139
AN
AIS
DO
SE
MIN
ÁR
IO IN
TE
RN
AC
ION
AL
DE
AVA
LIA
ÇÃ
O E
DU
CA
CIO
NA
L
E STATÍSTICAS EDUCAIONAISNA AMÉRICA LATINA E NO CARIBE:
RESUMO DOS RESULTADOSR. W. McMeekin*
Um estudo financiado pela Fundação Ford eexecutado pela Oficina Regional da Unesco para laEducación en América Latina y el Caribe (Orealc)examinou o estado em que se encontram asestatísticas educacionais na região. Resumimos aseguir os pontos principais apurados.
O estado das estatísticas educacionais naAmérica Latina e no Caribe melhorou visivelmente nosúltimos anos, mas ainda subsistem sérios problemas.
Os países estão conseguindo proporcionarestatísticas educacionais com muito mais sucesso queaté uma década atrás. Receberam bastante assistênciaexterna para melhorar suas estatísticas educacionais,seus indicadores e sistemas de informação para aadministração (embora isso tenha sido menos eficientedo que se esperava). A tecnologia disponível atravésdessa assistência foi de grande ajuda e as estatísticassão hoje mais oportunas e acessíveis, podem seranalisadas com maior facilidade e contêm menos erros.Entretanto, não existe uma compilação deconhecimentos consensuais a respeito do que constituium bom sistema de estatísticas educacionais, nemuma equipe de consultores especializados aos quaisas agências e os países pudessem recorrer.
Foram encontradas práticas inovadoras emvários países: por exemplo, o novo sistema deinformação sobre a Educação no Brasil, o poderososistema de mapas escolares do Paraguai, osexperimentos efetuados em Mendoza com registrosindividuais dos estudantes e o extenso conjunto deindicadores de eficiência dos fluxos de alunos naNicarágua. Existe também uma consciência crescentesobre a importância das estatísticas, dos indicadorese dos sistemas de informação para a administração.Alguns grupos sub-regionais, como o Mercosul e aOrganización de Estados Caribeños Orientales (OECS),estão tomando a iniciativa de estabelecer estatísticase sistemas de indicadores comparáveis, e os paísesdo Convênio Andrés Bello já manifestaram interessena questão.
É possível identificar três grupos principais depaíses, em termos do grau de desenvolvimento e
*Oficina Regional da Unesco para la Educación en América Latina y el Caribe (Orealc)/Chile.
sofisticação de suas estatísticas educacionais. Emboraos limites entre eles não sejam nítidos, existem trêsgrupos bastante claros de países, cada um comnecessidades distintas:
– Países grandes e sofisticados (comfreqüência, países federais) que contam com sistemasde estatísticas educacionais bem desenvolvidos(embora alguns destes somente tenham feitomudanças importantes recentemente): Argentina,Brasil, Chile e México, dentro da amostra de paísesestudados;
– Países pobres que estão bastante atrasados; e– Um grande grupo "intermediário" no qual se
observam importantes melhoras, mas em que aindaexistem problemas sérios: Equador, Jamaica, Paraguai,Uruguai e outros.
Há diversos tipos de problemas que afetam ossistemas de estatísticas educacionais: técnicos,institucionais e outros.
P roblemas técnicos
– Em muitos países há uma carência de dados-chave, por exemplo, com respeito à matrícula por sériee por idade dos alunos. Também existe uma mediçãoou estimativa inadequada de variáveis como arepetência.
– Existem problemas conceituais (espe-cialmente em relação à medição de fluxos de alunos esua eficiência).
– Com freqüência, existe uma discrepânciaentre os períodos de tempo a que se referem a matrícula,o gasto e a população por grupo etário.
– Observa-se uma falta de definições eterminologias claras e consistentes. Existe anecessidade de se elaborar um glossário por consensodos termos de estatística educacional. Há tambémsérias fraquezas em categorias completas de
140
AN
AIS
DO
SE
MIN
ÁR
IO IN
TE
RN
AC
ION
AL
DE
AVA
LIA
ÇÃ
O E
DU
CA
CIO
NA
L
estatística, tais como os dados financeiros ou asinformações sobre o aproveitamento dos estudantes,que serão discutidos mais adiante.
P roblemas institucionais
– O distanciamento das unidades de estatísticaeducacional das outras fontes de informação e do localde tomada de decisões; a falta de contato com outrasentidades para obter dados para indicadores; aspessoas responsáveis pela adoção de decisões nãofazem uso de estatísticas educacionais porque nãoexiste uma cultura de basear as decisões sobre dadose análises. A necessidade de indicadores educacionaissomente está sendo reconhecida recentemente. Existea tendência de que certos temas especiais, comocustos e finanças setoriais, sejam tratados porespecialistas que não fazem parte do sistema deestatísticas educacionais habitual.
– A utilização de estatísticas e indicadoreseducacionais é muito débil. Até mesmo quando issopossa ser devido, em parte, à insuficiente qualidadedas estatísticas disponíveis (o que faz com que aspessoas responsáveis por adotar decisões não façamuso delas), também existe uma subutilização deinformações que já estão disponíveis.
– A descentralização dos sistemas edu-cacionais, não apenas nos sistemas federais comotambém em países que estão descentralizando oudesconcentrando a administração de seu sistema, podecomplicar o processo de coletar, analisar e utilizar asestatísticas educacionais (mas também podeproporcionar valiosas oportunidades para mudar asvelhas práticas e melhorar a utilidade das estatísticaseducacionais na gestão do setor).
– Não existe nenhum foro para o intercâmbiode informações entre os países em relação aestatísticas e indicadores educacionais (exceto emcasos especiais como a OCDE e o Mercosul).
– Falta de liderança regional: o Sistema deInformación Regional (Siri) da Unesco/Santiago fezalguns avanços em termos de coletar e publicar dadosanalisados em nível regional, mas não conta com osrecursos necessários para proporcionar assistênciatécnica ou orientação para estabelecer normas epráticas sólidas. Nenhuma outra instituição assumiuum papel de liderança.
O utros problemas e questões
– Existe a necessidade de se contar com umconjunto sólido e consensual de categorias deestatísticas e indicadores. Este estudo propõe umconjunto de oito categorias: 1. Contexto; 2. Estudantese participação; 3. Docentes e demais pessoal; 4.
Escolas e insumos não-docentes; 5. Eficiência interna(repetência, transição, taxas de sobrevivência); 6.Eficiência externa (taxas de ingresso e emprego pornível educacional obtido e taxas de rendimentoeconômico); 7. Custos e finanças do setor; e 8.Aproveitamento dos estudantes medido em termos deresultados do aprendizado.
– Há importantes categorias de estatísticas eindicadores que são especialmente fracas ou, emalguns casos, estão totalmente ausentes dasestatísticas educacionais "usuais". Foramencontradas insuficiências-chave em: a) indicadores deeficiência interna, especialmente em torno darepetência; b) indicadores de "eficiência externa" ouresultados no mercado de trabalho; c) indicadores decustos e finanças do setor; d) indicadores de qualidadee aprendizagem dos estudantes.
– Fazendo um corte por todas as categorias,existem grandes debilidades nas áreas da educaçãopré-primária e praticamente em toda informaçãoreferente ao nível universitário.
– É importante fazer distinção entre: 1. oplanejamento de indicadores e sistemas de informaçãopara uso nacional em seqüência a reformas emelhoramento da gestão, e 2. a criação de indicadorespara fins de comparações internacionais. É possívelque possam sobrepor-se, mas são essencialmentediferentes.
O papel da assistência internacional paramelhorar as estatísticas educacionais
Como já foi mencionado, tem havido muitosprojetos ou componentes de projetos que propuserammelhorar as estatísticas educacionais, os indicadorese os sistemas de informação para a administração.Praticamente todos os países, na amostra de 14 paísesestudados, receberam alguma assistência para estefim. Isto aumentou consideravelmente a disponibilidadede tecnologia, mas não proporcionou uma orientaçãoeficaz sobre o desenvolvimento de estatísticas,indicadores ou sistemas de informação plenamenteadequados.
Este estudo surgiu em função de uma pesquisada coordenação da assistência à educação, onde seapurou que tem havido uma notável falta de coordenaçãoentre as organizações internacionais sobre questõesrelacionadas com as estatísticas educacionais em nívelregional.
Os países vêem as organizações inter-nacionais como entidades que solicitam informações,com freqüência, de maneira duplicada ou baseada emconceitos e definições diferentes.
Os esforços para proporcionar orientação eassistência em nível regional ou sub-regional têm sidoaté agora de utilidade limitada: a reunião da Unescoem Quito, em janeiro de 1995, e o recente encontro
141
AN
AIS
DO
SE
MIN
ÁR
IO IN
TE
RN
AC
ION
AL
DE
AVA
LIA
ÇÃ
O E
DU
CA
CIO
NA
L
regional sobre custos e finanças do setor emMontevidéu, em março de 1997, mostraram que existiauma ampla brecha entre as recomendações oferecidase as necessidades concretas dos países participantes.
Também há falta de comunicação ecoordenação entre os especialistas de organismosinternacionais e a sua própria percepção dasnecessidades e realidades, de um lado, e asnecessidades tal como são percebidas pelosespecialistas dos países, de outro.
O Centro Interamericano de EnseñanzaEstadística (Cienes), da Organização dos EstadosAmericanos, tem um mandato para dar capacitação,mas atualmente não conta com capacidade técnicasobre o tema das estatísticas educacionais. Ao queparece, o Cienes não disporá de orçamento para 1998.
O Celade desenvolveu um modelo que vinculadados censitários e educacionais, a fim de forneceruma base para o planejamento físico e o mapeamentoescolar. Isto precisa ser difundido de maneira maisampla.
Existe no Cepal uma unidade que trabalha compesquisas domiciliares, que está interessada emutilizar variáveis educacionais das pesquisas paraproduzir indicadores úteis.
O grupo de pequenos países que formam aOrganización de Estados Caribeños Orientales temtrabalhado em conjunto para desenvolver um sistemacomum de estatísticas e indicadores educacionais. Oorganismo, além de assistência bilateral GTZ, temproporcionado assistência modesta, mas importante.
Em geral, tem havido uma profusão deatividades destinadas a melhorar as estatísticaseducacionais, respaldadas ao menos parcialmente pordoadores internacionais. Entretanto, tem faltadocoerência a estas múltiplas atividades e elas nãopromoveram um acordo em nível regional sobreassuntos-chave, nem tampouco a criação deestatísticas e indicadores compatíveis.
A spectos apurados sobre as experiênciasrealizadas em out ras regiões
Ainda não há acordo em nível mundial no quese refere a um sistema de classificação da Educação.A Clasificación Internacional Normativa de la Educación(Cine), da Unesco, tem sido criticada por não incorporardefinições claras e operacionais. Uma versão revisadada Cine será apresentada à Conferência-Geral daUnesco, em outubro/novembro de 1997.
O sistema de indicadores da OCDE foievoluindo durante cerca de dez anos e é hoje umsistema altamente desenvolvido. Reflete os interessese as necessidades de seus países-membros. Teria deser adaptado para ser transformado num sistema quepossa ser adotado satisfatoriamente pelos países daAmérica Latina e do Caribe. Grande parte de seu
trabalho (e de sua forma de trabalhar) poderia serutilizado de maneira progressiva na América Latina eno Caribe, de acordo com o nível de desenvolvimento esofisticação de suas estatísticas educacionais,especialmente em áreas como os indicadores decustos e finanças do setor. Países como Espanha,Portugal e México conseguiram cumprir as exigênciasdo sistema OCDE.
Na região africana, a Associação para oDesenvolvimento da Educação Africana (Adea) e seuGrupo de Trabalho sobre Estatísticas Educacionais(WGES) deram ênfase ao desenvolvimento decapacidades nacionais. Um programa para fortaleceros Sistemas Nacionales de Información Estadísticasobre la Educación (Nesis) permitiu que os paísesparticipassem da análise de módulos-padrão, com afinalidade de promover a criação de sistemascompatíveis. Foi desenvolvido um "Perfil" tipo deestatísticas e indicadores educacionais para os paísesda região. O modelo de desenvolvimento decapacidades da Adea/WGES/Nesis poderia serutilizado no grupo de países da América Latina e doCaribe cujos sistemas de estatísticas educacionais sãomenos desenvolvidos.
C onjunto de indicadores sugeridos
Sobre a base do que apurou, sobre o estadodas estatísticas e os indicadores educacionais nospaíses da região da América Latina e do Caribe e osmodelos de sistemas de indicadores educacionais,tanto dentro como fora da região, o estudo propõe umalista de indicadores potenciais. Não há dadosdisponíveis para completar a totalidade destesindicadores em todos os países de forma imediata;entretanto, a juízo do autor, muitos países estão emcondições de fornecer os dados necessários e seriaviável implementar o sistema na maioria dos países daregião dentro de um prazo razoável.
A lista que se segue é apresentada como umponto de partida, sugerido para estabelecer um conjuntocomum de indicadores para a América Latina e oCaribe, reconhecendo-se que pode haver opiniõesdistintas e que alguns observadores poderãorecomendar mudanças na lista. Uma discussão maiscompleta dos indicadores sugeridos para a comparaçãointernacional básica encontra-se no corpo do informe.
1. Contexto
– População, taxa média de crescimento dapopulação e população escolar (entre 5 e 24 anos deidade, ou a maior aproximação possível que for viável)
142
AN
AIS
DO
SE
MIN
ÁR
IO IN
TE
RN
AC
ION
AL
DE
AVA
LIA
ÇÃ
O E
DU
CA
CIO
NA
L
como porcentagem da população total.– Produto interno bruto per capita e taxa anual
média de crescimento do PIB per capita durante osúltimos cinco anos ou mais.
– Taxas de analfabetismo, total e por gênero,na população de 15 anos de idade e mais (comindicações por país sobre os critérios de analfabetismoque foram aplicados).
– Média de anos de escolaridade alcançada,entre a população de 15 e mais anos de idade, emtotal e por gênero, estrutura do sistema educacional eidade oficial de início da educação escolar.
2. Alunos e participação
– Taxas brutas de matrícula por nível, inclusiveterciário, por gênero (e por região urbana/rural, sepossível).
– Taxas líquidas de matrícula por nível, porgênero (e por região urbana/rural, se possível).
– Taxas de transição entre os níveis primário eo secundário inferior e entre o secundário inferior e osuperior (Cite 1 a 2 e Cite 2 a 3).
– Taxa de transição entre os níveis secundário(Cite 3) e o terciário.
3. Pessoal: docentes, diretores de escola e outros
– Total de docentes e porcentagem dos queensinam em escolas públicas e privadas e em áreasurbanas e rurais.
– Total de docentes em aula e relação entredocentes em aula e o total do pessoal. Porcentagemde docentes que cumprem as normas nacionais parao ensino total, público e privado, e urbano e rural.
– Razão entre alunos e o total de docentespor nível de ensino (excluído o terciário), total, públicoe privado, urbano e rural.
– Média de remuneração de docentes (medidaem algum ponto acordado, como, por exemplo, depoisde dez anos de experiência, incluindo remuneraçãobásica e complementos) como porcentagem do PIBper capita.
4. Escolas e insumos não-docentes
Estabelecimentos
– Número e porcentagem de estabelecimentospor nível de ensino, por fonte de financiamento e porlocalização urbana/rural.
– Porcentagem de estabelecimentos de nível
primário em escolas de turnos múltiplos.
Insumos
– Duração do ano escolar em horas, horascurriculares dedicadas ao idioma nacional, àmatemática, às ciências naturais e sociais.
– Número médio de livros de texto à disposiçãode cada aluno, em escolas públicas e privadas, emzonas urbanas e rurais.
5. Eficiência interna
– Taxas de repetência, por nível de ensino.– Taxas de evasão escolar, por nível de ensino.
6. Eficiência externa
– Média do ingresso de pessoas empregadassegundo o nível de educação, por gênero;
– Taxas de emprego dentro da força detrabalho, segundo o nível de educação alcançado, porgênero;
– Taxas de rendimento econômico, social eprivado por níveis educacionais principais (separandoa educação vocacional/técnica da educação secundáriageral, se possível), por gênero.
7. Custos e finanças do setor educacional
– Gastos totais, públicos e privados emEducação como porcentagem do PIB;
– Gastos públicos em Educação, comoporcentagem do gasto público total;
– Gastos por nível de ensino e por fonte definanciamento público, privado e misto;
– Gastos públicos por aluno por ano (somentegastos correntes; gastos correntes e de capital) pornível de ensino;
– Gastos correntes e de capital.
8. Resultados da educação: aprendizagem dosestudantes
Porcentagem de alunos que atingem o nívelde aprovação exigido nas provas de idioma nacional:ao final, ou perto do final do ciclo primário e ao final dociclo secundário "básico" ou inferior, por gênero.
Porcentagem de alunos que atingem o nívelde aprovação nas provas de matemática: ao final, ouperto do final do ciclo primário e ao final do ciclosecundário "básico" ou inferior, por gênero.
143
AN
AIS
DO
SE
MIN
ÁR
IO IN
TE
RN
AC
ION
AL
DE
AVA
LIA
ÇÃ
O E
DU
CA
CIO
NA
L
C onclusões e recomendações
Duas comunicações recentes são de grandeimportância para o futuro das estatísticas e indicadoreseducacionais na América Latina e no Caribe. Primeiro,o diretor-geral da Unesco anunciou a criação de umnovo Instituto Internacional de Estatísticas da Unesco.Segundo, a Unesco e a OCDE estão colaborando noapoio a um programa piloto cuja finalidade é estabeleceras bases de um sistema de "Indicadores EducacionaisMundiais". Vários países da América Latina e do Caribeserão convidados para participar, neste sistema.
Estas iniciativas parecem pressagiar: 1. uminteresse crescente no fortalecimento das estatísticase indicadores educacionais em nível mundial; 2. aadoção, pela Unesco, de um papel de maior liderançano assunto; e, 3. a formação de um consenso a respeitodo sistema de indicadores desenvolvido pelo ProjetoInes da OCDE, com referência ao conteúdo e àsespecificações técnicas de um sistema de indicadorescomum.
Embora estas iniciativas sejam muito positivas,os esforços para melhorar as estatísticas e indicadoreseducacionais na América Latina e no Caribe vãocontinuar enfrentando uma série de desafios. Oexercício de um papel de liderança por parte do novoInstituto de Estatística vai exigir um delicado equilíbrioentre a firmeza, de um lado, e uma cuidadosadiplomacia, de outro.
O Projeto Piloto para a Criação de IndicadoresEducacionais Mundiais proporcionará uma base muitonecessária para o consenso sobre o conteúdo de umsistema de indicadores, além de uma valiosacompilação de trabalho técnico e conceitualdesenvolvido durante um período de dez anos e comgrande custo, pelos países da OCDE. Cabe formularvárias observações:
– Seria conveniente envolver os países (e osEscritórios Regionais da Unesco) em decisões sobreo projeto desde suas etapas iniciais. As primeirascomunicações indicam que isto já está sendoencaminhado.
– Mesmo com vários dos países maisadiantados da região participando do projeto piloto, osdemais países ficariam sem uma base para o consensoem um momento crítico. Seria conveniente divulgarinformações sobre o projeto piloto a um grupo maisamplo de países; para a América Latina e o Caribe,esta tarefa poderia recair logicamente sobre o escritórioda Unesco/Santiago.
– Os países da região do Mercosul (que incluialguns dos países mais adiantados da América Latina)já deram início a um esforço para criar um sistemacomum de indicadores para a sub-região. Isto deve serrespeitado e apoiado. Esforços semelhantes de outros
grupos sub-regionais de países também devem receberencorajamento e apoio.
– Qualquer que seja o projeto de um sistemamundial de indicadores a que se chegue, é provávelque continuem existindo estatísticas e indicadoresadicionais de que os países da América Latina e doCaribe necessitem para guiar suas políticas e os planospara o setor. Estes poderiam agregar-se ao modelobásico e levar à criação de um Perfil Estatístico daEducação na América Latina e no Caribe, que reflita asnecessidades, as prioridades e o nível dedesenvolvimento dos países da região.
– Alguns dos países escolhidos para o ProjetoPiloto poderão ter dificuldades para cumprir as normasda OCDE com referência à confiabilidade e precisãodos dados e o controle de qualidade, como tambémpara proporcionar os dados exigidos para os indicadoresde custos e finanças, os resultados do mercado detrabalho e os rendimentos cognitivos. Isto será aindamais difícil para os países que se encontram nos gruposmenos adiantados e desenvolvidos.
– Os esforços para ajudar os países a melhorarseus sistemas nacionais com a finalidade de permitirque participem dos sistemas de IndicadoresEducacionais Mundiais trarão a necessidade defortalecer as capacidades, o que por sua vez vai exigirrecursos. Estes esforços serão mais eficazes à medidaque existir um conjunto consensual de informações queos guie, como parece ser a perspectiva. A assistênciaexterna, tanto das principais instituições de assistênciafinanceira – multilaterais e bilaterais – como da OficinaRegional para la Educación da Unesco será umelemento essencial.
R eferências bibliográficas
BEST Universities of Asia (The). Asiaweek, Hong Kong,v. 23, n. 20, 1997.
CHAMPY, James. Reengineering management. NewYork : Harper Collins, 1995.
DEWEY, J. Democracy and education. New York :MacMillan, 1916.
GREAT BRITAIN. Office for Standards in Education.OFSTED and the new school's inspection system.Disponível na Internet (http://www.coi.gov.uk/coi/depts/depts.htm).
INTERNATIONAL INSTITUTE FOR MANAGEMENTDEVELOPMENT. World competitiveness yearbook.1997. Disponível na Internet (http:/www.imdch/wcy/over.hum).
144
AN
AIS
DO
SE
MIN
ÁR
IO IN
TE
RN
AC
ION
AL
DE
AVA
LIA
ÇÃ
O E
DU
CA
CIO
NA
L
INTERNATIONAL LABOUR ORGANIZATION. Yearbookof labour statistics 1996. Genéve, 1997.
KARMEL, Peter. Desirable outcome: Australianeducation policy in the nineties, William Walkeroration, 3 July 1995. Journal of Higher EducationPolicy and Management, v. 18, n. 1, 1996.
NANANUKUL, Surasak et. al. QC manual : basicprinciple of working quality in Japan and Thailand.Cópia mimeografada.
NONGMAK, Chamrat. Private school accreditation :development guideline to promote the role of privateschools. Bangkok, 1995.
OFFICE OF THE NATIONAL EDUCATIONCOMMISSION. Educational investment in Thailand.Bangkok, 1997.
OFFICE OF THE NATIONAL PRIMARY EDUCATIONCOMMISSION. A manual for the use of standardcriteria in primary schools. Bangkok, 1995.
OFFICE OF THE NATIONAL PRIVATE SCHOOLCOMMISSION. A manual to evaluate private schoolquality. Ed. rev. Bangkok, 1996.
______. Guidelines for development and qualityassurance. Bangkok, 1997.
ROSS, Kenneth N. Research and policy : a complexmix. IIEP Newsletter, v. 15, n. 1, Jan./Mar. 1997.
SIRITRANGSRI, Pinsuda. A study on educational reformin New Zealand : a paper presented to ONEC.Bangkok, 1997.
SRISUCHAI, Setasak. Application of strategicmanagement and TQM in large enterprises.Bangkok, 1992.
THAILAND. Ministry of Education. Department ofvocational education and ISSO 9000. Bangkok,1996.
THAILAND. Ministry of Industry. Standards of industrialproducts ISO: 1994. Bangkok, 1996.
UNESCO. Statistical yearbook 1995. Lanham, MD :Brenan, 1996.
WORLD Education League : Who's top? TheEconomist, 29 Mar. 1997.
145
AN
AIS
DO
SE
MIN
ÁR
IO IN
TE
RN
AC
ION
AL
DE
AVA
LIA
ÇÃ
O E
DU
CA
CIO
NA
L
O PROJETO INSTITUCIONAL DO SISTEMA NACIONAL DE AVALIAÇÃO
EDUCACIONAL DA TAILÂNDIA
Nongram Setapanich*
I ntrodução
Este trabalho deverá apresentar um projetoinstitucional de um sistema nacional de avaliação, uti-lizando a Tailândia como caso proposto, para iluminara questão. Será dada informação sobre antecedentese sobre a condição da educação tailandesa, bem comosobre os problemas da avaliação em educação, parailustrar as tendências em direção ao desenvolvimentode um sistema de avaliação. Além disso, serão apre-sentados conceitos e práticas de avaliação em outrossetores e nos países desenvolvidos, em sua aplicaçãona Tailândia.
I nformação geral: antecedentes
A Tailândia está localizada no coração do con-tinente do Sudeste da Ásia, com uma população de 60milhões de habitantes (dados de 1996), que vive emum clima quente e bastante úmido. Ainda que a maio-ria da população seja tailandesa, o país tem uma vari-edade de grupos minoritários, entre os quais, os maisnumerosos são os chineses. Em termos de religião, amaioria da população tailandesa é formada de budistas.
Em 1996, 57,3% da população geral participa-vam da força de trabalho, enquanto que 18,8% eramformados de indivíduos com mais de 13 anos de idade,que não participavam da força de trabalho. Os 23,9%restantes tinham ainda menos de 13 anos. Entre apopulação empregada, 50,4% trabalhavam no setoragrícola; 13,9%, na indústria; 12,7%, no comércio;11,7%, no setor de serviços; 6,2%, em construção e3,6%, no setor de transportes.
*Nongram Setapanich, doutora em Educação Comparada, é secretária-geral adjunta da ONEC, onde anteriormente desempenhou o cargo de diretora doEducation System Developmet Office. Publicou artigos em periódicos e relatórios sobre avaliação da educação, onde se destacam as seguintes obras:Evaluation System of National Quality and Standards (1997) e An Evaluation of the Sixth National Education Development Plan: a policy paper (1994).
Com relação ao desempenho econômico, po-líticas macroeconômicas prudentes apoiaram um rápi-do crescimento econômico e a estabilidade dos pre-ços na Tailândia durante a última década. Entretanto,a partir do início de 1997, o país passou a experimen-tar uma crise econômica, devida a líderes políticos in-competentes, políticas e desempenhos econômicosinadequados dentro do país, bem como ataques exter-nos à moeda e intensa concorrência.
Esta crise contribuiu também para a má quali-dade, como resultado da educação inadequada do povotailandês, que será descrita neste trabalho.
A ntecedentes em educação: educaçãocomo fator crucial para odesenvolvimento de um país
A educação é vista como fator primordial parao desenvolvimento econômico e social na Tailândia,assim como um mecanismo importante para o desen-volvimento das qualidades humanas ao seu potencialpleno. Esta visão é consistente com a visão comumem todo o mundo, em meio à corrente da globalização,em que a competição econômica é extremamente acir-rada. Para vencer na concorrência do mundo de hoje,são extremamente necessários o conhecimento e océrebro dos indivíduos, adquiridos através da educa-ção e da aprendizagem.
A educação, como fator para o desenvolvimen-to de bons seres humanos, é também consideradacomo aspecto de fortalecimento da democracia, deconstrução de famílias e comunidades sólidas, e decontribuição para a proteção do ambiente, que deveráresultar em desenvolvimento sustentável e em umasociedade em paz.
Por conseguinte, a tendência de desenvolvi-mento na Tailândia é a de promoção da educação e deaprendizagem contínua por toda a vida. Esta tendên-
146
AN
AIS
DO
SE
MIN
ÁR
IO IN
TE
RN
AC
ION
AL
DE
AVA
LIA
ÇÃ
O E
DU
CA
CIO
NA
L
cia fica claramente refletida nos oito planos, o PlanoNacional Econômico e o Plano de DesenvolvimentoSocial, além do Plano Nacional de DesenvolvimentoEducacional, cujos maiores objetivos incluem o forne-cimento de "educação para todos" de boa qualidade,através da mobilização "de tudo para a educação",assim como a expansão da educação tailandesa, for-talecendo os potenciais individuais e nacionais paraautoconfiança e estabilização econômica na economiaglobal.
S istema educacional e administração naTailândia
De acordo com o Esquema Nacional de Edu-cação de 1992, o sistema educacional tailandês cobretanto a educação em sistemas relacionados à escolaquanto o processo de aprendizagem constante, duran-te todo o período da vida dos indivíduos.
A educação dentro do sistema relacionado coma escola é fornecida por instituições educacionais, quese caracterizam por um sistema de classes e séries,utilizando currículos específicos para distintos níveis etipos de educação. O sistema escolar divide-se emquatro níveis: educação pré-escolar, de um a três anosde idade, educação primária, durante seis anos, edu-cação secundária, dividida entre três anos iniciais etrês anos de escola secundária superior, e educaçãosuperior, que cobre de quatro a seis anos, para o graude bacharel, e dois anos para os graus de mestrado edoutorado.
O processo de aprendizagem contínua, ao lon-go de toda a vida, diz respeito à auto-aprendizagem apartir de várias fontes de conhecimento e ambientes,relacionados a formas de vida que existam naturalmenteou modificadas, para expansão da própria aprendiza-gem. Não apenas esse processo de aprendizagemcomplementa a educação formal, mas corrige tambéma dependência excessiva da educação formal, ofere-cendo oportunidades para educação constante, atra-vés da aprendizagem em comunidade e da utilizaçãodas tecnologias de informação e dos meios de comu-nicação de massa.
Os programas de educação não formal sãotambém cruciais para o desenvolvimento de uma soci-edade da aprendizagem, tanto em termos do sistemarelacionado à escola, utilizando currículos equivalen-tes aos da educação formal, quanto o sistema infor-mal, ou de auto-aprendizagem, a partir de uma varie-dade de fontes de aprendizagem.
Em termos administrativos, há muitos minis-térios e agências que fornecem educação. Os princi-
pais ministérios, com responsabilidade direta pela edu-cação, são o Ministério da Educação, que fornece pra-ticamente todos os níveis e tipos de educação para ogrupo maior de aprendizes; o Ministério de AssuntosUniversitários, responsável principalmente pela educa-ção superior; e o Ministério do Interior, responsável pelasescolas municipais, bem como pelas de Muang Pattayae as da área metropolitana de Bangcoc, que oferecemeducação básica do jardim de infância até o nível se-cundário inferior. Além disso, há seis outros ministéri-os que oferecem educação, especificamente para aten-der às necessidades de suas especialidades, enquan-to que o Escritório da Comissão Nacional de Educa-ção é a entidade responsável pela formulação e peloplanejamento da política educacional geral.
No nível de departamentos, existem aproxima-damente 54 departamentos que fornecem educação,para um total de 50 mil escolas ou mais. Como conse-qüência do número muito grande de agências e insti-tuições que fornecem educação, é inevitável a variaçãoda qualidade educacional e de seus padrões; assim, éobviamente necessária uma avaliação da qualidade daeducação, para a obtenção dos padrões exigidos.
E ducação na Tailândia, em comparaçãocom outros países da Ásia
Como já foi mencionado anteriormente, a edu-cação é vista como instrumento crucial para o desen-volvimento dos recursos humanos, considerados mui-to importantes para todos os outros aspectos do de-senvolvimento, bem como para o fortalecimento dacompetitividade da Tailândia em relação a outros paí-ses, em meio à corrente da globalização. A evidênciaempírica demonstra de forma consistente que os po-vos dos países mais desenvolvidos são melhor educa-dos do que os dos menos desenvolvidos. Portanto, acomparação da educação entre uma variedade de paí-ses deverá possibilitar um quadro sobre a condiçãoda educação tailandesa, em meio a este mundo com-petitivo.
O nível de educação do total da população podemelhor refletir a qualidade do povo tailandês. Constata-se que a média de anos de educação da população daTailândia, em comparação com os países vizinhos daÁsia, é menor do que na Malásia, em Cingapura, naCoréia e no Japão (ver Gráfico 1).
147
AN
AIS
DO
SE
MIN
ÁR
IO IN
TE
RN
AC
ION
AL
DE
AVA
LIA
ÇÃ
O E
DU
CA
CIO
NA
L
O mesmo é verdadeiro para o número de anos de educação da força de trabalho tailandesa, que ficatambém atrás do indicador correspondente de outros países (ver Gráfico 2).
Com relação à mão-de-obra nos campos de ciência e tecnologia, constata-se que o número de cientistas ede engenheiros por 1.000 habitantes é relativamente pequeno na Tailândia (ver Gráfico 3).
Gráfico 1 – Anos de escolaridade da população
Gráfico 2 – Educação da força de trabalho
Gráfico 3 – Número de cientistas e engenheiros por 1.000
148
AN
AIS
DO
SE
MIN
ÁR
IO IN
TE
RN
AC
ION
AL
DE
AVA
LIA
ÇÃ
O E
DU
CA
CIO
NA
L
Em termos de qualidade, o Terceiro Estudo Internacional em Matemática e Ciências, realizado pelaInternational Association for the Evaluation of the Educational Achievement (IEA), demonstrou que as pontuações dedesempenho dos alunos tailandeses são inferiores aos de outros países da Ásia, que participaram do estudo daIEA, que incluem Cingapura, Japão, Coréia do Sul e Hongcong (ver Gráfico 4).
Ainda, a classificação das 50 universidades da Ásia, realizada pela Asiaweek, apesar de alguns problemasquanto a sistemas de medição e indicadores, revelou que as universidades tailandesas ficaram no grupo inferior, emcomparação a outras universidades da Ásia (ver Gráfico 5).
A condição inferior da educação na Tailândia,tanto em termos quantitativos quanto qualitativos, deverepresentar alguma contribuição para o nível inferior decompetitividade do país na economia global. Como sepode observar, no Anuário sobre Competitividade Mun-dial, publicado pelo International Institute forManagement Development (IMD), que realiza a classi-ficação de 46 países de todo o mundo quanto àcompetitividade, utilizando dados e opiniões de líderesdo setor empresarial de várioss países, a Tailândia foiclassificada abaixo de outros países em 1997, em ter-mos de recursos humanos, ciências e tecnologia, infra-
estrutura e administração. Além disso, a crise econô-mica deste ano e a prevalência dos governos fracos nopaís mostram uma evidência da baixa qualidade dapopulação tailandesa, como resultado da má educa-ção.
Portanto, é preciso melhorar e atualizar a edu-cação na Tailândia, e para isto não bastará apenasoferecer uma educação superior e mais extensa. Sãotambém extremamente necessárias melhorias de qua-lidade, e essas melhorias não poderão ser realizadassem uma avaliação adequada, para revelar as falhasexistentes, que precisam ser revistas e aprimoradas.
Gráfico 4 – Pontuações de desempenho em Matemática e Ciências
2120 24 4 3 3 4 2 1 1 TailândiaHongcong Japão Coréia C ingapura
0
450
500
550
600
650
■ Ciência ■ M atemática
643
607 607
565
605
571599
522522 525
Gráfico 5 – Classificação de Universidade da Asiaweek
10203040
5060
7080
90100
Tailând iaCoréia M alás ia C ingapura Hongcong Japão 4436 16 11 4 3 1
21.63
47.63
61.40 64.25 72.01
77.38 87.52
149
AN
AIS
DO
SE
MIN
ÁR
IO IN
TE
RN
AC
ION
AL
DE
AVA
LIA
ÇÃ
O E
DU
CA
CIO
NA
L
O sistema de avaliação educacional naTailândia
Uma avaliação educacional sistemática é algoquase inexistente na Tailândia. Até o momento, nãoexiste uma agência nacional que seja responsável pelaavaliação da qualidade e dos padrões da educação.Cada agência meramente realiza e desenvolve a suaprópria avaliação e os seus próprios métodos, semcontinuidade adequada, confiabilidade ou eficiência, ealgumas delas são descritas neste trabalho.
O Office of the National Primary Education(ONPEC) é responsável por mais de 40 mil escolas,subordinadas ao Ministério da Educação, usadas paraavaliação da qualidade e dos padrões escolares, atra-vés de vários Escritórios Nacionais Provinciais Primá-rios, para selecionar e premiar (em termos de admira-ção) as escolas de melhor desempenho nas suas pro-víncias. Os critérios de seleção cobrem os desempe-nhos das escolas nas áreas de administração geral,aspectos acadêmicos, controle do corpo discente,serviços escolares e relações escola-comunidade.Entretanto, faltou um acompanhamento para verifica-ção do bom entendimento dos critérios pelas escolasdesde o ano de 1995, quando este método de avalia-ção foi empregado, para finalmente ser descontinuado,devido à fragilidade e à falta de validade do resultadoda seleção. O ONPEC atualmente está analisando emelhorando os critérios padronizados para o seu pró-prio sistema.
O Bangkok Metropolitan Educational Office éresponsável por 400 escolas, subordinadas ao Minis-tério do Interior, e desenvolveu critérios padronizadospara a auto-avaliação das escolas, e que deveriam serapresentados ao Escritório. Os critérios de avaliaçãoincluem insumos, processos e indicadores de resulta-dos. Estes critérios são também utilizados para avali-ação das escolas pelos supervisores educacionais.Constatou-se uma enorme variação entre os resulta-dos obtidos a partir da auto-avaliação da escola e dasavaliações realizadas por supervisores. Os casos dedesempenho positivo jamais deixam de ser informa-dos pelas escolas, uma vez que a idéia é a de quequaisquer relatórios negativos poderiam prejudicá-las.Por outro lado, esses relatórios escolares não estãode acordo com a realidade, de forma expressa pelossupervisores; assim sendo, o Escritório está atualmenteem fase de revisão e reconsideração dos critérios edos métodos de avaliação. Apesar disso, observa-seque as atividades de avaliação são bastante inadequa-das, sendo de uma forma geral ignoradas pelo pessoalenvolvido.
O Department of Secondary Education (subor-dinado ao Ministério da Educação) executa avaliaçõespara selecionar e premiar escolas com base nos seus
próprios critérios, utilizando o mesmo método que odo ONPEC. A avaliação é realizada principalmente pelaautoridade provincial, sob o controle do Departamento,que, por sua vez, não realiza nenhuma atividade deacompanhamento ou de verificação, dada a sua condi-ção de problemas com falta de pessoal qualificado eausência das habilidades adequadas para avaliação.Nas escolas, verifica-se a falta de apoios, incluindo-seaí apoio financeiro e interesse da parte dos administra-dores centrais e dos professores-chefes, em relação àavaliação escolar.
O Office of the National Private EducationCommission (subordinada ao Ministério de Educação)lançou um projeto para credenciamento de escolasparticulares. O projeto foi desenvolvido através da cria-ção de critérios padronizados para auto-avaliação nasescolas, antes da realização da inspeção decredenciamento. Os indicadores incluídos nos critéri-os consistem daqueles relacionados à filosofia e políti-ca escolares, ensino e aprendizagem, atividades estu-dantis, administração de pessoal, administração finan-ceira, relações com as comunidades, edifícios e insta-lações, além da eficácia da escola. O resultado foi aparticipação e o credenciamento de apenas 14 esco-las particulares através deste projeto.
Em 1986, Office of the National PrivateEducation Commission fez uma revisão dos critériosde credenciamento, e implementou um novo procedi-mento para credenciamento em 1987. Três etapas fo-ram envolvidas nesse procedimento, com a seleção everificação de 300 escolas. Entre as etapas, incluem-se: 1) estabelecimento pela diretoria da escola da suamissão, para obtenção do acordo para desenvolvimen-to futuro; 2) implementação e fornecimento de apoio,para chegar aos objetivos acordados, de acordo com amissão da escola; 3) preparação de um relatório deprogresso.
Os componentes incluídos na missão da es-cola são: a) perfil da escola, contendo informaçõessobre sua história e suas características, como tama-nho, número de professores, alunos e edifícios, filoso-fia e currículo escolares; b) função central da escola,como desenvolvimento e aplicação de currículos,gerenciamento e administração, utilização de recursos,controle e avaliação; c) plano estratégico para aprimo-ramento escolar e regras ou diretrizes escolares parapráticas de alunos e de professores.
O relatório de progresso deverá ser preparadode modo a expressar os resultados da implementação,de acordo com a missão da escola. Além disso, serãoinformadas auditorias internas, referentes à qualidadeda escola, aspectos financeiros e administrativos. Ogrupo de auditoria inclui pessoal da escola nomeadopara isso, além de um auditor profissional.
O Office of the National Private EducationComission fornecerá também, sempre que solicitadopela escola, auditoria externa.
150
AN
AIS
DO
SE
MIN
ÁR
IO IN
TE
RN
AC
ION
AL
DE
AVA
LIA
ÇÃ
O E
DU
CA
CIO
NA
L
Atualmente, o processo de garantia de quali-dade na escola particular encontra-se na fase de revi-são dos critérios de avaliação que, com freqüência, érealizada como resultado de remanejamento do secre-tário-geral, o que desta forma contribui para uma ga-rantia da qualidade escolar que não tem consistência.
O Departament of Vocational Education (su-bordinado ao Ministério de Educação) avalia universi-dades, com a finalidade de selecionar e premiar asque mais se distingam, empregando os seus próprioscritérios, quanto a padrões. A principal tarefa do depar-tamento hoje é desenvolver a garantia de qualidade nasuniversidades vocacionais, aplicando as normas daInternational Standards Organization (ISO 9000) ao sis-tema educacional. Esse desenvolvimento ocorreu atra-vés de um projeto piloto implementado em uma dasuniversidades vocacionais: o corpo docente foi treina-do para obter conhecimento e entendimento sobrecomo aplicar a ISO 9000 para o desenvolvimento daeducação vocacional. A implementação deste projetovem-se revelando como sendo bastante satisfatória, eo departamento tem intenção de estendê-lo a outrasuniversidades.
Além disso, o departamento avalia também osprojetos implementados de acordo com o PlanoQüinqüenal de Desenvolvimento da Educação Nacio-nal, ainda que as amostras em estudo sejam aindamuito pequenas, e existam problemas, devido àinadequação de pessoal, orçamento e apoio adminis-trativo.
O Officce of Rajabhat Institute Council (subor-dinado ao Ministério da Educação), responsável pelasinstituições dedicadas ao treinamento de professores,raramente executa avaliações significativas, limitando-se ao acompanhamento da implementação dos proje-tos e do emprego do orçamento. Não são realizadasde modo consistente quaisquer avaliações diretas dotreinamento de professores; apenas pesquisas ocasi-onais foram realizadas, sobre aspectos como a quali-dade do trabalho dos funcionários das Rajabhat TeacherTraining Institutions, além do acompanhamento da con-dição de emprego dos formados. O conselho enfrentatambém os mesmos problemas que os outros depar-tamentos, como o fato da falta de pessoal de avaliaçãoe outros meios de apoio.
Apesar do problema, Rajabhat percebeu a ne-cessidade de garantia de qualidade, e apoiou o treina-mento do seu pessoal, ministrado por especialistasestrangeiros nas áreas de Gestão da Qualidade Totale ISO 9000. Com base nos conceitos e nas práticasdesses métodos, foram ressaltados fatores que afe-tam a qualidade da educação através de um processode brainstorming realizado entre as instituiçõesRajabhat, como estrutura para o desenvolvimento daqualidade. Esses fatores incluem a filosofia das insti-tuições Rajabhat, currículo, pessoal, corpo discente,instrução, atividades estudantis, recursos de aprendiza-gem, administração, finanças, pessoal administrativo,
edificações e instalações, pesquisa, avaliação e ela-boração de relatórios.
As Ratchamankhala Technological Institutions(subordinadas ao Ministério de Educação) não dispõemde atividades específicas para monitorização e avalia-ção. Até agora, só foram acompanhados projetos e asituação de emprego dos formados. A avaliação daqualidade recebe apoio e promoção insuficientes.
Apesar de tudo o que foi mencionado, a ga-rantia da qualidade vem atingindo um nível de atençãocrescente, sendo este aspecto cada vez mais popularentre os órgãos dedicados à educação. Assim, um pla-no com vistas à introdução da ISO 9000 deverá come-çar a ser implementado nessas instituições, paraenfatizar o desenvolvimento e a qualidade da educação.
O Ministério de Assuntos Universitários, res-ponsável pela educação superior, costumava acompa-nhar projetos implementados pelas várias universida-des sob o seu controle; este acompanhamento nãofunciona bem, devido à cooperação inadequada entreas universidades, no que se refere ao fornecimento dasinformações solicitadas ao ministério. Ainda, o minis-tério carece de pessoal e de orçamento para a avalia-ção, o que gera o atraso e a inadequação da atividade.
Entretanto, foram empreendidos esforços parao desenvolvimento da qualidade, através decredenciamento institucional e profissional sem avalia-ção suficiente. Com a tendência da globalização, aavaliação de qualidade e a garantia de qualidade vêm-se tornando cada vez mais exigidas. Destarte, existea preocupação para formular e implementar a políticade controle da qualidade e da garantia da qualidadeentre várias universidades.
O ministério propôs três componentes para agarantia da qualidade, que incluem: controle da quali-dade interna, focalizando vários fatores, que afetam aqualidade dos formandos; auditoria externa de qualida-de, realizada pelo comitê nomeado pelo ministério; eavaliação da qualidade, como mecanismo para audito-ria de qualidade, centrado na eficácia e na eficiênciado controle da qualidade interna de cada universidade.
O Office of the National Education Commission(ONEC) é um órgão de planejamento e de política, alémde realizar pesquisas e avaliações, para orientação doministério em aspectos educacionais. Como órgãocentral, este escritório executa a coordenação comtodas as outras agências ligadas à educação, paraimplementação do Plano Nacional de Desenvolvimen-to da Educação. Durante o processo, e após aimplementação do Plano, é preciso que sejam realiza-das avaliações formativas e somativas, para a suges-tão de recomendações quanto a políticas, para revisãodo Plano e para prosseguir com a formulação de políti-cas para o Plano subseqüente. As questões incluídasna avaliação referem-se principalmente à igual-dade, qualidade e eficiência. De forma geral, a ava-liação é realizada utilizando o processo que apare-ce no Gráfico 6.
151
AN
AIS
DO
SE
MIN
ÁR
IO IN
TE
RN
AC
ION
AL
DE
AVA
LIA
ÇÃ
O E
DU
CA
CIO
NA
L
Como está representado no Gráfico 6, o ONECenvia questionários a vários ministérios e departamen-tos responsáveis pelo fornecimento da educação. Es-tes questionários são, então, encaminhados aos es-critórios provinciais e subprovinciais de cada departa-mento, antes de chegarem às escolas, que são res-ponsáveis pela obtenção de dados e por enviar os ques-tionários preenchidos de volta ao ONEC, através deuma variedade de canais. As informações constantesdos questionários são então examinadas e analisadasde forma a gerarem um quadro geral do desenvolvimentoda educação no país.
Além disso, o ONEC executa também algu-mas avaliações específicas de projetos focalizandoquestões importantes de política, que são principal-mente avaliações externas, como as já mencionadasanteriormente. Portanto, é raro serem empregadas ava-liações internas nas escolas e nas instituições de edu-cação. Na verdade, este tipo de avaliação externa ten-de a criar conflitos entre as instituições de educação,quando os seus resultados se revelam como sendonegativos. Além disso, a ausência de avaliações inter-nas não estimula a coleta de dados pelas escolas,uma vez que esses dados não são usados para o seupróprio benefício. Assim, ficam sem saber por que de-vem obter dados para os outros.
Em resumo, as avaliações na área de educa-ção são realizadas de uma forma dispersa e rara, en-tre as várias agências: algumas delas não efetuaramnenhuma avaliação em 3 ou 4 anos. Ainda mais, nãohá muita consciência do que sejam a essência e ospontos fortes da avaliação. As conclusões de avalia-ções negativas, ainda que verdadeiras, não são acei-tas, e verifica-se insuficiência de apoio para a avalia-ção, tanto em termos de orçamento quanto de pesso-al. Junte-se a isso o fato de que a maior parte dasavaliações é conduzida externamente por órgãos cen-trais, enquanto que as avaliações internas e a utiliza-ção dos dados raramente acontecem no nível das es-
colas, o que contribui para a ineficiência das melhoriasda qualidade. Por conseguinte, é realmente necessá-rio, na Tailândia, o desenvolvimento de um processosistemático de avaliação.
P rojeto desenvolvido do sistema deavaliação educacional
Para o desenvolvimento de um sistema maisorganizado de avaliação educacional, foi realizada umaanálise dos conceitos e práticas de avaliação em ou-tros setores e outros países, segundo a forma apre-sentada abaixo.
A valiação de qualidade nos setoresempresarial e industrial
No setor empresarial e privado, o fato de que aavaliação é uma etapa crucial no processo degerenciamento é bem aceito, como aparece no Gráfi-co 7. Para um desempenho bem-sucedido, é precisoserem estabelecidos uma meta clara e um plano paraavançar em direção a esta meta. Em seguida, vem aimplementação do plano. Durante esta fase, é precisoque sejam realizadas atividades de monitorização e deavaliação, para verificar se o plano está sendo real-mente seguido, e se a meta está sendo atingida. Casonão seja este o caso, os problemas e os obstáculossurgidos deverão ser investigados e eliminados, ouentão a meta terá de ser ajustada, para conformar-secom a verdadeira realidade e para avançar em direçãoa melhores aprimoramentos.
Gráfico 6 – Processo de avaliação do desenvolvimento geral da educação na Tailândia
enviar questionáriosdevolver questionários preenchidos
ONEC MinistériosDepartamentos
EscritóriosProvinciais
EscritóriosSubprovinciais
Escolas
Avaliação externa de umdesenvolvimento geral,realizada pelos órgãoscentrais
Ausência de avaliação interna
152
AN
AIS
DO
SE
MIN
ÁR
IO IN
TE
RN
AC
ION
AL
DE
AVA
LIA
ÇÃ
O E
DU
CA
CIO
NA
L
No setor industrial, o controle da qualidadeatravés da avaliação foi incluído no processo de produ-ção desde a Segunda Guerra Mundial. No início, erarealizada uma amostragem aleatória dos produtos, paraa verificação de que a qualidade estava atendendo aosparâmetros exigidos. Posteriormente, verificou-se umdesenvolvimento extraordinário na avaliação e no con-trole da qualidade.
O controle da qualidade de Deming represen-ta uma inovação nas últimas décadas. Em vez de fo-calizar os produtos finais, dá-se mais atenção ao pro-cesso de produção e à gestão. Acredita-se que umbom controle do processo gere produtos de boa quali-dade, e que a avaliação seja um aspecto-chave para ocontrole da qualidade no processo de gestão. De acor-do com Deming, a avaliação contínua e consistentedeverá contribuir para o controle da qualidade e para agarantia da qualidade.
O conceito de Deming sobre o controle da qua-lidade não foi muito bem aceito nos Estados Unidos,mas foi aplicado, com sucesso, no Japão. Este con-ceito de controle da qualidade foi modificado para ges-tão da qualidade total (TQM) nas empresas japone-sas, levando cada trabalhador a exercer uma funçãono aprimoramento da sua vida profissional, para a pro-dução de bens que possam levar à satisfação dos cli-entes. A aplicação de TQM representou uma contribui-ção crucial para a promoção dos produtos japoneses,desde os menos populares aos mais procurados nomercado internacional.
O conceito de reengenharia, de Hammer eChampy, fornece um outro modelo de aprimoramentosde qualidade. Este processo de reengenharia exige umnovo pensar sobre as principais tarefas numa empre-sa; o redesenho do processo de trabalho, para torná-lomais curto e mais eficaz; introdução de novos instru-mentos, para empregar a tecnologia mais moderna emais eficaz no processo de trabalho; e o retreinamento,para equipar o pessoal com conhecimentos e habilida-des para o trabalho no sistema renovado. No processo
Gráfico 7 – Avaliação como etapa necessária no processo de gestão
Metas eObjetivos
Necessários
Resultadoou
Produto
Planejar
Implementar
Avaliar
de reengenharia, é também muito exigida uma avalia-ção constante.
Ao longo dos últimos anos, vem-se verificandouma intensa concorrência na economia global, o quetorna o controle da qualidade com vistas à obtençãode padrões comuns crucial para o desenvolvimento in-dustrial. A Inglaterra é líder no estabelecimento des-ses padrões, para a garantia da qualidade padrão de-sejada. Esse tipo de prática foi estendido para outrospaíses, em especial os da Comunidade Européia. Or-ganizações industriais de vários países reuniram-separa a criação de uma organização chamada ISO, parao desenvolvimento de padrões de qualidade que pro-movam o comércio internacional. Estes padrões torna-ram-se objeto de acordo e prática internacionais nocomércio por todo o mundo. Para vender produtos in-dustriais no mercado mundial, é preciso atender àsnormas ISO.
Em conclusão, o crescimento industrial exce-de outros setores, como resultado do controle da qua-lidade e dos padrões através da avaliação, que é inclu-ída como parte integrante do processo de gestão. Narealização das avaliações, as empresas precisam con-siderar as suas metas e os seus objetivos, os váriosproblemas e erros surgidos, e comparar o seu desem-penho ao de outras empresas rivais. Além disso, a ava-liação tem o poder de ressaltar as empresas e o pes-soal com bom desempenho de outros não tão capa-zes. Essa discriminação, se utilizada de forma ade-quada, incentivando os melhores e os mais capazes,tornar-se-á motivação para desempenhos melhores emais eficazes. Além do mais, a avaliação gera exce-lentes lições e um processo de aprendizagem contí-nuo, a partir do sucesso e do fracasso, que é benéficopara maiores desenvolvimentos e melhorias.
Com base na avaliação de qualidade executa-da no setor industrial, há dois tipos de avaliação quevêm do controle da qualidade: 1) avaliação interna den-tro das empresas, para alcançar as metas propostas,e 2) avaliação externa, como garantia para a qualidade
153
AN
AIS
DO
SE
MIN
ÁR
IO IN
TE
RN
AC
ION
AL
DE
AVA
LIA
ÇÃ
O E
DU
CA
CIO
NA
L
padrão. Ademais, são relatados os resultados da ava-liação para o público, como fator de proteção do con-sumidor.
A valiação da qualidade da educação nospaíses desenvolvidos
Examinando-se a literatura, verifica-se que aavaliação educacional, em busca da garantia da quali-dade e de melhorias de qualidade, recebe grande ênfa-se em alguns dos principais países desenvolvidos,como os Estados Unidos, a Austrália, a Nova Zelândiae a Inglaterra.
Nos Estados Unidos, já foram realizadas ten-tativas de solucionar a crise da educação, que é umfator impeditivo para a sua competitividade com outrospaíses desenvolvidos. Essas tentativas são expressaspela promulgação de "Metas 2000: Lei da Educaçãona América", para a preparação de todos os america-nos para a entrada no novo milênio através da melhoriada educação americana, para se equiparar a padrõesde nível mundial.
Para chegar às metas 2000, foram indicadosdois órgãos para acompanhar a implementação deacordo com as metas: O Painel Nacional de Metas deEducação, responsável pela orientação do Presidentee do Congresso em questões ligadas à educação, e oConselho Nacional de Padrões de Educação e Apri-moramento, responsável pelo estabelecimento e pelamonitorização de padrões e critérios de educação, bemcomo pela aprovação dos critérios desenvolvidos vo-luntariamente por cada um dos Estados.
O credenciamento americano de qualidade émais nítido no nível da educação superior, tendo sidoestabelecido pelas Associações Regionais deCredenciamento Institucional, e pelas Agências Naci-onais de Credenciamento Institucional e Especializa-do. O processo de credenciamento é feito em colabo-ração entre a associação de credenciamento e a insti-tuição, na determinação de critérios padronizados. Ainstituição precisa solicitar o credenciamento à asso-ciação; tendo sido aceita a solicitação, a instituiçãoprecisa efetuar auto-avaliações de maneira consisten-te, para acompanhar e verificar se executou as fun-ções de acordo com os planos institucionais, para oatendimento dos objetivos necessários. A avaliaçãotem a participação de todas as pessoas envolvidas,entre corpo docente, pessoal administrativo, pessoalde apoio e corpo discente.
O relatório da auto-avaliação é enviado à as-sociação de credenciamento, que por sua vez deverávisitar e avaliar a instituição. Normalmente, o resultadodo credenciamento terá validade de cinco a dez anos.Entretanto, a associação de credenciamento poderá
inspecionar a instituição a qualquer momento e semnotificação prévia, para garantir que ela continue efici-ente, e que efetivamente atenda à qualidade padrão.
Enquanto isso, as próprias associações decredenciamento são também avaliadas por órgãos tantopúblicos quanto privados. O órgão não-público que avaliaas associações de credenciamento é a Comissão deReconhecimento de Credenciamento Pós-Secundário,para a manutenção da variedade e da qualidade. Nocaso do órgão público, os governos federal e estaduaisobservam as associações de credenciamento, paraverificar o adequado desempenho de suas funções, comqualidade confiável, e de acordo com critérios padroni-zados estabelecidos.
Na Austrália, que se beneficia em muito daeducação, uma vez que esta pode ser considerada in-clusive como um de seus principais produtos de ex-portação, a qualidade da educação é bastante reco-nhecida por muitos dos países da Ásia. Esta qualida-de é obtida através de avaliações consistentes de re-sultados e de produtos, medidas em termos de de-sempenho acadêmico e da qualidade de trabalho dosindivíduos formados pelo sistema. As avaliações sãoefetuadas em caráter regular, sendo os resultados di-vulgados, com a finalidade de prestação de contas jun-to ao público. Ainda, os resultados da avaliação sãousados para sugerir recomendações referentes à polí-tica educacional, para aprimoramentos e desenvolvi-mentos futuros.
No caso da Nova Zelândia, verificou-se umareforma bastante clara, passando o país de um tipo deadministração centralizada da educação para adescentralização. Como resultado desta reforma, apolítica formulada pela Autoridade Central pode sertraduzida diretamente e implementada pelas escolase pela comunidade, sem que seja necessário passaratravés de uma linha administrativa longa e cheia depercalços, como era feito no passado.
Em meio ao processo de reforma, foramefetuadas avaliações de verificação e de equilíbrio, etanto as avaliações internas quanto as externas fica-ram integradas no processo de reforma. A avaliaçãointerna inclui dois níveis, o nível da escola e o nívelministerial. No nível da escola, além da verificaçãomútua, entre diretores, professores e alunos, a direto-ria escolar tem a função de avaliar a própria escola. Nonível ministerial, o Ministério da Educação é responsá-vel pela avaliação dos desempenhos das escolas demodo geral, de acordo com as Diretrizes Nacionais deEducação.
No caso da avaliação externa, um EducationReview Office (ERO), que é um órgão autônomo forada esfera de controle do ministério, avalia as escolas,verificando se desempenharam ou não os seus deve-res, da forma expressa na missão da escola e nasDiretrizes Nacionais de Educação.
Na Inglaterra, foi criado um Office for Standardsin Education (OFSTED), chefiado pelo inspetor-chefede Sua Majestade e o seu pessoal (Her MajestyInspectors ou HMI), para acompanhar a qualidade e ospadrões de qualidade. Como órgão autônomo, inde-
154
AN
AIS
DO
SE
MIN
ÁR
IO IN
TE
RN
AC
ION
AL
DE
AVA
LIA
ÇÃ
O E
DU
CA
CIO
NA
L
pendente do Ministério da Educação, este escritóriotem a possibilidade de executar as suas funções semparcialidades e preconceitos.
O estabelecimento do OFSTED introduziu umsistema novo de inspeção escolar e modificou as fun-ções dos HMI, de fornecedores diretos de inspeçãoescolar para o desenvolvimento de padrões nacionaisde educação e apoio a inspetores privados indepen-dentes para desempenharem essa função para todasas escolas, de acordo com um ciclo de quatro anos.Estes inspetores privados têm de ser treinados eregistrados, para serem qualificados para inspeçãoescolar, contratada através de licitações. O resultadoda inspeção é informado ao OFSTED e à escola e àcomunidade, com a finalidade de prestação de contase de dar informações de volta ao sistema, para o de-senvolvimento de melhorias. Quando são encontradosproblemas sérios como resultado da inspeção escolar,o OFSTED aplica medidas especiais na escola, que,por sua vez, fica responsável pela formulação e pelaimplementação de um plano operacional para melho-ramentos. Durante a fase de implementação do plano,a escola e a comunidade executa avaliação emonitorização internas, enquanto que a inspeção ex-terna é realizada pelo OFSTED, para verificar se a es-cola melhorou de acordo com o plano.
Aparentemente, o novo sistema de inspeçãoestá funcionando muito bem. As conclusões da inspe-ção são aceitáveis, e são consideradas benéficas paraas escolas e partes relacionadas a ela, aprimorando aqualidade da educação.
Em conclusão, a prática na área de melhoriasde qualidade atingidas através da avaliação da qualida-de e do padrão da educação nos países mencionadosacima baseia-se em conceitos relacionados ao valorpelo investimento, prestação de contas, liberdade aca-dêmica, administração descentralizada e participaçãode todos os envolvidos durante todo o processo de pla-nejamento e monitorização e avaliação, tanto internasquanto externas, com método transparente de verifica-ção e equilíbrio, com base no qual os órgãos de avali-ação são também avaliados por outros beneficiários.Esses conceitos e prática de avaliação têm impactossignificativos sobre o planejamento, orçamento e ad-ministração, em relação a metas necessárias relacio-nadas a melhoramentos e eficiência na área de quali-dade.
O sistema de avaliação educacionalproposto na Tailândia
A partir da análise realizada acima, verifica-seque a educação assume um papel crucial na constru-ção do futuro de uma nação. Por isso, vários paísesvêm empreendendo os maiores esforços para fornecer
educação para o desenvolvimento de recursos huma-nos, que possam contribuir para o desenvolvimentonacional. Tudo isso é também verdadeiro na Tailândia,que precisa efetivamente desenvolver a qualidade desua população e os seus potenciais, para expandir acompetitividade do país em relação a outros países, eem todos os aspectos do desenvolvimento.
Apesar de todos os esforços, o sistema edu-cacional na Tailândia não dispõe de um órgão principal,que seja responsável pela avaliação, pela qualidade na-cional da educação e dos seus padrões. Verifica-se tam-bém que o sistema de avaliação existente é inadequa-do, tanto em termos de qualidade quanto de quantidade,o que gera feedback igualmente não apropriado para odesenvolvimento nacional da educação.
Por isso, é preciso que seja desenvolvido umaestrutura sistemática de avaliação, com base no con-ceito e na prática analisada em outros setores e emoutros países, para que possam ser solucionados osproblemas existentes, assim como para que seja pos-sível adquirir um mecanismo para aprimoramento edesenvolvimento educacionais.
É necessário desenvolver diretrizes e padrõesnacionais de educação, em todos os níveis, sendo in-dispensável executar-se uma avaliação de qualidade,para garantir que essas diretrizes e padrões sejam aten-didos. Tudo isto deverá partir de esforços de colabora-ção, empreendidos entre os vários órgãos relaciona-dos, que, como órgãos implementadores, incluindovários ministérios e departamentos responsáveis pelaeducação e por instituições de educação, devem to-mar parte no desenvolvimento de padrões, bem comona implementação e na avaliação de seu próprio de-sempenho de acordo com eles. O órgão diretamenteresponsável pelo desenvolvimento de padrões e diretri-zes, bem como pela garantia da qualidade baseadaem níveis acordados, deverá ter caráter central e autô-nomo, fora da linha de controle dos órgãos deimplementação. Este órgão deverá promover e apoiara avaliação interna nas instituições de educação atra-vés de vários canais, como, por exemplo, o forneci-mento de treinamento e de financiamento parcial paraesta atividade. No caso da avaliação externa, será ofe-recido apoio ao setor privado bem como às associa-ções acadêmicas e profissionais, para a inspeção e aavaliação das instituições de educação.
Os inspetores privados deverão ser treinadose registrados como inspetores qualificados, para esta-rem aptos para a avaliação de escolas de educaçãopré-universitária, como é o caso dos inspetores inde-pendentes registrados na Inglaterra. A inspeção esco-lar será realizada através de licitações efetuadas entreinspetores privados registrados, que deverão estudarantecedentes sobre a escola e preparar planos de ins-peção antes de procederem à inspeção das escolas.Os relatórios de inspeção resultantes deverão ser apre-sentados ao órgão central responsável, às escolas e
155
AN
AIS
DO
SE
MIN
ÁR
IO IN
TE
RN
AC
ION
AL
DE
AVA
LIA
ÇÃ
O E
DU
CA
CIO
NA
L
comunidades envolvidas, para que seja dado feedbackpara maiores aprimoramentos e desenvolvimentos pos-teriores de política.
No caso da educação superior, será oferecidoapoio às associações acadêmicas e profissionais, paracredenciamento de instituições de educação superior,como o que acontece nos EUA.
Ainda deverá ser empregado um método deverificação e equilíbrio que seja transparente; estemétodo poderá ser desenvolvido, dando-se a possibili-dade às instituições inspecionadas de apresentaremsuas queixas e reclamações ao órgão central, encar-regado da qualidade e dos padrões de educação, quedeverá verificar os desempenhos de inspeção dos ins-petores registrados e das associações de inspeção.Serão também realizadas avaliações ocasionais, porórgãos independentes contratados, para verificação daqualidade e da eficácia de todas as partes envolvidasna inspeção educacional.
Com base no conceito acima, será criado umInstituto Nacional para a Avaliação da Qualidade e dosPadrões de Educação no ONEC, que será preparadopara se tornar órgão independente, posteriormente.Esta instituição será responsável pelo novo sistemade avaliação.
O Instituto Nacional para a Avaliação daQualidade e dos Padrões de Educação
Este instituto deverá desenvolver e promover osistema de avaliação educacional, de acordo com apolítica recentemente proposta e aprovada pelo Gabi-nete de Ministros. Esta política abrange:
O sistema de avaliação educacional, que in-cluirá:
1. Avaliação Interna nas escolas e nas insti-tuições de educação, aplicando o processo de avalia-ção orientado para a administração, e utilizado na Ges-tão da Qualidade Total ou nas normas ISO 9000.
2. Avaliação Externa, executada pelo Institu-to, aplicando o modelo OFSTED para a inspeção es-colar executada por inspetores registrados privadospara a educação pré-universitária, e o modelo dos EUA,para o credenciamento das instituições de educaçãosuperior, por associações acadêmicas e profissionais.
A estrutura organizacional. O instituto traba-lhará de acordo com a orientação da Comissão Nacio-nal de Educação, havendo nele dez grupos de traba-lho, como aparece no Gráfico 8.
Gráfico 8 – Estrutura organizacionaldo Instituto Nacional para Avaliação da Qualidade e dos Padrões de Educação
O Instituto
1. Desenvolvimento dePadrões
2. InspetorRegistrado
3. Pré-Primário 4. Primário
5. Secundário 6. TreinamentoVocacional
7. InstituiçãoPrivada
8. EducaçãoSuperior
9. OutrosÓrgãos
10. Administração
156
AN
AIS
DO
SE
MIN
ÁR
IO IN
TE
RN
AC
ION
AL
DE
AVA
LIA
ÇÃ
O E
DU
CA
CIO
NA
L
O Grupo de Trabalho sobre Padrões será res-ponsável pelo desenvolvimento de pesquisa, para o de-senvolvimento de Padrões Nacionais de Educação quepossam ser comparados aos padrões de nível mundial.
O Grupo de Trabalho sobre InspetoresRegistrados será responsável por selecionar, desen-volver e registrar inspetores independentes privados qua-lificados, bem como por supervisionar se as inspeçõesexecutadas pelos inspetores atendem à qualidade eaos padrões exigidos.
Os Grupos de Trabalho 3 a 9 serão responsá-veis pela promoção de avaliação interna nos vários ní-veis de instituições e órgãos de educação.
O Grupo de Administração será responsávelpela administração geral, em apoio a todas as ativida-des descritas acima.
Processo de Implementação. A implementaçãodeverá incluir as etapas abaixo (Gráfico 9):
Gráfico 9 – Etapas do processo de implementação
Pesquisa para o desen-volvimento dos PadrõesNacionais de Educação
Apresentação da política de PadrõesNacionais de Educação à ComissãoNacional de Educação
Aprovação dos PadrõesNacionais de Educação
Avaliação interna
Avaliação externa
1 2
3
4
5
As etapas para a avaliação interna executadas pelas instituições e órgãos de educação poderão incluir oseguinte (Gráfico 10):
Gráfico 10 – Etapas da avaliação interna
1. Preparação daavaliação interna
2. Comparação coma ISO 9000/GQT
3. Projeto de contro-le de qualidade
4. Preparação dosdocumentosnecessários
5. Preparaçãode manuais de
qualidade
6. Implementação
7. Monitorização eavaliação
8. Aprimoramento/ajuste da
implementação/documentos
9. Solicitação deavaliação externa
157
AN
AIS
DO
SE
MIN
ÁR
IO IN
TE
RN
AC
ION
AL
DE
AVA
LIA
ÇÃ
O E
DU
CA
CIO
NA
L
No caso da avaliação externa, serão as seguintes etapas (Gráfico 11):
Gráfico 11 – Etapas da avaliação externa
1. Estabelecimento decritérios de avaliação
2. Desenvolvimento eseleção de avaliadores
externos
3. Determinação decontratos para
avaliação externa
4. Execução daavaliação
5. Preparação dorelatório
6. Apresentação à ComissãoNacional de Educação,
Gabinete e ao Congresso
C onclusão
Sendo a educação uma das chaves para o de-senvolvimento da qualidade humana, considerada comoprimordial para o desenvolvimento nacional e para acompetitividade mundial, é de suma importância a ge-ração de educação de qualidade. Desta forma, a ga-rantia da qualidade e a avaliação tornaram-se uma ques-tão crucial no fornecimento de educação de boa quali-dade aos povos de vários países. A avaliação não deveser limitada a testes e medições, como era o conceitodo passado, mas é uma parte significativa dogerenciamento. Este tipo de avaliação deverá incluirtanto a avaliação externa quanto interna, sendo execu-tada por todas as instituições e órgãos de educação,como parte integrante do processo de gestão, parachegar às metas e objetivos exigidos. Outrossim, de-verá ser bem-vinda a participação no processo de to-das as partes envolvidas, sendo os resultados da ava-liação informados e verificados pelo público, com finsde prestação de contas. Ainda, as conclusões deriva-das da avaliação deverão ser utilizadas para sugeriraprimoramentos de qualidade e maiores recomenda-ções para o desenvolvimento educacional. Este siste-ma de avaliação deverá ser desenvolvido por um órgãoque seja independente e autônomo, para permitir flexi-bilidade, eficácia e avaliação imparcial. Todas essaspráticas tornarão a avaliação educacional mais signifi-cativa, contando com o valor pelo investimento, a pres-tação de contas, a liberdade acadêmica, a administra-ção descentralizada e a participação, para chegar aobter impactos significativos sobre o planejamento, aelaboração de orçamentos e a administração, com vis-tas a uma melhor qualidade e eficiência da educação.
R eferências bibliográficas
BEST universities of Asia (The). Asiaweek, Hong Kong,v. 23, n. 20, 1997.
CHAMPY, James. Reengineering management. NewYork : Harper Collins, 1995.
DEWEY, J. Democracy and education. New York :MacMillan, 1916. 434p.
GREAT BRITAIN. Office for Standards in Education.OFSTED and the new school's inspection system.Disponível na Internet (http://www.coi.gov.uk/coi/depts/depts.htm).
INTERNATIONAL INSTITUTE FOR MANAGEMENTDEVELOPMENT. World competitiveness yearbook,1997. Disponível na Internet (http://www.imdch/wcy/over.hum).
INTERNATIONAL LABOUR ORGANIZATION. Yearbookof labour statistics 1995. Genéve, 1996.
KARMEL, Peter. Desirable outcome - australianeducation policy in the nineties, William Walkeroration, 3 July 1995. Journal of Higher EducationPolicy and Management, v. 18, n. 1, 1996.
NANANUKUL, Surasak et al. QC manual : basicprinciple of working quality in Japan and Thailand.Cópia mimeografada.
158
AN
AIS
DO
SE
MIN
ÁR
IO IN
TE
RN
AC
ION
AL
DE
AVA
LIA
ÇÃ
O E
DU
CA
CIO
NA
L
NONGMAK, Chamrat. Private school accreditation :development guideline to promote the role of privateschools. Bangkok, 1995.
OFFICE OF THE NATIONAL EDUCATIONCOMMISSION. Educational investment in Thailand.Bangkok, 1997.
OFFICE OF THE NATIONAL PRIMARY EDUCATIONCOMMISSION. A manual for the use of standardcriteria in primary schools. Bangkok, 1995.
OFFICE OF THE NATIONAL PRIVATE SCHOOLCOMMISSION. A manual to evaluate private schoolquality. Ed. rev. Bangkok, 1996.
________. Guidelines for development and qualityassurance. Bangkok, 1997.
ROSS, Kenneth N. Research and policy : a complexmix. IIEP Newsletter, v. 15, n. 1, Jan./Mar. 1997.
SIRITRANGSRI, Pinsuda. A study on education reformin New Zealand : a paper presented to ONEC.Bangkok, 1997.
SRISUCHAI, Setasak. Application of strategicmanagement and TQM in large enterprises.Bangkok, 1992.
THAILAND. Ministry of Education. Department ofVocational Education and ISO 9000. Bangkok, 1996.
THAILAND. Ministry of Industry. Standards of Industri-al Products ISO : 1994. Bangkok, 1996.
UNESCO. Statistical Yearbook 1995. Lanham, MD:Brenan, 1996.
WORLD Education League : Who´s Top? TheEconomist, 29 de março de 1997.
159
AN
AIS
DO
SE
MIN
ÁR
IO IN
TE
RN
AC
ION
AL
DE
AVA
LIA
ÇÃ
O E
DU
CA
CIO
NA
L
O PAPEL DOS MEIOS DECOMUNICAÇÃO NA DIVULGAÇÃO DOS
RESULTADOS DA AVALIAÇÃO
Demócrito Rocha Dummar*
Minha primeira observação passa pelo regis-tro de que não sou um professor. Sou um jornalista debatente, sem especialização nas digressões sobre otema deste Seminário. Minha presença ao lado de es-pecialistas confirma a intenção multidisciplinar dosseus organizadores, um dos caminhos para a demo-cratização da avaliação no País.
Hoje, pela manhã, fiz uma pergunta ao Dr.House, consagrado conhecedor internacional do temae presença imprescindível ao sucesso da presente ini-ciativa. Confesso que já imaginava o resultado da res-posta e a fiz, de certa forma, para pautar o teor inicialde minhas colocações: "Dr. House, há dificuldade dedifusão das avaliações dos resultados educacionais?Para essa dificuldade quem contribui mais, os especi-alistas ou os meios de comunicação generalistas?""Os meios de comunicação", respondeu ele, "distorceme comprometem os nossos trabalhos. É o quecomumente mais acontece."
Eu já esperava que ele fizesse essa crítica aosmeios. Como comunicadores da imprensa leiga (nãoconfundir com imprensa especializada), somos cons-cientes dos crescentes desafios temáticos no âmbitodo conhecimento especializado ou científico e de nos-sas proporcionais falibilidades. A partir delas, no en-tanto, é que tentamos ampliar o nosso "círculo de pau-tas" e assuntos, para atender às exigências de umpúblico de interesses cada vez mais diversificados. Nãoimaginava, confesso, que especialistas não se inseris-sem como co-autores de um mesmo drama.
Gostaria de abordar a partir de agora três as-pectos que justificariam essa dificuldade de comuni-cação.
A primeira, passa pelas observações do edu-cador Howard Gardner em seu livro Anatomia das Li-deranças, no qual ele afirma que há dois tipos de líde-res em nossa sociedade: os líderes generalistas, quetêm discursos para as grandes audiências e quepotencializam, modernamente, com fluência, seus pon-tos de vista através dos meios de comunicação im-pressos e eletrônicos, e os líderes de domínios do co-nhecimento, que têm discursos circunscritos a audi-
*Jornalista, presidente do jornal O Povo e da Fundação Demócrito Rocha, de Fortaleza-CE.
ências mais restritas, a audiências de especialistas.Essa interlocução de especialistas é complexa, quan-do diante da imprensa não especializada. Utilizandolinguagem acadêmica, hermética, esses profissionaisnão são preparados para sintetizar conceitos, a fim deatenderem a audiências maiores, nos noticiários detelevisão, por exemplo. Continuam falando no ritmo queo fazem com seus interlocutores tradicionais. Eis aprimeira grande dificuldade.
A segunda dificuldade está no fato de as lide-ranças acadêmicas não motivarem os jornais a abri-rem novas pautas para atender às suas especialida-des. A conferencista que me antecedeu colocou aquestão da Aids, quando a maioria dos jornais brasilei-ros cuidou bem do assunto, recentemente. Seria méri-to dessas lideranças acadêmicas? Creio que não. Essemérito cabe mais a própria sociedade, que está maisatenta à questão da Aids. Eu trago um exemplo paraos senhores de como O Povo, que se edita no Nordes-te, cuidou do assunto por ocasião do Dia Mundial deCombate à Aids: primeira página com uma enorme ilus-tração, o suplemento "Ciência & Saúde", o cadernofeminino "Delas", além da capa do suplemento de cul-tura e variedades "Vida & Arte", todos em coro. Não háum talento especial dos jornalistas, tampouco Fortale-za tem uma incidência da doença em níveis superioresa outras capitais brasileiras. Acredito que os jornalis-tas estão envolvidos nessa problemática tanto quantoos especialistas, pois a Aids ultrapassou o círculo res-trito destes. Por que o mesmo não ocorre com outrasenfermidades que atingem um universo bem maior depessoas, como é o caso dos pacientes portadores dealzheimer? Ou por que grande destaque não é dado acertas especialidades na área de educação? Ou ain-da, por que os especialistas desse setor admitem tra-fegar exclusivamente em torno das questões de matrí-culas, de repetência, de salários, de exames vestibu-lares e meia dúzia a mais de temas batidos? Eis umadificuldade e um desafio que atinge a todos: como po-deríamos sensibilizar um jornal como O Globo, voltadopara grandes audiências, a tratar permanentemente aavaliação na educação, na intensidade que o assuntorequer?
160
AN
AIS
DO
SE
MIN
ÁR
IO IN
TE
RN
AC
ION
AL
DE
AVA
LIA
ÇÃ
O E
DU
CA
CIO
NA
L
Há, também, uma terceira dificuldade que foibem expressa pelo Dr. Barry MacGaw, quando demons-trou sua experiência na Austrália. Mesmo sendo umpaís com tradição em avaliação educacional, persisteuma tensão latente entre as pessoas e as instituiçõesque patrocinam as pesquisas e a divulgação dos resul-tados. Como superar a dificuldade no relacionamento,quando setores de comunicação social dos governosnão têm interesse em divulgar amplamente as defici-ências registradas pelos avaliadores? Como protegeressa informação e fazê-la chegar aos jornais, criando-se uma tradição de difusão, quando, em certos mo-mentos, os próprios financiadores preferemsubdimensioná-las, quando não, desqualificá-las, pordesatenderem aos seus índices de eficiência dianteda opinião pública? Se circunstâncias como essasocorrem na Austrália, como superá-las em paísesmenos aculturados para a transparência dessa mis-são? E como superá-las, se as políticas de comunica-ção social do setor público vão ficando restritas aoscomerciais de 30 segundos na TV, seja no Brasil ouem países mais desenvolvidos? Peço perdão por fazertantas indagações. Entretanto, se uma das funçõesbásicas do jornalista é perguntar, isso me redime par-cialmente.
Aproveitando os minutos que me restam, se-ria oportuno repassar-lhes um rápido panorama sob oprisma dos veículos de comunicação impressa. Essesveículos estão muito conscientes de suas novas mis-sões. A questão do papel ou do fim do papel na eradigital, bem como a globalização da comunicação,contribuiu para que editores desenvolvessem novos for-matos de linguagem e estudassem a busca de novosdesafios. É o caso da "Universidade Aberta do Nordes-
te", um projeto de educação a distância por meio dejornais, gerado a partir do Ceará, há mais de uma dé-cada. Em parceria com as universidades públicas, fo-ram desenvolvidos 43 cursos de extensão. A últimaexperiência, através do curso "Marketing para Todos",teve 17 mil alunos inscritos. Isso demonstra uma novaaptidão aberta dos jornais, aliada a uma necessidadede capacitação da sociedade, na qual o cidadão temde estar bem informado e mais preparado para as no-vas relações de trabalho e de vida.
Outra coisa também interessante – e isso aífaz parte da questão da globalização: de qualquer pon-to do País, produtores de conhecimento podem atuarem nível nacional, como será o caso da Gazeta Mer-cantil, que veiculará esse mesmo curso para seus mi-lhares de leitores do eixo Rio-São Paulo. Este relatofoi apenas para sinalizar que os jornais brasileiros es-tão maduros para vivências na área da educação. Umaaproximação precisa ser feita. Os professores especi-alistas em avaliação precisam tornar-se líderes do pro-cesso de comunicação e conquistar espaços nas pá-ginas de opinião dos jornais brasileiros. Sou um leitorassíduo da professora Teresa Penafirme, mediante umapublicação especializada da Fundação Cesgranrio. Aprofessora é uma jornalista nata e um exemplo na arteda boa comunicação, à altura dos melhores textos bra-sileiros. Falo na professora Teresa, mas me dirijo atodos os mestres que têm a missão de democratizar aavaliação educacional no Brasil. É preciso tirar esseassunto dos círculos de especialistas e levá-los a to-dos os pais, alunos, amigos da educação, diretores eprofessores das escolas públicas e particulares. Avali-ar é preciso.
161
AN
AIS
DO
SE
MIN
ÁR
IO IN
TE
RN
AC
ION
AL
DE
AVA
LIA
ÇÃ
O E
DU
CA
CIO
NA
L
S EMINÁRIO INTERNACIONALDE AVALIAÇÃO EDUCACIONAL:
DOCUMENTO DE TRABALHO
U m debate internacional, partindo de umaperspectiva brasileira
A exemplo do que ocorre num crescente nú-mero de países, o Ministério da Educação e do Des-porto do Brasil (MEC) incluiu entre seus objetivosprioritários para os próximos anos a melhoria de quali-dade da educação. Os desafios científicos,tecnológicos e econômicos que experimentam nossassociedades, a forte demanda social que reclama umaeducação mais ampla e completa, a necessidade deutilizar mais adequadamente possível os recursos, es-cassos por natureza, e a pressão em favor de um de-senvolvimento sustentável e eqüitativo convertem esseobjetivo numa exigência incontestável à qual os pode-res públicos devem dar resposta. Em diversos forosinternacionais, foi salientado que o principal desafio dossistemas educacionais contemporâneos não é maisapenas proporcionar educação a todos os cidadãos,mas, também, assegurar que esta seja de qualidade.
Entre os fatores que podem contribuir para amelhoria qualitativa da educação, a avaliação do siste-ma educacional e de seus componentes ocupa um lu-gar de destaque. Na realidade, a adoção de medidasvoltadas para a melhoria da atividade educacional so-mente pode assentar-se sobre uma informação rigoro-sa, contrastada e equilibrada. A avaliação permite ob-ter e difundir essa informação, convertendo-se assimnum poderoso instrumento de conhecimento, de valo-rização e, em última instância, de mudança. Não é deestranhar que, neste contexto, tenha-se chegado a afir-mar que ela constitui um recurso de primeira ordem aserviço de um novo estilo de fazer política e de condu-ção dos sistemas educacionais.
Em concordância com essas premissas, o Mi-nistério brasileiro vem desenvolvendo já há alguns anosuma série de programas de avaliação, que compreen-dem diversos níveis educacionais, como a EducaçãoBásica, as universidades e os cursos de graduação epós-graduação. As iniciativas empreendidas até o mo-mento permitiram articular uma linha de trabalho pro-missora, constituir novas equipes de profissionais eadquirir uma valiosa experiência acerca das possibili-dades e limitações do uso da avaliação no âmbito edu-cacional.
Entretanto, apesar dos avanços alcançadosneste terreno, a rápida evolução por que passa a ativi-
dade da avaliação na atualidade obriga as autoridadeseducacionais a explorar novas vias de atuação, a refle-tir sobre as experiências realizadas e a extrair, a partirdelas, suas próprias conclusões. Um dos procedimen-tos mais frutíferos para levar a cabo essa reflexão con-siste precisamente em contrastar as próprias idéias einiciativas com as de outros países. O debate interna-cional proporciona uma oportunidade inigualável paraaumentar nosso conhecimento acerca da maneira deresolver os problemas que encontramos no âmbito na-cional e como melhorar nossa prática.
No momento de empreender esta tarefa com-parativa, a participação dos organismos internacionaisé especialmente valiosa. Adotar uma perspectivasupranacional permite lançar uma luz diferente sobreas experiências locais e analisá-las partindo de novospontos de vista. Talvez seja neste tipo de exercício quemelhor se aprecie a contribuição que estes organis-mos podem dar ao conhecimento e à melhoria da ativi-dade educacional em diversos contextos nacionais.
A Oficina Internacional de Educación daUnesco tem sempre dedicado boa parte de seus esfor-ços à promoção do debate internacional sobre os as-suntos educacionais, fomentando a compreensão en-tre os países e tentando tirar o maior proveito possívelda comparação entre situações diferentes. Sendo esseseu principal objetivo, colabora habitualmente na orga-nização de atividades com importância internacional ecomparativa, oferecendo para isso sua experiência,suas redes de especialistas e seus canais de comuni-cação. Neste caso concreto, respondeu favoravelmen-te à solicitação feita pelas autoridades educacionaisbrasileiras para organizar um encontro que permitaanalisar e comparar as experiências desenvolvidas pordiversos países no âmbito da avaliação educacional.
De acordo com os motivos e intenções expos-tos, o Seminário Internacional de Avaliação Educacio-nal, que será realizado no Rio de Janeiro em dezembrode 1997, tem por objetivo explorar e analisar os novosdesafios e as tendências que se vislumbram nesseâmbito, permitindo às autoridades brasileiras confron-tar sua experiência com a de outros países. Assim,trata-se de estabelecer um debate internacional con-tando com a participação de destacados especialistasprocedentes de diversos países e regiões mundiais,mas sem perder de vista a perspectiva especificamen-te brasileira, a serviço da qual foi concebido o encon-tro. O grau de êxito da reunião deverá ser estimado à
162
AN
AIS
DO
SE
MIN
ÁR
IO IN
TE
RN
AC
ION
AL
DE
AVA
LIA
ÇÃ
O E
DU
CA
CIO
NA
L
medida que o debate internacional contribua para oenriquecimento da experiência desenvolvida nestes úl-timos anos no Brasil.
U ma reflexão sobre as novas tendênciasda avaliação educacional
Como foi mencionado acima, as instituiçõesorganizadoras do Seminário querem propiciar uma re-flexão sobre as principais tendências que se notamhoje em dia quando se trata de avaliar a atividade edu-cacional. Falar de novas tendências supõe realizar umaexploração do passado recente e uma análise da situ-ação atual, com os olhos no futuro. Este exercício éespecialmente necessário quando nos defrontamoscom um campo em plena fase de renovação.
Na realidade, embora a avaliação propriamen-te dita conte com uma longa tradição, que remonta àsorigens históricas da psicometria e da pedagogia ex-perimental, durante as duas últimas décadas, regis-trou um processo rápido e decidido de expansão, sen-do produzidas mudanças importantes no modo comoé concebida, nos métodos que utiliza e na maneiracomo se organiza institucionalmente. Como conseqü-ência deste conjunto de transformações, passou poruma completa renovação, a tal ponto que a avaliaçãoeducacional atual apenas se assemelha à atividade de-senvolvida sob essa denominação no início dos anos 70.
Um dos aspectos em que melhor se aprecia amudança produzida na tarefa de avaliar é a sua utiliza-ção sistemática para obter informações válidas acercados diferentes setores da educação, e não apenas doaprendizado conseguido, pelos alunos. De acordo comuma imagem sugestiva freqüentemente utilizada, écomo se sua expansão tivesse sido produzida medi-ante a colonização progressiva de campos vizinhos.Tendo começado pela preocupação com o aprendiza-do dos alunos, a atenção foi se deslocando para osprofessores, o currículo, os programas de intervenção,os centros e a própria administração da educação. Emresumo, pode-se dizer que, hoje em dia, o conjunto dosistema educacional é objeto da avaliação.
Logicamente, essa ampliação do foco de aten-ção e sua aplicação às novas realidades obrigou a re-considerar em profundidade os conceitos e as catego-rias teóricas utilizadas, a revisar os métodos e os pro-cedimentos habitualmente aplicados, a procurar osmodelos institucionais e organizacionais mais adequa-dos para cumprir suas novas funções e a explorar osmecanismos mais eficazes para difundir e utilizar ainformação obtida. Neste campo, como em tantos ou-tros, não existem normas universais consagradas pelatradição, mas apenas tendências mais ou menos
promissoras, de cuja análise deverão ser extraídos oscritérios aplicáveis em cada caso concreto.
De acordo com estas premissas, a reflexãoque o Seminário quer promover sobre o significado dese avaliar um sistema educacional e os meios maisapropriados para levar a cabo tal tarefa deve basear-sena identificação dos principais desafios com que atual-mente se defronta e no estudo das tendências que sevislumbram no panorama internacional. A partir da apre-sentação de idéias e experiências pelos vários exposi-tores convidados de diversos países, a parte central dareunião consiste precisamente no debate, no contras-te de opiniões e na reflexão compartilhada entre todosos participantes, com a intenção de se chegar a com-preender melhor as características que esta tarefa cer-tamente complexa apresenta no momento atual e ex-trair-se algumas orientações para a prática.
Entre os possíveis temas que um encontro comestas características poderia abordar, foram selecio-nados três de especial relevância nas circunstânciasatuais. Cada um deles abarca um âmbito de reflexãocom significado próprio e com importantes implicaçõespara o planejamento, a organização e o funcionamentodos sistemas nacionais de avaliação educacional. Maisque um repertório de soluções, esses temas constitu-em uma fonte de perguntas e de questões abertas, àsquais será necessário responder no futuro próximo.
a) O que e como avaliar
O primeiro dos temas que serão abordadospelo Seminário refere-se aos conteúdos e métodos daavaliação ou, dito de outro modo, às questões de "oque" e "como" avaliar. Sem pretender esgotar nem tra-tar de maneira exaustiva um assunto que se caracteri-za por sua amplitude, foram selecionados alguns dosâmbitos e enfoques metodológicos que mais preocu-pam atualmente os especialistas e as autoridades edu-cacionais.
Em primeiro lugar, o seminário dedicará aten-ção à avaliação dos resultados educacionais. Emboraa aferição do rendimento escolar, realizada geralmenteatravés da análise dos resultados acadêmicos dos alu-nos, tenha sido objeto de permanente preocupação,as circunstâncias atuais obrigam-nos a revisar nossospressupostos tradicionais. Por um lado, os avançosda psicologia e da pedagogia obrigam-nos a reconsi-derar o que entendemos por resultados educacionais,prestando atenção ao desenvolvimento de capacida-des de várias ordens (atitudes, habilidades não-cognitivas, valores). Por outro lado, a exigência demo-crática de justiça e eqüidade na aferição obriga-nos alevar em consideração as condições iniciais dos alu-nos e das escolas, e não somente seus resultadosfinais.
De acordo com essas novas colocações, oseminário pretende contribuir para a reflexão acerca
163
AN
AIS
DO
SE
MIN
ÁR
IO IN
TE
RN
AC
ION
AL
DE
AVA
LIA
ÇÃ
O E
DU
CA
CIO
NA
L
dos seguintes pontos: que capacidades devem serobjeto de avaliação; como se pode combinar a aferiçãodos resultados acadêmicos com a de outras dimen-sões educacionais não estritamente cognitivas; comque procedimentos contamos para realizar essa tare-fa; que implicações tem a pesquisa psicopedagógicarecente sobre a avaliação dos resultados da educa-ção. Igualmente se propõe debater: como devem serconsideradas as condições iniciais dos alunos e dasescolas, na aferição de seus resultados; que sentidotem a introdução do conceito de valor agregado na ava-liação; que possibilidades oferece e com que modeloscontamos para aplicá-lo na prática.
Em segundo lugar, as pesquisas recentes so-bre os fatores que contribuem para a melhoria da qua-lidade da educação coincidem em conceder um papelcentral à escola. Se bem que não se possa menospre-zar o efeito produzido pelas políticas nacionais ou lo-cais adotadas, a melhoria qualitativa se dirime, em úl-tima análise, em cada instituição educacional. Vemdaí a crescente importância que se atribui à avaliaçãodos centros educacionais como instrumento de melhoriada educação. Em consonância com esta premissa, oseminário pretende abordar diversas questões acercadas funções específicas da avaliação das escolas: quaissão elas, que papel desempenham na avaliação do sis-tema educacional, como podem e devem sercomplementadas as iniciativas avaliadoras de caráterinterno e externo, ou qual é o papel das autoridadeseducacionais e das próprias escolas na avaliaçãoinstitucional.
Em terceiro lugar, é preciso reconhecer a im-portância que estão adquirindo alguns métodos e ins-trumentos, na hora de avaliar os sistemas educacio-nais. Entre todos eles, vale a pena nos determos es-pecialmente em dois, pelo interesse que despertam ea expansão que registram no momento atual: o primei-ro consiste na comparação internacional dos resulta-dos da educação, tarefa da qual participam diversasorganizações e associações internacionais e que játem dado lugar à realização de um número crescentede estudos nos últimos anos; o segundo consiste nautilização de indicadores da educação, entendidos comouma ferramenta capaz de proporcionar informaçõessignificativas e coerentes que permitem aferir o estadoe a situação dos sistemas educacionais.
Como contribuição para a reflexão internacio-nal acerca destes assuntos, o seminário pretende de-bater as possibilidades e as limitações da compara-ção internacional dos resultados da educação, as con-dições que devem ser atendidas pelos estudos empre-endidos para assegurar uma comparação justa, o inte-resse que pode ter para os países a participação nes-sas iniciativas e como podem ser combinadas as agen-das nacionais e internacionais de avaliação. Por outrolado, o seminário quer também estimular o debate so-bre as possibilidades e limitações dos indicadores edu-cacionais, as condições que devem ser cumpridas, o
uso que se pode e deve fazer dos mesmos, ou como eem que medida podem contribuir para o conhecimentoe a melhoria da educação.
b) Como organizar institucionalmente um sistema deavaliação
O segundo tema a ser abordado pelo seminá-rio refere-se aos diversos modelos institucionais exis-tentes e aos critérios adotados em diferentes contex-tos nacionais para organizar e operacionalizar siste-mas de avaliação educacional. Também neste blocode questões foram selecionados alguns aspectos deespecial relevância, com o propósito de focalizar a dis-cussão em torno deles.
Um primeiro objeto de reflexão consiste no tipode dependência institucional mantida pelos órgãos res-ponsáveis pela avaliação em relação às autoridadespolíticas e às administrações educacionais. Enquantoalguns países adotam a forma de agências ministeri-ais, com um ou outro tipo de dependência orgânica emrelação ao governo, em outros, esses órgãos possu-em maior autonomia institucional, seja porque depen-dem do poder legislativo, seja por estarem situadosfora do poder político. A adoção de um ou outro mode-lo varia em função do contexto e das tradições de cadapaís, bem como da força e da autonomia das associa-ções profissionais. O modelo institucional escolhidotambém condiciona bastante o grau de independênciacom que atuam os avaliadores no desempenho de suasatividades.
Partindo desta perspectiva, o seminário se pro-põe a debater as vantagens e os inconvenientes queoferecem os principais modelos institucionais em fun-ção de seu contexto particular; como o necessáriosuporte político pode ser combinado à avaliação comefetiva independência dos órgãos responsáveis pelamesma; que papel desempenham os poderes políti-cos, as administrações educacionais, os principaisinteressados e os próprios avaliadores na definição dosobjetivos da avaliação e ainda perante quem os órgãosde avaliação devem responder pelo seu trabalho.
Um segundo objeto de reflexão diz respeito àsimplicações que têm os processos de descentralizaçãoatualmente em implantação sobre a organização e ofuncionamento dos organismos de avaliação. Emborao termo descentralização se refira a realidades muitodiversas, não há dúvida de que os processos a ele as-sociados obrigam-nos a reconsiderar as maneiras tra-dicionais de administração e condução dos sistemaseducacionais. Em tais circunstâncias, a avaliação pas-sa a ter maior importância, embora também tenha queadaptar suas características institucionais às novasatribuições de competências em matéria educacional.
Dentro deste ponto de vista, o seminário pre-tende estimular a reflexão sobre a forma de
164
AN
AIS
DO
SE
MIN
ÁR
IO IN
TE
RN
AC
ION
AL
DE
AVA
LIA
ÇÃ
O E
DU
CA
CIO
NA
L
compatibilizar-se a avaliação do conjunto do sistemaeducacional como um todo com a atribuição de com-petências existente no mesmo, a influência do modelode organização política do Estado sobre a dependên-cia institucional do sistema de avaliação e, ainda, quempode tomar quais decisões com relação às atividadesa serem desenvolvidas.
c) Como utilizar as informações da avaliação
O terceiro dos temas selecionados paraestruturar o seminário refere-se ao tratamento e usosda informação proporcionada pela avaliação. Embora aconcepção estritamente utilitária, que deixa os resul-tados da avaliação ao serviço imediato da tomada dedecisões, venha dando lugar a outra mais abrangente,que admite a existência de vias indiretas de influência,a relação existente entre a avaliação e a construçãode políticas continua a ser objeto de um interesse muitogrande. A correta difusão dos resultados da avaliaçãopreocupa mais do que nunca os patrocinadores da ava-liação, bem como os próprios avaliadores. A busca denovos modos para a divulgação das informações rece-be crescente atenção, tanto por razões de exigênciademocrática como por uma questão de simples eficá-cia. O papel dos intermediários da informação, quepõem os avaliadores e os patrocinadores da avaliaçãoem contato com seus públicos, é revalorizado por aque-les que acreditam estar realizando um trabalho impor-tante ao traduzir os resultados da avaliação em conhe-cimento utilizável. Em suma, os fluxos de informaçãoassociados à atividade avaliadora, os usos que se fa-zem da mesma e o impacto que pode ter sobre a polí-tica e a prática educacional aparecem reiteradamentena agenda atual da avaliação.
Por outro lado, a utilização da avaliação edu-cacional nos países em desenvolvimento suscita algu-mas questões específicas que vale a pena considerar.Com o desejo de contribuir para um debate necessáriosobre o papel mais adequado, a viabilidade e a utilida-de da atividade da avaliação nesse contexto particular,o seminário abordará algumas reflexões sobre o senti-do da avaliação nesse contexto concreto, o papel quedeve desempenhar em relação à satisfação das ne-cessidades urgentes de escolarização básica, o lugarque deve ocupar no seio das estratégias de melhoriado ensino, que subsídio pode trazer especificamentepara os países em desenvolvimento e como deve serconcebida a fim de contribuir para esse objetivosocioeconômico.
Um simples seminário não pode aspirar resol-ver tantos assuntos, de tanta transcendência, mas podecontribuir para esclarecer alguns deles mediante umareflexão compartilhada. As principais questões que oseminário pretende abordar neste sentido são: o que aavaliação pode proporcionar à política educacional e o
que esta pode razoavelmente esperar daquela; quemecanismos formais e informais podem ser utilizadospara difundir eficazmente os resultados da avaliação;que papel podem desempenhar nesse trabalho os in-termediários da informação; quem são os que podematuar como tais intermediários e quais são os princi-pais usos da avaliação no processo de construção depolíticas educacionais e na melhoria da prática escolar.
U ma agenda de trabalho aberta para ofuturo
Como facilmente se pode verificar, os temasselecionados para estruturar o seminário constituemapenas uma pequena amostra dos desafios e das ten-dências que hoje enfrenta a avaliação educacional.Embora os organizadores tenham tentado escolher al-gumas questões de especial relevância, não tiveram apretensão de esgotar o repertório de perguntas aindasem resposta. Neste, como em outros campos, é ne-cessário continuar desenvolvendo um trabalho de en-saio, reflexão e debate, o único capaz de proporcionarrespostas para as numerosas questões levantadas.
Para levar a cabo esta tarefa, as iniciativas em-preendidas pelas autoridades nacionais podem e de-vem ser complementadas estreitamente com as quesão realizadas pelos organismos internacionais. Aagenda de trabalho aberta para o futuro é ampla e nãofaz sentido abordá-la em direções divergentes. É ne-cessário explorar as possibilidades oferecidas pelo in-tercâmbio de experiências e pela cooperação, que sem-pre dão resultados mais frutíferos que o isolamento.Afinal de contas, os países que decidiram esti-mular a avaliação educacional enfrentam problemas se-melhantes.
De acordo com estes pressupostos, um dosresultados do seminário, embora não seja o principal,consistirá em ir perfilando de maneira mais precisa aspossíveis ações de cooperação internacional que po-dem ser integradas numa agenda de trabalho para ofuturo. Como linhas gerais dessa agenda, que deverãoir se concretizando progressivamente, destacam-setrês tipos de ações de especial importância nas cir-cunstâncias atuais.
Em primeiro lugar, é necessário estimular pro-gramas conjuntos de pesquisa no âmbito da avaliaçãoeducacional. Embora em alguns países sejam desen-volvidos importantes projetos de pesquisa, a supera-ção das fronteiras nacionais permite adotar novas pers-pectivas e explorar soluções diferentes. A experiênciaincentivada neste sentido nos últimos anos pela UniãoEuropéia é um exemplo de como a constituição deredes de pesquisadores em avaliação pode contribuirpoderosamente para a criação e divulgação do conhe-
165
AN
AIS
DO
SE
MIN
ÁR
IO IN
TE
RN
AC
ION
AL
DE
AVA
LIA
ÇÃ
O E
DU
CA
CIO
NA
L
cimento neste campo. Num outro ponto de vista, osprojetos internacionais de avaliação, como os patroci-nados pela IEA, a OCDE ou OREALC-Unesco, propor-cionam uma ocasião inestimável para serem explora-dos novos enfoques e métodos aplicáveis a diversasrealidades e contextos nacionais. O seminário podecontribuir para identificar algumas linhas de pesquisaque convenha reforçar ou incluir nas agendas nacio-nais e internacionais dos próximos anos.
Em segundo lugar, é necessário continuar in-centivando o intercâmbio e a cooperação neste cam-po. A implantação de sistemas nacionais de avaliaçãoda educação é uma experiência ainda recente paramuitos países, e sobre ela é imprescindível que todoscontinuem aprendendo. Pelas características própriasdeste âmbito de atuação, os ensinamentos terão deser freqüentemente buscados além das fronteiras na-cionais, mediante o contraste, a comparação, a trans-ferência crítica e controlada de conhecimentos. Encon-tros como este seminário constituem uma ocasião pri-vilegiada para reunir os responsáveis e os especialis-tas envolvidos no desenvolvimento destes novos siste-mas, com o objetivo de refletir em conjunto sobre osproblemas que devem ser resolvidos e esboçar algu-mas soluções para os mesmos. Em alguns casos, arealização de reuniões de caráter regional pode contri-buir para reforçar experiências ainda incipientes, medi-ante a adoção de programas conjuntos de atuação.
Em terceiro lugar, é necessário continuar me-lhorando a formação dos profissionais que trabalhamneste campo. A situação atual deixa claro que exis-tem setores reduzidos de especialistas altamente qua-lificados, mas que ainda faltam técnicos em númerosuficiente e que sejam bem formados para enfrentar ascrescentes demandas de avaliação. Ademais, convémreexaminar o componente relativo à avaliação dentrodos programas de formação inicial e continuada do pro-fessorado. Quando tanto se fala da necessidade depromover uma cultura da avaliação, torna-se pertinen-te perguntar quais devem ser os conteúdos formativos
que se orientam nessa direção. Visto que a experiên-cia e o saber em matéria de avaliação estão espalha-dos internacionalmente, a cooperação internacional émuito conveniente. Por esse motivo, a agenda de tra-balho do futuro deve reservar um espaço para as tare-fas de formação.
Por último, convém reservar também um lugarespecífico nesta agenda do futuro para dar respostasàs necessidades específicas dos países em desenvol-vimento. Tanto no que se refere à geração e difusão deconhecimento como às atividades de intercâmbio ecooperação internacional e às tarefas de formação, estegrupo de países deve ocupar um papel relevante, senão quisermos que fiquem marginalizados das novastendências que se vêm observando nos países desen-volvidos. Sem que isso suponha, de alguma forma, umaassimilação mimética ou a criação de uma nova de-pendência, é necessário contribuir para gerar naque-les países os elementos de reflexão, as competênciasprofissionais e os modos de organização que permi-tam extrair o máximo de valor possível da avaliação,mediante uma adaptação inteligente a suas priorida-des, suas agendas e suas necessidades. As decisões,que os organismos internacionais venham a tomar paracontinuar trabalhando neste campo nos próximos anos,deverão levar em conta esta situação específica eintegrá-la a seus respectivos planos de ação.
Muito embora esta formulação de intençõespossa parecer demasiado ambiciosa, convém voltar ainsistir no realismo que deve presidir a realização doseminário. Os desafios enfrentados pelos sistemaseducacionais no âmbito da avaliação exigem um tra-balho cooperativo e gradual, que só pode ser desenvol-vido mediante passos sucessivos. Este seminário quercontribuir para esse avanço geral, ainda que seja reali-zando apenas uma modesta contribuição.
Rio de Janeiro, dezembro de 1997.
