REAE_FCC_Contribuições de Heraldo Vianna

V.25 N.60 NMERO ESPECIAL | DEZEMBRO 2014

ISSN 0103-6831

ESTUDOS EM AVALIAO EDUCACIONAL

FUNDAO CARLOS CHAGAS

CONTRIBUIES DE HERALDO VIANNA PARA A AVALIAO EDUCACIONAL

INDEXADO EM

BAMP Biblioteca Ana Maria Poppovic (Brasil, FCC) www.fcc.org.br

BBE Bibliografia Brasileira de Educao (Brasil, Cibec/Inep/MEC) http://pergamum.inep.gov.br/pergamum/biblioteca/index.php?resolution2=1024_1

Clase Citas Latinoamericanas en Ciencias Sociales y Humanidades (Mxico, Unam) http://biblat.unam.mx/

Edubase Faculdade de Educao (Brasil, Unicamp) http://143.106.58.49/fae/default.htm

Educ@ Publicaes on-line de Educao (Brasil, FCC) http://educa.fcc.org.br/scielo.php

e-Revistas Plataforma Open Access de Revistas Cientficas Electrnicas Espaolas y Latinoamericana (Espanha)http://www.erevistas.csic.es/

Google Scholarhttp://scholar.google.com.br/

Iresie ndice de Revistas de Educacin Superior e Investigacin Educativa (Mxico, Cesu-Unam)http://www.iisue.unam.mx/iresie/

Latindex Sistema Regional de Informacin en Lnea para Revistas Cientficas de Amrica Latina, en Caribe, Espaa y Portugal (Mxico, Unam) http://www.latindex.unam.mx

ESTUDOS EM AVALIAO EDUCACIONAL N. 2 JUL./DEZ. 1990

FUNDAO CArLOS ChAgAS SO PAULO

SemestralA partir de 2006 passa a ser QUADRIMESTRAL

ISSN 0103-6831e-ISSN 1984-932X

1. Avaliao 2. Polticas Educacionais 3. Qualidade do EnsinoI. Fundao Carlos Chagas II. Departamento de PesquisasEducacionais/FCC

VERSO ElEtRNIcA

http://publicacoes.fcc.org.brVErSO IMPrESSA

Dezembro de 2014 Tiragem: 300 exemplares

E-MAIlS

[email protected] (contato)[email protected] (aquisio e assinaturas)

cOMIt EDItORIAl

Glucia Torres Franco Novaes (Coordenadora)Adriana BauerBernardete A. Gatti Clarilza Prado de Sousa Glria Maria Santos Pereira LimaMarialva Rossi TavaresNelson A. Simo GimenesVandr Gomes da Silva

cOORDENAO DE EDIES

Adlia Maria Mariano da Silva Ferreira

ASSIStENtE DE EDIES

Camila Maria Camargo de Oliveira

SEcREtRIA DE EDIES

Camila de Castro Costa

PADrONIZAO BIBLIOgrFICA

Biblioteca Ana Maria Poppovic

REVISO EStAtStIcA

Miriam BizzocchiRaquel da Cunha Valle

PrOJETO grFICO

E DIAgRAMAO

Gustavo Piqueira | Casa Rex

IMPrESSO

Forma Certa Solues Grficas Personalizadas

EStuDOS EM AVAlIAO EDucAcIONAl

Peridico da Fundao Carlos Chagas criado em 1990 sucedendo Educao e Seleo (1980-1989). Publica trabalhos originais relacionados educao, com perspectiva avaliativa, apresentados sob forma de relatos de pesquisa, ensaios tericos, revises crticas, artigos e resenhas.

As normas para a publicao de artigos e resenhas esto no final do volume. A revista no se responsabiliza pelos conceitos emitidos em matrias assinadas. Direitos autorais reservados: reproduo integral de artigos apenas com autorizao especfica; citao parcial permitida com referncia completa fonte.

cONSElHO EDItORIAl

Dalton Francisco de Andrade (Universidade Federal de Santa Catarina,

Florianpolis, Santa Catarina, Brasil)

Fernando Lang da Silveira (Universidade Federal do Rio Grande do Sul,

Porto Alegre, Rio Grande do Sul, Brasil)

Heraldo Marelim Vianna In memoriam (Fundao Carlos Chagas, So Paulo,

So Paulo, Brasil)

Jos Francisco Soares (Universidade Federal de Minas Gerais,

Belo Horizonte, Minas Gerais, Brasil)

Lina Ktia Mesquita de Oliveira (Universidade Federal de Juiz de Fora,

Juiz de fora, Minas Gerais, Brasil)

Luzia Marta Bellini (Universidade Estadual de Maring,

Maring, Paran, Brasil)

Maria Ins Gomes de S Pestana (Instituto Nacional de Estudos e Pesquisas

Educacionais Ansio Teixeira, Braslia,

Distrito Federal, Brasil)

Naura Syria Carapeto Ferreira (Universidade Tuiuti do Paran, Curitiba,

Paran, Brasil)

Ncia Maria Bessa (Pontifcia Universidade Catlica do

Rio de Janeiro, Rio de Janeiro,

Rio de Janeiro, Brasil)

Nigel Pelham de Leighton Brooke (Universidade Federal de Minas Gerais,

Belo Horizonte, Minas Gerais, Brasil)

Robert Verhine (Universidade Federal da Bahia,

Salvador, Bahia, Brasil)

Sandra Zkia Sousa (Universidade de So Paulo, So Paulo,

So Paulo, Brasil)

Srgio Vasconcellos de Luna (Pontifcia Universidade Catlica de So Paulo,

So Paulo, So Paulo, Brasil)

Yara Lcia Esposito (Fundao Carlos Chagas, So Paulo,

So Paulo, Brasil)

sumRIO

APrESENTAO .................................................................................7

AvAliAo educAcionAl: teoriA e histriA

Avaliao educacional: uma perspectiva histrica .................................. 14

Medida da qualidade em educao: apresentao de um modelo ............................................................................36

Avaliao de programas educacionais: duas questes .........................44

Fundamentos de um programa de avaliao educacional ..................56

AvAliAo educAcionAl: ForMAo do AvAliAdor

Avaliao educacional: problemas gerais e formao do avaliador ................................................ 74

Avaliao e o avaliador educacional: depoimento ..................................86

instruMentos de AvAliAo educAcionAl

Qualificao tcnica e construo de instrumentos de medida educacional ................................................... 106

natureza das medidas educacionais ........................................................... 1 18

validade de construto em testes educacionais ..................................... 136

Aplicao de critrios de correo em provas de redao ............... 154

reFlexes sobre A prticA AvAliAtivA

Avaliando a avaliao: da prtica pesquisa .......................................... 170

A prtica da avaliao educacional: algumas colocaes metodolgicas ............................................................178

Avaliaes nacionais em larga escala: anlises e propostas .............................................................................................. 196

Avaliao educacional: vivncia e reflexo ............................................. 234

AS CONTrIBUIES DE hErALDO VIANNA PArA A AVALIAO EDUCACIONAL

6 Est. Aval. Educ., so paulo, v. 25, n. 60, p. 7-11, n. especial, dez. 2014

heraldo M. vianna,

acervo da Fundao carlos chagas

Est. Aval. Educ., so paulo, v. 25, n. 60, p. 7-11, n. especial, dez. 2014 7

apResentaO

A revista Estudos em Avaliao Educacional, em seu nmero 60, apresenta uma homenagem ao seu idealizador, Heraldo Marelim

Vianna, educador e pesquisador que desenvolveu sua carreira na

Fundao Carlos Chagas. Editor deste peridico desde sua cria-

o, em 1990, at sua aposentadoria, em 2008, foi um dos autores

brasileiros que mais se dedicaram ao tema da avaliao educa-

cional, quando esse ainda era muito incipiente no pas. Foi, tam-

bm, criador e editor da revista Educao e Seleo, igualmente publicada pela Fundao Carlos Chagas, entre 1980 e 1989.

Com graduao em Geografia e Histria, pela Universidade

Estadual do Rio de Janeiro (UERJ), e em Direito, pela Universida-

de Federal do Rio de Janeiro (UFRJ), fez especializaes nos Esta-

dos Unidos e na Frana, no campo da Educao, pela University of Michigan Ann Arbor, e em Pedagogia, pelo Centre International Dtudes Pdagogiques. Mestre e Doutor em Educao, pela Michigan State University e Pontifcia Universidade Catlica de So Paulo, respectivamente, atuou como pesquisador no Departamento

de Pesquisas Educacionais da Fundao Carlos Chagas de 1970 a

2007, tendo exercido cargos de gesto nesse departamento e no

setor de testes e concursos. Foi membro do Conselho Estadual


de Educao de So Paulo, no perodo de 1997 a 2000, e prestou

assessoria para o desenvolvimento de importantes avaliaes de

sistemas educacionais, tais como a dos estados de Minas Gerais

e Paran, e para o Exame Nacional de Cursos, por exemplo. A pe-

dido do Ministrio da Educao, desenvolveu, no final dos anos

1980, avaliaes de rendimento educacional com alunos de esco-

las privadas e pblicas envolvendo um nmero considervel de

estudantes em diferentes regies do pas, tarefa quase herclea

naqueles tempos em que as informaes educacionais eram desa-

tualizadas e pouco robustas. Foram trabalhos que permitiram an-

tever importantes polticas de avaliao, como o Sistema de Ava-

liao da Educao Bsica (Saeb), por exemplo. Foi responsvel,

tambm, pelo desenvolvimento de avaliaes inovadoras, como

The International Assessment of Educational Progress (IEAP), avaliao em cincias e matemtica envolvendo alunos de vinte pases,

e Avaliao de habilidades de vida.

Sua obra envolve mais de 60 artigos e 15 livros sobre edu-

cao, sendo fortemente voltada para a avaliao educacional.

Sua preocupao constante era oferecer aos educadores brasilei-

ros elementos tericos, contextualizados historicamente, para

a compreenso do desenvolvimento desse campo de estudos.

Muitos de seus artigos iniciais so voltados para aspectos psico-

mtricos, ou seja, sobre como elaborar e tratar os resultados

de aplicaes de instrumentos de avaliao. Com a criao de

Estudos em Avaliao Educacional, passou a escrever artigos mais centrados na disseminao das teorias e modelos que emba-

sam as avaliaes de programas e sistemas educacionais. Alguns

textos visaram a difundir resultados de avaliaes realizadas no

Brasil, outros ofereceram reflexes pertinentes e atuais sobre os

impasses e problemas que envolvem a avaliao educacional.

Neste ano de 2014, a Fundao Carlos Chagas completa

50 anos de existncia e, naturalmente, almeja homenagear

aqueles que lutaram pela construo de sua slida reputao de

instituio inovadora, competente e sria. No poderia deixar

de resgatar a contribuio de Heraldo Marelim Vianna. Surgiu,

assim, a ideia de reeditar alguns de seus textos. Para a composi-

o de Estudos em Avaliao Educacional n 60 foram selecionados 14 artigos do autor, publicados em peridicos da Fundao

Carlos Chagas, especificamente Cadernos de Pesquisa, Estudos em Avaliao Educacional, Educao e Seleo e Textos FCC. Os artigos


esto separados por temas: teoria e histria da avaliao edu-

cacional; formao do avaliador; instrumentos de avaliao; e

reflexes sobre a prtica avaliativa.

Em Avaliao educacional: teoria e histria so apresen-

tados quatro textos. O primeiro, Avaliao educacional: uma

perspectiva histrica, de 1995, discorre sobre o desenvolvi-

mento da avaliao educacional nos Estados Unidos e na Ingla-

terra, e, posteriormente, no Brasil. O texto apresenta autores e

conceitos importantes para interessados na rea. A seguir, em

Medida da qualidade em educao: apresentao de um mo-

delo, de 1990, Heraldo Vianna discute o conceito de qualidade

em educao, suas implicaes e relaes com a responsabiliza-

o educacional. No terceiro artigo deste segmento, Avaliao

de programas educacionais: duas questes, de 2005, o autor

discute aspectos da validade em avaliao de programas, apon-

tando as diferenas entre esse tipo de avaliao e a avaliao de

desempenho, destacando o aspecto democrtico desse proces-

so e ressaltando a importncia da disseminao dos resultados

para seu efetivo impacto. Em Fundamentos de um programa

de avaliao educacional, de 2003, o autor reflete sobre as-

pectos que envolvem a definio de uma poltica de avaliao

do sistema educacional brasileiro, considerando a diversidade

socioeconmica e cultural dos alunos, os problemas para a

disseminao dos resultados e as necessidades envolvidas no

planejamento escolar e na tomada de decises.

A segunda parte, Avaliao educacional: formao do

avaliador, composta por apenas dois textos, mas que traduzem

as condies mais relevantes a serem consideradas quando o foco

quem desenvolve a avaliao. Em Avaliao educacional:

problemas gerais e formao do avaliador, de 1982, Vianna

discorre sobre a complexidade crescente do campo da ava-

liao educacional e suas consequncias para a formao do

avaliador. Dentre os aspectos discutidos esto os modelos te-

ricos desenvolvidos por alguns autores, as diferenas e seme-

lhanas entre pesquisa e avaliao educacional e as funes

do avaliador educacional. Em Avaliao e o avaliador educa-

cional: depoimento, de 1999, Heraldo relata as experincias

vivenciadas por ele no campo avaliativo e as reflexes que sus-

citaram, sobretudo quanto s necessidades na sua formao e

na reviso de seus posicionamentos.


Um terceiro grupo de textos refere-se a Instrumentos de

avaliao educacional. Em Qualificao tcnica e construo

de instrumentos de medida educacional, de 1984, Vianna trata

dos problemas tcnicos que frequentemente so observados en-

tre instrumentos de medida do rendimento escolar utilizados

no meio educacional. Para solucionar o problema, sugere mode-

los de anlise de medidas e tpicos para formao de educadores

que abordem o tema. Em Natureza das medidas educacionais,

de 1984, o autor trata das dificuldades inerentes mensurao

de variveis educacionais, das medidas possveis (atributos,

efeitos) e das diferentes formas de medi-las (escalas nominais,

ordinais, intervalares e de razo), bem como reflete sobre as di-

vergncias quanto ao significado e interpretao das medidas.

O texto Validade de construto em testes educacionais, de 1983,

de interesse muito atual, tendo em vista que muitos testes edu-

cacionais visam a medir processos mentais complexos. O artigo

apresenta metodologias diversificadas para validao de testes e

de teorias, diferenciando os conceitos de fidedignidade e valida-

de. H, tambm, um texto sobre Aplicao de critrios de corre-

o em provas de redao, de 1978, que discorre sobre mtodo

de validao do treinamento de professores para correo desse

tipo de prova em vestibulares.

Finalmente, uma quarta parte trata de Reflexes sobre

a prtica avaliativa. Em Avaliando a avaliao: da prtica

pesquisa, de 1992, Vianna faz uma retrospectiva do desenvol-

vimento da avaliao no Brasil e destaca a importncia de se

criar uma cultura da avaliao aliada pesquisa, de forma a lhe

dar credibilidade. Em seguida, o artigo A prtica da avaliao

educacional: algumas colocaes metodolgicas, de 1989, dis-

cute as diferenas entre medir e avaliar, destacando que medir

com fidedignidade no significa realizar uma boa avaliao, pois

preciso haver preciso e validade de diferentes tipos. Em Ava-

liaes nacionais em larga escala: anlises e propostas, de 2003,

Heraldo analisa avaliaes que abrangem grande nmero de pes-

soas, tais como vestibulares e as avaliaes sistmicas desenca-

deadas no Brasil a partir dos anos 1990, e constri um interessan-

te panorama do desenvolvimento da cultura avaliativa no pas.

O ltimo texto selecionado para este nmero especial de Estudos em Avaliao Educacional Avaliao educacional: vivncia e re-flexo, publicado em 1998. Bastante crtico, Vianna questiona


o uso de metodologias sofisticadas de anlise que dificultam

o entendimento dos resultados pelos maiores interessados pro-

fessores e alunos , ressalta a necessidade do uso conjunto de

tcnicas qualitativas e quantitativas que apresentem preciso

e validade nos seus mtodos e resultados, bem como ressalta a

responsabilidade pblica do avaliador na elaborao de modelos

avaliativos robustos e factveis, que respondam s necessidades

dos atores educacionais envolvidos.

A obra de Heraldo Marelim Vianna vasta e pode gerar ou-

tras publicaes temticas. Com este nmero ensejamos convi-

dar o leitor a conhecer e refletir sobre os pressupostos tericos e

metodolgicos que envolvem a avaliao educacional, as ne-

cessidades de formao e de reviso das prticas avaliativas, a

fim de contribuir para o debate frente maior complexidade e

aos desafios atuais da realidade educacional.

Muito devo a esse pesquisador, com quem trabalhei des-

de que me formei bacharel em Psicologia, na Pontifcia Uni-

versidade Catlica de So Paulo (PUC-SP). Como bolsista nos

projetos de avaliao, com ele aprendi, primeiramente, a

gostar dos nmeros e das tcnicas estatsticas e psicomtri-

cas; depois, ao nos depararmos com a complexidade da edu-

cao brasileira, foi inevitvel a incorporao de tcnicas mais

qualitativas, que permitissem captar sutilezas e dar aprofun-

damento a hipteses e pistas. Como assistente de pesquisa e

pesquisadora do Departamento de Pesquisas, participei com

o Prof. Heraldo de programas de avaliao de diferentes por-

tes, enfoques e finalidades. Sinto-me honrada em homena-

ge-lo como organizadora deste nmero especial de Estudos em Avaliao Educacional, esperando contribuir para a forma-o de novas geraes de avaliadores, que prezem o rigor

e a qualidade como sempre o fez esse educador.

Glucia Torres Franco NovaesEditora de Estudos em Avaliao Educacional


AvAliAcAo educAcionAl: teoriA e historiA


AVALIAO EDUCACIONAL: UMA PERSPECTIVA HISTRICA1

1. INTRODUO

A pesquisa e a avaliao tm um significado especial no deli-

neamento do processo decisrio em educao. A pesquisa, ini-

cialmente, e, depois, a avaliao, especialmente a avaliao de

programas, projetos e produtos, passaram a ter uma dimenso

maior a partir do sculo XX, sofrendo ambas pesquisa e avalia-

o a influncia de diferentes cincias, como por exemplo, a

psicologia, a psicometria, a sociologia, a antropologia, a etnogra-

fia e a economia, entre outras, de determinaram novos enfoques

metodolgicos com base em vrios posicionamentos tericos.

A avaliao, aps o trauma provocado pela constatao

da deficincia tecnolgica associada carncia educacional,

no mundo ocidental, especialmente nos Estados Unidos, com

o lanamento do Sputnik, no dia 4 de outubro de 1957, tornou-se

impositiva. H todo um esforo no sentido de recuperar o tempo

educacional que fora perdido, sendo criados novos currculos,

e a avaliao passou a ter papel de relevncia no desenvolvimen-

to de novas estratgias de ensino2.

A literatura sobre avaliao educacional, a partir dos

anos 60, cresce enormemente. Surgem novos posicionamentos

1 Artigo publicado na revista Estudos em

Avaliao Educacional, so paulo, n. 12, p. 7-24,

jul./dez. 1995.

2 Alguns desses novos currculos em Matemtica

(Mathematics Study Group MsG), em Fsica (Physical Science Study Committee

pssc), em Qumica (Chemical Bond Approach cbA) e em

biologia (Biological Study Committee bsc), entre outros, foram traduzidos

e adaptados ao contexto

nacional pela Fundao

brasileira para o ensino de

cincias (Funbec) e no

centro de treinamento de

professores de cincias

(cecisp), graas aos

esforos dos professores

isaas raw, Myrian Krasilchik

e norma Maria cleffi, com a

colaborao de professores

brasileiros, no incio da

dcada de 60.


tericos e novas propostas de atividades prticas, que enri-

quecem e tornam complexo o campo da avaliao. Algumas

questes fundamentais so levantadas, com profundas impli-

caes na sua teoria e na sua prtica. justo, portanto, que,

inicialmente, seja discutida a sua evoluo histrica a partir

da perspectiva norte-americana, em cujo contexto se desen-

volveram numerosos e importantes trabalhos, em particular

em decorrncia da ao seminal de Ralph W. Tyler. Outras

fontes, entretanto, tambm sero indicadas, especialmente

inglesas e, subsidiariamente, trabalhos de autores nacionais,

ainda que a produo terica destes ltimos seja bastante re-

duzida no seu aspecto quantitativo.

1.1. AvAlIAO eDUcAcIONAl

NOs esTADOs UNIDOs: Um esbOO

A sociedade norte-americana sofreu grandes transformaes

estruturais em decorrncia do impacto advindo da Revoluo

Industrial e, a exemplo do que ocorreu na Inglaterra, o poder

pblico passou a discutir diferentes programas sociais, inclu-

sive de natureza educacional. A avaliao nos Estados Unidos

possui uma tradio de quase dois sculos, ainda que o seu mo-

mento mais intenso tenha ocorrido a partir da dcada de 1960.

tambm nesse perodo que a avaliao comea a se definir

como uma profisso estruturada. A fim de chegar a essa situao,

a avaliao atravessou diferentes momentos, conforme Madaus,

Stufflebeam e Scriven (1993).

A avaliao associada ao processo educativo sempre existiu

sob diferentes formas (WORTHEN; SANDERS, 1987), mas somente

adquire uma natureza formal quando Horace Mann (1845) ini-

cia a prtica da coleta de dados para a fundamentao de deci-

ses de polticas pblicas que afetam a educao. A avaliao,

aos poucos, comea a desenvolver procedimentos ainda utiliza-

dos nos dias de hoje, como o survey, e instrumentos objetivos padronizados. Alm disso, determinadas prticas ainda persis-

tem, porque baseadas na obteno de escores dos alunos como

principal elemento para a avaliao da eficincia de programas

educacionais, alis, trao caracterstico das avaliaes realiza-

das no atual contexto brasileiro (1995).


Houve, nessa poca, como mostram Madaus et al. (1993), uma politizao dos dados obtidos atravs de provas escritas,

que foram usados para comparar escolas e promover o afasta-

mento de diretores que se opunham ao programa de eliminao

de castigos fsicos que ento existiam, e cuja supresso era defen-

dida por Samuel G. Howe e Horace Mann. A primeira avaliao

propriamente dita somente teve lugar bem mais tarde, no final

do sculo XIX, entre 1887 e 1898, quando Joseph Rice procurou

verificar a influncia do tempo dedicado a exerccios (drill) no processo de alfabetizao (spelling) em diferentes unidades esco-lares. Ainda que esse trabalho de Rice tenha tido uma grande re-

percusso na poca e levado muitos professores a mudarem seus

procedimentos de alfabetizao, na verdade, o maior impacto

desta avaliao estava no seu carter experimentalista e quan-

titativo, procedimento at ento indito ainda segundo o desta-

que de Madaus et al. (1993). Rice, de certa forma, antecipou-se a ideias sobre pesquisa experimental em educao que somente

seriam defendidas na segunda metade do sculo XX, a partir dos

anos 50, por Lindquist (1953) e Campbell e Stanley (1963).

Os trinta primeiros anos da vida social norte-americana

no sculo XX sofreram a influncia de trs elementos desen-

volvidos em princpio para o gerenciamento industrial: siste-

matizao, padronizao e eficincia, que acabaram por afe-

tar a totalidade da sociedade, inclusive na rea educacional.

A comunidade educacional como um todo passa, ento a pre-

ocupar-se com o desenvolvimento de uma metodologia que

permitisse medir a eficincia dos seus professores, a construir

instrumentos e a definir padres que possibilitassem a men-

surao do grau de eficincia das suas escolas e dos diversos

sistemas educacionais, seguindo, assim, no campo da educa-

o, os procedimentos que empresrios procuravam implantar

no mundo da indstria. Aproximadamente quase cem anos

depois, a educao brasileira, muitas vezes por influncia de

agncias financiadoras externas, comea a se preocupar com

os mesmos problemas ligados diretamente ao processo de ge-

renciamento das instituies educacionais, conforme poder-

-se- observar no item final do presente trabalho.

O grande passo na evoluo da avaliao educacional foi

dado por E. L. Thorndike, nos princpios do sculo XX, ao desen-

volver toda uma fundamentao terica sobre a possiblidade de


medir mudanas nos seres humanos (WORTHEN; SANDERS, 1987).

A partir desse momento, todo um aparato tecnolgico desen-

volvido para a medida de capacidades humanas e a avaliao,

em consequncia, passa a ter o significado de medida (testing), concepo que ainda prevalece em amplos setores educacionais,

inclusive fora dos Estados Unidos, como no Brasil.

Madaus, Stufflebeam e Scriven (1993) mostram clara-

mente que essa a poca do survey, que emprega diferentes critrios (taxa de evaso, taxa de aprovao) para medir a efi-

cincia da escola e/ou professor. O uso do survey leva, natural-mente, ao desenvolvimento de diversos tipos de testes obje-

tivos nas vrias reas curriculares. Esses testes, por sua vez,

eram referenciados a objetivos e deram origem aos testes

referenciados a normas, sendo, nesse caso, a porcentagem

de alunos aprovados nos testes o critrio adotado para julgar

a eficincia da escola/professor. Alm disso, nesta mesma

poca, h quase um sculo, que comeam a surgir testes nor-

mativos, elaborados por importantes cientistas educacionais,

como foi o caso de Edward Thorndike, com vistas ao desen-

volvimento de um instrumental que possibilitasse a compa-

rao entre sistemas. Os testes padronizados, bastante ca-

ractersticos da cultura educacional norte-americana, mas

que, felizmente, ainda no chegaram ao meio educacional

brasileiro, surgiram logo aps o conflito mundial de 1914/18

e passaram a ser usados, equivocadamente, na determinao

da eficincia de programas educacionais e na apresentao

de diagnsticos relativos a currculos e sistemas educacionais,

alm de servirem, tambm, para a tomada de decises sobre

o desempenho escolar dos alunos.

Avaliao e medida por meio de testes confundem-se nessa

poca e ainda continuam a se confundir nos dias atuais-; por

outro lado, comeam a surgir instituies especializadas na re-

alizao de surveys na rea educacional. Estas instituies cons-tituram o embrio que geraria futuros e importantes centros

educacionais, criados nos anos 60 e 70, nas universidades, com o

objetivo de realizaram trabalhos avaliativos em diferentes reas,

inclusive na educacional. Os surveys, inicialmente, eram locais, limitados aos school districts, ainda segundo Madaus et al. (1993). No decorrer dos anos 50 e 60 que comeam a surgir efetivamen-

te nos Estados Unidos os primeiros estudos de currculo a nvel


nacional. Os problemas passam a ser considerados no apenas

em funo do interesse local, mas levando em conta o contexto

nacional, com uma audincia bem mais ampla do que aquela

dos school districts. E, assim, por via de consequncia, complexos problemas ligados epistemologia da pesquisa/avaliao educa-

cional comeam a ser discutidos por educadores e avaliadores,

que, entre outros aspectos, passam a se preocupar com a ques-

to da generalizabilidade das suas concluses, como mostram

Madaus et al. (1993) e Norris (1993).A influncia de Ralph W. Tyler durante o perodo de 1930

a 1945 foi considervel e, assim, com justa razo, passou a ser

considerado o verdadeiro iniciador da avaliao educacional.

A sua ao foi bastante ampla, influindo na educao em geral,

especialmente em assuntos ligados teoria, construo e im-

plementao de currculos, que procurou conceituar como um

conjunto de experincias educacionais diversificadas que deve-

riam ser planejadas de forma a levar os alunos concretizao

de determinados objetivos. A avaliao educacional, cujo termo

foi por ele criado, objetivaria que professores aprimorassem seus

cursos e os instrumentos de medida que construssem pudessem

verificar a congruncia entre os contedos curriculares e as ca-

pacidades desenvolvidas.

A sociedade norte-americana depois do trmino da Segun-

da Guerra Mundial (1939-45) atravessou um perodo bastante

crtico, envolvendo problemas econmicos e sociais (racismo/

segregacionismo). Houve, por outro lado, como decorrncia da

chamada guerra fria, resultante do conflito ideolgico-mani-

questa entre o capitalismo ocidental e o socialismo real do leste

europeu, a criao de um grande complexo militar-industrial

que atuaria intensamente na vida americana por largo tempo

at o incio dos anos 90, com a crise que levaria desagregao

da Unio Sovitica. Apesar da crise socioeconmica, especial-

mente no perodo inicial, entre 1946 e 1957, importantes trans-

formaes ocorreram na educao americana.

O problema da avaliao educacional foi bastante discuti-

do, somas considerveis de dados foram levantadas, mas quase

no foram utilizadas para a soluo de problemas, como res-

saltaram Madaus et al. (1993). nesse perodo que ocorre o de-senvolvimento da teoria clssica dos testes e o surgimento de

novas abordagens sobre avaliao educacional, como uma rea-


o ao modelo proposto por Tyler. importante destacar, nesse

perodo, o aparecimento de uma instituio atuante at os dias

fluentes e que serviu de modelo para a criao de outros rgos

semelhantes nos seus objetivos: o Educational Testing Service

ETS (1947), por inspirao de vrios educadores, destacando-

-se E. F. Lindquist e Ralph W. Tyler. O ETS, a partir de sua

criao, passaria a ter influncia decisiva no desenvolvimento

de testes (padronizados) e em amplos programas de avaliao,

como o National Assessment of Educational Progress (NAEP) e

o International Assessment of Educational Progress (IAEP). A

proliferao dos testes, nem sempre construdos segundo prin-

cpios claros e bem definidos cientificamente, levou algumas ins-

tituies representativas (American Psychological Association APA, American Educational Research Association AERA, National Committee on Measurement in Education NCME, sobretudo) a estabelecerem recomendaes para a construo de testes psicolgicos e

tcnicas de diagnstico (1954) e para a elaborao de testes

de rendimento escolar (1955), o que nem sempre seguido,

inclusive no Brasil, que desconhece essas recomendaes,

salvo as excees de sempre; mais tarde, aps sucessivas re-

vises, essas mesmas recomendaes se transformaram em

padres (standards) a serem seguidos na rea de construo dos vrios instrumentos psicomtricos.

A avaliao educacional nos princpios dos anos 60, nos

Estados Unidos, comea a incidir sobre grandes projetos de

currculos financiados com o apoio federal, surgindo, nesse

momento histrico, a figura do avaliador como um profissio-

nal com atividades especficas at ento exercidas por educa-

dores com formao generalista. o incio de uma poca de

especializao que ainda no chegou ao contexto brasileiro

em que as universidades comeam a se preocupar com a

formao especfica de recursos humanos efetivamente qua-

lificados para os trabalhos de avaliao.

Apesar do envolvimento das melhores cabeas pensantes

na rea educacional e dos grandes fundos alocados a mltiplos

projetos, os resultados das avaliaes durante a dcada de 60,

ainda que realizados com grande rigor tcnico, no se reve-

laram plenamente satisfatrios e surgiram diversas reaes.

nesse contexto que o Teachers College Record publica impor-

tante artigo de Cronbach (1963) criticando a situao e pro-


pondo novos caminhos para a prtica da avaliao, conforme

veremos. Apesar da advertncia de Cronbach de que a avalia-

o da eficcia de um currculo se deveria processar ao longo

de sua estruturao e no depois de sua concluso, o impacto

das suas ideias no foi imediato, mas levou especialistas a

discutirem detidamente seus problemas profissionais, como

mostraram Worthen e Sanders (1987).

O trabalho de Cronbach Course Improvement through

Evaluation (1963) levantou importantes questes metodol-

gicas, inclusive a relacionada com a anlise direta dos resul-

tados dos itens em substituio anlise concentrada em

escores globais, alm de abordar outros problemas de natureza

conceitual que continuam vlidos na atualidade e mostrar

as limitaes das avaliaes post-hoc no desenvolvimento de currculos, conforme foi referido anteriormente. Esse arti-

go mostra os fundamentos bsicos da prtica da avaliao

e abre novas e estimulantes perspectivas para o trabalho do

avaliador no seu dia a dia como profissional.

O contexto poltico decorrente, inicialmente, da adminis-

trao John Kennedy e, a seguir, aps 1963, da gesto Lyndon

Johnson, em que houve uma grande preocupao com os re-

flexos das desigualdades sociais na diferenciao das oportuni-

dades educacionais, passa a determinar um grande esforo no

sentido de criar novas condies na rea educacional, surgindo,

por influncia de Robert Kennedy, o conceito de responsabilidade

em educao (accountability), a fim de evitar possveis desperdcios dos recursos financeiros concedidos aos programas curricu-

lares e a suas avaliaes, na rea da educao compensatria.

A avaliao deixa, nesse novo contexto, de ser apenas um traba-

lho terico de alguns educadores, transformando-se numa pr-

tica constante, que, em muitos casos, assume um carter quase

obsessivo na cultura educacional norte-americana.

A aprovao de importante lei sobre educao elemen-

tar e secundria Elementary and Secondary Education Act

(ESEA), em 1965, vai gerar um novo quadro que favorecer

a pesquisa e a avaliao educacional, tendo em vista a imposio

legal de que todos os projetos financiados deveriam ser obriga-

toriamente avaliados (WORTHEN; SANDERS, 1987), o que obrigou

os educadores a dedicarem grandes esforos para a avaliao de

suas atividades e a elaborao de relatrios passou a ser uma


prtica habitual, no controle da qualidade do ensino e dos in-

vestimentos feitos em educao.

A situao criada aps 1965 mostrou que os educadores

norte-americanos no estavam preparados para os grandes desa-

fios da avaliao, como, alis, ainda no esto suficientemente

preparados os educadores brasileiros para o enfrentamento dos

grandes problemas da avaliao de hoje (1995), havendo muito

teorizao abstrata sobre o assunto, mas pouca realizao pr-

tica. Professores norte-americanos, sob o impacto do ESEA em

1965, improvisaram-se em avaliadores. Worthen e Sanders (1987)

mostraram que mesmo aqueles que tinham alguma expertise tc-nica no tinham treinamento suficiente em planejamento, me-

didas e estatsticas, quadro que, no momento, ocorre no Brasil.

Isso produziu avaliaes bastante comprometidas, que pouco

serviram para avaliar a efetiva eficincia dos sistemas educacio-

nais, seus currculos e programas.

A prtica generalizada da avaliao mostrou que muitos

instrumentos e estratgias utilizadas em avaliao no eram ade-

quados aos propsitos definidos, ficando, inclusive, caracterizada

a inadequao do emprego de testes padronizados na avaliao

de programas, conforme a discusso de Madaus et al. (1993). Essa insatisfao acabou tendo efeitos positivos. Novas teorias sobre

avaliao comeam a despontar e todo um trabalho de refor-

mulao da prtica da avaliao empreendido, destacando-

-se as figuras exponenciais de M. Scriven (1967), R. Stake (1967)

e D. Stufflebeam (1971), cujos trabalhos vo dar uma nova di-

menso metodolgica avaliao educacional. A avaliao de

alguns programas de impacto, como o Head Start e o Sesame

Street, criados com objetivo de eliminar desequilbrios educa-

cionais decorrentes da origem social e racial, geram, na verdade,

acentuadas controvrsias, conforme a colocao de Madaus, Ai-

rasian e Kellaghan (1980), sobretudo face ao baixo desempenho

das crianas urbanas das reas de periferia. A avaliao desses

e de outros programas sociais teve um grande impacto social,

ao apresentar resultados pouco promissores, e serviu para apro-

fundar as crticas a muitos procedimentos ento em uso e possi-

bilitou o desenvolvimento de novas metodologias.

A partir dos anos 70, a avaliao educacional torna-se um

campo profissional definido, exigindo especializao aprofunda-

da, com a excluso de improvisaes supostamente tcnicas, mas


pouco slidas conceitualmente, num campo em que atuavam

diferentes profissionais, inclusive administradores. A avaliao,

pelo menos no contexto norte-americano, deixa de ser uma ter-

ra de ningum. Simultaneamente, surgem importantes revistas

especializadas, algumas de alta qualidade tcnica, associando

avaliao e polticas pblicas, avaliao e planejamento, entre

outras, permitindo, assim, a disseminao de novas ideias, a for-

mulao de teorias e modelos, e sobretudo, a divulgao de im-

portantes estudos.

A literatura sobre avaliao educacional distinta da bi-

bliografia sobre testes e medidas torna-se copiosa e algumas

universidades, como por exemplo, a de Illinois (Urbana), a de

Stanford (Palo Alto, Califrnia) e a Western Michigan University (Kalamazoo, MI), entre outras, desenvolvem intensos progra-

mas de formao de avaliadores, ressaltando-se, ainda, o tra-

balho de Ben S. Bloom em Chicago e o de W. James Popham,

na University of Califrnia (UCLA). Alm disso, numerosos cen-tros de avaliao foram disseminados por todo o territrio

norte-americano, conforme o longo elenco de instituies

apresentado por Madaus et al. (1993).Apesar dos avanos e de todo aparato tcnico desenvolvido,

a rea da avaliao ainda no est exaurida em todas as suas

potencialidades, novas perspectivas de ao esto sendo abertas

e a radicalizao positivismo/quantitativo em relao ao feno-

menolgico/qualitativo menos radical, sendo as divergncias

porventura ainda subsistentes na verdade um reflexo de dife-

renas ideolgicas e menos conflitos metodolgicos, conforme

ressaltam Madaus et al. (1993).Finalmente, aps a longa exposio sobre a avaliao

na perspectiva norte-americana, queremos ressaltar que,

hoje, nos Estados Unidos, h uma grande preocupao com

a qualidade dos trabalhos de avaliao, tendo sido fixados

padres a serem seguidos conforme o posicionamento do Joint

Committee on Standards for Educational Evaluation, coordenado por

D. Stufflebeam. Ainda que a avaliao educacional, suas teorias e

modelos deem margem a grandes controvrsias, , sem dvida,

um campo dinmico, em constante transformao para atendi-

mento das mltiplas exigncias da qualidade em educao.


1.2. AvAlIAO eDUcAcIONAl NA INglATeRRA:

AlgUmAs expeRINcIAs

A avaliao educacional na Inglaterra surge em meados do scu-

lo XIX, integrando um programa social maior com vistas efici-

ncia nacional. A educao, na concepo inglesa, considerada

como elemento indiscutivelmente essencial para alcanar essa

eficincia. As pesquisas (e a avaliao) na rea educacional, ini-

cialmente, desenvolvem uma linha ligada a mtodos estatsticos

e tcnica de survey, como ocorreu tambm nos Estados Unidos, contribuindo, assim, para o desenvolvimento de uma tecnologia:

a psicometria, que mais tarde, seria duramente criticada por

muitos educadores ingleses.

Os trabalhos realizados por F. Galton, K. Pearson, C. Spearman

e C. Burt, entre outros, na Inglaterra, contriburam para que a

psicometria tivesse influncia considervel na avaliao educa-

cional, em especial na construo de instrumentos de medidas

psicolgicas e do rendimento escolar. A utilizao da teoria dos

erros e a aplicao da noo de distribuio normal no estudo

da variabilidade das diferenas individuais concorreu para gerar

reaes justificadas ao uso da psicometria da avaliao3. Isso con-

tribuiu para que novos caminhos se abrissem para a explorao

de diversos aspectos da avaliao educacional. Entretanto, ape-

sar dessas reaes adversas tradio psicomtrica, a Inglaterra,

a partir da dcada de 50, realizou importantes trabalhos sobre

a alfabetizao e a aprendizagem da leitura, contribuindo, desse

modo, para o delineamento de novas metodologias experimen-

tais e o desenvolvimento da teoria dos testes (NORRIS, 1993).

A teoria do desenvolvimento econmico, pleno emprego

e segurana nacional, inspirada em concepes apresentadas por

Keynes, teve amplas repercusses na definio das polticas p-

blicas da educao inglesa. Houve, naquele momento histrico,

uma preocupao especial com os problemas relativos qualida-

de dos estudantes que, em grande nmero, procuravam cursos

de cincias aplicadas e tecnologias, e, concomitantemente, um

profundo interesse na formao de professores de cincias des-

tinados s escolas secundrias. A partir do iderio econmico de

Keynes, que em grande parte fundamenta o capitalismo posterior

guerra de 1939-45, inclusive nos Estados Unidos, os educadores

ingleses passaram a considerar a relao entre mo de obra tecni-

camente qualificada pelo processo educacional e o crescimento

3 para um estudo detalhado da influncia da psicometria

na evoluo das medidas

educacionais ver J. rust

e s. Golombok. Modern Psychometrics The Science of Psychological Assessment. london: routledge, 1992.


econmico/segurana nacional/e desenvolvimento tecnolgico. A

Inglaterra, por outro lado, constatou a inteira obsolescncia dos

currculos de suas escolas, o que tinha grande impacto nos pro-

gramas que visavam formao de mo de obra qualificada. A

mudana desse quadro se impunha, a fim de proporcionar re-

cursos humanos qualificados capazes de garantir o crescimento

econmico. educao caberia essa tarefa, ainda que as trans-

formaes no sistema educacional no pudessem ser imediatas,

tendo em vista a impossibilidade de o governo ingls influir dire-

tamente em uma estrutura altamente descentralizada.

Havia, desde meados da dcada de 50, uma conscincia

de que a Inglaterra no estava desenvolvendo capacidades e

formando cientistas da mesma forma como outros pases in-

dustrializados. A partir de 1962, graas associao do Gover-

no com a Fundao Nuffield, instituio de carter privado,

iniciaram-se atividades para a reformulao dos currculos e a

formao de professores de cincias. A avaliao, no incio dos

anos 60, estava mais ligada pesquisa educacional e os respon-

sveis pelo Projeto Nuffield revelaram uma certa relutncia em

aceitar a ideia de uma avaliao do Projeto, conforme Norris

(1993); porquanto, argumentavam, o interesse maior estava na

mudana de atitudes dos estudantes em relao cincia e

no na medida de possveis ganhos de conhecimento fatual. A

qualidade do Projeto, na viso da Fundao Nuffield, era bas-

tante clara e para uma concluso a respeito do valor desse em-

preendimento o Projeto dependeria, apenas, de informaes

das escolas que o utilizavam, das crticas que seriam ofereci-

das e do conhecimento dos problemas constatados durante

sua execuo.

Ainda que uma avaliao externa tenha sido afastada, em

virtude da impossibilidade de estabelecer comparaes entre o

Projeto Nuffield e outros tipos de abordagem curricular, uma ava-

liao estava sendo feita na realidade, via informaes, crticas

e anlise dos problemas, conforme foi apontado. Uma avaliao

do tipo que se tornaria bastante utilizado por amplos segmentos

educacionais ingleses: a avaliao qualitativa. Ou seja, uma ava-

liao no-quantitativa, na tradio psicomtrica, mas uma ava-

liao igualmente vlida do ponto de vista cientfico. Isso ocorreu

na parte de cincias do Projeto, na de lnguas (francs).

A National Foudation for Educational Research (1964) reali-


zou uma avaliao baseada em testes e questionrios, a fim de

obter dados psicomtricos e sociomtricos, com estudos compa-

rativos de vrios grupos. Apesar da pouca repercusso dos resul-

tados na comunidade educacional o que ocorre com bastante

frequncia, inclusive, ou sobretudo, no Brasil , ficou evidenciada

a coexistncia do quantitativo e do qualitativo no contexto edu-

cacional ingls, tendncia que ainda hoje existe, apesar da falsa

imagem divulgada por alguns de que haveria uma total dominn-

cia da pesquisa e da avaliao qualitativa, simplesmente.

A partir de 1966, ainda segundo o trabalho desenvolvido

por Norris (1993), iniciaram-se estudos avaliativos sobre os Proje-

tos Nuffield (cincias e matemtica) por intermdio dos Schools

Council, agncia autnoma fundada pelo governo central e go-

vernos locais. Algumas colocaes do projeto avaliativo so ex-

tremamente importantes do ponto de vista metodolgico. Assim,

a avaliao era vista no apenas como uma medida dos resulta-

dos do projeto, mas como parte integrante do prprio projeto

de construo do currculo, segundo a perspectiva apresentada

por Cronbach (1963), A avaliao, por outro lado, em relao ao

currculo no deveria ser vista como uma simples apresentao

de meros exerccios para que um produto final fosse avaliado,

mas, na verdade, a avaliao consistiria na coleta e no uso de in-

formaes que possibilitariam decises sobre as diferentes fases

do desenvolvimento de um programa educacional.

Ao destacarem as relaes entre avaliao e tomada de

decises, as diretrizes estabelecidas para os Schools Council deixaram perfeitamente claro os momentos em que a avalia-

o educacional poderia emprestar sua contribuio: 1) nas

decises sobre o contedo dos cursos e relativas aos mtodos

a empregar para o seu ensino; 2) nas decises sobre as ne-

cessidades dos alunos; e 3) nas decises concernentes ao

treinamento de professores.

O projeto do Schools Council, ainda segundo Norris (1993),

destaca a participao dos avaliadores, muitas vezes apenas

professores, e no necessariamente especialistas no campo da

avaliao, desde o incio dos trabalhos avaliativos e acentua a

concepo de uma avaliao para tomada de decises, aspec-

to que expresso na maioria das diferentes abordagens sobre

avaliao desenvolvidas na Inglaterra, e que merece especial

destaque no modelo de Stufflebeam, nos Estados Unidos. A


avaliao, na viso do Schools Council, responsabilidade de

um grupo de avaliadores, que nem sempre so avaliadores pro-

fissionais, e no de apenas um nico indivduo.

Avaliao educacional (evaluation avaliao de programa/

assessment avaliao do rendimento escolar) um assunto al-

tamente controvertido na Inglaterra, apresentando tendncias

vrias que quase sempre se opem avaliao somativa, ape-

gando-se mais do tipo individualizada. A avaliao tambm

entra em choque com um dos mitos caros educao inglesa a

autonomia dos professores. Observa-se, ainda, que vrias abor-

dagens tm um contedo sociolgico, refletindo uma posio

aceita por expressivo nmero de educadores. Os que seguem

essa linha mostram a existncia de uma correlao entre o so-

cialmente carente e o rendimento escolar, advogando que os

responsveis pela educao devem apresentar uma discrimina-

o positiva a favor daqueles que se acham nessa situao. Essa

tese parece-nos de certa forma enviesada, pois, na realidade, a

correlao no se limita ao carente, ela simplesmente existe, in-

dependentemente da condio social, tornando-se, entretanto,

evidente entre os mais desfavorecidos economicamente4.

1.3. AvAlIAO eDUcAcIONAl NO bRAsIl (1960-95)

As atividades de avaliao educacional no Brasil so bastante es-

cassas, ainda que, no momento atual (1995), a temtica venha

sendo verbalizada pelo Ministrio da Educao, que tem apre-

sentado ideias, s vezes bastante discutveis, sobre a seleo para

o acesso ao 3 grau de ensino e relativas avaliao institucional

por intermdio de uma avaliao do rendimento acadmico ao

trmino dos cursos de graduao.

A avaliao educacional, conforme ser discutido, mesmo

quando a nvel de sistema, no contexto brasileiro, baseia-se, funda-

mentalmente, no rendimento escolar, ainda que haja uma coleta

simultnea de dados socioeconmicos e de variveis ligadas ao en-

sino, ao professor e escola, em alguns casos. As pesquisas e estu-

dos de avaliao apresentados nesse item em discusso no visam

a uma reviso da literatura e nem incluem trabalhos acadmicos,

quase sempre relacionados a pr-requisitos da ps-graduao uni-

versitria, como, por exemplo, os mencionados por Luckesi (1991);

4 uma apresentao detalhada da evoluo

histrica da avaliao na

inglaterra e suas mais recentes

experincias de avaliao de

programas acha-se em norris

(1993), captulos 2, 4, 5 e 6.


na verdade, objetivam mostrar alguns projetos que tiveram, ou

ainda esto tendo, certo impacto nas escolas, especialmente nas

de 1 grau, sem, entretanto, a pretenso de exaurir o assunto, que,

sem dvida, merece ser submetido a uma meta-avaliao.

A evoluo da avaliao educacional no Brasil com o objeti-

vo de verificar a eficincia de professores, currculos, programas

e sistemas, alm de possibilitar a identificao de diferentes

tendncias, sobretudo quanto ao desempenho educacional, en-

tre outros aspectos, como seria desejvel (VIANNA, 1992), ainda

est para ser pesquisada e analisada. A partir da dcada de 60,

e ao longo dos anos seguintes, pode-se constatar que alguma

coisa importante comeou a ser realizada, ainda que de forma

algo incipiente, mas revelando um esforo para proceder de

acordo com orientao metodolgica, especialmente com base

em fontes norte-americanas.

A avaliao no contexto educacional brasileiro quase

sempre promovida por rgos governamentais a nvel federal

Ministrio da Educao ou a nvel estadual, atravs das Secreta-

rias de Estado, que, por falta de estrutura, muitas vezes solicitam

a colaborao de outras instituies, universidades ou funda-

es pblicas e privadas. Ao contrrio do que ocorre nos Estados

Unidos, em que as universidades assumem a iniciativa de pro-

jetos de avaliao, ainda que com financiamento externo, ou o

que se passa na Inglaterra, em que fundaes privadas, contrata-

das para prestao de servios, realizam pesquisas e avaliao, a

nossa situao como ser apresentado, bastante diversa.

A FUNBEC Fundao Brasileira para o Ensino de Cin-

cias, ao iniciar um programa de novos currculos em Fsica,

Matemtica, Qumica, Biologia e Geocincias, nos anos 60 e 70,

comeou, igualmente, uma avaliao de seus programas, con-

tando, para esse fim, com a expertise de Hulda Grobman, na rea da Biologia. Essa atividade pioneira, entretanto, no teve

continuidade em outras instituies, perdendo-se essa rara

oportunidade para o desenvolvimento de know-how e a forma-o de capacitaes na rea de avaliao.

A Fundao Getlio Vargas, igualmente em meados da d-

cada de 60, iniciou importante programa de avaliao somativa

no Rio de Janeiro, desenvolvendo um instrumento para avaliar

a capacitao de crianas ao trmino do 1 grau na rede oficial,

inspirando-se no teste Iowa Basic Skills. O projeto obteve a cola-


borao de Anne Anastasi, Frederick Davis e Robert L. Ebel, que

contriburam para a formao de especialistas brasileiros, minis-

trando cursos de treinamento em 1965. Razes diversas, inclusi-

ve uma radical e abrupta alterao curricular, no antigo Estado

da Guanabara (Rio de Janeiro), sem uma prvia avaliao da nova

proposta de currculo, provocou a descontinuidade do programa

e a consequente disperso dos grupos de trabalho, que passaram

a atuar em outras atividades, muitas vezes estranhas avaliao.

Ao longo dos anos 70 e na dcada de 80, face ao proces-

so de massificao das instituies de ensino, especialmente

no 3 grau, houve certa intensificao de estudos ligados ao

acesso ao ensino superior, sobretudo os relacionados a aspec-

tos psicomtricos dos instrumentos de medida e anlise de

dados socioeconmicos, como pode ser observado em algumas

publicaes, especialmente em Educao e Seleo (1980-89)

e a partir de 1990, em Estudos em Avaliao Educacional,

ainda que esta revista tenha modificado a orientao editorial

da anterior, passando a privilegiar problemas ligados avalia-

o em geral, sem se deter, prioritariamente, na problemtica

da seleo para a Universidade. A dcada de 70 apresentou,

igualmente, interesse, ainda que terico, na rea da avaliao

de programas, com a tentativa de disseminao do modelo

CIPP contexto, input, processo e produto desenvolvido por

Daniel Stufflebeam e Egon Guba. Alguns poucos trabalhos fo-

ram realizados nessa linha metodolgica, mas, tambm, no

tiveram prosseguimento, sendo um momento transitrio,

como habitualmente ocorre na rea educacional brasileira.

O Programa de Expanso e Melhoria do Ensino no Meio

Rural do Nordeste Brasileiro EDURURAL , planejado em

1977, na parte referente a estudos e avaliao, esteve a cargo da

Fundao Cearense de Pesquisa, que se ocupou de aspectos

institucionais, e da Fundao Carlos Chagas, que centrou suas

atividades na avaliao do rendimento escolar (GATTI; VIANNA;

DAVIS, 1991). O projeto, com financiamento do Banco Mundial,

coletou dados nos anos de 1981, 1983 e 1985, nos Estados do

Cear, Piau e Pernambuco, por intermdio de provas de Por-

tugus e Matemtica, aplicadas a crianas de 2 e 4 sries do

Ensino Fundamental, em 603 escolas rurais. Alm da qualidade

do ensino da escola rural, o projeto EDURURAL realizou seis

estudos de caso sobre a atuao dessas escolas nos limites das


relaes socioeconomicoculturais locais.

O EDURURAL no se limitou a coletar dados sobre o rendi-

mento escolar em Portugus e Matemtica nas 2s e 4s sries

de escolas rurais, que, alis, mostraram que as crianas daque-

les Estados do Nordeste apresentavam uma aprendizagem dos

conceitos bsicos visivelmente prejudicada, nessas escolas de

ensino multisseriado bastante precrio (GATTI, 1993). Incluiu,

tambm, no seu projeto, a avaliao de diversas variveis, como

as condies das escolas, perfil dos professores, impacto do trei-

namento e condies da famlia, entre outras.

Os seis estudos etnogrficos realizados nos trs Estados

possibilitaram identificar algumas razes explicativas para o

baixo rendimento das crianas nas duas reas curriculares:

rotatividade dos professores, influncia poltica na designao

de professores, inconstncia na distribuio de livros, material

e merenda, que feita, igualmente, tendo em vista conside-

raes polticas, baixos salrios, condies precrias das esco-

las multisseriadas, infraestrutura curricular deficiente, pouco

tempo dedicado ao ensino durante o dia (2.00 a 2.30 horas/dia),

frequncia irregular dos alunos, doenas das crianas, condi-

es familiares, dificuldade de acesso escola, ensino baseado

na memorizao sem significado e passividade induzida do

aluno, entre outros fatores, conforme foi caracterizado com

realismo esse estado de coisas por Gatti (1994). Um quadro bas-

tante dramtico do Nordeste rural, refletido pela situao igual-

mente trgica de seu ensino, que a avaliao revelou.

Quase no final da dcada de 80, foi iniciado um amplo pro-

grama de avaliao do rendimento de alunos de escolas de 1

grau da Rede Pblica em todo o Pas, por iniciativa do Instituto

Nacional de Estudos e Pesquisas Educacionais INEP. Inicial-

mente, em 1987, essa avaliao (VIANNA; GATTI, 1988; VIANNA,

1989a; VIANNA, 1989b; GATTI; VIANNA; DAVIS, 1991; GATTI, 1993)

objetivou identificar, na diversidade do quadro educacional bra-

sileiro, pontos curriculares crticos; verificar o desempenho em

aspectos cognitivos bsicos de alunos de 1, 2, 3, 5 e 7 sries;

e subsidiar os professores para uma recuperao de seus alunos

em aspectos bsicos do currculo escolar. Essa avaliao, ao final,

abrangeu uma amostra de 27.455 alunos de 238 escolas em 69

cidades de vrios Estados da Federao existentes poca, inclu-

sive no ento Territrio do Amap. O projeto teve seus desdobra-


mentos, com novas avaliaes, a pedido da Secretaria de Esta-

do da Educao do Paran, envolvendo, inicialmente, alunos

de 2 e 4 sries de escolas de sete cidades (VIANNA; GATTI, 1988)

e depois, uma amostra de alunos de escolas oficiais de 22 outras

cidades (VIANNA, 1991), com os mesmos objetivos dos trabalhos

propostos pelo INEP.

As avaliaes a nvel estadual promovidas pelo Instituto

Nacional de Estudos e Pesquisas Educacionais INEP vi-

savam a fornecer s Secretarias de Estado da Educao um con-

junto de informaes sobre as deficincias da aprendizagem

escolar; por outro lado, os projetos procuravam criar, tambm,

condies para que as prprias Secretarias tivessem uma efeti-

va participao nos assuntos pertinentes avaliao do rendi-

mento, assim como se envolvessem, ainda, em projetos outros

relacionados a programas, sistemas e materiais didticos (GATTI,

1994). As concluses do projeto, que mostraram aspectos crticos

do ensino de 1 grau em quase 70 cidades das diversas regies

geogrficas do pas, no podem ser, entretanto, generalizadas,

tendo em vista a natureza da amostra, um segmento estatisti-

camente pouco representativo do universo escolar a nvel de 1

grau, e a falta de equalizao (equating) dos instrumentos. O in-teressante, e digno de ser destacado, que esse projeto, iniciado

em 1987, mais tarde, em 1991, realizaria pela primeira vez uma

avaliao de escolas do sistema privado de ensino, mostran-

do a relao entre condio social e rendimento escolar. O es-

tudo, entretanto, ao comparar o desempenho da escoa privada

com o dos alunos das escolas pblicas, revelou que nem sempre

a escola privada um mar de excelncia e a escola pblica tam-

bm nem sempre to ruim quanto se julga, aprioristicamente.

Ainda na dcada de 80, um novo projeto de avaliao a nvel

nacional foi realizado por intermdio da Secretaria de Ensino do

2 Grau, do Ministrio da Educao, com apoio do Banco Mundial

e a colaborao cientfica da Fundao Carlos Chagas, sobre

o desempenho escolar de alunos da 3 srie do Ensino Mdio

(VIANNA, 1991). A partir de uma amostra de 3.972 sujeitos de es-

colas tcnicas federais, escolas estaduais, escolas particulares,

escolas oficiais e particulares com habilitao magistrio e es-

colas de formao profissional industrial (SENAI), nas cidades de

Fortaleza, Salvador, So Paulo e Curitiba, o projeto identificou

variveis sobre escolaridade e a influncia de fatores socioecon-


micos. Esse estudo, que no fundo de avaliao do rendimento

escolar, apresentou resultados surpreendentes, que eram conhe-

cidos mas no constatados, sobre o alto desempenho das escolas

tcnicas federais em relao s demais escolas, sem, entretanto,

pesquisar as razes desse desempenho.

O Ministrio da Educao, utilizando a competncia tcnica

do INEP, no incio de 1990, iniciou a implantao de um Siste-

ma Nacional de Avaliao da Educao Bsica SAEB, com

o objetivo de qualificar os resultados obtidos pelo sistema edu-

cacional de ensino pblico, criar e consolidar competncias

para a avaliao do sistema educacional (PESTANA, 1992), reali-

zando um trabalho cooperativo entre o MEC e as Secretarias de

Estado da Educao. A proposta do SAEB adotou um modelo de

estudo de fluxo e de produtividade da UNESCO, com vistas a es-

tudar questes relacionadas com a gesto escolar, competncia

docente, custo-aluno direto e indireto e rendimento escolar, com

base em uma metodologia de amostras relacionadas (WAISELFISz,

1991), estando em vias de sofrer radical transformao em sua me-

todologia e nos procedimentos de amostragem, na avaliao do

segundo semestre de 1995.

A Avaliao da Jornada nica em So Paulo, realizada

no segundo semestre de 1992, visou a verificar os efeitos da

implantao da Jornada nica no Ciclo Bsico, a partir de 1988,

em escolas da Grande So Paulo. Ou seja, a avaliao procurou

saber, conforme o destaque de Gatti (1992), se o Ciclo Bsico/

Jornada nica causou algum impacto, algum diferencial no

desempenho e no desenvolvimento intelectual das crianas; se

houve diferenciais no desenvolvimento de habilidades bsicas

que devem ser adquiridas, e se ocorreram alteraes na relao

aprovao/reprovao/ e evaso.

A partir de 1992, a Secretaria de Educao do Estado de Minas

Gerais iniciou a Avaliao do Sistema Estadual de Ensino de

Minas Gerais5, envolvendo nesse ano a populao de estudantes

do Ciclo Bsico de Alfabetizao e os da 8 srie. Os trabalhos pros-

seguiram em 1993 com a avaliao da 5 srie do Ensino Funda-

mental, da 2 srie do Ensino Mdio e das 3/4 sries da Habilitao

Magistrio. Ao todo, cerca de 930.000 estudantes foram avaliados

externamente nesses dois anos, sendo levantados dados sobre o

desempenho escolar em reas curriculares, informaes socioe-

conmicas dos alunos, atitudes em relao cincia (2 srie do

5 o artigo de Maria Alba de souza, na revista Estudos em Avaliao Educacional, so paulo, n. 12, 1995,

oferece uma viso bastante

detalhada do programa de

avaliao de Minas Gerais

no perodo de 1992-95.


Ensino Mdio), dados relacionados escola, incluindo elementos

sobre os vrios currculos, e informaes relativas formao das

futuras professoras da escola de Ensino Fundamental (alunas das

3/4 sries da Habilitao Magistrio). O programa de avaliao do

sistema de ensino de Minas Gerais, integrante de um programa de

qualidade da escola, com apoio financeiro do Banco Mundial, teve

prosseguimento em 1994, com a repetio do processo nas esco-

las avaliadas em 1992 e a incluso de escolas da rede municipal

de ensino, abrangendo, no caso, o sistema em 414 municpios. O

processo de avaliao em Minas Gerais j comeou a produzir seus

primeiros resultados, sobretudo em modificaes curriculares e na

disseminao de centros de atualizao de professores em 53 dife-

rentes pontos do Estado (VIANNA, 1992), alm da autonomia admi-

nistrativa e financeira, estando em vias a implantao da autono-

mia pedaggica, em um processo de qualidade da escola que tem

como um de seus pontos centrais a avaliao.

Um programa de avaliao foi realizado em 1991 sobre o

Desempenho da Rede Pblica Escolar do Estado de Per-

nambuco na rea da Linguagem, em crianas de 1 a 4

srie, o que possibilitou Secretaria de Educao do Estado,

segundo Buarque et al. (1992), a reviso dos contedos pro-gramticos das Propostas Curriculares, redirecionamento dos

contedos nos programas de capacitao de docentes, acom-

panhamento das classes de alfabetizao e o desenvolvimento

de um programa de pesquisas.

A nvel internacional, no perodo de 1990/92, houve uma

avaliao do desempenho de crianas de 13 anos em Matem-

tica e Cincias, nas cidades de So Paulo e Fortaleza, como

parte integrante do projeto da International Assessment of

Educational Progress IAEP, com a participao de 20 pases, sob a coordenao do Educational Testing Service (Princeton, New

Jersey) e o financiamento da National Science Foundation NSF.

A parte relativa ao Brasil ficou sob a responsabilidade da

Fundao Carlos Chagas, visando o projeto a analisar o de-

sempenho dos estudantes nos vrios pases participantes e a

identificar tipos de ambientes culturais e prticas educacionais

associadas a um alto desempenho (VIANNA, 1992). Alm das pro-

vas de Matemtica e Cincias foram desenvolvidos trs outros

instrumentos questionrio do aluno, da escola e dos pais , a

fim de explorar variveis associadas ao desempenho educacional


e proporcionar um contexto que possibilitasse compreender os

resultados da avaliao. O desempenho das crianas brasileiras,

lamentavelmente, foi bastante comprometido, refletindo, as-

sim, a conhecida crise do nosso sistema de ensino da escola de 1

grau. Esse tipo de avaliao costuma, no entanto, com justa ra-

zo, ser criticado por vrios educadores, sobretudo na Inglaterra,

tendo em vista a diversidade curricular, os objetivos do ensino,

as metodologias empregadas, entre outros fatores, e inclusive o

prprio contexto cultural, em termos sociolgicos.

A anlise dos vrios projetos de avaliao, segundo demons-

trou Gatti (1994), evidencia que nem sempre possvel a adoo

de um delineamento experimental, que possibilite comparar di-

ferenas de tratamentos; as amostras, muitas vezes, so bastante

comprometidas, tendo em vista a carncia de estatsticas bsicas

confiveis, os procedimentos de aplicao dos instrumentos e cole-

ta de dados nem sempre so merecedores de confiana, apesar das

orientaes e dos treinamentos a que so submetidos os aplicado-

res; e a adoo de modelos de avaliao que nem sempre se ajus-

tam ao nosso contexto socioeducacional, havendo necessidade,

portanto, de uma adaptao realidade brasileira. Esses e outros

problemas como, por exemplo, a falta de elementos experientes

em avaliao educacional fazem com que, em muitos casos, o

avaliador responsvel tome decises que, em princpio, fogem

ortodoxia doutrinria, mas que resultam da sua experincia e do

seu bom senso, face ao imprevisto das situaes que surgem, sobre-

tudo em pases que no possuem uma tradio de avaliao no seu

sistema educacional, como o caso do Brasil, e em que a realidade

bem diferente da teoria.

A anlise da produo cientfica sobre avaliao educacio-

nal publicada em Cadernos de Pesquisa, no perodo de 20 anos (VIANNA, 1992) mostra que o tema de interesse dos educado-

res, sendo essa produo bastante diversificada e revelando uma

grande preocupao metodolgica na abordagem dos vrios

assuntos, sobretudo na rea de rendimento escolar, educao

de adultos, treinamento e formao de professores, temas do-

minantes no contexto da educao brasileira, pelo menos no

momento atual. Observa-se, tambm, nesses artigos e ensaios, um

destaque em relao ao emprego de metodologias qualitativas,

especialmente estudo de casos, ainda que sejam bastante redu-

zidos os trabalhos tericos sobre essas metodologias por autores


nacionais, que se apoiam quase sempre na fundamentao de

tericos estrangeiros, sobretudo norte-americanos e ingleses.

A partir dessa anlise (VIANNA, 1992), percebe-se, entretanto, que

j h uma conscincia da importncia da avaliao e que a sua

prtica, apesar de inspirada em outros contextos, e partindo de

modelos adaptados nossa realidade, mas nem sempre de forma

cientificamente rigorosa, est comeando a criar uma cultura da

avaliao na sociedade brasileira.

ReFeRNcIAs bIblIOgRFIcAs

BUARQUE, Lair L. et al. Avaliao do desempenho da rede pblica escolar do estado de Pernambuco na rea de linguagem. Estudos em Avaliao Educacional, So Paulo, n. 5, p. 95-106, 1992.

CAMPBELL, D. T.; STANLEY, J. C. Experimental and quasi-experimental designs for research on teaching. In: GAGE, N. L. (Ed.). Handbook of research on teaching. Chicago, IL: Rand McNally, 1963. p. 171246.

CRONBACH, L. J. Course improvement through evaluation. Teachers College Record, n. 64, p. 672-683, 1963.

GATTI, Bernardete A. O rendimento escolar em distintos setores da sociedade. Estudos em Avaliao Educacional, So Paulo, n. 7, p. 95-112, 1993.

______. Avaliao da jornada nica em So Paulo. Estudos em Avaliao Educacional, So Paulo, n. 5, p. 85-89, 1992.

______. Avaliao educacional no Brasil: - experincias, problemas, recomendaes. Estudos em Avaliao Educacional, So Paulo, n. 10, p. 67-80, 1994.

GATTI, Bernardete A.; VIANNA, Heraldo M.; DAVIS, Claudia. Problemas e impasses da avaliao de projetos e sistemas educacionais: dois casos brasileiros. Estudos em Avaliao Educacional, So Paulo, n. 4, p. 07-26, 1991.

LINDQUIST, E. F. Design and analysis of experiments in Psychology and Education. Boston, Houghton Mifflin, 1953.

LUCKESI, Cipriano C. Avaliao dos resultados da aprendizagem escolar: a prtica atual e sua compreenso nas concepes pedaggicas. 1991. Tese (Doutorado) Pontifcia Universidade Catlica de So Paulo, So Paulo, 1991.

MADAUS, G. F.; AIRASIAN, P. W.; KELLAGHAN, T. School effectiveness: a reassessment of the evidence. New York: McGraw-Hill Book, 1980.

MADAUS, G. F.; STUFFLEBEAM, D. L.; SCRIVEN, M. S. Program evaluation: a historical overwiew. In: MADAUS, G. F. et al. (Ed.). Evaluation Models: viewpoints on educational and human services evaluation. Boston: Kluwer-Nijhoff, 1993.

NORRIS, N. Understanding educational evaluation. London: Kogan Page, 1993.


PESTANA, Maria Ins G. de S. O Sistema Nacional de Avaliao da Educao Bsica. Estudos em Avaliao Educacional, So Paulo, n. 5, p. 81-84, 1992.

SCRIVEN, Michael. The methodology of evaluation: perspectives of curriculum evaluation. Chicago: Rand McNally, 1967. (AERA. Monograph, n.1).

STAKE, Robert E. The countenance of educational evaluation. Teachers College Record, v. 68, n. 7, p. 523-540. 1967.

STUFFLEBEAM, Daniel L. The relevance of the CIPP Evaluation Model for Educational Accountability. Journal of Research and Development in Education, v. 5, n. 1, p. 19-25. 1971.

VIANNA, Heraldo M. Avaliao do rendimento de alunos de escolas de 1 grau da rede pblica: um estudo em 20 cidades. Educao e Seleo, So Paulo, n. 19, p. 33-98, 1989a.

______. Avaliao do rendimento de alunos de escolas de 1 grau da rede pblica: um estudo em 39 cidades. Educao e Seleo, So Paulo, n. 20, p. 5-56, 1989b.

______. Rendimento de alunos das 2 e 4 sries das escolas oficiais do estado do Paran: um estudo avaliativo. So Paulo: Fundao Carlos Chagas, 1991. Relatrio de pesquisa.

______ Avaliao do rendimento escolar de alunos da 3 srie do 2 grau: subsdios para uma discusso. Estudos em Avaliao Educacional, So Paulo, n. 3, 1991.

______. Avaliao do desempenho em matemtica e cincias: uma experincia em So Paulo e em Fortaleza. Estudos em Avaliao Educacional, So Paulo, n. 5, p. 9-14 , 1992a.

______. Avaliando a avaliao: da prtica pesquisa. Estudos em Avaliao Educacional, So Paulo, n. 5, p. 55-64, 1992b.

______. Avaliao do ciclo bsico de alfabetizao em Minas Gerais. Estudos em Avaliao Educacional, So Paulo, n. 5, p. 91-94, 1992c.

______. Avaliao Educacional nos Cadernos de Pesquisa. Cadernos de Pesquisa, So Paulo, n. 80, p. 100-105, 1992d.

VIANNA, Heraldo M.; ANTUNES, Ana Lcia; SOUzA, Maria Alba de. Desenvolvimento de um programa de avaliao do sistema estadual de ensino: o exemplo de Minas Gerais. Estudos em Avaliao Educacional, So Paulo, n. 8, p. 5-37, 1993.

VIANNA, H. M.; FRANCO, Glucia T. Avaliao do rendimento de alunos de escolas do 1 grau da rede privada: pontos crticos e convergncia. Estudos em Avaliao Educacional, So Paulo, n. 7, p. 113-132, 1993.

VIANNA, Heraldo M.; GATTI, Bernardete A. Avaliao do rendimento de alunos de escolas de 1 grau da rede pblica: uma aplicao experimental em 10 cidades. Educao e Seleo, So Paulo, n. 17, p. 5-52, jan./jun. 1988a.

______. Avaliao do rendimento de alunos de 2 e 4 sries de escolas oficiais do estado do Paran. Educao e Seleo, So Paulo, n. 18, p. 5-62, 1988b.

WAISELFISz, Jlio J. O Sistema Nacional de Avaliao Educacional de 1 Grau. Estudos em Avaliao Educacional, So Paulo, n. 4, p. 65-72, 1991.

WORTHEN, B. R.; SANDERS, J. R. Educational Evaluation: alternative approaches and practical guidelines. New York, London: Longman, 1987.


MEDIDA DA QUALIDADE EM EDUCAO: APRESENTAO DE UM MODELO1

O problema da qualidade em educao uma preocupao da

sociedade como um todo. Subjacentemente, o conceito de res-

ponsabilidade educacional educational accountability permeia essa inquietao, ou seja, havendo pessoal qualificado, condies

materiais, instrumental instrucional, metodologias e estratgias

adequadas, a educao formal deveria ser, necessariamente, de

boa qualidade. Isso, entretanto, nem sempre ocorre, pois uma

complexa rede de variveis atua no processo e cria um quadro

de elementos interferentes que determinam nveis diversos de

excelncia educacional.

Algumas indagaes surgem de imediato: como conceituar

qualidade em educao? Ser possvel uma definio operacional

de qualidade em educao a fim de mensur-la com adequao?

O problema precisa ser analisado e discutido com a participao

da comunidade educacional e de elementos da sociedade. A me-

dida da qualidade em educao, entretanto, no pode ficar res-

trita apenas ao desempenho escolar, necessita, tambm, verificar

outras variveis que se associam e condicionam o rendimento

escolar. O que as crianas fazem na escola, o que os professores

procuram transmitir aos seus alunos e o que os livros didticos

1 Artigo publicado na revista Estudos em Avaliao

Educacional, so paulo, n. 2, p. 99-104, jul./dez. 1990.


apresentam refletem expectativas culturais e educacionais na so-

ciedade, bem como seus valores e seus objetivos sociais e econ-

micos. Assim, impositivo verificar em que medida a interao

dessas variveis contribui para a qualidade da educao.

necessrio reiterar que a avaliao da qualidade da edu-

cao no se limita apenas verificao do rendimento escolar,

que um momento na caracterizao dessa qualidade. O desem-

penho dos estudantes em pesquisas da qualidade da educao

melhor compreendido e interpretado quando se levantam in-

formaes sobre o tipo de ensino que recebem, os procedimen-

tos que vivenciam em sala de aula e no colgio, e ainda sobre

as caractersticas ambientais da famlia que determinam o seu

comportamento. Assim, a pesquisa sobre a qualidade da educa-

o precisa caracterizar o contexto nacional em que o processo educacional se desenvolve, identificar criticamente os fatores no diretamente ligados escola que afetam a educao e analisar a ao da escola em termos de entrada, processo e produto.

A avaliao da qualidade da educao deve, necessariamente,

partir de uma anlise do contexto nacional, envolvendo as caracte-rsticas da populao, os seus valores culturais, os investimentos

financeiros em educao e a organizao das escolas. As caracte-rsticas da populao no se devem limitar a estatsticas demo-grficas, mas apresentar e discutir os vrios nveis de educao,

o processo de transformao da economia e a composio da for-

a de trabalho, assim como suas tendncias. Os valores culturais da sociedade precisam ser identificados, destacando-se, parti-

cularmente, a problemtica da maior ou menor valorizao da

educao, o papel da educao no desenvolvimento individual

e na formao profissional, as oportunidades educacionais ofe-

recidas pela sociedade e o grau de universalizao da educao;

alm disso, problemas cruciais como o do status do professor na sociedade e a responsabilidade da famlia na educao neces-

sitam tambm ser considerados. Os investimentos financeiros em educao no podem deixar de ser considerados como uma das importantes variveis que influenciam na qualidade da educao,

juntamente com a alocao de recursos humanos qualificados

para a rea educacional. Finalmente, no quadro do contexto na-

cional, a avaliao da qualidade da educao deve considerar a

organizao do sistema escolar, identificando os diversos tipos

de escola, os graus de centralizao administrativa, a influncia


do processo de seletividade social na escola e a organizao do

sistema de avaliao, que, dependendo da sua filosofia e da sua

estruturao, pode criar diferentes tipos de impedimentos, com

amplas repercusses sociais.

A criana, e mesmo o adolescente, na maioria dos casos,

passa um tempo extremamente reduzido na escola; desse

modo, a fim de avaliar a qualidade da sua educao, funda-

mental que sejam considerados os fatores no diretamente ligados escola, que compreendero, entre outros aspectos, o status socioeconmico da famlia, o nvel de educao dos pais, os

recursos educacionais no lar, o interesse e a participao dos

pais no processo educacional, as atividades educacionais fora

da escola, as atividades de lazer e sociais (televiso, esportes e

interao de grupos) e, ainda, uma anlise das atitudes e das

aspiraes dos estudantes.

A investigao sobre a qualidade da educao envolve,

naturalmente, uma discusso aprofundada da varivel escola, que, no presente modelo, deve sofrer uma abordagem em

termos de entrada, processo e produto. A partir dessa pers-

pectiva, para a configurao do fator entrada, desejvel a identificao e anlise das variveis tamanho e tipo de escola;

extenso do ano letivo e da jornada escolar; tamanho, carac-

tersticas e experincia do pessoal docente; qualidade das ins-

talaes escolares; organizao dos programas escolares; e,

finalmente, a participao dos pais na vida escolar.

A parte do modelo mais diretamente relacionada sala de

aula, ao que ensinado e como ensinado, no seu conjunto,

engloba a varivel processo, que se centra na avaliao do currculo e das prticas instrucionais. A avaliao do currculo visa, particularmente, a anlise dos objetivos e dos conte-

dos programticos, procurando identificar em que medida

so destacados fatos, conceitos e/ou habilidades complexas.

Ainda na varivel processo, o conjunto das prticas instrucio-nais procura identificar o tipo de instruo ministrada (em

grandes e pequenos grupos e/ou instruo programada); a

ocorrncia de aulas expositivas, demonstraes e/ou discus-

ses; o uso de material didtico (impressos e equipamentos);

a natureza das tarefas a serem realizadas em casa; e, final-

mente, a crtica das prticas docimolgicas, ou seja, a anlise

do planejamento e da execuo da avaliao escolar.


O presente modelo completa-se com a avaliao da varivel

produto, concentrada no desempenho escolar e na formao de atitudes associadas ao processo educacional, momento em que

sero empregados diferentes instrumentos de mensurao esco-

lar, inclusive, testes de escolaridade e questionrios de atitudes.

Um projeto de avaliao da qualidade da educao, dessa

forma, deve relacionar o desempenho dos estudantes a contex-

tos culturais e a prticas educacionais associadas ao rendimen-

to escolar. Surge, assim, um grave problema a ser discutido a

validade dos instrumentos, particularmente a validade dos tes-

tes de escolaridade.

O uso de testes sem a observncia da teoria das medidas con-

tribui para que sejam negligenciadas importantes caractersticas

dos instrumentos aplicados mensurao dos atributos huma-

nos. Diferentes testes possuem diferentes virtudes e no existe

um teste que seja o melhor para todos os propsitos. Um teste

sempre construdo com uma determinada finalidade, no ha-

vendo, portanto, um nico instrumento que seja capaz de medir

de modo globalizado as diferentes dimenses do homem. Assim,

ao construir um teste, necessrio que se identifique o objeti-

vo do instrumento e em que situao concreta ser utilizado.

Um teste para uso em sala de aula, com a finalidade de promover

uma avaliao formativa, no tem, certamente, as mesmas caracte-rsticas de um outro empregado para fins de seleo, quando se

processa uma avaliao somativa. Um teste serve, ainda, para um determinado contexto e para um fim especifico, no tendo a

mesma utilidade em outros contextos e para outros fins.

As questes relativas validade dos testes educacionais so

complexas e, frequentemente, sujeitas a controvrsias, que, entre-

tanto, precisam ser enfrentadas a fim de solucionar os problemas

relativos construo dos instrumentos de medida, sua anlise

emprica e ao julgamento do seu valor como elementos capazes de

medirem, eficientemente, os atributos definidos no planejamento.

O processo de avaliao de um teste possui uma lgica prpria,

ressaltando-se, entretanto, que a validao de um teste depende

do uso que dele se pretenda fazer. Um teste nunca possui um

nico e exclusivo objetivo; desse modo, no se pode assegurar

que um teste seja vlido em termos gerais. A validao de um

instrumento de medida educacional est, pois, relacionada com

a interpretao que ao mesmo se pretenda dar.


A validade de um instrumento de medida est associada

concretizao dos seus objetivos. Assim, no caso especfico

de um teste de desempenho escolar, a validade positivada na

medida em que esse instrumento realiza aquilo a que se pro-

puseram seus construtores. O conceito de validade, entretanto,

multifacetado, no sendo possvel dizer, a priori, se um teste

ou no vlido: um teste pode ser vlido para um currculo e no

o ser para outro; um teste pode ser vlido para um grupo, mas

no para outro. A validade no , pois, um atributo que se possa

apresentar em termos gerais; sempre especfica a um instru-

mento, a um curso, a um currculo, a um professor e a um grupo

de indivduos com caractersticas bem definidas.

O processo de validao presta-se a diferentes interpretaes

muitas vezes conflitantes entre si, sendo necessrio, por conse-

guinte, maiores esclarecimentos sobre sua natureza. Valida-se

no propriamente o teste mas a interpretao dos dados decor-

rentes de um procedimento especfico. Um mesmo teste pode

ser usado para diferentes fins e a cada aplicao do instrumento

pode corresponder, portanto, uma interpretao dos resultados.

Ora, considerando que cada interpretao tem seu prprio grau

de validade, no possvel afirmar que um teste vlido em

geral, pois a validade sempre especfica. Um teste, em sntese,

possui muitas validades; consequentemente, h necessidade de

aprofundar e estender os estudos de validao para que se possa

determinar as diversas dimenses da sua validade.

O problema da validao dos instrumentos deve receber tra-

tamento prioritrio no processo investigativo da qualidade da

educao, conforme a anlise anterior. O uso indiscriminado de

instrumentos de avaliao pode levar a concluses inteiramen-

te falaciosas, com amplas repercusses. Nesse momento, cabem

algumas indagaes referentes ao contexto educacional brasilei-

ro: os instrumentos usados para fins de avaliao educacional

possuem validade empiricamente verificada? Os instrumentos

usados pelos professores possuem validade curricular? Os instru-

mentos empregados no dia a dia da escola possuem validade de

contedo? E, finalmente, uma pergunta dolorosa: os altos ndi-

ces de reprovao nas primeiras sries do 1 grau no decorreriam

em parte da falta de validade dos instrumentos usados na avalia-

o? So questes que precisariam ser respondidas no processo de

investigao da qualidade da educao.

ANexO

meDIDA DA QUAlIDADe em eDUcAO

esQUemA De Um mODelO

1.0. CONTEXTO NACIONAL

1.1. Caractersticas da populao

1.1.1. Estatsticas demogrficas

1.1.2. Nveis de educao

1.1.3. Transformaes da economia

1.1.4. Fora de trabalho

1.2. Valo

REAE_FCC_Contribuições de Heraldo Vianna

Documents

Transcript of REAE_FCC_Contribuições de Heraldo Vianna