Avaliação de Programas e Avaliação da Aprendizagem

of 28/28
Avaliação de Programas e Avaliação da Aprendizagem Lia Depresbiteris’ A finalidade deste ensaio não é a de esgotar quantitativamente os estudos de avalia- ção realizados através dos tempos. Fosse essa a intenção, seria necessário traçar um perfil histórico desde as épocas mais remotas, quando era possível detectar algumas atividades avaliativas formais. Alguns mil anos atrás, os chineses já administravam testes para a admis- são ao serviço civil; também são frequentes os relatos sobre o emprego de exames pelos professores,na Grécia e Roma antigas. O que será apresentado é o caminho percorrido pela avaliação, desde uma perspec- tiva de medida, voltada exclusivamente para os resultados de aprendizagem dos alunos, até uma perspectiva mais ampla, através da qual a avaliação visa ao programa como um todo, expandindo-se aos propósitos educacionais, aos currículos e incluindo relações com outros sistemas: social, econômico e político. A avaliação, nesta última perspectiva, visa os projetos em larga escala, particulamente os que assumem o caráter de projetos nacionais, redonais ou estaduais e, não a avaliação tal como é concebida e praticada no contexto res- trito de um aluno, uma sala ou uma escola. A. AVALIAÇÁO DA APRENDIZAGEM As primeiras idéias sobre avaliação da aprendizagem estavam ligadas i idéia de medir. O uso da avaliação como medida vem de longa data. Através de Ebel, temse o relato de Kuo sobre a presença de exames, em 2205 A.C. Nessa época, o Grande “Shun”, impe. rador chinês, examinava seus oficiais a cada três anos, com o fm de os promover ou demitir. O regime competitivo nos exames na China antiga tinha então como propósito principal prover o Estado com homens capacitados (Ebel e Damrin, 1960). Avançando na história, Ebel relata que no século XIX, nos Estados Unidos da Amé- rica, Horace Mann criou um sistema de testagem, sendo um dos pioneiros nesta área. Uma controvérsia entre Mann e os comitês das escolas americanas sobre a qualidade da educa- Da Equipe de Avaliação, & Divisio de Currículos e Progamas, da Diretoria de Tecnologia Educacio- nal, da Coordenadaria de Educação do Departamento Regional do Senai ~ São Paulo. Doutara em Educação. 5
  • date post

    07-Jan-2017
  • Category

    Documents

  • view

    217
  • download

    3

Embed Size (px)

Transcript of Avaliação de Programas e Avaliação da Aprendizagem

  • Avaliao de Programas e Avaliao da Aprendizagem

    Lia Depresbiteris

    A finalidade deste ensaio no a de esgotar quantitativamente os estudos de avalia- o realizados atravs dos tempos. Fosse essa a inteno, seria necessrio traar um perfil histrico desde as pocas mais remotas, quando j era possvel detectar algumas atividades avaliativas formais. Alguns mil anos atrs, os chineses j administravam testes para a admis- so ao servio civil; tambm so frequentes os relatos sobre o emprego de exames pelos professores,na Grcia e Roma antigas.

    O que ser apresentado o caminho percorrido pela avaliao, desde uma perspec- tiva de medida, voltada exclusivamente para os resultados de aprendizagem dos alunos, at uma perspectiva mais ampla, atravs da qual a avaliao visa ao programa como um todo, expandindo-se aos propsitos educacionais, aos currculos e incluindo relaes com outros sistemas: social, econmico e poltico. A avaliao, nesta ltima perspectiva, visa os projetos em larga escala, particulamente os que assumem o carter de projetos nacionais, redonais ou estaduais e , no a avaliao tal como concebida e praticada no contexto res- trito de um aluno, uma sala ou uma s escola.

    A. AVALIAO DA APRENDIZAGEM

    As primeiras idias sobre avaliao da aprendizagem estavam ligadas i idia de medir. O uso da avaliao como medida vem de longa data. Atravs de Ebel, temse o relato

    de Kuo sobre a presena de exames, j em 2205 A.C. Nessa poca, o Grande Shun, impe. rador chins, examinava seus oficiais a cada trs anos, com o fm de os promover ou demitir. O regime competitivo nos exames na China antiga tinha ento como propsito principal prover o Estado com homens capacitados (Ebel e Damrin, 1960).

    Avanando na histria, Ebel relata que no sculo XIX, nos Estados Unidos da Am- rica, Horace Mann criou um sistema de testagem, sendo um dos pioneiros nesta rea. Uma controvrsia entre Mann e os comits das escolas americanas sobre a qualidade da educa-

    Da Equipe de Avaliao, & Divisio de Currculos e Progamas, da Diretoria de Tecnologia Educacio- nal, da Coordenadaria de Educao do Departamento Regional do Senai ~ So Paulo. Doutara em Educao.

    5

  • o, fez com que ele propusesse a experimentao de um sistema uniforme de exames, em uma amostra selecionada de estudantes das escolas pblicas de Boston. Os resultados dessa experincia reforaram muitas das criticas feitas por Mann com relao i qualidade da educao e indicou a possibilidade de testar os programas em larga escala, com a finalidade de sugerir mehorias nos padres educacionais. As principais sugestes de Mann foram: (a) substituir os exames orais pelos escritos, (b) utilizar, ao invs de poucas questes gerais, uma quantidade maior de questes especificas, e (c) buscar padres mais objetivos do alcance escolar.

    Ebel destaca, tambm, a contribuio de J.M. Rice, que desenvolveu os primeiros testes objetivos para uso em pesquisas de alcance escolar. Seus estudos eram basicamente relacionados: (1) i construo, ao uso e i correo de testes objetivos, (2). i construo, ao uso e i correo de testes dissertativos e (3) i busca de diferenas entre esses dois tipos de teste, na funo de medir, avaliar, predizer e classificar.

    O desenvolvimento de testes objetivos tornou possvel o estabelecimento de progra- mas de exames estaduais e regionais. Nos E U A . criaram-se associaes, comits, bureaus para o desenvolvimento de testes padronizados. O Conselho Americano de Educao apoiou, atravs do Servio Cooperativo de Testes, a produo de testes de rendimento escolar para a escola secundria e universidades. Estabeleceram-se o sistema de testagem para medir competncias dos professores e o Bureau de Arquivos Educacionais para prover programas de testagem para escolas pblicas.

    Uma reviso histrica mais especfica, em pases como a Frana e Portugal, aponta para o desenvolvimento de uma cincia chamada Docimologia. A docimologia vem do grego dokim, que quer dizer nota. 0, segundo De Landshere (1976), a cincia do estudo sistemtico dos exames, em particular do sistema de atribuio de notas e dos comporta- mentos dos examinadores e examinados.

    Tomando por base as obras de Piern (1969), Bmboir, De Landshere (1976) e Miranda (1982) verifica-se que a investigao docimolgica teve incio com os estudos de Fiern e Laugier, que evidenciavam a instabilidade das avaliaes, no tocante s diferen- as inter e intra-individuais e i preciso dos testes. Os primeiros estudos desses autores basearam-se na aplicao de seis testes de aptido em alunos de escolaridade primria. Os resultados dos alunos, nesses testes, foram comparados com classificaes escolares rea- lizadas ao longo e ao final do ano letivo e mostraram estar discrepantes, entre si, levando os autores a colocar em discusso o papel do exame comq fator eliminatrio decisivo para a classificao do aluno. A docimologia surgiu como critica i extrema confiana nos mtodos tradicionais utilizados, com fins de seleo, nos exames e nos concursos.

    Prosseguindo em seu trabalho, Piern realizou estudos que buscavam analisar as diver- sas variveis que influem no ato de medir os conhecimentos, provando, atrays deles, a fragi- lidade de mtodos considerados infalveis. Esses estudos, compilados no EMdes docmiolo- giques sur Ie perfectionnement des w m e n s e t des concours e publicados em 1935, mos- tram que a docimologia pautou-se por duas grandes linhas mestras: docimologia clssica, tambm chamada de negativa, e docimologia experimental, tambm chamada de positiva.

    A docimologia clssica punha nfase no aperfeioamento das tcnicas de constru- o dos instrumentos de avaliao e de andise de resultados. A docimologia experimental centravae na avaliao como um comportamento, procurando determinar, experimental- mente, os mecanismos intervenientes na deciso avaliativa, tais como: reao dos aplicado- res, reao dos submetidos aos exames, discrepncias entre situaes de exame e entre cn- trios de apiicadores.

    Nos Estados Unidos, a docimologia pasou a ter seu lugar de destaque em 1931, auando a Cameeie Comoration o& i disvosio do Instituto Internacional de Educaco do Teachers Coege d Universidade de Fol&bia (New York) fundos necessrios a reali- zao de um inqurito subordinado ao tema As concepes, os mtodos, a tcnica e o alcance pedag6gico e social dos exames e concursos.

    6

  • Uma primeira conferncia foi realizada em Eastboume, reunindo diversas comisses nacionais (norte-americana, inglesa, escocesa, francesa, alem, finlandesa e sua). A essa conferncia seguiramse duas outras em Folkstone (em 1935) e em Dinard (em 1938), sendo que nesta ltima foi criada uma comisso permanente para o estudo das questes levantadas. Dentre as publicaes mais importantes deste empreendimento esto: T h e aamination of aaminutions (Londres, 1935) e Lu correction des epreuves cntes duns les eramens ~ Enquete aperimentale sur le baccalatrut(Paris, 1936).

    Como se pode verificar, durante as primeiras dcadas do sculo XX, a maior parte da atividade que pode ser caracterizada como avaliao educacional fomal estava associada i aplicao de testes, o que imprimia um carter instrumental ao processo avatiativo.

    Para quebrar um pouco essa idda especfica de mensurao, surgiram nos Estados Unidos da Amrica, por volta de 1950, os escritos de Ralph Tyler. Esse autor provocou um grande impacto na IiteraNra com seu Estudo dos oito anos, realizado com Smith, no qual defendia a incluso de uma variedade de procedimentos avaliativos, tais como: testes, escalas de atitude, inventrios, questionrios, fichas de registro de comportamento e outras formas de coletar evidncias sobre o rendimento dos alunos em uma perspectiva longitudi- nal, com relao consecuo de objetivos curnculares (Tyler, 1949).

    Segundo. Tyler (1982), muitas pessoas consideram a avaliao comosinnimo de apli- cao de testes de lpis e papel. Apesar de ach-los extremamente importantes, pois permi- tem determinar a habilidade dos alnnos em alguns assuntos, o autor mostra que existem outros objetivos, como o de ajustamento pessoal, que so avaliveis atravs de obseivao das crianas emsituaes nas quais estejam envolvidas, por exemplo, em interaes sociais. Outros objetivos .relacionados a habilidades psicomotoras devem, igualmente, ser avalia- dos atravs de obsenraes, de entrevistas, de registros sistemticos. Assim, de acordo com Tyler, h muitos meios de conseguir evidncias sobre mudanas comportamentais. Quando se pensa em avaliao, est se falando em qualquer meio capaz de assegurar evidncias vlidassobre os comportamentos em seus diferentes nveis e manifestaes.

    Tyler defende, tambm, a idia de que o processo avaliarivo consiste basicamente na determinao de quanto os objetivos educacionais esto sendo atingidos por progra- mas instrucionais. Ele diz que esta concepo de avaliao tem dois aspectos importan- tes. Em primeiro lugar, implica que a avaliao deve julgar o comportamento dos alunos, pois o que se pretende em educao justamente modificar comportamentos. Em segun- do lugar, pressupe que a avaliao deve envolver mais do que um nico julgamento, em determinada ocasio, e logo outros mais, em instantes subseqentes, para identificar mudan- as que podem estar ocorrendo.

    Tyler ainda chama ateno para trs variveis bsicas no estudo da avaliao: o estu- dante, a sociedade e a rea de contedo a ser desenvolvida, de acordo com os principios da psicoloaa da aprendizagem e de uma filosofia de educao bem definida. Na verdade, o autor j defendia a idia de elaborao e avaliao de curriculos, atravs do modelo re- produzido na figura 1.

    A tinha tracejada, partindo da avaliao, indica que, para o autor, avaliar estabelecer uma comparao entre os desempenhos e os objetivas previamente determinados. Os obje- tivos, para serem definidos, tm como fonte o aluno, a sociedade e os especialistas e , como filtros, a Filosofia e a Psicologia de Educao. De acordo com Vianna (1982a), Tyler criou um modelo de avaliao composto dos seguintes passos:

    ( i ) formulao e classificao dos objetivos, segundo nveis de generalidade e especi- ficidade ,

    (2) definio de cada objetivo em t emas comportamentais, (3) identificao de situaes que demonstrem os comportamentos estabelecidos

    (4) seleo e experimentao de mtodos e instrumentos adequados, ou construo nos objetivos,

    de novas instrumentos,para a coleta de informaes sobre cada objetivo,

    7

  • 8

    .upejasap I a q u ou sepez!pai m 1 0 3 mpeiadsa sag5e SE as mu -!uuqap ered seppaur se 03s s o u ~ i u a so a a z p a i o u n p o anb eradsa as anb o 05s S G Q ~ E se :sag5e sens nnpar ered eiuoo ounp u swnb so uroa soiuaurala so 05s sagSpuoa sv up [email protected] no ossaans opuai yisa ounp o anb ura qaaiap aiuaqear anb o&g~m eurn I!i!uuad ered soJ!aydxa sou?iua so a sagb se sag5rpuoa se rquoa anap ongajqo o p o ~ (p)

    uassessederiln no urasse5ueap [email protected] so anb epjasap as anb saoiped sop sao$rasap 9 OJSI sopeFaqe sopeilnsar ap sag5uosap 03s songajqo (a)

    .opeSueap i o j oeu oerped wn p n b oladonpour o raaarepsa e es!n anb o op -unas o opeSueap pj ogiped um as mu!uualap e R ~ A anb apnbe Q ui!aurud 0 oagVu2ep ap a oe5eSeaguan ap sua?! u r q ~ x g .oyuadurasap uru ap uo einpuog ap er t sow eurn p ai -sq ap urajr urn wgsjrqaerea epeguuaiap eurn rpam ap ossaaord urn 9 aisai urn (9)

    .oehreduroa visa aiqos ojuaure8lnjurn rq!ura ap a oerped mn u103 eplpaur eurn nreduroo ap oie o ivlpnv .eossad ewn e nu oialqu urn e aiuaouairad eags~ialaerea eurn ap oesuaixa e reupuaiap ap ossword urn rppayy (e)

    :(LL61 r a % V ) SP!u -mar p s s e ias uiapod segp! s-dpuud serna ra8qq toj U E S E ~ E ep u s o p i s a or ino

    I O ~ A ap soquaw8pj uarroauoa uraqurei lenb o ered oogyuats!s a onujiuoa ossaaord urn e EI-?~WII!A mas soagajqo ap aaueap ap @ug apeppqe ouro3 o & ~ N ? e IeiapTsuoa rod eneoad ra[LJ ap wa8Eproqe e setroqaur urasseniaja as anb ered ,ymqpaa&, ap e!?p! e raiuoa iod a oehqene eu songajqo soe e p u g m d p r a l Q ap maepruqe e n n q q e rod emda eu EIO~~AOU! anb epuIy

    sopeilnsar ap oe5eiaidiay e eied s o u ~ p ap oykroqe[a (s)

  • O conceito de avaliao foi igualmente enriquecido por Cronbach que, em meados de 1963, foi o primeiro a vincular as atividades de avaliao ao processo de tomada de deciso.

    De acordo com Vianna (1982b), Cronbach indicou os seguintes objetivos para a ava- liao:

    (a) determinar se os mtodos de ensino e o material instmcional utilizado no desen- volvimento de um programa so realmente eficientes, com a finalidade bsica de aperfei-

    (b)identificar as necessidades dos alunos para possibilitar o planejamento da instru- o e julgar o mrito dos estudantes, de modo que estes possam ser incentivados em seus sucessos e auxiliados em suas deficincias;

    (c) julgar a eficihcia do sistema de ensino e dos professores, de forma a subsidiar decises de natureza administrativa.

    Na linha de tomada de deciso, Cronbach apresenta a idia de que um teste de apren- dizagem deve ser apropriado i deciso a ser tomada e que, para isso, antes de tudo, deve haver definio precisa do propsito do sistema de testagem.

    Outra contribuio importante foi a de Bloom, cujas principais idias a propsito da aprendizagem para o domnio e de uma taxonomia que pemitisse um sistema cceren. te de ensino e avaliao, ganharam ampla divulgao.

    Com sua nfase na aprendizagem para o domnio, Bloom (1963) defende a idia de que cada vez mais necessria uma educao contnua, durante toda a vida do indivduo. Cabe i Escola esforarse para assegurar experincias de aprendizagem bem sucedidas, no campo das idias e do auto-desenvolvimento; a todos os estudantes. Para isso, deve passar por mudanas, primordialmente relacionadas a atitudes dos estudantes, professores e administradores; mudanas que devem ser realizadas, tambm, nas estrataas de ensino e no papel da avaliao. Uma das mudanas pregadas por Bloom e a do descondicionamento da idia de curva normal, pois se o professor eficaz em sua instruo, a distribuio do rendimento dos alunos deve ser muito diferente daquela apresentada por uma curva normal. De fato, deverseia at considerar que os esforos educacionais fracassam na medida em que a distribuio de rendimento se aproxima desta curva. Diferenas individuais nos estu- dantes um fato que pode ser demonstrado de muitas maneiras. O papel da educao o de descobrir estratgas que levem essas diferenas em considerao, mas que o faa no sentido de promover, ao mximo, o desenvolvimento do indivduo.

    Bloom pressupe que o domnio da aprendizagem teoricamente disponvel para todos se houver possibilidade de encontrar os meios de ajudar cada estudante. Uma fun- damentao para este ponto de vista pode ser encontrada nas normas de avaliao de mui- tos testes padronizados de rendimento. As aplicaes sucessivas demonstram que critrios selecionados, atingidos pelos melhores estudantes em um ano, so atingidos pela maioria dos estudantes em perodo posterior. Outra fundamentao mais profunda pode ser encon- trada em estudos que dizem que os estudantes so capazes de aprender em seu pr6prio ritmo. Esses estudos mostram que, embora a maioria dos estudantes eventualmente chegue a domi- nar cada tarefa de aprendizagem, alguns desses estudantes atingem esse domnio muito mais cedo do que outros.

    Ligado a este fato, diz Bloom que o grande desafio da aprendizagem para o domnio encontrar meio de reduzir o tempo requerido pelos estudantes mais lentos, de modo que a tarefa se torne menos longa e cansativa. Para isso, ele defende a idia de que e necessrio utilizar estratgas de instmo muito diferentes para atingir o domnio,pois elas so tenta- tivas de aperfeioar a qualidade dainstruo em relao i cada habilidade do estudante.

    Um dos fatores mais fundamentais na aprendizagem para G domnio de Bloom o do tempo gasto para aprender. A premissa bsica a de que a aptido determina o ritmo de aprendizagem e que a maioria dos estudantes pode atingir o domnio, se dispuser da quantidade de tempo requerida para aprender.

    oar currculos;

    9

  • CLASSES

    .Avaliao * juizos em termos de critrios externos - juizos em termos de evidncia externa TOPICOS

    . Sntese

    *Compreenso

    . Anlise

    * extrapolao interpretao

    * traduo

    - derivao de um conjunto de relaes abstratas produo de um plano ou conjunto de relaes abstratas produo de uma comunicao singular

    de princpios de organizao de relaes

    * de elementos

    .Conhecimentos

    1 .Aplicao I * aplicao

    - de princpios-universais e das formulaes abstratas de um campo * das formas e meios de trabalhar com elementos especficos * de elementos especficos

    10

  • Em 1957, Bloom e colaboradores criaram a Taxonomia de objetivos para O domnio afetivo. Esta taxonomia compreende nveis, sendo o nvel mais elementar o de acohimento, conforme se pode observar no quadro 2.

    QUADRO 2

    TAXONOMIA DO DOM-NO AFETIVO, SEGUNDO BMOM (Fonte:Bloom, 1977)

    NIVEIS I T6PICOS Caracterizao por um valor * caracterizao ou complexo de valores . direo generalizada Organizao * de um sistema de valores

    conceituacio de um valor

    - Valorizao - compromisso * preferncia por um valor * aceitao de um valor

    Resposta * satisfao na resposta * disposio para responder - aqiescncia ou consentimento na resposta

    Acolhimento * ateno controlada ou seletiva * disposio para receber

    percepao

    Igualmente relevante foi a contribuio de outro estudioso, Glaser, que estabeleceu as hferens entre testes referentes a normas e testes referentes a critrio. O quadro 3 apre- senta uma sntese de suas idias, feita por Depresbiteris (1976).

    Outros estudiosos poderiam ser citados, porm para finalizar interessante lembrar dois autores brasileiros comumente citados na literatura da rea, Vianna e Medeiros.

    Devemos a Vianna uma vasta produo de artigos de avaliao voltados para a sele- o de alunos. Seu livro Testes em educao (1982b) apresenta uma sntese de idias sobre testes de rendimento escolar, voltados mais diretamente a norma.

    Algumas idias principais deste livro sa apresentadas a seguir: (1) A medida do desempenho escolar fundamental para uma educao eficiente. (2) O emprego de instrumentos de medida facilita as obsewaes que o professor

    faz de seus estudantes. (3) O processo de medida educacionai considera diferentes elementos: um conjunto

    de situaes a responder, as respostas Bs situaes e a classificao dos indivduos segundo as respostas apresentadas.

    (4) A construo de um teste no deve ficar sujeita aos azares da informao: exige um planejamento cuidadoso.

    (5) Qualquer que seja o teste, seu propsito e sua filosofia, a sua construo se baseia num sistema de valores humanos.

    (6) O planejamento de um teste exige que se considerem as diferentes variveis que afetam o desempenho do estudante: extensio, tempo, tipo de item e o grau de dificuldade.

    (7) Um teste no uma simples seqncia de itens - exige, para sua montagem, a combinao de diversos critrios.

    1 1

  • ' s o s o ~ q a ~ a p soluaurnrisu! rod sopgqo saio3sa sop apep!mb e eioqaw o p oopsflnsa o]uamBi] 0 .sos!said saIo3sa ap urapuadap seiixa sag6eiaidialuI (6)

    'senga3e a s p o p u r a Sao5pU03 :o[duiaxa iod ouro3 onpjnrpu! epeg aiqos aluaural -uara3rp d e anb zah eurn aIorluoa ~ 3 j 3 r p ap 0 1 s 'sepenuaie ias tuarapod ap resade 'seqno :ou!sua ap sopolpw a squa!qure [email protected] :ouro3 s.1 sepe[oiiu03 ias urapod s!anF!reA ses -sap seumn 'stanypn sesianrp iod opepuangur 9 opeurmxa op oquadurasap 0 (8)

    s?ni!aauoa se5uarajIa

  • (10) O escore de um teste no um valor absoluto, mas uma estimativa sujeita a erro.

    (11) Quanto mais importante forem as decises a tomar, maior deve ser a fidedigni- dade do instrumento de medida, para que essas decises no tenham conseqncias preju- diciais a vida do estudante.

    Medeiros tambm dedicou-se i avaliao como medida. Seu livro Trovas objetivas: tcnicas de constnio (1977a) ressalta as seguintes idias:

    (1) A medida faz parte da vida diria. A necessidade de medir surgiu to cedo na vida do homem, que ele foi buscar no prprio corpo as primeiras unidades de comparao - o cbito (comprimento do cotovelo 2 ponta do dedo mdio esticado), o palmo, o p e o dgito. Com o correr do tempo, cuidou de refinar o processo, criando instrumentos espe- ciais de mensurao.

    ( 2 ) A educao um processo intencional que implica a verificao de resultados. Na escola, o professor tambm tem interesse na medida. Ele sabe como importante man- ter os alunos informados do xito dos prprios esforos e prestar igual conta do seu avan- o a outros interessados, como pais e administradores. Para isto, recorre s provas e lana mo de outros recursos de verificao.

    (3) A eficincia do trabaiho educativo est intimamente presa a observao sistem- tica dos resultados alcanados. Na comprovao peridica das mudanas conseguidas nos educandos que o educador encontra no s uma base realista para a apreciao crtica do prprio trabalho, mas tambm pontos de referncia para a reviso de sua conduta. Esse controle constante das modificaes do comportamento dos indivduos permite ao educa- dor julgar a eficcia e a eficincia da sua atuao; d-lhe guias para o reexame do que convm ensinar (ou do contedo) e da maneira de faz-lo (ou do mtodo). Constitui, por conseguin- te, tarefa bsica da atividade docente. J que a educao sempre se dirige para fins determi- nados; faz-la sem verificaes peridicas e freqentes seria o mesmo que treinar tiro-ao-alvo no escuro.

    B. AVALIAO DE PROGRAMAS

    A avaliao de programas tambm chamada de pesquisa de avaliao. Segundo Seiitiz et al (1987), a avaliao de programas um tipo especial de pesquisa aplicada, ela- borada para avaliar programas, geralmente programas sociais de melhoramentos, tais como: educao remediatria, reformas no bem estar social, mtodos de ensino inovadores, siste- mas de distribuio de sewios de sade, programas de treinamento de pessoal e afins. Os resultados desse tipo de pesquisa no se destinam a incrementar nosso corpo de conheci- mentos ou a de desenvolver teorias. Eles so usados, muitas vezes imediatamente, para deci- dir se os programas devem parar ou continuar, se as verbas devem ser aumentadas ou dimi- nudas, se 6 preciso contratar ou despedir pessoas - tudo isso com base no atendimento do programa aquilo para que fora destinado.

    Talmage (1982) diz que a avaliao de programas ou pesquisa de avaliao comeou a ganhar corpo j em 1950, quando um grupo de crticos passou a exigir que fossem reaiiza- das avaliaes mais amplas, envolvendo inmeras variveis de um programa educacional. Essa solicitao, aliada ao incentivo governamental, incrementou os estudos sobre desen- volvimento de currculos e sobre programas de interveno social.

    Com relao a esse assunto, Popham (1983) diz que a iniciativa governamental para a avaliao de currculos teve origem quando o primeiro satlite (Sputnik) foi lanado pela Unio Sovitica em 1957 e no pelos Estados Unidos da Amrica. Os ataques i escola, neste ltimo pas, tomaram-se enfticos, responsabilizando-a pela derrota na corrida espacial, o que resultou num investimento de milhes de dlares em uma srie de inicia- tivas educacionais e, concomitantemente, na sua avaliao.

    13

  • Retomando a Talmage (1982) tem-se que os estudos sobre o desenvolvimento de currculos, a partir dessa poca, serviram para modernizar os contedos e mtodos de ensi- no na rea de Cincias e Matemtica, com a fmalidade de tornar os estudantes os melho- res em tecnologia.

    Quanto aos estudos avaliativos sobre programas de interveno social, esse autor diz que eles emanaram de uma poltica denominada Guerra ?i Pobreza (1960-1970) e que tinham por finalidade desenvolver estratgias para concretizar propsitos sociais igualit- rios.

    Os avaliadores de currculo eram oriundos, principalmente, da Pesquisa e Psicologia educacionais, trazendo para a avaliao toda a experincia adquirida nestas disciplinas. Os avaliadores de programas de interveno social, oriundos das Cincias Polticas e Socio- logia, reconheceram de imediato algumas limitaes frente as novas exigncias avaliativas, como: levantar questes avaliativas pertinentes, desenraizar-se dos designs de controle amplamente usados na pesquisa experimental, engajar-se na vida do aluno em sala de aula, enfm, aplicar as teorias no campo naturalstico. Contudo, a integrao das mltiplas expe- rincias desses avaliadores possibilitou a melhoria e a inovao de metodologias nessa rea.

    Talmage apresenta uma distribuio dos avaliadores segundo o domnio de diferentes linhas metodolgicas, conforme sntese apresentada no quadro 4.

    Aprofundando as idias apresentadas no quadro 4, sempre com base em Talmage, pode-se verificar o seguinte:

    (a) Com relqo a basefilosofica Os experimentalistas baseiam-se em idias positivistas, ou seja, de relao causa e efei-

    to. As hipteses so dedutivas; o pesquisador comea com um referencial terico, formula uma hiptese e deduz logicamente quais devem ser os resultados do teste da mesma, se ela for correta. Os eclticos baseiam-se numa filosofia pragmtica. Reconhecem o valor do m- todo cientfico em transportar novos conhecimentos e estabelecer a verdade (at que ela seja negada e outra verdade provada), mas mostram a importncia concernente s mlti- plas percepes e seus efeitos sobre os dados. Os descritivas rejeitam as premissas positivis- tas e o pragmatismo dos eclticos e defendem uma filosofia fenomenolgica que se baseia numa linha humanstica ao invs de comportamental, mais qualitativa que quantitativa, mais univeaalista que particularista, mais naturalista do que experimental. Os analisado- res de custo-benefcio baseiam-se no utilitarismo, pelo qual o programa 6 julgado pela sua eficincia em atingir o mximo de estudantes, com maior qualidade.

    (b) Focos da metodologiz e variheis A principal preocupao dos experimentalistas a identificao de relaes causais e,

    para isso, baseiam-se em delineamentos experimentais e quase experimentais. As variveis so predeterminadas para o estudo. Os eclticos no rejeitam os delineamentos experimen- tais, mas tambm acham importante analisar o processo e o contexto dos programas educa- cionais. Defendem a idia de estudos de caso e descries abrangendo no apenas as vari- veis predeterminadas, mas tambm as emergentes da prpria situao. Neste ponto, Tal- mage cita Bryk, para o qual uma sntese da posio dos eclticos traduzida nesta frase: ns deveramos atentar para traar os pontos fortes de cada abordagem - a objetividade trazida pelos dados quantitativos e a riqueza da informao qualitativa - para criar uma vi- so integrada do programa & impacto. Os descritivos defendem o emprego de estudo de caso e observao participante, com descries do programa no contexto e atravs do teste- munho dos participantes. As variveis no so pr-selecionadas, mas emergem no processo de descrever a operao do programa no contexto naturalstico. Os analisadores de custo- benefcio baseiam-se em abordagens experimentalistas para fundamentar suas anlises vol- tadas para aspectos econmicos dos programas. Estudos de custo-benefcio so delineados para determinar como antecipar custos e alternativas de benefcio. A metodologia, inspira- da no campo econmico, prov um caminho de converter valores sociais em custc-benef- cio.

    14

  • -adooa ~ p e p ~ e a I O P ~ ~ V arlua oj5eIai e 'sos!i?pa so end 'emlnord aisap OIU no apep -!nu!guo3 ap sagsyap erpFsqns anb oiuauiala ouioa opueuopuy 'eurelord op aiuapuadapu! [aded uin uia) 'zan em iod ' r o p e p e 0 .saiuapuodsai owoa ureuo~auiy sala ' O A ~ E oeu w p - e I p e sop [aded o 'opgauaq-o)sn~ ap saropmpue so ered a seis!piuauqradxa so end

    opmlnnn a i o p m l ~ n ~ oy5u.iawr (a)

    sspepouioav

  • rativa, buscando juntos interpretar e recomendar melhorias no programa. Para os descri- tivos, a relao interativa e os avaliados, que so chamados de participantes, podem inclu- sive reagir as observaes.

    Prosseguindo em sua anlise, Talmage apresenta a idia de modelos de avaliao de programas, os quais se constituem em quadros referenciais que embasam o planejamento da avaliao. O autor diferencia entre os modelos que no explicitam as orientaes tericas sobre as quais se baseiam, tais c a n o o modelo de Stufflebeam e Guba e o modelo de dis- crepncias de Provus; e os modelos que explicitam pressupostos tais como: interao entre avaliador e cliente, modos de facilitar decises, formas de estabelecer relaes causais, pres- supostos encontrados no modelo de avaliao transacional de Rippey, modelo de avaliao responsiva de Stake e o modelo de avaliao duminativa de Parlett e Hamilton.

    Talmage cita Ross e Cronbach que, em uma crtica ao Handbook of evoluation research , dividem os modelos em duas categorias: modelos cujas atividades so orientadas pelo avaliador e modelos em que ambos, avaliador e participantes, desempenham papis ativos no processo avaliativo. De modo similar, Guba usa duas categorias para diferenciar entre os modelos: forma de inqurito convencional e forma de inqurito naturalstico. A primeira baseada na epistemologia lgica-positivista (causa e efeito) e a segunda na epis- temologia fenomenolgica.

    Outro estudioso citado por Talmage Popham, que sugere trs classificaes de modelos: ( i) modelos de alcance de objetivos como, por exemplo, os de Tyler e Metfessel- Michael; ( 2 ) modelos de julgamentos intrnsecos e extrnsecos, tendo como exemplo do primeiro o estabelecido pelo Wational Study of School Evahtation e como exemplos do ltimo os modelos de Scriven e Stake; (3) modelas facilitadores de deciso, dentre os quais os de Stufflebeam e Guba;Stufflebeam, Aikin e Provus.

    Ainda nessa perspectiva de diferenciar modelos, Tahnage menciona Stufflebeam e Webster, que os classificam em trs abordagens: estudos orientados politicamente, que os autores chamam de pseudo-avaliaes; estudos orientados para questes chamados quase- avaliaes e estudos orientados para valor ou chamados verdadeiras avaliaes. Para os autores, somente os estudos que permitem julgamento de valor entram na categoria de avaiia- o verdadeira, que no pode ser confundida com experimentos verdadeiros, como os de Campbell e Stanley.

    Certamente, apresentar todos os modelos de avaliao seria uma tarefa invivel neste ensaio, porm necessrio relatar alguns deles, em virtude de sua freqente citao na lite- ratura da rea. Esses modelas so sintetizados a seguir.

    Modelos de Stake - Stake props inicialmente um modelo racional de avaliao, des- crevendo todos os passos que um avaliador deveria executar para poder julgar os resultados obtidos. Depois de alguns anos, Stake apresentou um outro modelo, caracterizado como avaliao responsiva que aquela que se orientamais em direo s atividades de um progra- ma educacional do que para suas intenes. A sntese apresentada aqui baseia-se num artigo de Stake (1977) e no quadro traado por Guba e Lincoln (em Werthein et al., 1985).

    No modelo mais racional de Stake, a avaliao um processo de descrever programas educacionais, atravs de investigao formal. Formal, porque esse tipo de avaliao pressu- pe bases cientficas, objetivas e precisas, possibilitando informaes imediatas para a toma- da de deciso. Contrape-se a investigao informal, isto , investigao baseadaem observa- o casual, que implica metas implcitas, em normas intuitivas, em julgamentos subjeti- vos. O autor prope duas matrizes bsicas, conforme se verificana figura 2.

    A matriz de descrio tem como entrada as intenes e as observaes; a matriz de j u l w e n t o , os padres e os julgamentos. As intenes envolvem o planejamento das condi- es ambientais da especificao dos objetivos, enfim, de tudo o que pode acontecer no pro- grama educacional. As observaes so relativas s atividades que realmente acontecem no decorrer do programa. Os padres so nveis de julgamento de duas ordens: relativos e absolutos. Os padres relativos so aqueles que se referem a outros programas; os absolu.

    16

  • Matriz de dcscrio

    Antecedcntcs

    Transaes

    Resultados

    Matriz de julgamento

    Figura 2 -Matrizes do modelo de Stake. (Fonte:Bellack e Kiebard, 1977)

    tos so os padres referentes aos objetivos do programa que est sendo julgado. Os julga- mentos so atribuies de peso, devendo prover uma resposta imediata para a tomada de deciso. Os antecedentes so todas as condies anteriores ao programa e que se relacio- nam com os resultados, tais como: interesses, recursos e experincias anteriores. As transa- es so todas as atividades realizadas para o alcance dos objetivas, incluindo relao e inte- raes entre aluno e professor. Os resultados so os produtos da aprendizagem e que podem ser identificados como habilidades, realizaes, atitudes, expectativas cumpridas, transfe- rncia de aprendizagem. Atravs da matriz de descrio, o avaliador descreve intenes e observaes. A descrio pode ser feita direta e pessoalmente, ou atravs douso de instru- mentos adequados a cada situao.

    No modelo de Stake existem duas maneiras de processar os dados obtidos pela matriz de descrio: contingncia e congruncia. A figura 3 apresenta o processamento por contin- gncia.

    Intenes Observaes

    antecdentes antecedentes

    contingncia ernprica I

    I contingncia lgica

    transaes

    I I contingncia emprica contigencia lgica

    reailtados multados

    Figura 3 -Processamento dos dados damatriz de descrio de Stake, por contingncia. (Fonte:Bellack e Kiebard, 1977)

    17

  • O processamento dos dados descritivos pode ocorrer por contingncia que se refere i ligao vertical entre antecedentes, transaes e resultados, isto , procura verificar at que ponto os resultados foram produtos das transaes e dos antecedentes. Na avaliao das intenes, o critrio de contingncia lgico, isto , baseado em experincias prvias, pesquisas, julgamentos de outros especialistas, entre outros. O critrio de contingncia na avaliao das obseivaes emprico, isto , depende da evidncia emprica dos fatos. Como j mencionado, o processamento dos dados descritiva pode ocorrer tambm por congruncia, conforme se v na figura 4.

    Intenpiw Observaes - - * I antecedcntcs conpuncia antecedentes

    transaes uuigruncia transaes

    resultados conguncia resultados I- Figura 4 - Processamento dos dados da matriz de descrio de Stake, por congnincia

    (Fonte:Bellacke Klebard, 1977)

    A congruncia existe quando o que pretendido ocorre realmente, ou seja, quando no h discrepncia entre antecedentes, transaes e resultados pretendidos e obseivados. O processamento de dados de julgamento pode ser feito atravs da comparao relativa ou absoluta. A comparao relativa envolve padres retirados das descries de outros pro- gramas, isto , programas altemativca, conforme se v na figura 5 .

    Dados descritivos de um programa

    Dados descritivos de outro programa

    Figura 5 - Comparao relativa no modelo de Stake (Fonte:Bellacke Klebard, 1977)

    18

  • Por comparao absoluta entende-se o conjunto de padres pelos quais se pode jul- gar um programa (padres de excelncia). Existem conjuntos de padres porque h vrios grupos de referncia ou de pontos de vista (julgamentos pessoais). A figura 6 apresenta a idia de comparao absoluta.

    comparao

    Padres de excelncia

    Figura 6 - Comparao absoluta n o modelo de Stake (Fonte: Bellack e Kiebard, 1977)

    O julgamento do programa feito atravs dessas duas comparaes relativa e absolu- ta, comomostra a figura 7.

    Dados descritivos de outro programa

    Figura 7 -Julgamento do programa no modelo de Stake. (Fonte: Bellack e Kiebard, 1977)

    Atravs da proposio deste modelo de avaliao racional, Stake quer demonstrar que: (a) o trabalho do avaliador deve ser objetivo ou seja, para descrever e julgar os prugra- mas o avaliador deve se basear sempre em procedimentos cientficos; (b) as matrizes de descrio e.julgamenfo podem ser aplicadas na sala de aula e (c) os resultados de avalia- o devem ser tornados pblicos.

    19

  • O modelo de avaliao responsiva de Stake mostra a idia de resposta contnua i audincia, numa interao com o avaliador. A avaliao responsiva B aquela que se orienta m i s em direo s atividades de um programa educacional de que para suas intenes. Para melhor compreender as caractersticas da avaliao sensvel de Stake, obseivese o qua- dro 5 , no qual ela comparada com a avaliao tradicional.

    Orientao

    valorao

    QUADRO 5

    COMPARAO ENTRE AVALIAhO TRADICIONAL E AVALIAO SENSIVEL DE STAKE. (Fonte: Cuba e Lincoln, 1981 (Trad. por Werthein et a1 1985) 1

    Tipos de Avaliao

    F O m i a l Informal

    Singular; consensual. Pluralstica; admite a possibiti- dsde de conflito.

    I Tradicional I Responsiva*

    Bases da "design" Intcner do programa, objetivos, motas, hipteses, idias do avaliador sobre coi- ias como desempenha, domnio, habili- dadc, aptido, resultados rnensurveis, os valores instrumentais da educado.

    As preocupaes so as questes da audincia, atividades do p r ~ grama e de pessoas envolvidas no progtama.

    Prazo para o "design" Na inicia da avaliao. No h - em contnua evolua

    Mtodos 0bjetivos:"passar na prova".

    Forma de "fcedback"

    Paradigma

    Comunicao Formal: relatrios, tipicamente unidire- informal; dcsaies (portrayals) I cionais. geralmente multidirccional. Relatrio escrita, identificando variveis Descrio do tipo narrativo, e dexrevendo as rclapes entre elas, muitas vezes oral (se a audincia interpretaqo simblica. o prefere), gerando imagens do

    que o programa, possibilitando experincias simuladas.

    Psioloaa experimental. Antropologia, Jornalismo, P a e sia.

    discretos, em geral apenas informal, evoluindo cont inw um, ao trmino mentc com as necessidades

    "Fcedback"

    Modelo de Scriven. As idias de Scriven apresentadas a seguir foram recolhidas em Anderson (1981) e Scriven (1978).

    Para o autor, a avaliao a determinao sistemtica e objetiva do mrito ou vaiar de alguma coisa. A nfase est no aspecto comparativo da avaliao, uma vez que avaliar s tem sentido se evidenciar quo bem ou quo mal se saiu o objeto de anlise. Scriven divide o processo de avaliao em duas grandes etapas: (a) julgamento dos instrumentos de coleta de dados, da atribuio de pesos aos objetivos e da seleo de critrios e padres;

    20

  • (b) julgamento do valor ~1 do mrito de um programa educacional com base na coleta sistemitica de dados de desempenho, na combinao desses dados com um conjunto de metas valoradas e na anlise dessa informao. Scriven estabelece uma distino marcante enire o objetivo e as funes da avaliao. Para o autor! o objetivo da avaliao julgar o mrito de alguma coisa. As funes da avaliao so de duas ordens: formativa e somativa. A avaliao fornativa consiste no fornecimento de infomiaes a serem utilizadas na meho- ria de um programa em suas partes ou em seu todo. A avaliao somativa consiste no fome- cimento de informaes sobre o valor final de um programa instmcional. Scriven ainda rela- ciona essas funes a dois tipos de julgamento: intrnseco (relativo ao contedo, materiais, currculo) e extrnseco (efeitos do programa). O quadro 6 mostra essa relao.

    QUADRO 6

    RELAAO ENTRE AVALIAAO FORMATIVA E SOMATNA E JULGAMENTOS INTRINSECO E EXTRINSECO, NO MODELO DE SCRIVEN

    (Fonte: Worthen e Sandea, 1973)

    Formativa

    I Intrnseco I Extrnseco I ~

    Julgamento da estrutura e dos contedos do programa edu- cacional. necer realimentao.

    Julgamento dos efeitos intermedianos do programa com a fmalidade de for-

    Somativa Julgamento final dos mate- Julgamento final dos efeitos dos ma- riaiS. teriais em alunos, professores, adminis-

    tradores e outros. i

    21

  • fornecer ~ organizar e agrupar as informaes em sistemas que possam melhor seivir

    informao - dados descritivos e interpretativos sobre os programas, alunos e maie-

    reis ~ as informaes devem ser teis para satisfazer a certos critrios cientficos,

    alternativas de deciso - aes diferentes entre si, que podem ser tomadas em respos-

    aos propsitos da avaliao;

    riais instrucionais e seu relacionamento em funo de algum propsito;

    tais como: validade, confiabilidade e importncia;

    ta a umasituao que necessita de alterao.

    A nfase que Stufflebeam d ao processo de julgamento e de tomada de deciso encon- tra-se refletida na relao entre avaliao, deciso e fases de um projeto, estabelecidas confor- memostraafigura8.

    estruturao

    de contexto de entrada de processo de produto

    Fipra 8 - Representao do modelo de Stufflebeam (Fonte: Stufflebeam, 1974)

    Conforme diz o autor, a avaliao de contexto o tipo bsico de avaliao, cujo pro- psito o de delinear, obter e fornecer informaes teis para a determinao dos objetivos de um programa educacional. Atravs da avaliao de contexto, o ambiente, as condies desejadas e existentes so descritos e so detectadas as necessidades do programa. Esse diagnstico propicia as decises de planejamento, atravs das quais so especificadas as mu- danas a serem introduzidas no sistema, caso sejam necessrias. Dessas decises surge, como conseqncia, 'um prejulgamento com a descrio do que est ocorrendo e do que deveria ocorrer.

    A avaliao de entrada deve prover informaes para determinar como utilizar recursos no sentido do alcance dos objetivos estabelecidos. O produto dessa avaliao uma anlise de planos de procedimentos em termar de estratgias e custos. As decises envolvidas nesse tipo de avaliao so as de estruturao que especificam os mtodos, o contedo, a organiza- o, o pessoal e as facilidades. Essas decises permitem o planejamento final da ao.

    A avaliao de processo, cujo objetivo fornecer informaes peridicas sobre os pro- cedimentos em ao, relaes entre os membros da equipe responsvel pelo programa, ina- dequao de recursos, discordncia entre meios e fins, permite aos decisores tomar as devi-

    22

  • das providncias durante o processo, evitando o acmulo de erros futuros. As decises envolvidas nessa avaliao so as de implementao, tomadas sempre no desenrolar do plano de ao. Essas decises permitem o estabelecimento da estrutura do programa, a definio de responsabilidades e outros aspectos importantes.

    A avaliao de produto mede o alcance dos objetivos estabelecidos pelo programa, no somente ao f i de um ciclo, mas sempre, quando necessrio, durante o desenrolar das aes. Esse tipo de avaliao tem, assim como a avaliao de processo, a funo de controle do pro- grama, alm da funo de explicao de seus resultados. A avaliao de processo enfoca os procedimentos, Verificando se estes esto sendo efetivados conforme o pretendido; a avalia- o de produto enfoca os resultados, ou seja, investiga em que medida os objetivos foram alcanados. As decises envolvidas nessa ltima so de reciclagem que determinam a conti- nuao, a modificao ou o trmino das atividades do programa. Essas condies embasam a fase de execuo onde o programa testado e instalado.

    Modelo de Parlett e Hamilton. As idias desses autores aqui apresentadas baseiam-se em Hamilton e Parlett (1982).

    Parlett e Hamilton advogaram em 1971-72 total reviso dos fundamentos e das tcni- cas de avaliao de programas. Propuseram a avaliao ilnminativa, cujo objetivo estudar intensamente o programa educacional inovador, tal como este funciona: como influencia- do pelas diversas situaes nas quais aplicado; quais so suas operaes, vantagens e dificul- dades, na opinio de seus principais interessados; quais as condies que mais afetam as ta- refas intelectuais e a experincia acadmica dos alunos.

    Os autores salientam a importncia de se considerar uma nova concepo de sistema de ensino e de meio de aprendizagem. Por este enfoque, o sistema de ensino no pode ser encarado como um conjunto de manuais preestabelecidos a partir de pressupostos peda- ggicos formais, com a definio de tcnicas e estratgias das quais os docentes extraem propsitos, objetivos e resultados, verificando se foi uu no conseguido o que era esperado. A avaliao iluminativa pressupe que um sistema de ensino quando adotado sofre mo- dificaes quase sempre muito importantes. O sistema de ensino assume diferentes formas em situaes concretas, tendo seus elementos diminudos ou ampliados, de acordo com as diferentes interpretaes que cada situao exige. A formulao Ydeal deixa no apenas de ser precisa, como tambm de ser importante. Passa-se, ento, de uma discusso tcnica para uma discusso crtica, o que exige uma nova postura dos envolvidos no processo ensino- aprendizagem.

    Nessa discusso, ganha nfase o meio de aprendizagem, que os autores definem como o contexto [email protected] e material em que docente e alunos trabaiham juntos. Reconhe- cer a diversidade e complexidade dos meios um pr-requisito essencial para um estudo srio de programas educacionais. Os autores afirmam que qualquer meio de aprendizagem to complexo que no se pode lidar com ele atravs de modelos quantitativa apnorsti- COS. Os avaliadores devem introduzir-se no meio de aprendizagem, experiment-lo e estud- 10, atravs de um processo de focalizao progressiva no qual observadores humanos explo- ram, julgam, inves t iw e interpretam, iluminando as perspectivas, muitas vezes conflitantes, dos vrios participantes envolvidos. Em termos de tcnicas, os autores pregam a diversidade e enfatizani a necessidade de diferentes cruzamentos de dados, sempre levando em conta a amplitude e complexidade das situaes. Uma frase desses autores resume bem a idia me- todolgica deste tipo de abordagem: A avaliao iluminativa no um pacote metodolgi- co, mas uma estratgia geral de pesquisa. Ela visa a ser gil e ecltica. Assim, o que fica patente a escolha de tticas de pesquisa baseada nas decises tomadas em cada caso: o problema dita a utilizao de certos mtodos, sendo que o inverso no verdadeiro.

    23

  • A connibuio de Goldbg

    No Brasil, Goldberg apresenta uma contribuio bastante significativa na rea de avalia- o de programas. Uma contribuio especfica apresentada em seu artigo %Avaliao e plonejamento educacional: problemas conceimais e metodologias(1973) que, em sntese, discute os vrios aspectos referidos a seguir.

    (1) Um programa educacional uma estrutura de decises. A mais fundamental delas diz respeito a objetivos educacionais, porque quando se fala em planejamento, refere-se, por excelncia, i racionalizao da conduta humana.

    (2)A avaliao ser sempre uma avaliao de objetivos educacionais, isto 6, das fun- es do processo de ensino. A avaliao funciona como controle de qualidade do prprio processo de planejamento educacional.

    (3) O controle de qualidade do processo de planejamento educacional feito verifican- do-se sua eficcia e eficincia.

    (4) A eficcia diz respeito a utilizao, pela sociedade, do aluno formado pelo progra- ma educacional. Ela ser tanto maior quanto mais alta for a probabilidade de aceitao do aluno formado. Em sntese, a eficcia diz respeito ao valor e 2 viabilidade dos objetivos educacionais de uma programao. A eficincia diz respeito ao julgamento sobre o impacto de um programa educacional.

    ( 5 ) Existem quatro tipos de avaliao: (1) diagnstica, feita antes do planejamento; (2) ex-ante posterior ao plano de trabaiho,mas antes de sua aprovao;(3) inprocessu, que acompanha a execuo do plano e (4) ex-post, posterior & obteno dos resultados.

    (6) A avaliao diagnstica e a avaliao ex-ante permitem analisar a eficcia das de- cises relativas aos objetivos educacionais. A avaliao inprocessu e avaliao ex-post so duas formas de avaliar a eficincia dos objetivos educacionais.

    (7) A eficcia diz respeito ao valor (utilidade social), i viabilidade (julgamento do dimensionamento de recursos humanos). Pela eficcia pode-se determinar se os objetivos educacionais esto sendo ou foram atingidos pela maioria dos alunos, da melhor maneira possvel. A eficincia diz respeito i produtividade (rapidez, mnimo esforo, baixo custo) e ao rendimento (resultados esperados).

    (8) A avaliao diagnstica oferece ao planejamento critrios pelos quais pode funda- mentar suas decises sobre metas e estratgias educacionais. A avaliao ex-ante permite verificar a existncia ou no de uma adequao entre objetivos e estratgias e as variveis relacionadas ao professor e aos alunos. A avaliao inprocessu determina se a execuo est se processando conforme o planejado, se est havendo produtividade na operao do programa. A avaliao ex-post determina se os objetivos foram alcanados, se houve rendimento, se este foi aceitvel e se pode ser considerado como tendo sido produzido pelo programa.

    (9) Em termos de variveis, existem trs grandes classes que permeiam o processo ensino-aprenduagem: as variveis antecedentes, as variveis processuais e as variveis pro- duto. As variveis antecedentes abrangem todas as condies que preexistem i interao professor-aluno. Dentre as variveis do professor, destacam-se as que se relacionam a ele enquanto profissional, tais como: conhecimentos e habilidades especficas e cursos de for- mao. Dentre as variveis do aluno, incluem-se conhecimentos, habilidades, atitudes e interesses, entre outras. Existem ainda as variveis contextuais, que representam as condi- es externas, tais como condies scioeconmicas e politicas; interao professor e aluno. As variveis processuais abrangem todas as interaes professor-aluno e todas as for- mas pelas quais o aluno tem que lidar com material didtico e de entrar em interao com os demais,elementos do grupo instrucional. As variveis produto compreendem as mudan- as comportamentais produzidas no aluno. Essas mudanas podem refletir modificaes em conhecimentos, habilidades, interesses e atitudes. A figura 9 mostra a inter-relao dessas variveis.

    24

  • Figura 9 - Variveis do processo ensinoaprendizagem, segundo Goldberg. (Fonte: Goldberg, 1973).

    Embora no pertenam estritamente ao histrico da avaliao aqui apresentado, duas linhas tericas de pesquisa, que vm ganhando crescente divulgao entre ns, em anos recen- tes, sero mencionadas a seguir, porque ambas se ajustam aos propsitosmais amplos de ava- liao de programas ou de todo um sistema ou organizao complexos. Trata-se da pesquisa- ao e da observao participante.

    Pesquisaao

    A pesquisa-ao descende, em linha direta, das contribuies de Lewin (1890-1947). Conforme assinala Bickman, na introduo que escreveu para Mtodos de pesquisa nas rela- es socbis (Selltiz, 1987), "interessado nos assuntos sociais da poca, Lewin traduziu suas preocupaes em pesquisas sobre tpicos, tais como conflito intergmpal, produtividade do trabaihador e liderana. Ele n a esses projetos como pesquisa-ao, combinaes de experi- mentos e aplicaes. iewin sentia que sua pesquisa poderia beneficiar a sociedade, bem como aprimorar o conhecimento cientfico".

    25

  • Com relao s bases tericas, Mitchell(l977) assinala que boa parte da cincia social decorre do desejo de alterar e melhorar urna situao social, ou ajudar pessoas que necessi- tam de auxilio. A pesquisaao uma investigao cuja natureza se orienta para essas fina- lidades, nas quais o objetivo no apenas coletar informaes e chegar a uma melhor com- preenso, mas fazer algo prtico. As vezes os expoentes da pesquisa-ao lanam dvidas sobre a possibilidade de realizar estudos frios ou neutros e cientificos de assuntos huma- nos. Eles argumentam, por exemplo, que no h como impedir que um investigador deixe de influenciar o comportamento das pessoas que est estudando, que a experimentao extre- mamente difcil, se no impossivel, nas cincias sociais, que h intermediao do instrumen- to humano na medida e que tudo isso prejudica o %tatus cientifico da pesquisa social.

    Mitchell prossegue registrando que Argyle, no livro The scieniific study of social behavior (1957), criticou, de modo incisivo, a pesquisa;io, argumentando que nela a descoberta de resultados cientficos sempre secundana ou de pouca importncia, podendo- se, pois, duvidar de sua contribuio para o progresso da cincia.

    English (1958) diz que, de modo geral, a pesquisa-ao feita por alguns dos prprios participantes no programa de ao. As atividades so realizadas com a esperana de alcanar certos resultados de carter utilitrio ou prtico, e a pesquisa planejada a fim de efetivar um progresso no processo em curso e no meramente em algum processo futuro. No experi- mento puro, de modo contrastante, as atividades so prescritas primariamente para a obten- o de dados que podero ser analisados para fins de generalizao cientfica ou tecnoigi- ca.

    No contexto educacional, a pesquisa-ao ganhou o interesse dos especialistas a partir dos anos cinqenta, segundo Fleming (1970). De acordo com Schubert (19821, a pesquisa- ao, em termos de curriculo, foi implementada de modo prtico, no inicio da ddcada de oitenta, por Stenhouse. Este ltimo autor (1980) v a pesquisa de curriculo como um pro- cesso graas ao qual pesquisadoresconsultores interagem como professores nos seus ambien- tes, encorajando a reflexo cooperativa a respeito de situaes especificas e o estudo coope- rativo dessas situaes; o objetivo melhorar o ensino com a fuso do investigador com o professor.

    Em todas essas manifestaes de pesquisa-ao em contextos psicolgicos e educacio- nais, perceptvel a influncia lewiniana e de seus discipulos. Um destes continuadores da obra de Lewin, Lippitt (1984), escreveu que o termo pesquisa-ao tem trs diferentes significados que precisam ser distinguidos. Primeiro, pode-se tratar de uma pesquisa de diagnstico sobre algum aspecto em marcha de um processo de ao, como anomia comuni- tria, moral, organizacional ou produtividade de grupo: neste sentido pesquisa com foco na ao. Segundo, designa um procedimento de coleta de dados por participante de algum sistema de p p o , e a seguir a previso de um feedback sobre o que se encontrou nos dados, como uma inteiveno destinada a influenciar, pssumivelmente de algum modo l, o processo de ao em andamento do grupo. Terceiro, um procedimento no qual os participantes em algum sistema social so envolvidos no processo de coleta de dados sobre si mesmos, e utilizam a seguir os dados gerados para rever os fatos sobre si prprios, a fim de realizar uma ao remediativa ou de desenvolvimento. Lippitt diz que o terceiro tipo de pes- quisa-ao o melhor sucedido para assegurar uma ligao efetiva entre a busca de fatos e sua utilizao.

    O autor confesa que em relao ao primeiro tipo de pesquisa-ao, a histria desa- pontadora no que diz respeito s consequncias prticas. Diz o autor: usualmente os volu- mosos relatrios tm sido ignorados ou sucumbem diante da resistncia daqueles que o rece- bem, ou, ainda, so lidos atentamente, mas sem que se use os resultados de modo significa- tivo.

    Quanto aos outros dois tipos de pesquisa-ao, Lippitt lembra que Lewin e colaborado- res os conceituaram e operacionalizaram, aps a fundao de Resenrch Centerfor Grmp Dynumics no Massachussets Institute of Technology (MIT), em 1945. A aplicao inicial

    26

  • deu-se em relao a problemas de preconceitos e mudana de atitudes em relaes intergru- pais comunitnas (Lewin envolveu-se ativamente nisto, como parte do seu trabaiho junto i Comisso de Inter-relaes do Congresso judico norte-americano).

    Ainda na dcada de quarenta, os trabalhos de Cook (1976) trouxeram contribuies relevantes para a pesquisa-ao, sob a forma de levantamento de atitudes na comunidade, seguidos de feedback dos habitantes e discusso com estes, das implicaes dos resultados e desenvolvimento de planos de ao. Tratava-se, nestes casos, de interveno deliberadamen- te planejada para influenciar a mudana de atitudes, por meio de feedback de informao. Durante este perodo, outro desenvolvimento importante em matria de pesquisa-ao. nesta perspectiva, foi o grupo T ou grupo de treinamento, por Lewin e colaboradores. Propor- cionava-se ao grupo um observador dos processos nele realizados, com a responsabilidade de fornecer dados aos grupos sobre si mesmos, i medida do transcorrer do traba!ho em reas como liderana, tomada de deciso, capacidade de lidar com agendas ocultas, abrir linhas de comunicao, melhorar a fixao de aivos e outros fenmenos similares. Um desdobra- mento posterior foi o programa de intervenes e estudos de feedback organizacional na Universidade de Michigan, a que estiveram associados os nomes de Floyd Mann e Rensis Likert.

    Lippitt acrescenta que os pesquisadores sociais, mais interessados em criar condies para mudana pessoal e mudana social em virtude da coleta de dados e feedback, desco- briram trs vantagens no envolvimento dos grupos nesse processo: ( I ) quanto mais as pessoas se envolvem no planejamento e coleta de dados, tanto mais adquirem uma propriedade psicolgica dos dados (sentemse donas deles) e aceitam sua credibilidade e relevncia como interveno para mudana, (2) a coleta de dados por membros do grupo voluntrio muito mais econmica, (3) o treinamento de membros para conduzir suas prprias inda- gaes, que continua sempre como um recurso i disposio do grupo.

    ObservaTo participante

    A observao participante faz parte de um conjunto mais vasto conhecido como metodologia qualitativa. De acordo com Tliines e Lempereur (1984), a origem da observaZo participante como mtodo de pesquisa est na Antropologia e consiste em partiihar, to intimamente quanto possvel, a vida cotidiana do gnipo estudado, durante um perodo suficientemente longo para cobrir o conjunto da vida e perceber progressiva. mente os seus elementos, e suas estruturaes e significaes. Observem os autores citados que, se a identificao do antroplogo com o grupo estudado talvez seja prejudicial ao estudo cientfico dos fenmenos, a observao objetiva no basta, por si, para alcanar os objetivos procurados.

    Situada, de incio, no quadro de referncia antropolgica, a observao participante logo passou a integrar as outras cincias sociais, particularmente a Sociologia. A literatura acumulada a este respeito extensa e inclui contribuies de Gnaule, Vruyn, Williams, McCall e Simons, Filstead e Habenstein, Lofland, Bogden, Delfenchal e , particularmente, Renzin, que rene vrios artigos ilustrativos do mtodo de observao participante. Um sumdrio de diversas pesquisas nas quais a obseivao participante foi usada encontrase em Kidder (1987).

    O princpio norteador da observao participante, segundo Selltiz (1987) 6 o de que os ambientes exercem grande influncia sobre as pessoas e, conseqentemente, a pesquisa deve comear em situaes reais e no em circunstncias arranjadas ou simuladas. Para os observadores participantes, a maneira pela qual as pessoas vem e explicam seus ambientes o ncleo da pesquisa, mas esta deve ocorrer no prdprio ambiente. Selltiz cita Bogden, ao dizer que a observao participante tem sido definida como um perodo de intensa inie- rao social entre pesquisadores e sujeitos, no ambiente desses ltimos, durante o qual se coletam dados, na forma de notas de campo, de uma maneira sistemtica e no reativa.

    27

  • O autor tambm afirma que em contraste com as abordagens que utilizam sistemas de cate- gorias, a observao participante envolve procedimentos menos formalizados, embora haja alguns passos em comum. Esses incluem: (i) selecionar um ambiente de pesquisa, (2) obter acesso e desempenhar um papel, (3) tomar notar e (4) formular uma anlise.Na observao participante, iniciase com algumas hipteses, porm elas no so consideradas como algo definitivo, sendo revisadas i medida que transcorre a pesquisa, atravs da anlise de casos negativos. Essa substitui a anlise estatstica e permite que o pesquisador procure dados que reflitam a hiptese. Assim, quando um nico caso negativo encontrado, o obseflador participante rev a hiptese de forma que esta passa abarcar o cas0.A anlise de casos nega- tivos, com sua reviso e reteste contnuo de hipteses, semelhante ao que os experimenta- listas fazem quando planejam estudos subseqentes. O observador participante faz, na reaii- dade, uma srie de estudos consecutivos, mas os realiza todos na mesma pesquisa, poisno h regra que diga que ele IMO pcde mudar as hipteses ou.quest&s no decorrer da pesquisa. Alm das hipteses e questes, o observador participante revisa, muitas vezes, o seu tema de estudo.

    No Brasil, a pesquisa-ao e observao participante tm encontrado numerosos adeptos e propugnadores. Em seu livro Metodologia da pesquimao: Thiollent (1985) diz que o principal objetivo deste tipo de pesquisa oferecer ao pesquisador melhores condi- es e compreenso das situaes analisadas. Resume, tambm, as principais caractersti- cas da pesquisa-ao:

    (a) ampla e explcita interao entre pesquisadores e pessoas da situao estudada; (b) ordem de prioridade feita em conjunto: pesquisador e participantes da pesquisa; (c) constante acompanhamento da ao; (d) buscamaior de esclarecimento dos problemas, do que de sua resoluo; (e)busca do aumento de conhecimento dos pesquisadores e do nvel de conscincia

    das pessoas e dos gnipos. Thiollent ainda cita Zuniga, mostrando que a pesquisa-ao inovadora do ponto de

    vista cientfico, somente quando inovadora do ponto de vista scio-poltico, isto , q u k - do tenta colocar o controle do saber nas mos dos grupos que expressam uma aprendizagem coletiva, tanto na sua tomada de conscincia comono seu comprometimento com uma ao

    Com relao ao contraste entre a pesquisa-ao e a pesquisa convencional, o autor citado estabelece as comparaes apresentadas no quadro 7.

    Thiollent indica alguns cuidados que devem ser tomados quanto d pesquisa-ao. Lem- bra que deve ser preservado um equilibrio entre conhecimento e participao; aim disso, diz ele, preciso evitar, de um lado, o tecnocratismo e o academicismo e , de outro, o popu- l i m o ingnuo e preciso, ainda, estar atento para o risco de manipulao das objetivos da pesquisa.

    observao participante, h no Brasil notcia de algumas experin- cias em termos mais amplos de pesquisa participante. Demo (1984) dedicou-se ao estudo deste tipo de pesquisa e refere-se a vrios tpicos importantes como os seguintes:

    (a)Na pesquisa participante, o problema se origina na comunidade ou no prprio local de trabalho, A finalidade visada, na pesquisa, a melhona de vida dos envolvidos. fundamentalmente uma experincia educativa de carter coletivo.

    (b) A metodologia da pesquisa participante indica trs fases principais: (18) expio- rao geral do problema pela populao envolvida, (2?) identificao das necesidades bB- sicas da populao e (3s) elaborao de uma estratgia educativa para a resoluo do pro- blema.

    (c) A tnica bsica do ponto de vista metodolgico a unio entre o conhecimento e a ao.

    (d) Os pesquisadores participam no apenas da discusso dos resultados da pesquisa, mas sobretudo do processo desta.

    grUPd.

    No que respeita

    28

  • QUADRO 7

    DIFERENAS ENTRE PESQUISA-AO E PESQUISA CONVENCIONAL (Fonte:Thiollent, 1985)

    Pesquisa-ao ~

    -Participao ativa do pesquisador junto b pessoas buscando um trabalho conjun- to.

    ~A ao imediata.

    -0 usurio participa como elemento fun- damental de informao e execuo.

    -So considerados tanto os aspectos indi- viduais quanto 06 aspectas globais, que podem ser captados por questionrios, mas devem ser enriquecidos com infor- maes trazidas pelo pesquisador.

    - A dinmica dos problemas, conflitos e aes um dos principais focos da pes- quisa.

    ~ 0 s pesquisadores afastamse das preocu- paes metodolgicas relacionadas 2 for- maiizao, lgica, s regras estatsticas.

    - A pesquisa realizada numa situao natural, na quai o pesquisador intervm comcientemente.

    Pesquisaionvencional

    ~ No h participao total do pesquisador junto s pessoas da situao observada.

    - H uma grande distncia entre os resulta- dos de uma pesquisa e as possveis deci- ses ou aes decorrentes.

    - 0 usurio , ao nvel da pesquisa, um meio informante ao nvel da ao, me- ro executor.

    -So privilegiados os aspectos individuais, tais como opinies, atitudes, motivaes, comportamentos. Esses aspectos, geral- mente captados por meio de question- rios, no permitem uma viso dinmica da situao.

    - A dinmica de transformao de uma si- tuao em outra desejada no o enfo- que principal.

    -0s pesquisadores valorizam as estruturas de raciocnio e os critrios estatsticos.

    - A pesquisa realizada numa situao criada, na qual o pesquisador no inter- V h .

    (e) A escolha dos problemas a serem estudados no se efeua a partir de um conjun- to de hipteses previamente estabelecidas pelos pesquisadores, mas tem sua origem nas situaes sociais concretas que os elementos que participam do processo de pesquisa querem estudar e resolver.

    Pelo que se pode observar, inmeras so as abordagens em termos da avaliao de pro- gramas e da aprendizagem. Cabe ao avaliador a difcil tarefa de conhecer possibilidades de cada uma delas, verificando sua adequao para a realidade na qual no trabalha. Um fator porm parece ser imprescindvel de ser considerado: o fator poltico.

    A essa altura, convm lembrar Weiss (1982), que explicitou bem a necessidade de considerar esse fator na avaliao e especificamente na pesquisa de avaliao. Ela afirma que as consideraes polticas nos programas de formao profissional se insinuam de trs formas principais e o avaliador que falhar no reconhecimento disso, amsca-se a uma srie de choques e conseqentes frustraes. A primeira diz que os programas educacionais

    29

  • tratados pela avaliao so oriundos de decises polticas. Eles foram propostos, &batidos, aprovados e financiados atravs de processos polticos e , durante sua implementao, per- manecem sujeitos a presses, tanto de apoio quanto de hostilidade, provenientes do jogo poltico. A segunda diz que a avaliao realizada com a finalidade de alimentar a tomada de deciso. Seus relatrios inserem-se no contexto poltico. Assim, a evidncia avaliativa acerca dos resultados de um programa tem que disputar ateno com cutros fatores que pesam no processo poltico. A terceira diz que a avaliao tem um posicionamento poi- tico. Por sua prpria naiureza, ela faz afirmaoes polticas implcitas sobre temas tais como a natureza problemtica de alguns programas, a legitimidade dos objetivos e at mesmo sobre o papel que convm ao cientista social na formao de polticas e programas.

    Cabe, portanto, ao avaliador, a difcil tarefa de imprimir ao seu trabalho princpios cientficos que produzam resultados vlidos e fidedignos e, principalmente, assumir uma postura clara e definida com relao ao seu papel no programa educacional do qual par- ticipa.

    REFERENUAS BIBLIOGRFICAS

    ANDERSON, S.B. e t al. (1981). Encyclopediu of educucional evalvatwn. San Francisco,

    BELLACK, A.A. & KLIEBARD, H.M. ed. (1977) Clm'kulum Evahation. Berkeley,

    BLOOM, B.S. (1963) Learning for mastering.Evaluation Comment, 1,2.

    Jossey-Bass.

    McCutchan.

    (1972). Tationomia de objetivos educacionais; I, Domnio cognitivo.

    (1977). Tmionomia de objetivos educacionais; 2, Dominio afetivo. Podo Porto Alegre, Globo.

    Alegre, Globo. BONBOIR, A. (1976) Como avaliar os alunos. Lisboa, Seara Nova. COOK, S.W. et al(1976). Resarch methods in socialrelations. New York, Holt, Rinehart

    DE LANDSHERE, G. (1976). A V Q ~ ~ ~ ~ O e a m e s ; noes de docimobgia. Coimbra,

    DEMO, P. (1984). Pesquisu participante; mito e realidade. Rio de Janeiro, SENAC/DN. DEPRESBITERIS, L. (1976). Um esiudo de generalizabiliade dos instrumentos do

    projeto SACI/EXEYW So Jos dos Campos, INPE(tese de mestrado). EBEL, R.L. & DAMRIN, D.E. (1960). Tests and examinations. In: HARRIS, C.W. ed.

    Encyclopediu of educational research. 36 ed. New York, MacmiUan, pp. 1502- 1514.

    ENGLiSH, H.B. (1958). A comprehensive dictionary of [email protected] and psychoana- lyticul terms New York, Longman.

    FLEMING, R.S., org. (1970). Currculo. Rio. Braslia, Lidador. GOLDBERG, M.A.A. (1973). Avaliao e planejamento educacional; problemas concei-

    tuais e metodologias. Cadernos depesquiso, (7): 63-72. HAMILTON, D. & PARLETT, M. (1982). Avaliao iluminativa uma nova abordagem

    no estudo de programas inovadores. In: GOLDBERG, M.A.A. 8r SOUZA, C.P. orgs. Avaliao de progrmas educacionais; vicissiiudes, confroversias e desnfos. So Paulo, EPU, pp. 3845.

    & Winston.

    Almedina.

    KIDDER, L.H. org. (1987). Mtodos de pesquisa nas relnes sociais. So Paulo, EPU. LIPPITT, R. (1984). Action research. In: CORSINI, R.J., ed. Encyclopedia ofpsycho-

    MAGER, R.F. (1977). Medindo os objetivos educacionais. Porto Alegre, Globo. 1 0 0 . New York, Wiley, vol. 1 , pp. 11-13,

    30

  • MEDEIROS, E.B. (1977). novas objetivas, tcnicas de construo. Rio de Janeiro, Fun-

    MIRANDA, M.J. (1982). A docimologia em perspectiva. Revista da Faculdade de Edu- dao Getlio Vargas.

    . . . cuo. (USP), 8, (1): 3969.

    MITCHELL, G.D. (1977). Actioo research. In: MITCHELL, G.D. ed. A dictionaty of Sociology. London, Routledge e Kegan Paul.

    PIERN, H. (1969) Examens et docimologie. Paris, Preases Universitaires de France. POPHAM, W.J. (1983). Avalizo educacional. Porto Alegre, Globo. SAUL, A.M. (1985). Avaliao emancipatrin: uma proposta democratica para refor-

    m u k o de um curso de ps-gramtao. So Paulo, PUC. (Tese de doutorado). SCHUBERT, W.H. (1982). Curriculum research. In: MITZEL, H.E. ed., Encyclopedia

    of educationulresearch. New York, Macmilian, pp. 420-43 1 . SCKIVEN, M. (1978). Perspectivas e procedimentos de avaliao. In: BASTOS, L. &PAI-

    XO, L., orgs. Avaliao Educacional I1 Petrpolis, Vozes. SELLTIZ, C. e t al. (1987). Introduo. In: Kidder, L.H., org. Mtodos de Pesquisn nus

    Relaes Sociais. So Paulo, EPU. Vol. 1. et al (1987). Obsewao participante. In: Kidder, L.H., org., Mtodos

    de Pesquisa nasRelaes Sociais. So Paulo, EPU. Vol. 1 . STAKE, R.E. (1977). 'he countenance of educational evaluation. In: BELLACK, AA.

    & KLEBARD, H.M. ed. Currintlum and evaluation. Berkeley, Mc-Cutchan STUFFLEBEAM, D. et al. (1974). Educational evaluation and decision makiflg. Itaska,

    Peacock. TALMAGE, H. (1982). Evaluation of programs. In: MITZEL, H.E. ed., Encyclopedia

    ofeducationul research. New York, Macmiilan, pp. 592-61 1 . THINES, G. Sr LEMPEREUR, A. (1984). Observao participante. In: Dicioflhio geral

    das cincias humanus. Lisboa, Setenta, p. 653. THIOLLENT, M. (1985). Metodobgh da pesquisa-ao, So Paulo, Cortez. TYLER, R.W. (1949). Basic principles of curriculum and insmction. Chicago, University

    of Chicago Press. (1982). Avaliando experincias de aprendizagem. In: GOLBERG, MAA &

    SOUZA, C.P. orgs. Avalioo de programas educacionais; vicissitudes, conirovr- sias e demfios. So Paulo, EPU, pp. 35-37.

    VIANNA, H.M. (1982a.) Avaliao educacional; algumas idias precursoras. Educqo eSeleo, (6): 61-70.

    (1982b.) Testes em educao. So Paulo, Ibrasa. WEISS, C. (1982). Pesquisa avaliativa no contexto poltico. In: GOLDBERG, M.A.A. &

    SOUZA, C.P., orgs. Avaliao de programas educacionuis; vicissiudes. controvr- sias e desafios. So Paulo, EPU, pp. 23-27.

    WERTHEIN, J. et al (1985). Avaliao educacional: tendncias na direo de enfoques mais participativos. In: WERTHEIN, J. & ARGUMEDO, M., orgs. Educafo ei'arfi- cipuo. Rio de Janeiro,PMobiblion.

    WORTHEN, B .R. (1982). Viso geral do masaico formado pela avaliao e controles edu- cacionais. In: GOLDBERG, M.A.A. & SOUZA, C.P., orgs. Aval&o deprogramas educacionais; vicissitudes, controvrsias e desafios. So Paulo, EPU, pp. 4-9.

    WORTHEN, B.R. & SANDERS, J.R. (1973).E&cational evaluation; theoty andpractice. Worthington, Charles A. Jones.

    31