AVALIAÇÃO DE POLÍTICAS PÚBLICAS

Isaura Belloni

A avaliação de política pública é um dos instrumentos de

aperfeiçoamento da gestão do Estado que visam ao desenvolvimento de

ações eficientes e eficazes em face das necessidades da população. A

escassez de literatura teórica e sobre experiências avaliativas recomenda

criteriosa discussão conceitual e metodológica com vistas à construção de

instrumentos úteis e substantivos para a consolidação da área. Nesta parte

do trabalho estão apresentados pontos de reflexão acerca de diferentes

concepções de avaliação, com ênfase na avaliação educacional,

institucional e de políticas públicas.

1 Concepção de avaliação

Avaliar é uma ação corriqueira e espontânea realizada por qualquer

indivíduo acerca de qualquer atividade humana; é, assim, um instrumento

fundamental para conhecer, compreender, aperfeiçoar e orientar as ações de

indivíduos ou grupos. É uma forma de olhar o passado e o presente sempre

com vistas ao futuro. Faz parte dos instrumentos de sobrevivência de qualquer

indivíduo ou grupo, resultado de uma necessidade natural ou instintiva de

sobreviver, evitando riscos e buscando prazer e realizações. A este processo –

natural, instintivo, assistemático – pode-se denominar de avaliação informal.

Tal atitude e procedimento avaliativo podem ser adequados e suficientes

para as necessidades e usos individuais. É, no entanto, inadequado e

insuficiente quando se trata de instituições ou de ações (programas ou

políticas) de grande vulto ou de impacto social. Nesses casos, faz-se

necessário um processo avaliativo com características distintas e com

possibilidades de compreender todas as dimensões e implicações da atividade,

fatos ou coisa avaliada. Este processo pode ser denominado de avaliação

formal ou sistemática1.

1 Aguilar e Ander-Egg (1994:18) fazem a mesma distinção entre a avaliação informal e avaliação sistemática, ainda que adotem significado ligeiramente distinto.

Nesta perspectiva, entende-se avaliação como um processo sistemático

de análise de uma atividade, fatos ou coisas que permite compreender, de

forma contextualizada, todas as suas dimensões e implicações, com vistas a

estimular seu aperfeiçoamento.

Portanto, o conceito de avaliação, aqui adotado, refere-se à análise de

processos e de produtos ou resultados de uma atividade, fatos ou coisas. Está

construído, tendo como objeto de avaliação, primordialmente, instituições ou

políticas. Nesse caso, contempla a atividade a ser avaliada de um modo global,

a saber: os processos de formulação e desenvolvimento, as ações

implementadas ou fatos ocorridos, assim como os resultados alcançados,

histórica e socialmente contextualizados. Não se trata, desse modo, apenas do

exame comparativo entre o proposto e o alcançado. Esta metodologia, que

aprecia o grau de consecução de objetivos e metas predefinidos, é considerada

insuficiente, pois não possibilita a contextualização da atividade ou fato, seja de

sua formulação e implementação, seja de suas consequências e implicações. A

comparação entre objetivos e resultados é apenas uma parte do processo

avaliativo e não oferece os elementos necessários para o sistemático

aperfeiçoamento da atividade, instituição ou política pública avaliada.

2 Algumas concepções de avaliação

Ainda que não seja objetivo deste trabalho fazer ampla discussão sobre o

assunto em pauta, uma primeira distinção a ser feita é aquela entre avaliação

educacional – que se refere à avaliação de aprendizagem ou de desempenho

escolar ou profissional, bem como à avaliação de currículos – e avaliação

institucional - que se destina à avaliação de políticas, de planos ou projetos e

de instituições.

A avaliação educacional concentra-se na avaliação de situações de

aprendizagem, isto é, quando um indivíduo ou grupo são submetidos a

processos ou situações com vistas à aquisição de novo conhecimento,

habilidade ou atitude; refere-se, assim, à análise de desempenho de indivíduos

ou grupos, seja após uma situação de aprendizagem ou, regularmente, no

exercício de uma atividade, em geral, profissional. É, também, avaliação

educacional aquela que se destina à análise de currículos ou programas de

ensino, seja de um curso (ex.: engenharia ou pedagogia), seja de um nível de

ensino (ex.: ensino fundamental), seja de uma modalidade (ex.: magistério de

nível médio), seja de curso de formação profissional de curta duração (ex.:

panificação).

A avaliação institucional tem como objeto instituições ou políticas públicas2,

em especial, as políticas setoriais. Refere-se, também, à avaliação de

instituições prestadoras de serviços públicos, como educação, saúde, dentre

outras. Considera que a avaliação de planos e projetos deve ser inserida no

âmbito da política da qual fazem parte dentro de um contexto de política global.

A avaliação de políticas implementadas por instituições não governamentais -

principalmente as não lucrativas de caráter associativo – assemelha-se à

avaliação de políticas públicas3.

2.1 Avaliação educacional

Revisando a literatura das décadas de 60 a 80 acerca de avaliação de

currículos, Saul4 destaca a existência de quatro modelos principais, os quais,

de certo modo, expressam as tendências na área: avaliação para a tomada de

decisão (Stuflebeam), avaliação de mérito (Scriven), avaliação iluminativa

(Parlet & Hamilton) e avaliação responsiva (Stake). Na literatura brasileira de

avaliação educacional, a autora destaca publicações do final dos anos 705, em

especial o aparecimento da revista Educação e Avaliação. A área da avaliação

educacional tem-se desenvolvido de forma ampla e sistemática, com grande

contribuição para a melhoria do processo de ensino e de aprendizagem e da

2 Não se examinam, aqui, as características de avaliação de instituições empresariais, mesmo tratando-se de empresas públicas ou mistas. Considera-se que o caráter lucrativo do empreendimento altera profundamente a ideia de missão institucional e, portanto, a concepção de avaliação; nesse caso, é possível que a adoção de metodologias voltadas para a aferição de eficiência e eficácia, como controle de qualidade total ou outras, seja mais apropriada.3 Belloni (1997d).4 Saul (1988:35-39).5 Entre outros autores da área deve-se destacar as publicações de Marli André, Joel Martins, Mere Abramowicz, Maria Amélia Goldemberg, Sigmar Malvesi, Ramon Moreira Garcia e Clariza P. de Souza.

organização curricular6 nos sistemas formais de ensino e também na educação

não formal, como pode ser o caso da educação profissional.

Saul define sua proposta de avaliação emancipatória

como um processo de descrição, análise e crítica de uma dada realidade, visando transformá-la. Destina-se à avaliação de programas educacionais ou sociais. Ela está situada numa vertente político-pedagógica cujo interesse primordial é emancipador, ou seja, libertador, visando provocar a crítica, de modo a libertar o sujeito de condicionamentos deterministas. O compromisso principal desta avaliação é o de fazer com que as pessoas direta ou indiretamente envolvidas em uma ação educacional escrevam a sua “própria história” e gerem as suas próprias alternativas de ação7.

A autora define três momentos do processo avaliativo: descrição da realidade;

a crítica da realidade e a criação coletiva; e determina que, entre outras

condições e habilidades, o avaliador, preferencialmente, deve fazer parte

integrante da equipe de planejamento e desenvolvimento do programa8. Neste

sentido, a avaliação emancipatória parece definir-se como uma estratégia de

autoavaliação. A emancipação, dimensão política de seu objetivo, é relevante e

pertinente também à avaliação institucional. No entanto, a exigência

metodológica de participação do avaliador na equipe de planejamento e

desenvolvimento do projeto avaliado reduz sua aplicabilidade a projetos ou

políticas de grande porte. Tal procedimento pode levar à indesejada fusão de

papéis entre formulação e avaliação, com implicações múltiplas no sentido da

dessignificação dos procedimentos avaliativos. A necessidade de autonomia do

processo avaliativo, bem como a relevância da combinação de avaliação

externa e autoavaliação, serão examinados nas próximas seções.

Jussara Hoffmann9, por sua vez, trata a avaliação como uma das

mediações pela qual se encorajaria a reorganização do saber. Ação,

movimento, provocação, na tentativa de reciprocidade intelectual entre os

elementos da ação educativa. Professor e aluno buscando coordenar seus

pontos de vista, trocando ideias, reorganizando-as. Nessa perspectiva, o erro é

construtivo, ou seja, a verificação de respostas certas ou erradas encaminha-se

6 Destacam-se, entre outros, os estudos desenvolvidos por Menga Lüdke e Ilma Passos.7 Saul (1988:61).8 Idem, p. 63.9 Hoffmann (1991:67).

num sentido investigativo e reflexivo do professor sobre as manifestações dos

alunos. As soluções buscadas pelo aluno para as alternativas propostas pelo

professor são produzidas de acordo com a lógica das vivências do educando. A

compreensão da avaliação como estratégia de solução de problemas e

aperfeiçoamento das ações é elemento comum entre avaliação educacional e

avaliação de políticas e de instituições.

2.2 Avaliação institucional e de política pública

Esta modalidade de avaliação ainda carece de maior aprofundamento

teórico e metodológico. Uma breve análise da literatura e da prática na área

indica fluidez conceitual e metodológica, grande dose de amadorismo e

empiricismo, assim como frequente escassez de critérios e de clareza acerca

da relevância e utilidade dos resultados.

Cohen e Franco apontam a necessidade de elevar o grau de

racionalidade das políticas e, a partir daí, consideram que:

A avaliação de projetos sociais tem um papel central neste processo de racionalização e é um elemento básico do planejamento. Não é possível que estes sejam eficazes se não forem avaliados os resultados de sua aplicação. Por isso, dispor de avaliações ex-post de projetos em cursos ou já realizados é fundamental para melhorar os modelos. Desse modo, a avaliação ex-ante permite escolher a melhor opção dos programas e projetos nos quais se concretizam as políticas10.

Aguilar & Ander-Egg propõem a seguinte definição de avaliação:

A avaliação é uma forma de pesquisa social aplicada, sistemática, planejada e dirigida; destina-se a identificar, obter e proporcionar de maneira válida e confiável dados e informações suficientes e relevantes para apoiar um juízo sobre o mérito e o valor dos diferentes componentes de um programa (tanto na fase de diagnóstico, programação e execução) ou de um conjunto de atividades específicas que se realizam, foram realizadas ou se realizarão, com o propósito de produzir efeitos e resultados concretos; comprovando a extensão e o grau em

10 Cohen & Franco (1993:16).

que se deram estas conquistas, de tal forma que sirva de base ou para uma tomada de decisões racional e inteligente entre cursos de ação, ou para solucionar problemas e promover o conhecimento e a compreensão dos fatores associados ao êxito ou fracasso de seus resultados11.

Certamente, parte das proposições voltadas para a avaliação

educacional, anteriormente apontadas, são adequadas às características e

necessidades da avaliação institucional e de políticas públicas. Considerando

os modelos brevemente referidos, pode-se estabelecer algumas aproximações

entre avaliação institucional e a educacional. A avaliação institucional deve

buscar uma compreensão da realidade (avaliação iluminativa de Parlet &

Hamilton); deve estar voltada para o processo decisório (avaliação voltada para

a tomada de decisão de Stuflebean); deve responder a questionamentos

(avaliação responsiva de Stake); pode possibilitar a identificação de mérito ou

valor (avaliação de mérito de Scriven). Sem dúvida, beneficia-se das principais

proposições da avaliação participativa, em especial seus objetivos e ênfase na

participação dos sujeitos integrantes da instituição ou política a ser avaliada.

Belloni, quando da proposta de avaliação institucional da Universidade

de Brasília, em 1998 ressaltava;

(...) dois objetivos, considerados como básicos, a serem alcançados por uma avaliação institucional. Em primeiro lugar ela deve promover uma autoconsciência da instituição. A avaliação adquire importância na medida em que permite aos indivíduos envolvidos conhecerem as limitações com as quais trabalham, bem como sugere um marco de identificação com os ideais buscados na construção da Universidade e sociedade utópicas.

Ao garantir as informações necessárias para tomada de decisão por parte daqueles a quem esta competência foi delegada em todos os níveis, a avaliação realiza o seu segundo objetivo.(...) Politicamente, assumir a avaliação implica na decisão da instituição de tomar para si a capacidade de intervir no processo de produção acadêmica, bem como proporcionar espaços à participação responsável e consciente, tendo em vista o aperfeiçoamento cada vez maior das atividades exercidas pela Universidade12.

11 Aguilar & Ander-Egg (1994:31-32).12 Belloni, I. e outros (1988a:12-13).

Na mesma direção, é dada ênfase aos aspectos qualitativos e ao

compromisso político da avaliação:

A avaliação do desempenho de instituições educativas de nível superior tem como finalidade a constante melhoria da qualidade e da relevância, científica e política, das atividades desenvolvidas13.

Na avaliação realizada da política de formação sindical, de uma entidade

de trabalhadores brasileiros, ficou explicitado o caráter global e sistemático da

avaliação, assim como seu objetivo voltado para o aperfeiçoamento da

atividade:

Há sempre o momento em que toda obra humana necessita ser colocada em situação crítica, como condição mesmo de sua continuidade. (...) A avaliação deve abranger não apenas as atividades, mas também a própria estratégia, sem contudo perder de vista que o foco da avaliação (...) é sua lógica interna14.

2.3 A multiplicidade da avaliação

A partir destas breves explanações, é oportuno destacar que as

concepções de avaliação podem ser agrupadas em diferentes conjuntos,

considerando óticas ou critérios distintos: (1) de acordo com a concepção de

avaliação adotadas e os objetivos visados; (2) segundo o momento em que se

realiza, contemplando elementos históricos condicionantes do objeto (atividade,

fato ou coisa) avaliado; (3) quanto ao tipo ou procedência dos sujeitos

envolvidos, no processo avaliativo, enquanto sujeitos políticos. Esta distinção

analítica ajuda a compreender as diferentes ênfases adotadas e a explicitar os

13 Belloni (1989:64).14 Belloni (1997d:25).

limites e abrangência envolvidos, seja nas concepções apresentadas na

literatura, seja nos processos avaliativos efetivamente implementados.

Do ponto de vista da concepção de avaliação, pode-se considerar os

seguintes tipos principais: (1) avaliação como comparação entre uma situação

ou realidade dada e um modelo ou perspectiva definida previamente; (2)

avaliação como comparação entre proposto e realizado, isto é, comprovação

do atendimento de objetivos e metas; (3) avaliação como processo metódico de

aferição de eficiência e eficácia; (4) a avaliação como instrumento de

identificação de acertos e dificuldades com vistas ao aperfeiçoamento.

Quanto ao momento em que se realiza o processo avaliativo, a avaliação

pode ser15: (1) diagnóstica, quando realizada antes da ação, isto é, antes da

definição (tomada de decisão) ou da implementação de uma ação ou política, e

pode ter como objetivos tanto a identificação de prioridades e metas, quanto

estabelecer parâmetros de comparação para avaliação a posteriori; (2)

processual, quando desenvolvida durante o processo de implementação da

ação avaliada, muitas vezes confundindo-se com o processo de

acompanhamento e controle; (3) global, quando se realiza ao final da

implementação ou execução e tem como objeto tanto o processo de

formulação e implementação, como os resultados e implicações da atividade

ou política avaliada.

Considerando os sujeitos do processo avaliativo, que são sempre sujeitos

politicamente situados no mundo, a avaliação pode ser: (1) interna ou

autoavaliação, quando o processo é conduzido por sujeitos diretamente

participantes das ações avaliadas; (2) externa, quando conduzida por sujeitos

externos e independentes da formulação, implementação ou dos resultados da

ação avaliada; (3) mista, quando envolve estes dois grupos de sujeitos; (4)

participativa, que é um tipo de autoavaliação apropriada a processos

participativos nos quais a população-alvo participa tanto da formulação quanto

da implementação da ação avaliada16.

Observa-se, ainda, que algumas definições de avaliação são

operacionais, voltadas para descrição do processo avaliativo, enquanto outras

são finalísticas, pois centradas nas finalidades da avaliação. Em geral, a

15 Aguilar & Ander-Egg (1994:60-61); Cohen & Franco (1993:108-109); e Freitas & Silveira (1997:23).16 Cohen & Franco (1993:114).

maioria das concepções congrega elementos de ambas; outras são

efetivamente conceituais ou filosóficas, pois conseguem explicitar o significado

mais amplo da ação avaliativa, não se detendo na especificação de objetivos

ou do processo de implementação da avaliação, fundamentando-se na reflexão

ou questionamento radical do objeto, da especificidade e dos próprios sujeitos

da avaliação, na perspectiva da pesquisa de nexos desconhecidos e do aporte

de conhecimentos novos, que contribuam para a explicitação da atividade, do

fato ou da coisa submetida à avaliação.

Referência

BELLONI. Isaura; MAGALHÃES, Heitor de; SOUSA, Luzia Costa de. Metodologia de avaliação em políticas: uma experiência em educação profissional. 3. ed. São Paulo: Cortez, 2003, p. 14-25. Coleção Questões da Nossa Época. v. 75.