A AVALIAÇÃO NO CICLO DE GESTÃO PÚBLICA

Maria das Graças Rua O conceito de avaliação das ações governamentais, assim como o de planejamento, surge com as transformações no papel do Estado especialmente devido ao esforço de reconstrução após a Segunda Guerra, à adoção de políticas sociais e à conseqüente necessidade de analisar os custos e as vantagens de suas intervenções. Mais recentemente, no âmbito do grande processo de mudança das relações entre o Estado e a sociedade e da reforma da administração pública, que passa do primado dos processos para a priorização dos resultados, a avaliação assume a condição de instrumento estratégico em todo o ciclo da gestão pública (Kettl, 2000). Segundo Guba & Lincoln (1990), a trajetória histórica dos processos de avaliação, passa de um primeiro estágio, centrado na medida dos fenômenos analisados, para a focalização das formas de atingir resultados, evoluindo para um julgamento das intervenções e, finalmente, tendendo a constituir “um processo de negociação entre os atores envolvidos na intervenção a ser avaliada” (Constandriopoulos, 1997). O termo “avaliação” é amplamente usado em muitos e diversos contextos, sempre se referindo a julgamentos. Por exemplo, se vamos ao cinema ou ao teatro formamos uma opinião pessoal sobre o que vimos, considerando satisfatório ou não. Quando assistimos a um jogo de futebol, formamos opinião sobre as habilidades dos jogadores. E assim por diante. Estes são julgamentos informais que efetuamos cotidianamente sobre todos os aspectos das nossas vidas. Porém, há avaliações muito mais rigorosas e formais, envolvendo julgamentos detalhados e criteriosos, sobre a consecução de metas, por exemplo, em programas de redução da exclusão social, melhoria da saúde dos idosos, prevenção da delinqüência juvenil ou diminuição de infecções hospitalares. Essas correspondem à avaliação formal, que é o exame sistemático de certos objetos, baseado em procedimentos científicos de coleta e análise de informação sobre o conteúdo, estrutura, processo, resultados e/ou impactos de políticas, programas, projetos ou quaisquer intervenções planejadas na realidade (Rua, 2000). As definições de avaliação são muitas, mas um aspecto consensual é a sua característica de atribuição de valor. A decisão de aplicar recursos em uma

ação pública sugere o reconhecimento do valor de seus objetivos pela sociedade, sendo assim, sua avaliação deve “verificar o cumprimento de objetivos e validar continuamente o valor social incorporado ao cumprimento desses objetivos” (Mokate, 2002). A avaliação representa um potente instrumento de gestão na medida em que pode – e deve - ser utilizada durante todo o ciclo da gestão, subsidiando desde o planejamento e formulação de uma intervenção, o acompanhamento de sua implementação, os conseqüentes ajustes a serem adotados, e até as decisões sobre sua manutenção, aperfeiçoamento, mudança de rumo ou interrupção. Além disso, a avaliação pode contribuir para a viabilização de todas as atividades de controle interno, externo, por instituições públicas e pela sociedade levando maior transparência e accountability às ações de governo. Por isso, Mokate (2002) defende que uma das características chave da avaliação deve ser sua integração a todo o ciclo de gestão, desenvolvendo-se simultaneamente a ele, desde o momento inicial da identificação do problema. Além dos objetivos relacionados à eficiência e eficácia dos processos de gestão pública, a avaliação é decisiva para o processo de aprendizagem institucional e também contribuiria para a busca e obtenção de ganhos das ações governamentais em termos de satisfação dos usuários e de legitimidade social e política. Por essas e outras razões, tem sido ressaltada a importância dos processos de avaliação para a reforma das políticas públicas, modernização e democratização da gestão pública. Nos países desenvolvidos os processos de avaliação de políticas vêm se tornando crescentemente institucionalizados. Isso exige o empenho das estruturas político-governamentais na adoção da avaliação como prática regular e sistemática de suas ações, na regulação das práticas avaliativas e no fomento de uma cultura de avaliação integrada aos processos gerenciais (Hartz, 2001). No Brasil, a importância da avaliação das políticas públicas é reconhecida em documentos oficiais e científicos, mas esse reconhecimento formal ainda não se traduz em processos de avaliação sistemáticos e consistentes que subsidiem a gestão pública (Hartz et Pouvourville, 1998). Esse consenso no plano do discurso, não produz automaticamente a apropriação dos processos de avaliação como ferramentas de gestão, pois freqüentemente a tendência é percebe-los como um dever, ou até mesmo

como uma ameaça, impostos pelo governo federal ou por organismos financiadores internacionais. Mokate (2002) identifica algumas das possíveis razões pelas quais a avaliação não seria facilmente integrada ao ciclo de gestão:

(1) Os paradigmas gerenciais dificultam a apropriação da avaliação pelas equipes de gestão, na medida em que focalizam mais as atividades e processos do que os resultados, não valorizando a explicitação de metas e objetivos, e a responsabilização pelo seu alcance;

(2) As aplicações convencionais dos processos de monitoramento e avaliação têm se realizado de tal maneira que não têm induzido sua percepção como aliados do processo de gestão, cabendo freqüentemente apenas aos avaliadores externos e assumindo o aspecto de fiscalização, auditoria ou controle, cujos resultados não costumam ser utilizados no processo decisório e gerencial;

(3) A complexidade dos objetivos e a adoção de estratégias e tecnologias diferenciadas, que não necessariamente conduzem ao mesmo resultado, dificultam a avaliação das intervenções. A sensibilidade dos problemas sociais a múltiplas variáveis faz com que a seleção de estratégias para seu enfrentamento se baseie em hipóteses de relações causais. É particularmente difícil atribuir, através da avaliação, as mudanças observadas a uma intervenção específica operada sobre um problema, até porque, freqüentemente, os efeitos de algumas intervenções só se evidenciam no longo prazo.

A avaliação tem constituído uma estratégia de mudança do paradigma gerencial. Sob o ponto de vista da gerência social, as políticas devem ser avaliadas pelo cumprimento de seus objetivos e os gerentes devem ter incentivos naturais para utilizar informação no acompanhamento de seu desempenho em relação a esses objetivos. Mokate (2002) aponta quatro desafios prioritários para construir um processo de avaliação aliado à gerência social:

1. A definição de um marco conceitual da intervenção que se pretende avaliar, indicando claramente objetivos, resultados e as supostas relações causais que orientam a intervenção, pois quando não se sabe onde e como se quer chegar, torna-se muito difícil avaliar nosso desempenho.

2. A superação da brecha entre o “quantitativo” e o “qualitativo” na definição de metas e objetivos e na própria avaliação, gerando complementaridade e sinergia entre eles;

3. A identificação e pactuação de indicadores e informações relevantes, levando em conta o marco conceitual e as diversas perspectivas e interesses dos atores envolvidos;

4. A definição e manejo efetivo de fluxos da informação gerada pelo processo avaliativo e a introdução de estratégias de incentivos que promovam o uso dessa informação.

Para uma cultura gerencial que incorpore uso efetivo da avaliação ao ciclo de gestão, Mokate (2002) aponta algumas condições:

a) incentivar a flexibilidade e a inovação como mecanismos para assegurar o alcance de objetivos máximos desejados e tolerar o erro para promover ajustes e mudança de opções;

b) permitir que, dentro da organização, os que têm a informação possam fazer uso dela, inclusive dissemina-la, em função dos objetivos pretendidos;

c) definir “valores objetivos” e “valores de referência” que facilitem a interpretação da informação;

d) adotar incentivos organizacionais e gerenciais que favoreçam o uso da informação (premiação ou reconhecimento por mérito ou alcance de resultados);

e) estabelecer mecanismos de ajuste para realocação de recursos humanos, físicos e financeiros, redefinição de estratégias operativas e modificações nos produtos e serviços para alcançar os objetivos desejados;

f) vincular os indicadores ou informações com os processos decisórios;

g) especificar “pontos de decisão”, fixando prazos e “valores objetivo” para alguns indicadores;

h) comprometer os gestores e suas equipes com o alcance de metas através de pactos e contratos de gestão ou desempenho.

A avaliação de desempenho constitui um importante instrumento para a gestão das intervenções, mas a falta de acordo sobre como medir esse desempenho ainda é um desafio. Como o desempenho refere-se ao grau de alcance dos objetivos e os países definem diferentes objetivos, metas e dimensões de desempenho nas suas avaliações, muitas vezes torna-se difícil fazer análises comparativas. Esse tipo de avaliação deveria focalizar fundamentalmente qualidade, eficiência e eqüidade mas as experiências internacionais de avaliação de desempenho enfocam de maneira desigual essas dimensões. Nos países da OECD predominam análises sobre a melhoria de resultados e sobre a

“responsividade”. Apesar das recomendações de organismos internacionais, no sentido de que a eqüidade seja uma dimensão transversal de todas as avaliações de desempenho especialmente no caso das intervenções de natureza social, ainda são poucas as experiências que consolidaram o exame desta dimensão. CONTANDRIOPOULOS, A. P. (1997). “A avaliação na área da saúde: conceitos e métodos”. In: HARTZ, Z.M.A. Avaliação em Saúde: dos modelos conceituais à prática na análise da implantação de programas. Rio de Janeiro: Fiocruz. GUBA, E.G. & LINCOLN Y.S. (1990). Fourth generation evaluation. Berverly Hills: Sage. HARTZ, Z. M. A. (2001). “Institucionalizando a avaliação em saúde: lições (inter)nacionais nas evocações da França”. Cadernos de Saúde Pública. 15(2): 229-260. HARTZ Z.M.A. & POUVOURVILLE, G. (1998). Avaliação da eficiência em saúde: a eficiência em questão. Ciência & Saúde Coletiva. , III(1): 68-82. KETTL, D. (2000). The Global Public Management Revolution: A Report on the Transformation of Governance. Acessado em 10/03/2004: http://www.brookings.edu/scholars/dkettl.htm MINTZBERG, H. (1994). The rise and fall of strategic planning. Nova York: Free Press. MOKATE, K. M. (2002). “Convirtiendo el ‘monstruo’ en aliado: a avaliação como herramienta de la gerencia social”. Revista do Serviço Público, 8(1), 91-136. NASSUNO, M. (2003). “Avaliação de resultados e avaliação de satisfação do usuário-cidadão: elementos para reflexão”. Res Pública – Revista de Políticas Públicas e Gestão Governamental. 2(2): 99-139. RUA, M.G. (2000). “Avaliação de Políticas, Programas e Projetos: Notas Introdutórias”. Mimeo. SILVA, P. L. B. e MELO, M. A. B. (2000). “O processo de implementação de políticas públicas no Brasil: características e determinantes da avaliação de programas e projetos”. In: Caderno nº 48 - NEPP-UNICAMP. TAYLOR, C. (2003) “O teste ACIDD: uma estrutura para o planejamento de políticas e processos decisórios”. In: Desafios para o desenvolvimento de políticas públicas: uma visão geral. Brasília: ENAP.