GARCIA Ronaldo Coutinho - Subsídios para organizar avaliações da ação governamental

ISSN 1415-4765

TEXTO PARA DISCUSSO NO 776

Subsdios para Organizar Avaliaes da Ao GovernamentalRonaldo Coutinho Garcia

Braslia, janeiro de 2001

ISSN 1415-4765

TEXTO PARA DISCUSSO No 776

Subsdios para Organizar Avaliaes da Ao GovernamentalRonaldo Coutinho Garcia*

Braslia, janeiro de 2001

*

Da Diretoria de Estudos Setoriais (DISET) do IPEA.

MINISTRIO DO PLANEJAMENTO, ORAMENTO E GESTO Martus Tavares Ministro Guilherme Dias Secretrio Executivo

Instituto de Pesquisa Econmica AplicadaPresidente Roberto Borges Martins Chefe de Gabinete Luis Fernando de Lara ResendeDIRETORIA

Eustquio J. Reis Gustavo Maia Gomes Hubimaier Canturia Santiago Lus Fernando Tironi Murilo Lbo Ricardo Paes de Barros

Fundao pblica vinculada ao Ministrio do Planejamento, Oramento e Gesto, o IPEA fornece suporte tcnico e institucional s aes governamentais e torna disponves, para a sociedade, elementos necessrios ao conhecimento e soluo dos problemas econmicos e sociais do pas. Inmeras polticas pblicas e programas de desenvolvimento brasileiro so formulados a partir dos estudos e pesquisas realizados pelas equipes de especialistas do IPEA.TEXTO PARA DISCUSSO tem o objetivo de divulgar resultados de estudos desenvolvidos direta ou indiretamente pelo IPEA, bem como trabalhos considerados de relevncia para disseminao pelo Instituto, para informar profissionais especializados e colher sugestes.

Tiragem: 130 exemplaresCOORDENAO EDITORIAL Braslia DF: SBS Q. 1, Bl. J, Ed. BNDES, 10o andar CEP 70076-900 Fone: (61) 315 5374 Fax: (61) 315 5314 E-mail: [email protected] Home page: http://www.ipea.gov.br page EQUIPECoordenao: Marco Aurlio Dias Pires; Secretaria: Gardnia Santos Gerncia: Suely Ferreira Reviso: Chico Villela (coord.); Carlos Alberto Vieira, Flvia Nunes de Andrade (estag.), Isabel Villa-Lobos Telles Ribeiro, Luciana Soares Sargio (estag.) Edio Grfica: Iranilde Rego (coord.); Aeromilson Mesquita; Ceclia Bartholo, Edineide Ramos, Francisco de Souza Filho, Lcio Flavo Rodrigues Divulgao: Cludio Augusto Silva (coord.); Edinaldo dos Santos, Mauro Ferreira Produo Grfica: Edilson Cedro Santos

SERVIO EDITORIAL Rio de Janeiro RJ: Av. Presidente Antonio Carlos, 51, 14o andar CEP 20020-010 Fone: (21) 804-8118 Fax: (21) 220 5533 E-mail: [email protected]

PERMITIDA A REPRODUO DESTE TEXTO, DESDE QUE OBRIGATORIAMENTE CITADA A FONTE. REPRODUES PARA FINS COMERCIAIS SO RIGOROSAMENTE PROIBIDAS.

SUMRIO

SINOPSE

1 2 3 4 5 6 7

INTRODUO

5 6 18

A DEMANDA POR AVALIAES

UMA DEMANDA COM POTENCIAL ORGANIZATIVO SISTMICO TORNANDO A DEMANDA MAIS PRECISA

24

ESBOO TENTATIVO DE UM ROTEIRO PRELIMINAR PARA ORGANIZAR AS AVALIAES DO PPA 42 DELINEAMENTO APROXIMATIVO DE UM SISTEMA DE AVALIAO PARA FINALIZAR

58

61 63

REFERNCIAS BIBLIOGRFICAS

A produo editorial deste volume contou com o apoio financeiro do Banco Interamericano de Desenvolvimento, BID, por intermdio do Programa Rede de Pesquisa e Desenvolvimento de Polticas Pblicas, Rede-IPEA, operacionalizado pelo Projeto BRA/97/013 de Cooperao Tcnica com o PNUD.

SINOPSEreorganizao do processo de planejamento, oramento e gesto do governo federal est em curso. O Congresso Nacional aprovou o primeiro Plano Plurianual elaborado em novas bases conceituais e metodolgicas, determinando que se proceda, anualmente, avaliao global do plano e de cada um dos programas que o integram. Ademais, era da prpria lgica das mudanas introduzidas fortalecer a atividade de avaliao como um requisito para a atualizao do plano s mudanas da realidade e como um imprescindvel instrumento da gesto estratgica dos programas. Implantar um sistema de avaliao para o planejamento e a gesto governamentais, no entanto, no algo trivial. Inexiste, na administrao pblica brasileira, uma prtica consagrada ou uma cultura institucional de avaliao. Conceitos, metodologias, sistemas de informaes tero que ser criados e desenvolvidos com a finalidade especfica de suportar a implantao do processo regular e recorrente de avaliaes da ao governamental. O presente texto um subsdio a to necessria construo.

A

O CONTEDO DESTE TRABALHO DA INTEIRA E EXCLUSIVA RESPONSABILIDADE DE SEU AUTOR, CUJAS OPINIES AQUI EMITIDAS NO EXPRIMEM, NECESSARIAMENTE, O PONTO DE VISTA DO INSTITUTO DE PESQUISA ECONMICA APLICADA/MINISTRIO DO PLANEJAMENTO, ORAMENTO E GESTO

5

BSDIOS PARA ORGANIZAR AVALIAES DA AO GOVERNAMENTAL

1 INTRODUO**Caminante, no hay camino, se hace camino al andar. Antnio Machado

m dezembro de 1994, com a edio da Medida Provisria no 1 548, foi institudo o que, informalmente, passou a ser denominado de Ciclo da Gesto Pblica: um conjunto de carreiras e categorias funcionais os tcnicos de planejamento e pesquisa do IPEA; analistas de planejamento e oramento; tcnicos de planejamento P-1501; analistas de finanas e controle; e especialistas em polticas pblicas e gesto governamental. A idia de um ciclo de gesto pblica advinha do fato de seus integrantes lidarem com o planejamento governamental, a preparao e execuo do Oramento da Unio, a administrao financeira dos recursos, a gesto das aes governamentais e o controle interno dos gastos pblicos do Executivo federal. Uma boa idia que ainda no se materializou de forma plena no que diz respeito a funcionar de maneira integrada e recorrente. A 36a reedio da referida Medida Provisria (MP), em 2 de outubro de 1997, foi ampliada para estabelecer atribuies especficas aos integrantes do ciclo, todas, no entanto, entendidas como atividades que comporiam a gesto governamental, com destaque para a avaliao. A MP foi convertida em lei no ano seguinte, Lei no 9 625, de 7 de abril de 1998, e, em seu artigo no 24, diz que aos ocupantes de cargos efetivos de Tcnico de Planejamento e Pesquisa do IPEA compete o exerccio de atividades de gesto governamental nos aspectos relativos ao planejamento, realizao de pesquisas econmicas e sociais e avaliao das aes governamentais para subsidiar a formulao de polticas pblicas. O que segue uma modesta tentativa de contribuir para a construo de um processo sistemtico e apropriado de avaliaes das aes de governo. So adotados aqui dois supostos: um efetivo sistema de avaliaes sempre o produto de uma construo deliberada com vistas a atender necessidades especficas em um ambiente institucional particular. Resultar de um esforo coletivo de tentativa e erro, de aprender fazendo, pois no existem um modelo universal nem receitas genricas aplicveis a quaisquer situaes. O outro suposto que, sem um processo sistemtico de avaliao, a verdadeira gesto pblica jamais poder ser exercida, o que implica incalculveis prejuzos para a grande maioria da populao brasileira que tanto necessita de uma ampla presena do poder pblico, conduzida com eficincia, eficcia e eqidade.

E

**

Este texto foi concludo no incio de julho de 2000.

6

SUBSDIOS PARA ORGANIZAR AVALIAES DA AO GOVERNAMENTAL

2 A DEMANDA POR AVALIAES (e algumas respostas insuficientes) O alto executivo governamental , por definio, uma pessoa de ao. Dirigir uma instituio, um programa, um processo algo que s se faz mediante aes de diversas naturezas: declaraes, convocaes, articulaes, emisso de atos normativos, atribuio de responsabilidades, alocao de recursos, formalizao de decises (processos administrativos, contratos, convnios, acordos), entre outras. O exerccio de direo exige um incessante processo de deliberao e deciso. Das muitas decises que um dirigente pblico obrigado a tomar diariamente, qual o percentual daquelas suportadas por conhecimento e informao satisfatrios e elevada segurana sobre a pertinncia, oportunidade e intensidade? Qual a segurana sobre as conseqncias da deciso? No existem informaes que possibilitem respostas confiveis e precisas s perguntas. Mas, uma piada freqentemente repetida na Administrao Pblica permite uma aproximao esclarecedora: o dirigente experiente ou esperto no assina nenhum documento sem que pelo menos uma dezena de subalternos tenha aposto o seu correspondente de acordo formal. Esta seria a garantia de que no se iria para a cadeia sozinho.... Ou seja, a garantia de que a deciso tomada legal, e apenas isso, to maior quanto maior for o nmero daqueles que no vem nenhuma norma contrariada ou desrespeitada. Nada sobre a propriedade, a relevncia, o momento ou a pretensa eficcia da deciso. Isso ocorre no porque os dirigentes se sintam melhor procedendo dessa maneira e sim porque os processos praticados no permitem fazer diferente. As decises so tomadas porque no podem mais ser prorrogadas, porque o acmulo de documentos e demandas desconfortvel, porque as cobranas se avultam. Mas as incertezas e as inseguranas de diversos tipos crescem em razo direta ao volume de decises no triviais que um dirigente obrigado a tomar.2.1 Deficincias na Demanda

Quando o desconhecimento sobre os resultados das aes atinge um elevado patamar de desconforto, ou quando os indcios de que no so os esperados (podendo ser o oposto), ou ainda quando surgem demandas superiores (ou de organismos internacionais e nacionais de financiamento) ou crticas de setores da sociedade sobre o desempenho, o andamento, os resultados das aes, os dirigentes optam por uma das duas mais freqentes sadas:

(a) determinam aos subordinados a preparao de avaliaes das aes sob sua responsabilidade; e


7

(b) contratam consultorias de universidades, institutos de pesquisa, especialistas na rea e, mais recentemente, de ONG (muitas criadas por tcnicos governamentais aposentados precocemente por conta da irracional poltica de pessoal e de previdncia adotada na ltima dcada e muitas outras financiadas com recursos pblicos para realizar atividades antes executadas diretamente pelos governos). No primeiro caso, produz-se um transtorno na rotina dos subordinados que, sem as condies apropriadas, iro desenvolver esforos adicionais de monta na busca de informaes no organizadas, de dados defasados e pouco confiveis, de opinies pessoais, de evidncias factuais esparsas. Conseguido o mnimo, inicia-se um processo extremamente criativo e esgotante de construo de uma miscelnea impressionista, que aps muitas horas extras e finais de semana de trabalho intenso, ir receber o pomposo ttulo de Avaliao do Programa XYZ. Apresentado o documento, tudo voltar a ser como antes, at que, passados muitos meses ou at anos, uma nova demanda surja e, sempre como um estorvo, provoque mais um espasmo avaliativo. O contedo de tal avaliao estar dedicado a mostrar as realizaes positivas do programa (na verdade estimativas das metas alcanadas), com dados de difcil confirmao porque, na maioria das vezes, so projees feitas sob bases precrias e com distores quase impossveis de serem corrigidas: uma decorrncia da noobrigatoriedade do registro sistemtico dos fatos relevantes ocorridos durante a implementao das aes integrantes do programa. Os demais captulos da avaliao iro arrolar dificuldades, sempre referentes insuficincia de recursos diversos (material, pessoal qualificado, informaes atualizadas, vontade poltica), s restries legais/ administrativas, aos cortes nas dotaes oramentrias e aos implacveis atrasos nas liberaes financeiras. Freqente ser, tambm, a atribuio de culpa aos outros eventuais atores envolvidos na execuo dos programas a mquina emperrada, outros ministrios, outras secretarias, governos estaduais e municipais que no teriam conferido a devida prioridade ao cumprir as aes que lhes tocariam. Em alguns casos mais pitorescos possvel encontrar reclamaes por conta da realidade no ter se comportado conforme o previsto ou de o pblico-alvo no ter compreendido ou cooperado na execuo das aes, com os resultados se apresentando muito diferentes daqueles esperados quando do desenho do programa. As avaliaes conduzidas dessa forma tm em comum o fato de quase nunca (e o quase apenas uma cautela, pois o universo dessas no conhecido ou publicado) alterarem as condies operacionais e o ambiente decisrio sobre os quais dissertam. No so utilizadas para o aprendizado institucional por no terem sido demandadas para servirem como instrumento de governo e de aperfeioamento. So encaradas como desvios de uma rotina impensada, de condutas repetitivas e acrticas, de processos conduzidos pelas circunstncias, nos quais os dirigentes apenas administram aspectos formais ou secundrios. So estorvos.

8


Na contratao de consultorias externas, as razes que as movem so, basicamente, de trs ordens: as exigncias formais de contratos de financiamentos externos (BID, Banco Mundial) ou internos (FAT, BNDES, CEF, entre outros); fortes presses ou crticas de atores sociais interessados (a favor ou contra) no programa que no conseguem ser respondidas com a produo interna de avaliaes; as articulaes de interesses pessoais/grupais entre os dirigentes pblicos e ncleos acadmicos, institutos pblicos de pesquisa, empresas de consultoria e consultores independentes. Quando imperam as razes ligadas a articulaes de interesses, a avaliao quase nunca sobre o conjunto da poltica governamental sob a responsabilidade do dirigente/instituio contratante, mas sobre programas ou projetos particulares, pois, assim, a autoridade ou a competncia do executivo pblico no ser questionada pelos resultados apresentados na avaliao, posto que o programa ou projeto estar, sempre, sob a direo de uma autoridade do segundo escalo. Assim, as culpas pelos eventuais insucessos podero ser atribudas aos de baixo. E se por acaso a avaliao cobrir a totalidade da atuao do contratante, o relatrio final dificilmente conter crticas duras ou mostrar a realidade nua e crua dos resultados encontrados. A atenuao de aspectos negativos, feita muitas vezes de forma um tanto inconsciente, funcionaria como um seguro para manter abertas as portas para novas encomendas no futuro. Em quaisquer dos casos, evidencia-se que a demanda no formulada com vistas a obter respostas orientadas para a melhoria do processo decisrio e para o aperfeioamento do modelo de gesto institucional. A demanda no formulada entendendo a avaliao como poderoso instrumento para elevar a qualidade global das aes. A avaliao vista ou como estorvo ou como obrigao contratual a ser cumprida ou como forma de ajudar amigos ou instituies. Quando conduzidas por consultorias externas, sero encontradas principalmente as pesquisas ou os estudos de avaliao, que constituem o produto por excelncia da cultura e do modus operandi dos institutos/centros/ncleos de pesquisa acadmica, estando eles fora ou dentro das universidades. As empresas de consultoria tambm acabam por produzi-las, pois comum contratarem professores e pesquisadores universitrios para executarem as avaliaes. As pesquisas ou estudos so concebidos com dois objetivos bsicos: avaliar os processos (se o programa est sendo implementado conforme seus objetivos, diretrizes e prioridades e se seus produtos esto atingindo as metas previstas, com a necessria eficincia) ou avaliar os impactos (verificar se as transformaes primrias e/ou secundrias na realidade so atribuveis s aes do programas, estabelecendo as devidas relaes de causalidade). Ambas exigem trabalho de campo, um largo tempo para a realizao, um nmero razovel de pesquisadores, e apresentam custos elevados (so2.2 Deficincias dos Enfoques Predominantes


9

bre os quais incidem as ambicionadas taxas de administrao das entidades pblicas conveniadas ou as taxas de lucro das empresas privadas contratadas).1 Quais os produtos e as conseqncias dos estudos e pesquisas de avaliao? Algumas respostas podem ser encontradas abrindo-se espao para dar voz a analistas da prpria academia ou de institutos de pesquisa que se debruaram criticamente sobre essas avaliaes. Em Fetichismo da Avaliao, trabalho denso e perspicaz de Ana Maria Rezende Pinto (1986, p. 88 e 89), encontramos que os avaliadores ligados ao mundo da pesquisa, bem mais do que ao do planejamento, so regidos pelo sistema de incentivos da academia, quase nunca coincidentes com os da administrao pblica. Eles so movidos pela busca de novas perspectivas tericas e metodolgicas, nem sempre de interesse imediato do decisor. Tendem, ao examinar um programa, a propor alteraes mais substanciais ou de cunho reformador mais ntido, infactveis na prtica, porque ameaam ou os valores e ideologias e rituais dos rgos que o implementam ou as alianas polticas que do sustentao ao plano. Muitas avaliaes concluem que os programas no vo bem, que as pessoas ou grupos beneficiados continuam necessitados e/ou desassistidos, oferecendo pouca evidncia sobre as possibilidades de melhorias ou reformulaes possveis. Isto quando os resultados da avaliao no so inconclusos e vagos..., o que, no arriscado afirmar, engloba a grande maioria dos estudos e pesquisas de avaliao conduzidos academicamente. Alis, essa a concluso a que chegam Argelina Cheibub Figueiredo, da UNICAMP, e Marcos Faria Figueiredo, do IDESP, aps analisarem 144 pesquisas de avaliao de programas sociais: interessante observar que a prtica de policy-recommendation no muito utilizada (...) So poucos os estudos que apresentam de forma sistemtica as providncias necessria para corrigir distores detectadas ou que apontam alternativas [Figueiredo e Figueiredo, 1986]. Se a maioria dos relatrios finais das pesquisas de avaliao de polticas, programas ou projetos so inconclusos, vagos e no apresentam recomendaes para melhorar as aes governamentais, isso no quer dizer que aqueles que conduziram as pesquisas de avaliao sejam incompetentes. O mais provvel que sejam profissionais responsveis e no aventureiros formuladores de sugestes e recomendaes sobre aquilo que no conhecem, ou seja, os meandros e desvos dos processos de formao, desenho e execuo das polticas governamentais. Algo sabidamente nebuloso, impreciso, muitas vezes no formalizado, que no gera registros sistemticos.

1

Na situao de penria em que as universidades pblicas se encontram h vrios anos, os recursos financeiros aportados por esses convnios tm representado uma vlvula de escape de enorme importncia, permitindo suplementar salrios de professores/pesquisadores, adquirir equipamentos, livros, softwares e, at mesmo, cobrir a manuteno de instalaes. verdade que, em algumas delas, existem fundaes de direito privado de fato clubes de amigos que administram esses recursos de forma bem pouco pblica e transparente.

10


As dificuldades de se conhecerem de fora esses processos so quase intransponveis. Estar dentro, por outro lado, ser capturado pela dinmica quase catica2 que impera em nossas administraes pblicas, e representa uma impossibilidade para o pesquisador acadmico enquanto tal. Talvez valha, aqui, a analogia com os buracos negros,3 um fenmeno cuja existncia ainda carece de cabal comprovao cientfica (o que no o caso dos realmente existentes processos de governo), ainda pouco conhecido e para o qual no se dispe de teoria suficiente e testada em sua capacidade explicativa. Seria o caso de se perguntar se os pesquisadores acadmicos no olham para os complexos processos de governo de modo semelhante aos astrnomos para com os buracos negros: de longe e sem teoria apropriada. As argutas observaes de Rezende Pinto se estendem, tambm, sobre esses aspectos: os pesquisadores acostumados largueza do tempo prprio da academia, nem sempre oferecem respostas no timing adequado ao decisor. Formulam muitas perguntas, encontram muitas respostas, sem considerar as expectativas das audincias de avaliao, supondo uma certa iseno do conhecimento cientfico frente s necessidades prticas e imediatas de quem decide (...). Esta maneira peculiar de trabalhar ou a lgica do trabalho acadmico bastante diferenciada daquela que orienta a ao de outros sistemas que conduzem atividade de planejamento o de deciso e de implementao. Os decisores, com sua equipe de assessoria, constituem o segmento, por excelncia, em condies potenciais para se apropriarem dos achados avaliativos. Ao decidirem sobre a pertinncia de mudanas, so, contudo, orientados por critrios2

Uso aqui a palavra catico com o sentido proposto pela teoria do caos, isto : complexos sistemas abertos, aparentemente aleatrios e imprevisveis mas que obedecem a certas regras organizativas bastante precisas. Ver Lorenz, 1996. Os buracos negros so objetos extraordinrios, verdadeiros abismos do espao e do tempo, gerados pelas fuses nucleares das estrelas que, ao longo de bilhes de anos, vo formando ncleos cada vez mais pesados. A compresso desenfreada da resultante faz a estrela ficar progressivamente menor e mais densa. Quanto maior a densidade, maior a atrao gravitacional. Quando o buraco negro se constitui, deixa de haver emisso e radiao de luz. A partir de um determinado raio, nada capaz de fugir de sua irresistvel atrao e tudo que atrado pelo buraco negro jamais retorna, sendo inevitavelmente destrudo. A fronteira que delimita a regio de no-retorno, separando o interior do exterior de um buraco negro denominada horizonte de eventos. Assim como um marinheiro no pode enxergar alm da linha do horizonte, no podemos ver nada do que se passa dentro de um horizonte de eventos de um buraco negro, inclusive em sua parte central onde se escondem os maiores mistrios. Toda a massa de um buraco negro est condensada em seu centro em forma hiperdensa; to densa que, para obt-la, precisaramos concentrar, por exemplo, toda a matria do sol num nico ponto. Tal regio denominada singularidade. Em suas proximidades, o campo gravitacional to intenso que at mesmo o espao e o tempo perdem o significado, tornando-os verdadeiros abismos espao-temporais [Matsa e Vanzella, 2000, p. 8]. Todo o conhecimento parcial obtido sobre os buracos negros advm de formulaes tericas e observaes indiretas (movimento atpico dos corpos celestiais prximos, desaparecimento de energia). Ns s podemos observar o exterior de buracos negros, mas em seu interior h a singularidade, onde as condies so extremas e preciso uma teoria da gravitao quntica para entender o que ocorre [Rees, 2000, p. 6]. Ou seja, ser necessrio compatibilizar a teoria da relatividade geral (que corrige a teoria gravitacional) com a mecnica quntica.

3


11

polticos e, no propriamente, pelas evidncias ou descobertas cientficas. So dirigidos pela lgica dos fatos polticos, necessitando resolver problemas sob presso, e com agenda apertada, os recursos para um novo programa, por exemplo, podem surgir sem que a avaliao de um outro similar tenha terminado. Neste caso, considera-se prefervel assegurar a posse dos recursos, corrigindo o fluxo de ao proporo que ela acontece. Os decisores, alm disso, no so eternos. Ao contrrio, eles mudam com freqncia, bem como seus auxiliares. A demanda, ou questo por trs do estudo avaliativo, pode estar de acordo com a prioridade de um decisor que acaba de sair, e em desacordo com a perspectiva do recm-ingressado; resultado: engavetase o relatrio, restando a possibilidade de sua descoberta muito tempo depois [Pinto, 1986, p. 89]. Alm de todas essas dificuldades, a prpria linguagem dos relatrios de pesquisas avaliativas configura, por si s, uma outra restrio utilizao no processo decisrio. O jargo tcnico-cientfico dos relatrios acadmicos e a forma de consolidao dos resultados constituem-se em obstculos adicionais ao seu aproveitamento imediato na prtica. A pesquisa no pode ser imediatamente apropriada como insumo-estratgico na formulao e acompanhamento de programas pblicos [Abranches, 1985]. Os comentrios e observaes at aqui expendidos podem ser exemplificados com as detalhadas informaes produzidas em trabalho recentemente conduzido pelo IPEA, sobre as avaliaes do Programa Nacional de Qualificao Profissional (PLANFOR) [Barros, 1999]. O modelo operacional desse programa supe a execuo descentralizada mediante convnio com as Secretarias Estaduais do Trabalho (ou equivalente) e exige a realizao peridica de avaliaes. Estas devero verificar: a eficcia benefcio das aes de educao profissional em termos de empregabilidade, melhoria do desempenho profissional, gerao ou elevao de renda, integrao ou reintegrao social; e a efetividade social definida nos mesmos parmetros de eficcia, mas do ponto de vista mais amplo das populaes, comunidades ou setores beneficiados pelo programa. No perodo compreendido entre 1996 e 1999, foram realizadas 361 avaliaes estaduais e 38 avaliaes nacionais. No primeiro ano da srie, foram avaliadas sete unidades da Federao; em 1997, 14 unidades federadas; e, em 1998 e 1999, 15 unidades. No total gastaram-se R$ 28,5 milhes. As avaliaes estaduais foram executadas preferencialmente por universidades federais (6), estaduais (1) e fundaes/institutos pblicos de pesquisa (10). As avaliaes nacionais ficaram a cargo da UNITRABALHO. Os levantamentos que produzem as informaes utilizadas nos estudos so feitos em trs momentos: no ato da matrcula; ao final do curso; e, no mnimo, trs meses aps o trmino do curso. A concluso do trabalho do IPEA que a grande maioria das avaliaes no examina os principais fatores condicionantes da eficcia dos treinamentos e no produz recomendaes para o aperfeioamento do

12


O programa, aps quatro anos de execuo, continuava apresentando praticamente as mesmas deficincias iniciais. Avaliaes externas e pesquisas avaliativas sobre polticas, programas e projetos que no foram desenhados para serem avaliados so necessariamente precrias e inconclusas, por mais competentes e dedicados que sejam os avaliadores. Isto porque no possvel, passado o tempo da implementao, mapear, de forma precisa, a situao inicial que deveria ser alterada pela poltica/programa/projeto, contrastando-a com a situao presente ou com a final. Tambm no possvel reconstruir todo o processo de interveno, em suas mltiplas dimenses, nem os contextos particulares nos quais seus diversos segmentos ocorreram. De igual maneira, no possvel reconstituir os caminhos e as circunstncias que levaram ao erro ou ao acerto, prescrevendo sugestes corretivas. Torna-se, portanto, extremamente difcil, seno temeroso, estabelecer relaes causais entre as aes desenvolvidas e os resultados alcanados, sejam estes previstos ou no, desejados ou no, primrios ou secundrios, restritos ou ampliados.2.3 Deficincias Cognitivas

PLANFOR.

Ademais, existe uma outra grande dificuldade a ser superada pelas avaliaes de natureza acadmica, referente compreenso e enfrentamento dos complexos problemas quase-estruturados [Mitroff, 1984; Matus, 1993] que predominam nas agendas governamentais (ver quadro 1). Se a complexidade a unio entre a unidade e a multiplicidade, h complexidade quando elementos diferentes so inseparveis constitutivos do todo (como o econmico, o poltico, o sociolgico, o psicolgico, o afetivo, o cultural) e h um tecido interdependente-interativo e inter-retroativo entre o objeto do conhecimento e seu contexto, as partes e o todo, o todo e as partes, as partes entre si [Morin, 2000, p. 38]. Assim, compreender e avaliar as intervenes sobre os problemas complexos exige saberes que no so encontrados nas disciplinas acadmicas e menos ainda em seus subconjuntos, nos quais se aprofundam os especialistas4 convocados a participar das equipes de avaliao. A especializao comea a ser reconhecida, no prprio ambiente acadmico, como um processo que leva a uma reduo dos horizontes intelectuais, e tanto mais quanto mais precoce se der [Castro Santos, 1998]. De novo, Morin pe o dedo na ferida: os problemas essenciais nunca so parcelados (...) e a cultura cientfica e tcnica disciplinar parcela, desune e compartimenta os saberes, tornando cada vez mais difcil sua contextualizao (...) o recorte das disciplinas impossibilita apreender o que est tecido junto, o sentido original do termo, o complexo. O conhecimento especializado uma forma particular de abstrao. A especializao abs-trai, em outras palavras, extrai um objeto de seu contexto e de seu conjunto, rejeita os laos e as intercomunicaes com seu meio, introduz o ob-

4

A definio jocosa de especialista que diz ser aquele que sabe cada vez mais de cada vez menos, no deixa de ter o seu fundo de verdade.


13

jeto no setor conceitual abstrato que o da disciplina compartimentada, cujas fronteiras fragmentam arbitrariamente a sistematicidade (relao da parte com o todo) e a multidimensionalidade dos fenmenos; conduz abstrao matemtica que opera de si prpria uma ciso com o concreto, privilegiando tudo que calculvel e passvel de ser formalizado [Morin, 2000, p. 41, 42]. QUADRO 1Problema Estruturado 1. As regras do sistema que o produz so precisas, claras, invariveis e predeterminadas. Elas existem antes da soluo do problema e permanecem iguais aps a soluo. 2. O homem est fora do problema e se relaciona com ele somente para tentar resolv-lo conforme regras predeterminadas; e, se o problema solucionado, ningum ter dvidas quanto eficcia da soluo. 3. As fronteiras do problema e do sistema que o gera esto perfeitamente definidas. No h dvidas sobre onde comea e onde acaba cada coisa. 4. As regras do sistema tornam explcitos ou contm implicitamente os conceitos (possibilidades e restries) pertinentes resoluo do problema. 5. O problema est isolado de outros problemas e, havendo uma seqncia com outros, a soluo de cada um no afeta a soluo dos seguintes. 6. O espao e o tempo pertinentes ao problema so definidos nas regras como fixos, ou tornam-se fixos para quem se relaciona com ele. 7. As variveis que constituem o problema so dadas, enumerveis, conhecidas e finitas. 8. Qualidade e quantidade no se combinam, o problema se move em um ou outro mbito. 9. As possibilidades de soluo do problema esto contidas nas suas premissas e so finitas em nmero. As solues so conhecidas ou conhecveis mesmo no sendo evidentes. 10. O problema coloca um desafio cientfico ou tcnico, podendo supostamente ser tratado com objetividade.Fonte: Matus, 1993.

Problema Quase-Estruturado 1. O problema est determinado por regras, mas estas no so precisas, nem invariveis e nem iguais para todos. Os atores sociais criam as regras, e s vezes as mudam para poder solucionar os problemas. 2. O homem (ou ator social) est dentro do problema e a que o conhece e o explica, mesmo que no tente solucion-lo. A eficcia de uma soluo discutvel e relativa aos problemas que seguem. 3. As fronteiras do problema e do sistema que o gera so difusas. 4. Os atores sociais (ou os homens) criam possibilidades de soluo, que no existem previamente. Os conceitos para compreender as possibilidades de soluo e suas restries no so dados necessriamente previamente. 5. O problema est sincrnica e diacronicamente entrelaado a outros; a soluo de um problema facilita ou dificulta a soluo de outros. 6. O espao e o tempo so relativos a quem se relaciona com o problema a partir de diferentes posies. 7. O sistema criativo e suas variveis no so dadas, no so todas enumerveis, nem conhecidas e nem finitas. 8. Qualidade e quantidade combinam-se inseparavelmente. 9. As possibilidades de soluo do problema so criadas pelo homem e so potencialmente infinitas em nmero. 10. O problema coloca um desafio mltiplo que abrange sempre o mbito sociopoltico, mesmo tendo uma dimenso tcnica. A objetividade no possvel, mas deve-se procurar o rigor.

Isso fica bastante evidenciado nas chamadas avaliaes de impacto de programas sociais, realizadas com o uso de tcnicas de controle, sob a crena de que tais tcnicas podem ter alguma validade ou adequabilidade aos processos sociais. Avaliar pro-

14


gramas sobre a perspectiva clssica significa, basicamente, isolar seus impactos. Esta concepo referenda-se no pressuposto de que determinada realidade recebe, durante um perodo de tempo definido, influxo sistemtico de aes especficas e, portanto, concomitantemente diferenciadas de outras. Essa realidade atua de forma linear, permitindo, em momento adequado, retirar, em bloco, o conjunto de aes desencadeadas, isol-las do contexto, para, ento, examinar seus reflexos. Se as situaes de experimento controlado so difceis em laboratrios, tornam-se improdutivas em campo. Assim, o curso da ao de um programa definido em contexto dinmico e interativo onde se observa simultaneidade de aes diferenciadas que traduzem formas distintas de apropriao dos recursos disponveis. Ainda que se suponha controlar as condies do projeto, as variveis ambientais, determinantes do seu impacto, so incontrolveis pelo avaliador. Os benefcios sociais resultam, no apenas de uma soma de fatores, mas de sua combinao, cuja determinncia quase sempre espria. Os elementos de um projeto que explicam impactos distintos so inmeros e diferenciados, o que torna quase nula a possibilidade de isolamento de impacto. Mesmo que se consiga levar a termo a anlise, obtendo-se alguma evidncia estatstica, o resultado pode ser frutfero do ponto de vista acadmico, mas mnimo do prtico, da aprendizagem do sistema de planejamento. Ainda assim, a causalidade do impacto ficar a descoberto, dada a multicolinearidade que acompanha aes sociais [Pinto, 1986, p. 87]. As exigncias tericas, metodolgicas e tcnicas apropriadas avaliao de problemas complexos e das intervenes, igualmente complexas, com as quais devem ser atacados, no so supridas pelas disciplinas acadmicas e suas especializaes e nem pelas tcnicas de pesquisas convencionais oriundas das cincias da natureza. O conhecimento e as informaes pertinentes e teis para a gesto de intervenes complexas em problemas complexos no sero produzidos por equipes multidisciplinares externas interveno. Estas so capazes apenas de captar evidncias e indcios parciais e indiretos, que podem ser selecionados e entendidos pelos conceitos fragmentados e tcnicas reducionistas fornecidos pelas disciplinas compartimentadas, livres das interferncias dos fatores pertencentes s especialidades vizinhas. As avaliaes produzidas por consultorias externas e as conduzidas internamente, do modo como foi descrito, pouco ajudaro o executivo do setor pblico na conduo de aes governamentais. O prprio governo, auxiliado pela universidade e pelos institutos de pesquisa, ter que coordenar um grande e extenso esforo de produo de conhecimento, apropriado (e aproprivel) ao trabalho com os objetos e sujeitos envolvidos nas prticas de governo e nas transformaes concretas da realidade social. Conhecer a complexidade dos processos quase-estruturados exige a produo de conceitos e teorias que correspondam sua natureza complexa; que sejam capazes de lidar com o difuso, o impreciso, o insuficiente, o relacional, as misturas de qualidade com quantidade, a ao criativa e imprevista, a subjetividade e os interesses dos


15

atores sociais, e a incerteza da resultante. A avaliao dos resultados obtidos por intervenes em complexos problemas quase-estruturados deve levar em conta os contextos nos quais acontecem (compreender significa apreender em conjunto: ao e contexto; as partes e o todo; o mltiplo e o uno), as referncias valorativas e ideolgicas dos que as empreendem, os interesses materiais e polticos dos decisores, entre muitos outros aspectos. Essas exigncias no so atendidas pelas disciplinas segmentadas e tampouco pelas tcnicas de pesquisa fragmentadoras da realidade. H a evidente necessidade de se produzir conhecimento apropriado caso se queira compreender e melhorar (afinal este o objetivo da avaliao) os processos de governo. Tal como a cosmologia ter que criar teorias novas para dar conta dos buracos negros, as cincias sociais tero que desenvolver teorias e tcnicas de forma que transdisciplinarmente superem as especialidades compartimentadas, o pensamento disjuntivo, as formulaes reducionistas, habilitando-se a lidar com o complexo do mundo. Cincias e tcnicas que permitam ultrapassar o horizonte de eventos e adentrar nas singularidades do ambiente e das aes governamentais5 [Dror, 1999; Mateus, 1997; Ackoff, 1987; Santos, 1996; Bronowski, 1997; Wagensberg, 1985]. O avolumar de ineficincias, de desperdcios, de equvocos na conduo das aes governamentais, o crescimento das crticas sobre a qualidade, quantidade e oportunidade dos servios e produtos oriundos da Administrao Pblica, o interminvel ajuste fiscal que exige fazer mais com o mesmo recurso financeiro ou o mesmo com cada vez menos, a insuportvel insegurana que preside os processos decisrios, a sensao dominante de que se esfora muito para obter resultados pfios, tudo isso em interao acaba por produzir um verdadeiro clamor por avaliaes.2.4 Deficientes Tentativas de Respostas Sistmicas

A medida provisria citada no incio do texto (atual Lei no 9 625, de 7 de abril de 1998), distribui competncias e atribuies avaliativas prodigamente: a) aos especialistas em polticas pblicas e gesto governamental, as atividades de apoio formulao de implementao e avaliao de polticas pblicas; b) aos analistas de finanas e controle, as atividades de apoio formulao, de implementao de polticas na rea econmico-financeira e patrimonial, de auditoria e de anlise e avaliao de resultados; c) aos analistas de planejamento e oramento e tcnicos de planejamento p-1501 do grupo TP-1500, as atividades de apoio formulao de implementao e de avaliao de polticas nas reas oramentrias e de planejamento.

5

As concluses e recomendaes da Comisso Gulbenkian para a Reestruturao das Cincias Sociais, presidida por Immanuel Wallerstein, aportam sugestes muito interessantes para a superao da estrutura disciplinar compartimentada. O relatrio final foi publicado no Brasil [Comisso Gulbenkian, 1996]. Latour (1994) tambm faz consideraes instigantes sobre o tema.

16


Todos a avaliar tudo sem especificar sob quais perspectivas seriam realizadas as avaliaes pelas diversas carreiras e pelos tcnicos de planejamento e pesquisa do IPEA. Mas, o que importa o reconhecimento de que a avaliao necessria gesto governamental e formalizao da idia do ciclo de gesto. Os exemplos de que a avaliao um instrumento do qual no se abre mo, se o objetivo efetivamente conduzir (e no ser conduzido por) processos de governo, no se esgotam na atribuio de responsabilidades entre as carreiras. Nos anos 90, foram desenvolvidas diversas tentativas de organizar sistemas de avaliaes. Sem ser exaustivo e sem considerar iniciativas de mbito setorial, destacam-se o Programa de Acompanhamento das Aes Oramentrias (PROGORCAM), o Sistema de Acompanhamento do PPA (SIAPPA), o Sistema de Acompanhamento do Brasil em Ao, todos do atual Ministrio do Planejamento, Oramento e Gesto; a Casa Civil da Presidncia da Repblica organizou o Sistema de Acompanhamento dos Projetos Prioritrios; o Ministrio da Fazenda e o extinto MARE implantaram o Sistema de Acompanhamento Gerencial e Avaliao Institucional (PAGG), alm de diversos outros sistemas ou programas desenvolvidos pelo MARE, pelas Secretarias do Tesouro Nacional e Federal de Controle, do Ministrio da Fazenda. Ainda que vrios programas incluam a palavra acompanhamento em seu ttulo, este sempre tomado como requisito para o exerccio da avaliao. Infelizmente, muitos desses sistemas no funcionaram a contento e foram desativados, outros se mostraram insuficientes e nenhum deles foi capaz de constituir-se em base apropriada organizao de processos de avaliao enquanto instrumento de gesto.2.5 Outras Deficincias que Levam as Avaliaes a Falharem

Apesar das demandas por avaliao, das freqentes afirmaes dos dirigentes pblicos sobre a importncia e necessidade da avaliao, h reconhecimento internacional de que existem mais exemplos de ineficincia e fracasso da avaliao do que de contribuies efetivas da avaliao para a tomada de decises [Capitani, 1993].

Alberto de Capitani, diretor de administrao do setor pblico do Banco Mundial, com a experincia que o cargo lhe confere, de posse de vrios estudos sobre o tema e fazendo um apanhado da bibliografia, apresenta uma lista dos sinais clnicos das causas de fracasso dos processos de avaliao (op. cit., p. 3 e 4): (i) ela evitvel quando possvel; (ii) mais provoca ansiedade e defensiva do que receptividade; (iii) os rgos responsveis pela conduo da avaliao no so capazes de especificar critrios justos e objetivos para faz-la; (iv) a avaliao no consegue proporcionar informaes teis; (v) os resultados da avaliao extrapolam com demasiada freqncia o contexto em que so aplicveis; (vi) comum a falta de uma definio compartilhada dos objetivos da avaliao; (vii) falta uma teoria de avaliao adequada; (viii) faltam conhecimentos sobre os processos reais de deciso; (ix) h insuficiente clareza sobre os critrios a serem utilizados na avaliao; (x) no h suficiente distino entre as aborda-


17

gens de avaliao para refletir as diferenas na complexidade dos objetos; (xi) faltam mecanismos adequados para organizar, processar e relatar as informaes avaliativas; e, a no menos importante, (xii) falta de pessoal devidamente treinado. uma lista extensa, mas que, segundo o prprio autor, no completa. O que importa, entretanto, o fato de que virtualmente em todos os casos de fracasso da avaliao h uma desconexo entre a avaliao e a tomada de deciso (op. cit., p. 8 e 9). Ou, em outras palavras, as avaliaes no possibilitam ao dirigente e organizao reconhecerem seus erros e acertos e agirem para corrigir os primeiros e confirmar, reproduzir e ampliar os segundos. Uma das importantes causas dessa desconexo identificada como a muito freqente suposio adotada pelos avaliadores de que a qualidade da deciso e do aprendizado organizacional determinada pelo acesso informao de melhor nvel. Esse o tipo de erro que os economistas cometem ao adotar um mundo de informaes completas, de perfeita racionalidade, amigvel e sem fronteiras (op. cit., p. 5), mundo que no tem qualquer correspondncia com a realidade governamental. A informao completa sobre problemas quase-estruturados e processos complexos inalcanvel, independentemente do quo custoso, do ponto de vista financeiro, seja tentar obt-la. A pretenso da informao completa , antes de mais nada, um auto-engano que conduz ao reducionismo inconsciente e no-considerao de variveis crticas, iludindo o destinatrio da avaliao. Ademais, as capacidades individuais e institucionais de processamento de informaes so limitadas. Muita informao desinforma. Por outro lado, a grande maioria das decises est voltada para a busca de solues satisfatrias e no de solues timas. No ambiente governamental, a avaliao interessar como um instrumento de gesto do setor pblico apenas se ela se encaixar nos processos reais de tomada de deciso, isto , nos processos que esto inseridos na realidade das polticas e instituies e so sempre afetados pela escassez e incompleteza das informaes necessrias. Nestas, foras mltiplas alm da informao influenciam a tomada de deciso e a oportunidade da informao crucial.6 A avaliao ser um elemento fundamental na conduo de polticas, programas e projetos se, ao lado de outras fontes de informao de mesma natureza como a anlise de contexto, a pesquisa socioeconmica por problemas, a execuo oramentria e a contabilidade pblicas , integrar-se no processo decisrio. Para tanto, necessrio que seja consistente com os processos de produo institucionais, com a cultura organizacional, com a dinmica decisria particular de cada instituio, e se insira com naturalidade no ciclo de criao e internalizao de conhecimento da organizao.

6

Conforme Rist (1993), citado por Capitani (1993, p. 6).

18


Fazendo uso dos achados e concluses de uma pesquisa conduzida por Rist, apud Capitani (1993, p. 8), prope uma srie de pr-condies para que a avaliao integre o aprendizado institucional, ou seja, contribua para a melhoria da qualidade da conduo tcnico-poltica das aes governamentais: (a) os rgos governamentais so sempre mais receptivos s informaes produzidas internamente do que quelas originadas em fontes externas; (b) h sempre uma correlao positiva entre a credibilidade da fonte e a aceitao da informao e do julgamento produzidos pela avaliao; (c) a aceitao da avaliao depende no s de como percebido quem a realiza, mas tambm de quo influente o receptor interno; (d) a avaliao interinstitucional deve ser legitimada institucionalmente pelo avaliado; (e) a forma pela qual a informao compartilhada com os rgos avaliados de grande relevncia; (f) sendo a avaliao um meio para o aprimoramento institucional e a melhoria da qualidade das aes, deve suportar o aprendizado organizacional como um processo contnuo. Todavia, seja qual for o modo como essas pr-condies se realizam, a varivel principal o processo particular de tomada de deciso a ser sustentado pela avaliao, e o mais importante para tornar a avaliao imprescindvel assegurar que a informao correta esteja disponvel para as pessoas certas no tempo exato (op.cit., p. 11). 3 UMA DEMANDA COM POTENCIAL ORGANIZATIVO SISTMICO A reorganizao do processo de planejamento do governo federal, cujo incio foi formalizado com a publicao do Decreto no 2 829, de 29 de outubro de 1998, enseja a conformao de uma demanda que pode vir a ter conseqncias com contedos distintos daqueles anteriormente comentados.3.1 O Contexto da Demanda

O decreto estabelece que, para a elaborao e execuo do PPA 2000-2003, e dos Oramentos da Unio (OGU), a partir do exerccio do ano 2000, toda ao finalstica ser estruturada em programas orientados para a consecuo dos objetivos estratgicos estabelecidos para o perodo do plano. O programa definido (Portaria MOG no 42, de 14 de abril de 1999) como o instrumento de organizao da ao governamental visando concretizao dos objetivos pretendidos. Cada programa estar voltado para o enfrentamento de um problema precisamente identificado, devendo conter: objetivo; pblico-alvo; justificativa; rgo responsvel; valor global; prazo de concluso; fonte de financiamento; indicador que quantifique a situao que tenha por


19

fim modificar; metas correspondentes aos bens e servios necessrios para atingir o objetivo; aes no integrantes do Oramento Geral da Unio necessrias consecuo do objetivo; regionalizao das metas por Estado (Dec. no 2 829, de 29 de outubro de 1998, art. 2o). Os programas sero coordenados por gerentes, designados pelos ministros a que estiverem vinculadas as unidades responsveis pelos programas. Os programas compem-se de aes: projetos e atividades oramentrias; operaes especiais (despesas que no geram contraprestao direta na forma de bens ou servios) e outras aes (aquelas que contribuem para a realizao dos objetivos do programa mas no exigem recursos financeiros do OGU). Para as aes devero ser indicados os produtos resultantes, as unidades de medida, as metas fsicas, os custos; a unidade responsvel e a forma de implementao (direta, descentralizada, linha de crdito). Todos os novos elementos conceituais, a metodologia que os organiza e a exigncia de maior preciso, conduzem a possibilidades de uma programao mais fidedigna e realista. Com isso abre-se espao para a construo de indicadores, coeficientes, parmetros que constituem componentes importantes de qualquer sistema de produo de informaes orientadas para a avaliao e a gesto. So, portanto, inovaes promissoras. O Plano Plurianual 2000-2003 (PPA 2000) foi produzido no bojo dessa reorganizao com uma orientao que ps forte nfase nos aspectos relacionados gesto e, por conseguinte, em um de seus principais instrumentos: a avaliao. Para a elaborao do plano, o presidente da Repblica emitiu orientao estratgica que contm seis diretrizes (de fato eram as quatro primeiras, apresentadas a seguir, que foram acrescidas em mais duas, por determinao do Congresso Nacional quando da votao da Lei de Diretrizes Oramentrias para o ano de 2000): a) consolidar a estabilidade econmica com crescimento sustentado; b) promover o desenvolvimento sustentvel voltado para a gerao de emprego e oportunidade de renda; c) combater a pobreza e promover a cidadania e a incluso social; d) consolidar a democracia e a defesa dos direitos humanos; e) reduzir as desigualdades inter-regionais; f) promover os direitos das minorias vtimas de preconceitos e discriminao. Permeiam a orientao estratgica diversas menes ao novo estilo de gesto das aes de governo, centrado na melhoria da qualidade do gasto pblico, na ampliao das capacidades de gerenciamento e de coordenao e na busca de resultados. O Plano Plurianual e os Oramentos da Unio transformaram-se nos principais instrumentos para estender os elementos de gerncia moderna a todo o Governo [Brasil, Projeto de Lei do PPA 2000, Anexo I, Orientao Estratgica, 1999, p. 3].

20


Alm das diretrizes, a orientao estratgica estabelece 28 macroobjetivos concebidos como alvos a serem atingidos pela atuao setorial e que apontam para o que deve ser feito e, por decorrncia, o que no se deve fazer (op.cit., 1999, p.2). Os macroobjetivos so acompanhados de orientaes e prioridades que visam balizar os programas setoriais e multissetoriais com os quais se procura alcan-los. A ttulo de exemplificar como esto definidos os macroobjetivos do orientaes, apresentado, a seguir, o primeiro:PPA

e suas

CRIAR UM AMBIENTE MACROECONMICO FAVORVEL AO CRESCIMENTO SUSTENTADO. As perspectivas da poltica econmica devero estar cada vez mais ligadas consolidao do novo padro de crescimento, com nfase no aumento da produtividade, das exportaes e do investimento. Com as reformas de ordem econmica, o Governo abriu espao ao capital privado na modernizao da infra-estrutura do Pas. So essenciais, nessa nova etapa, as aes de regulao e fiscalizao da participao privada, de modo a garantir o atendimento das demandas do consumidor e assegurar as condies de competitividade do setor produtivo. O Governo buscar: Simplificar o sistema tributrio e desonerar a produo, o investimento e a exportao. Criar condies para que o sistema de crdito se oriente para as operaes de longo prazo com vistas reestruturao produtiva, crescimento das exportaes e do investimento. Reforar a regulao e fiscalizao da atuao privada e dar continuidade ao programa de privatizao (op.cit., 1999, p. 4). So os seguintes os macroobjetivos do Plano Plurianual 2000-2003: 1) criar um ambiente macroeconmico favorvel ao crescimento sustentado; 2) sanear as finanas pblicas; 3) elevar o nvel educacional da populao e ampliar a capacitao profissional; 4) atingir US$ 100 bilhes de exportaes at 2002; 5) aumentar a competitividade do agronegcio; 6) desenvolver a indstria do turismo; 7) desenvolver a indstria cultural; 8) promover a modernizao da infra-estrutura e a melhoria dos servios de telecomunicaes, energia e transportes; 9) promover a reestruturao produtiva com vistas a estimular a competio no mercado interno;


21

10) ampliar o acesso aos postos de trabalho e melhorar a qualidade do emprego; 11) melhorar a gesto ambiental; 12) ampliar a capacidade de inovao; 13) fortalecer a participao do pas nas relaes econmicas internacionais; 14) ofertar escola de qualidade para todos; 15) assegurar o acesso e a humanizao do atendimento na sade; 16) combater a fome; 17) reduzir a mortalidade infantil; 18) erradicar o trabalho infantil degradante e proteger o trabalhador adolescente; 19) assegurar os servios de proteo populao mais vulnervel excluso social; 20) promover o desenvolvimento integrado do campo; 21) melhorar a qualidade de vida nas aglomeraes urbanas e regies metropolitanas; 22) ampliar a oferta de habitaes e estimular a melhoria das moradias existentes; 23) ampliar os servios de saneamento bsico e de saneamento ambiental das cidades; 24) melhorar a qualidade do transporte e do trnsito urbano; 25) promover a cultura para fortalecer a cidadania; 26) promover a garantia dos direitos humanos; 27) garantir a defesa nacional como fator de consolidao da democracia e do desenvolvimento; 28) mobilizar governo e sociedade para a reduo da violncia. Para atingir esses macroobjetivos, o PPA organiza 365 programas, entendidos como unidades de gesto, sendo que todos devem ter clara definio de objetivos e resultados esperados (op.cit., 1999, Orientao Estratgica, p.1) alm dos atributos mencionados anteriormente. As demandas por avaliao estaro presentes em praticamente todos os atos normativos que regulam a reorganizao do processo de planejamento federal, nas orientaes metodolgicas e tcnicas, nos manuais de instruo. No Decreto no 2 829, de 29 de outubro de 1998, encontramos:3.2 A Formalizao da Demanda

Art. 5o: Ser realizada avaliao anual de consecuo dos objetivos estratgicos do Governo Federal e dos resultados dos Programas, para subsidiar a elaborao de lei de diretrizes oramentrias de cada exerccio.

22


Art. 6o: A avaliao fsica e financeira dos programas e dos projetos e atividades que os constituem inerente s responsabilidades da unidade responsvel e tem por finalidade: I - aferir seu resultado, tendo como referncia os objetivos e metas fixadas; II - subsidiar o processo de alocao de recursos pblicos, a poltica de gastos pblicos e a coordenao das aes de governo; III - evitar a disperso e o desperdcio de recursos pblicos. Art. 7o : Para fins de gesto da qualidade, as unidades responsveis pela execuo dos Programas mantero, quando couber, sistema de avaliao do grau de satisfao da sociedade quanto aos bens e servios ofertados pelo Poder Pblico. Para o desenho dos programas e montagem do PPA, a Secretaria de Planejamento e Investimentos Estratgicos do Ministrio do Planejamento fez publicar, entre outros, o Manual de Elaborao e Gesto (MEG) [Brasil, SPI/MPO, 1999]. No captulo referente gesto dos programas, afirma-se que ser adotada uma viso gerencial voltada para a obteno de resultados, o que pressupe objetivos e responsabilidades claramente definidos e a aferio dos processos de trabalhos, dos produtos, dos custos, dos prazos, bem como do grau de satisfao das populaes atendidas. As informaes sobre a execuo das aes devero estar disponveis em meio eletrnico, de modo a permitir a avaliao da execuo e a divulgao dos seus resultados[op. cit. p. 15]. Ali, tambm, definido que o sistema de informaes do programa deve conter um mnimo de informaes que permita avaliar a evoluo do indicador do programa, a realizao das metas, o grau de satisfao da sociedade (quando couber), o alcance das metas de qualidade e produtividade e dos resultados globais do programa. No mesmo manual, o captulo dedicado avaliao revela que, em relao ao Plano Plurianual, a avaliao ser feita em duas etapas (op.cit., 1999, p. 21 e 22): - a avaliao do desempenho fsico-financeiro dos programas estar sob a responsabilidade dos gerentes; - a avaliao do conjunto dos programas em relao aos objetivos, diretrizes e macroobjetivos do governo ser coordenada pela SPI/MPO. A primeira etapa, conduzida pelos gerentes, dever propiciar o aperfeioamento do programa, de seus mtodos e sistemas de gerenciamento. Os resultados dessa avaliao sero utilizados como subsdios para a avaliao do PPA. Esta, por sua vez, estar orientada para: a) desempenho do conjunto de programas de cada rea de atuao do governo, em relao aos macroobjetivos estabelecidos no Plano; b) consolidao da realizao fsica e financeira das metas de projetos e atividades de cada um dos programas de cada Ministrio.


23

A segunda etapa da avaliao ser utilizada para suportar decises quanto ao gerenciamento do PPA, para a elaborao do projeto de lei das diretrizes oramentrias (inclusive alteraes no Plano Plurianual) e a alocao de recursos, mediante crditos suplementares e a elaborao de lei oramentria. As demandas por avaliao no param a. A Lei no 9 989, de 21 de julho de 2000, que aprova a PPA, diz, em seu artigo 6o: o Poder Executivo enviar ao Congresso Nacional, at o dia 15 de abril de cada exerccio, relatrio de avaliao do Plano Plurianual. 1 O relatrio conter, no mnimo: I - avaliao do comportamento das variveis macroeconmicas que embasaram a elaborao do Plano, explicitando, se for o caso, as razes das discrepncias verificadas entre os valores previstos e observados; II - demonstrativo, por programa e por ao, de forma regionalizada, da execuo fsica e financeira do exerccio anterior e a acumulada, distinguindo-se as fontes de recursos oriundas : a) do oramento fiscal e da seguridade; b) do oramento de investimento das empresas em que a Unio, direta ou indiretamente, detenha a maioria do capital social com direito a voto; e c) das demais fontes. III - demonstrativo, por programa e para cada indicador, do ndice alcanado ao trmino do exerccio anterior comparado com o ndice final previsto; IV - avaliao, por programa, da possibilidade de alcance do ndice final previsto para cada indicador e do cumprimento das metas fsicas e da previso de custos para cada ao, relacionando, se for o caso, as medidas corretivas necessrias. 2 Para fins do acompanhamento e da fiscalizao oramentria a que se refere o art. 166, 1, inciso II, da Constituio Federal, ser assegurado, ao rgo responsvel, o acesso irrestrito, para fins de consulta, ao Sistema de Informaes Gerenciais e do Planejamento do Plano Plurianual (SIGPLAN) ou ao que vier a substitu-lo. Do ponto de vista formal e normativo, apresenta-se um quadro novo. Estamos diante de uma demanda por avaliaes que: (i) se origina da cpula do governo; (ii) engloba toda a administrao pblica federal; (iii) dever orientar os processos concretos de gesto e deciso; e (iv) representa compromissos perante o poder legislativo e dever estar disponvel para a sociedade. Se levada a efeito, esta demanda ensejar a organizao de um sistema de avaliaes que poder colocar o processo de governo em patamar superior de qualidade e racionalidade. Mas, para se chegar l, um longo, tortuoso e difcil caminho tem de ser percorrido.

24


4 TORNANDO A DEMANDA MAIS PRECISA Entre os primeiros passos da caminhada consta, necessariamente, um esforo para tornar mais claro e melhor delimitar os tipos e objetivos das avaliaes que esto sendo demandadas. Como se pode constatar no captulo anterior, existem imprecises nas formulaes contidas nos atos normativos e nos manuais. Fala-se em: avaliao da consecuo de objetivos estratgicos e avaliao dos resultados dos programas; aferio dos resultados dos programas tendo como referncia os objetivos fixados; avaliao do conjunto dos programas em relao aos objetivos, diretrizes e macroobjetivos do governo; avaliao do desempenho dos programas de cada rea de atuao do governo em relao aos macroobjetivos do plano; avaliao da execuo dos projetos e atividades que integram os programas, entre outras referncias. O que se segue resulta de uma leitura e interpretao particulares. Sem dvida, muitas outras so possveis. A exigncia que, independentemente de quais forem a leitura e interpretao feitas, sejam explicitados os entendimentos e formulados os conceitos bsicos. Sem isso, no se torna evidente a lgica que presidir a organizao do sistema de avaliao nem os seus objetivos. Dada a estrutura do PPA Orientaes Estratgicas Diretrizes Macroobjetivos Problemas Programas (com objetivos especficos) Aes (com metas, prazos e recursos definidos) e a nfase gerencial (gesto dos programas e macrogesto do Plano) centrada na aplicao competente dos recursos, com vistas obteno de resultados pretendidos , acredita-se que as avaliaes requeridas so as seguintes: a) avaliao de desempenho dos programas; b) avaliao dos resultados alcanados, por macroobjetivos; c) avaliao global do tratgicos.PPA

quanto ao cumprimento dos objetivos e diretrizes es-

Se assim for, e levando-se em conta que isso decorre de uma interpretao pessoal dos documentos referentes ao PPA, necessrio definir os termos que compem os trs enunciados ou os trs supostos tipos de avaliao. Primeiramente, deve ser reconhecido que, apesar de muito se falar, quase nada existe de prtica avaliativa sistemtica e organizada na Administrao Pblica federal. No h, portanto, uma cultura de avaliao, com conceitos estabelecidos, procedimentos conhecidos, mtodos e tcnicas consagrados. Mesmo no discurso, no raro as referncias avaliao aparecem de forma inadequada. Avaliao no palavra que venha sozinha, precisando estar acompanhada do seu objeto para ganhar inteligibilidade. preciso, tambm, declarar o sujeito da avaliao, pois este lhe imprimir sentidos e enfoques particulares, distintos dos de outros sujeitos, consistentes com seus interesses e propsito. Da que um mesmo objeto poder ser avaliado em vrios dos seus aspectos e de mltiplas perspectivas, tantos quantos forem os atores singulares que as realizam. E o fazem


25

porque delas precisam para poderem agir com oportunidade e direcionalidade, segundo seus propsitos e interesses especficos [Garcia, 2000b]. A atividade mesma de avaliar compreendida de diferentes maneiras. No raro que pessoas ligadas a instituies, programas e projetos, na posio de objeto da avaliao, considerem-se a caminho do cadafalso. Muitos avaliadores, por outro lado, sentem-se mais realistas do que os reis, mais poderosos e oniscientes que os deuses do Olimpo. Entre os que se dedicam ao tema, h razovel consenso de que o processo avaliativo exitoso possui quatro caractersticas fundamentais: (i) deve ser til para as partes envolvidas no processo; (ii) tem que ser oportuno, ou seja, realizado em tempo hbil para auxiliar a tomada de deciso, que um processo incessante; (iii) tem que ser tico, isto , conduzido de maneira a respeitar os valores das pessoas e instituies envolvidas, em um processo de negociao e de entendimento sobre os critrios e medidas mais justas e apropriadas; (iv) tem que ser preciso, bem feito, adotando-se os cuidados necessrios e os procedimentos adequados para se ganhar legitimidade [Firme, 1997]. Mas, o que avaliar? Avaliar deriva de valia que significa valor. Portanto, avaliao corresponde ao ato de determinar o valor de alguma coisa. A todo o momento o ser humano avalia os elementos da realidade que o cerca. A avaliao uma operao mental que integra o seu prprio pensamento as avaliaes que faz orientam ou reorientam sua conduta [Silva, 1992].4.1 Avaliao7

Seja individual ou socialmente, seja de uma perspectiva privada, pblica ou estatal, avaliar significa determinar o valor, a importncia de alguma coisa. Avaliar ser sempre, ento, exercer o julgamento sobre aes, comportamentos, atitudes ou realizaes humanas, no importa se produzidas individual, grupal ou institucionalmente. Mas, para tanto, h que se associar ao valor uma capacidade de satisfazer alguma necessidade humana. E avaliao compete analisar o valor de algo em relao a algum anseio ou a um objetivo, no sendo possvel avaliar, conseqentemente, sem se dispor de uma referncia, de um quadro referencial razoavelmente preciso. Se a avaliao requer um referencial para que possa ser exercitada, este dever explicitar as normas (valores, imagem-objetivo, situaes desejadas, necessidades satisfeitas) que orientaro a seleo de mtodos e tcnicas que permitam, alm de averiguar a presena do valor, medir o quanto do valor, da necessidade satisfeita, da imagem-objetivo se realizaram. H de se ter em mente, todavia, que a mensurao possibilitar apenas um conhecimento parcial, limitado pela possibilidade restrita de obteno de dados e informaes quantitativas, determinada pela definio de objetivos, metas e de recursos (de toda natureza) envolvidos.

7

O que vem a seguir sobre o entendimento de avaliao foi retirado de Garcia (1997).

26


A avaliao tem que ser trabalhada com viso ampla, orientada por um julgamento de valor, algo eminentemente qualitativo, focalizada sobre processos complexos, em que os elementos em interao nem sempre produzem manifestaes mensurveis, podendo, inclusive, alguns desses elementos, no apresentarem atributos quantificveis. No se pode descuidar de que os julgamentos de valor so sempre mais complexos do que meras operaes de medio, em conseqncia, a tarefa de avaliar, mais do que saberes tcnicos, exige competncia, discernimento e o equilbrio de um magistrado [Machado, 1994] para que e possa alcanar a legitimidade necessria para validar ou impor correes ao objeto de avaliao. Ou seja: avaliar no significa apenas medir, mas, antes de mais nada, julgar a partir de um referencial de valores. estabelecer, a partir de uma percepo intersubjetiva e valorativa, com base nas melhores medies objetivas, o confronto entre a situao atual com a ideal, o possvel afastamento dos objetivos propostos, das metas a alcanar, de maneira a permitir a constante e rpida correo de rumos, com economia de esforos (de recursos) e de tempo. Sua funo no (necessariamente) punitiva, nem de mera constatao diletante, mas a de verificar em que medida os objetivos propostos esto sendo atingidos [Weneck, 1996] para tomar a melhor deciso subseqente e agir com mxima oportunidade. Evidencia-se, ento, ser de fundamental importncia dispor de clara e precisa viso da finalidade do valor que se busca alcanar com uma determinada ao ou realizao, para que se possa instituir critrios aceitveis com os quais estas sero avaliadas. Mais ainda, igualmente fundamental ter clareza do objetivo mesmo da avaliao, que aspectos do valor, da ao, da realizao estaro sendo aferidos, pois as decises que as validam ou as corrigem podem se dar em espaos distintos (legal, tcnico, administrativo, poltico, etc.), e requerer informaes e abordagens tambm distintas. De toda a argumentao precedente, pode-se perceber que, seja do ponto de vista governamental ou do da sociedade, avaliar julgar a importncia de uma ao em relao a um determinado referencial valorativo, explcito e aceito como tal pelos atores que avaliam. E que o conceito de avaliao sempre mais abrangente do que o de medir porque implica o julgamento do incomensurvel. Diferentemente de avaliar, medir comparar tendo por base uma escala fixa. A medida objetiva pode ajudar ou dificultar o conhecimento da real situao. Ajuda, se tomada como um dado entre outros e se for determinado com preciso o que est medindo. Caso contrrio pode confundir a interpretao por considerar-se a parte como todo (op.cit., 1996, p. 374 e 375). Com base no exposto, acredita-se que possvel e desejvel tentar elaborar um conceito de avaliao, de modo a permitir que outros se posicionem favorvel, crtica ou contrariamente e, nesse ltimo caso, construam conceitos superiores. Isso necessrio porque concepes distintas expressam diferenas tico-filosficas, alm das


27

de ordem metodolgica, devendo ser explicitadas para tornar mais transparentes e profcuas as contribuies para se organizarem sistemas de avaliaes com base em um legtimo entendimento comum. O que vem a seguir toma como referncia as formulaes de Jos Anchieta E. Barreto (1993) e de Thereza Penna Firme (1994), que, em dois pequenos grandes artigos, trazem inestimveis contribuies para pensar processos de avaliao das aes governamentais. Prope-se: Avaliao uma operao na qual julgado o valor de uma iniciativa organizacional, a partir de um quadro referencial ou padro comparativo previamente definidos. Pode ser considerada, tambm, como a operao de constatar a presena ou a quantidade de um valor desejado nos resultados de uma ao empreendida para obt-lo, tendo como base um quadro referencial ou critrios de aceitabilidade pretendidos. A definio do quadro referencial e dos elementos constitutivos do processo de avaliao requer um trabalho paciente de negociao cooperativa, com vistas a obter, pelo convencimento racional, um entendimento compartilhado dos pontos comuns aceitos por todos: avaliadores e avaliados. Disto depender, em larga medida, a legitimidade da avaliao e, tambm, a sua validade. Esta, por sua vez, no um critrio geral, mas um critrio especfico para cada avaliao, que pode ser vlido em uma situao e invlido em outras. Barreto sugere trs postulados para a avaliao, que podem ser adaptados para o caso em foco da seguinte forma: (a) a avaliao das aes governamentais , atualmente, um valor proclamado pelo governo e uma demanda da sociedade; (b) a avaliao basicamente um julgamento de valor; (c) a avaliao no se confunde com o ato ou processo de medir atributos de planos e programas, mas sim de verificar se eles realizam (e em quanto) os valores que anunciam explcita ou implicitamente. O autor faz, adicionalmente, dois alertas fundamentais aos quais denomina mitos da avaliao. O primeiro seria o mito da facilidade, resultante do desconhecimento da complexidade envolvida no processo, fazendo que este seja, muitas vezes, entregue a equipes ou pessoas de boa vontade, mas sem o devido preparo. A estes chama de diligentes incompetentes, considerando-os extremamente prejudiciais s instituies. O combate e a exorcizao desse mito se fazem com a formao de recursos humanos. O segundo o mito da impossibilidade de julgar aes complexas, cheias de intencionalidades incognocveis, por no existirem instrumentos capazes de faz-lo. Tal mito se constituiria em apenas um mecanismo de defesa daqueles que temem a avaliao, seja por acomodao e resistncia mudana, por medo de que a avaliao ponha em relevo a mediocridade dos trabalhos institucionais ou pessoais ou pelo desejo de preservar as instituies.

28


Thereza Penna Firme (1994) tambm faz alertas. Para ela, as verdadeiras avaliaes so aquelas que subsidiam decises, que procuram resolver preocupaes e problemas dos que conduzem polticas, programas ou projetos, que examinam e julgam a ao governamental e que se dirigem, tambm, ao usurio/beneficirio, concentrando-se nos valores e necessidades sociais. As avaliaes so teis quando requerem juzos de valor que melhor orientam o curso das aes. Por isso, tm que ser geis, presentes, e continuamente iluminar a implementao e os objetivos, que podem se defasar, sendo necessrio critic-los e mud-los. Aqueles que fazem a verdadeira avaliao seriam, em essncia, educadores, com o sucesso do avaliador sendo medido pelo que aprende do processo de avaliao e pelo que ensina. Se no compartilha o que apreende e aprende, melhor ser que no avalie. E, para concluir esta seo, so muito apropriadas as observaes de Capitani (1993, p. 11, 12 e 13). a avaliao no um elemento agregado ao design organizacional de instituies do setor pblico, mas parte integrante da funo de aprendizado institucional; a distino entre avaliao cumulativa e formativa ilusria: avaliaes cumulativas visam melhoria da administrao do setor pblico, exatamente como a avaliao formativa. Uma avaliao cumulativa que no seja formativa (isto , que no contribua para a tomada de deciso aprimorada) irrelevante e constitui uma perda de recursos; a responsabilidade uma condio que permite governar melhor e a avaliao um dos instrumentos mais importantes para a melhoria do setor pblico, pois possibilita a tomada e a prestao de contas pela atribuio de responsabilidade; para ser eficiente a avaliao precisa ser sustentada por uma cultura de aprendizado: sem esta, corre o risco de se tornar um exerccio irrelevante, ou pior, uma restrio burocrtica sufocante; como parte integrante do aprendizado organizacional, a avaliao um processo contnuo e interativo uma conversa ou um discurso crtico com as pessoas envolvidas na execuo ou atingidas pelas polticas, programas, projetos avaliados e, principalmente, com os que podem tomar decises pertinentes; no setor pblico, a avaliao ao mesmo tempo um medidor de eficcia e um veculo de responsabilidade. Nesse sentido, um instrumento indispensvel ao governo. Se a avaliao entendida como foi pro4.2 Monitoramento: Condio para a Avaliao posto na seo anterior, fica evidente sua integrao ao processo de gesto que, por sua vez, consiste na conduo cotidiana de um conjunto articulado e integrado de aes rumo a objetivos definidos, que prev a tomada de decises operacionais em meio a restries impostas por circunstncias que o dirigente/gerente no escolhe


29

nem controla. As decises devem ser tomadas com suporte de oportunas avaliaes de desempenho (eficincia e eficcia), relativas ao cumprimento das programaes pertinentes a cada nvel organizacional. Assim, um dos requisitos fundamentais para a gesto de um programa estar permanentemente informado sobre aspectos cruciais de sua implementao, o que demanda a organizao de um sistema de monitoramento de tudo o que for tcnica e politicamente relevante em um programa e das aes pelas quais se realiza. O mesmo se aplica macrogesto do plano. O monitoramento um processo sistemtico e contnuo que, produzindo informaes sintticas e em tempo eficaz, permite a rpida avaliao situacional e a interveno oportuna que confirma ou corrige as aes monitoradas. O monitoramento da gesto pblica responde ao seguinte princpio elementar: no se pode conduzir com eficcia se o dirigente no conhece de maneira contnua e a mais objetiva possvel os sinais vitais do processo que lidera e da situao na qual intervm. Um sistema de informaes casustico, parcial, assistemtico, atrasado, inseguro, disperso e sobrecarregado de dados primrios irrelevantes, um aparato sensorial defeituoso que limita severamente a capacidade de uma organizao para sintonizar-se com os processos concretos, identificar os problemas atuais e potenciais, avaliar os resultados da ao e corrigir oportunamente os desvios com respeito aos objetivos traados [Matus, 1994, p. 2]. Quem no monitora os problemas que deve resolver e o resultado das aes com as quais pretende enfrent-los no sabe o que acontece por conta do seu agir e nem que mudanas provocou com a sua ao. No sabe por onde anda, no consegue avaliar a eficincia e a eficcia de suas intervenes. Para monitorar necessrio tornar preciso o problema, demarc-lo e medi-lo com rigor, conhecer suas principais determinaes e desenhar aes especficas com o poder de eliminar ou minimizar as causas fundamentais que o geram. Ao se implementarem as aes, devero ser produzidos indicadores pertinentes porque so teis para quem responde por sua execuo e, portanto, passveis de serem trabalhados (analisados e avaliados) para poder informar a quem tem o dever de coordenar as aes e o poder de corrigi-las, caso necessrio. Somente problemas bem definidos e aes bem desenhadas e programadas, ambos identificados por precisos e detalhados indicadores, so passveis de monitoramento, podendo ser avaliados de forma conseqente e oportuna. Do contrrio, o que existir sero apenas tentativas de acompanhamento e avaliaes superficiais sob a forma de relatrios no orientados para a tomada de deciso, produzidos com enormes lapsos de tempo, sem nenhuma sintonia com os processos reais exigentes da ateno e interveno dos gerentes de programas e dos condutores do plano. O monitoramento apresenta-se, ento, como um requisito imprescindvel para o exerccio da avaliao que se pretenda um instrumento de gesto. Quem monitora, avalia. Quem avalia, confirma ou corrige, exercendo o poder de dirigir consciente e direcionalmente.

30


O monitoramento requer a produo sistemtica e automatizada de informaes relevantes, precisas, sintticas. Informaes oportunas para lidar com cada processo particular, com as peculiaridades que lhe so prprias. Essas informaes existiro apenas quando a ao tiver sido desenhada e programada de forma a permitir que se cumpra a exigncia de produzir informaes apropriadas e a um ritmo adequado tomada de decises. E isso se consegue criando condies favorveis (tcnica e informacionalmente) para se estabelecer a obrigatoriedade do registro das informaes necessrias que compem o sistema de monitoramento. Informaes que, em larga medida, sero elaboradas no processo de produo de aes. QUADRO 2 Contraste entre o Monitoramento e a Produo EstatsticaCARACTERSTICA 1. USURIO SISTEMA ESTATSTICO INDEFINIDO. O usurio indefinido, muito variado e at mesmo potencial, pois trata-se de gerar informaes teis para interesses muito diferentes e para propsitos atuais ou futuros. DIVERSIFICADA. A informao estatstica sempre extensiva e diversificada para atender uma grande variedade de usurios potenciais com interesses muito variados. ALTO. O atraso permitido bastante grande, pois a informao estatstica no est comprometida no feed back de um processo em andamento. NO PERECVEL. No tendo demanda peremptria, a informao estatstica no perecvel. Seu valor mais histrico, no sofrendo deteriorao com o tempo. Sua funo mais a de registrar o que passou, e no alimentar de imediato o que vem a seguir. PRODUO CENTRALIZADA E USO GENERALIZADO. A informao estatstica tende a ser produzida de forma muito centralizada, mediante um fluxo vertical de produo. Em compensao, seu uso generalizado em todos os nveis. PRIMRIA. A informao estatstica basicamente primria, no processada, para poder atender demandas muito variadas de tratamento por parte de usurios muito diversificados. SISTEMA DE MONITORAMENTO BEM DEFINIDO. No monitoramento, o usurio um ator concreto, atual, muito bem definido, que necessita de informaes para orientar a ao cotidiana, para conhecer seus resultados e compar-los com o planejado. ULTRA-SELETIVA. Os sistemas de monitoramento so projetados para atender um usurio concreto, responsvel por um plano/programa/projeto especfico. A informao necessria ultra-seletiva. INFORMAO EM TEMPO EFICAZ.O monitoramento tem que atuar em tempo eficaz e, no limite, em tempo real, pois usado para corrigir com oportunidade aes em andamento. Informao fora do prazo eficaz desinforma. PERECVEL. O monitoramento serve como feed back para a ao, produzindo informaes perecveis. Se chegarem fora do tempo tero valor igual ao de um jornal velho.

2. MASSA DE INFORMAO

3. ATRASO ACEITVEL

4. PERECIBILIDADE

5. PRODUO E USO

PRODUO DESCENTRALIZADA E USO ESPECFICO. O monitoramento totalmente descentralizado, produzindo informaes que permitam corrigir oportunamente aes no nvel em que ocorram. Seu uso muito particular para as necessidades do usurio.

6. TIPO DE INFORMAO

INDICADORES E SINAIS. O monitoramento opera com indicadores e sinais significativos para um usurio especfico. Resultam de um processamento complexo das informaes bsicas e dirigido para atender necessidades decisrias referentes aos planos/programas conduzidos pelo usurio.

Fonte: Matus (1996, p. 3).

Os sistemas de informaes tradicionais, baseados em estatsticas e em registros descontnuos e inorgnicos, muitas vezes quase aleatrios, tentam oferecer muita informao no pertinente e no processada. Desse modo, provocam uma congesto


31

no sistema sensorial das organizaes e, em ltimo termo, acabam por desinformar ao dirigente. Muitas antenas anulam a capacidade e nitidez de recepo da informao que importa. Se confunde a enorme massa de informao gerada na base, que constitui a matria-prima informativa que deve ser processada pelo monitoramento, com o nmero reduzido de informaes relevantes que, mediante filtros inteligentes, geram os sinais que devem guiar o processo de direo. O sistema de monitoramento deve ser capaz de manejar em forma gil e flexvel uma grande massa de informao sobre a gesto de uma organizao pblica, reduzindo esta grande massa que desinforma por sobrecarga de dados a um grupo reduzido de sinais e informao filtrada e inteligente [Matus, 1994, p. 14] que permite a tomada de decises com rapidez e maior segurana. O quadro 2 mostra, com preciso e sntese, as principais diferenas entre os sistemas de estatstica e de monitoramento. Assim como um alto dirigente responde pelo conjunto do plano, um gerente o responsvel pelo enfrentamento global do problema que o programa busca resolver. Isso significa que a ele cabe coordenar o conjunto de aes concebidas como necessrias e suficientes, para que sejam implementadas de forma convergente, na seqncia temporal apropriada, com a intensidade adequada, atingindo as causas crticas do problema. Da mesma forma, o alto dirigente precisa saber, no seu nvel, do andamento global do plano para poder conduzi-lo com propriedade, tomando as decises corretas, no tempo certo. Para assim procederem, imprescindvel que estejam, ambos, permanentemente aptos a tomarem as decises necessrias em cada momento que elas se apresentarem, com segurana e oportunidade. Isso se concretiza com contnuas avaliaes de desempenho [Garcia, 2000c, p. 17]. Como se consegue isso? A resposta simples: estando informado sobre tudo o que importante, para poder avaliar e agir. Mas alcanar essa condio no algo simples. Supe que as informaes de base (menor unidade operativa de cada ao) estejam sendo registradas, agrupadas (para conformar um conjunto significativo), agregadas (para compor tarefas e, posteriormente aes), relacionadas (para construir os indicadores), analisadas e avaliadas. Importa, tambm, estar informado sobre o contexto no qual se desenvolvem as aes (restries, imprevistos, surpresas, oportunidades), pois a informao (ou indicador) somente ganha sentido e torna-se inteligvel quando referida ao cenrio no qual se realizou. Ademais, fundamental dispor de informaes em tempo oportuno para poder agir com eficcia e, bom lembrar, as aes acontecem em ritmos de tempo diferentes, exigindo decises em tempos tambm distintos. Mas o que um indicador e como ele integra um sistema de monitoramento? Um exemplo prosaico pode ajudar. Em uma viagem rodoviria, parte-se de um ponto no espao com o objetivo de chegar a outro. Quem dirige o veculo automotor precisa estar, permanentemente, informado sobre aspectos cruciais do veculo (quantidade de combustvel, consumo

32


mdio, velocidade, temperatura, nvel do leo etc.), da estrada (distncia percorrida, existncia de buracos, reas de escape, curvas, declives, posio em que se encontra, postos de servios, referncias importantes, etc.), do trfego (mais ou menos intenso, velocidade mdia do trnsito, possibilidades de ultrapassagem, tipos de veculos predominantes, etc.), do clima (chuva, neblina, calor, frio, etc.). So informaes obtidas visualmente por meios diretos ou indiretos (sensores do painel do veculo, marcos e avisos na estrada, mapas, entre outros). Essas informaes indicam se o caminho certo est sendo percorrido e permitem avaliaes contnuas que orientam o comportamento e as decises do condutor, com vistas a conseguir o melhor desempenho, em condies mais seguras. O motorista dirige o carro porque o conhece e o faz funcionar mediante comandos precisos e oportunos. Ele o conduz rumo a um destino porque conhece o caminho e obtm informaes confiveis, em tempo eficaz, sobre todos os aspectos relevantes do carro, das estradas, do trnsito, do clima. Se assim no for, no alcana seu objetivo. Conduzir um plano de governo, dirigir uma instituio pblica, gerenciar um programa, exige conhecer a evoluo da situao problemtica enfrentada e avaliar os resultados das aes desenvolvidas para modific-la a tempo. Trata-se de algo muito mais complexo do que realizar uma viagem rodoviria. Aqui as possibilidades de monitoramento visual direto so muito limitadas, requerendo o monitoramento indireto mediante o uso adequado de indicadores apropriados ao processo de direo. Os indicadores indicam os movimentos significativos de todas as variveis tcnica e politicamente relevantes para a conduo estratgica de um plano, programa, projeto ou instituio. O indicador deve mostrar movimentos que precisamos conhecer mas que no podemos observar diretamente. So obtidos pelo processamento de informaes relativas aos aspectos importantes dos processos que compem a realidade problemtica e s aes com que se busca mud-la. As informaes necessrias a compor indicadores tm fontes variadas. Parte expressiva destas vir de registros administrativos concebidos com esse propsito, conformando sistemas de informaes gerenciais, base para a organizao do monitoramento. Outras fontes importantes so: atas regulares de inspeo (andamento de obras, cumprimento de normas, etc.); amostragens estatsticas peridicas ou especiais; pareceres de peritos; mdia; opinies de usurios sistematicamente aferidas, entre outras. Tipos de Indicadores 1. Sobre os Problemas - Indicador(es) do Problema - Indicadores das Causas Crticas - Indicadores das Conseqncias do Problema


33

2. Sobre os Atores Pertinentes ao Problema - Indicador de Interesse - Indicador de Motivao - Indicador dos Recursos Controlados 3. De Execuo - Indicadores de Recursos (financeiros, humanos, materiais, etc.) - Indicador de Eficincia . intermediria . terminal - Indicador de Eficcia . intermediria . terminal - Indicador de Oportunidade (cronograma de execuo) - Indicador da Execuo Oramentria 4. De Contexto Indicadores referentes s variveis relevantes para o sucesso do programa e que esto fora da capacidade de predio e controle do gerente/ator. 5. De Resultados Indicadores sintticos que evidenciam as transformaes produzidas na realidade social (sobre o pblico-alvo) por conta da execuo do programa. A Cadeia de Produo de Indicadores8 A produo de indicadores realizada mediante uma cadeia de gerao de informaes em nveis cada vez mais agregados. Cada elo da cadeia tem um responsvel pela realizao de uma funo especfica que ir, obrigatoriamente, registrando cada fato relevante, de forma previamente estipulada. Assim, gerado um produto informativo a ser entregue, a tempo, ao responsvel pelo elo seguinte da cadeia. A cadeia completa tem cinco elos bsicos: 1. fonte primria de informao registro do evento ou captao particular da informao; 2. processamento primrio agregao sistemtica da informao primria para obter uma totalidade significativa da descrio do movimento da varivel monitorada;8

Conforme Matus (1994, p. 24 e 25).

34


3. construo de indicadores estabelecimento de relaes entre variveis; 4. elaborao de sinais numricos no ponto terminal do monitoramento relao entre o indicador obtido a cada momento e o indicador-norma ou o enquadramento do indicador real na faixa de normalidade estabelecida (na faixa ou fora dela); 5. transformao do sinal numrico em cone, gerando capacidade de uma compreenso grfica visual e rpida do seu significado. FIGURA 1 Fluxograma Ilustrativo da Construo e Leitura de IndicadoresRegistro Primrio A Processamento Primrio Plano Cenrio

Indicador-Norma Registro Primrio B

Processamento Primrio

INDICADOR REAL

SINAL

CONE

Registro Primrio C

Processamento Primrio

Ateno - Alarme

O tempo, por outro lado, o recurso mais escasso para um decisor, devendo ser muito bem usado. Uma forma interessante de economizar tempo dispor de indicadores sintticos sobre todas as variveis relevantes de um programa. Quando possvel estabelecer um indicador-norma ou uma faixa de normalidade, a avaliao pode ser feita de maneira expedita, possibilitando rapidez na tomada de deciso. Com esses artifcios so reduzidos os riscos de entulhar o dirigente com informaes no processadas, acelera-se o processo decisrio e so asseguradas condies para a cobrana e prestao de contas. A transformao de um grande volume de informaes primrias em um pequeno volume de informaes relevantes e sintticas feita, dessa forma, mediante a converso dos registros simples de fatos em indicadores e sinais. A informao primria armazenada nunca ser exposta diretamente ao olhar do gerente/dirigente, porque no relevante e porque muita informao desinforma e distrai o decisor do seu foco de ateno. Mas a informao bsica deve ficar armazenada na memria do sistema. Exemplo 1: - Indicador: relao aluno/professor - Indicador norma: 25/1


35

- Indicador real: 38/1 - Sinal: fora da normalidade Exemplo 2: - Indicador: taxa de aprovao - Faixa de Normalidade: 80% a 90% - Indicador Real: 62% - Sinal: fora da faixa de normalidade A gesto de um programa integrante do PPA sinnimo de obteno de resultados que confluam para a realizao dos macroobjetivos do plano. Um gerente estar, permanentemente, em busca do melhor desempenho possvel e, em simultneo, procurando alargar os espaos de possibilidade, para a plena execuo das aes. A gesto competente, portanto, aquela que consegue assegurar cotidianamente as condies adequadas para a produo eficaz e eficiente dos resultados intermedirios ou de unidades de resultado no dia-a-dia da implantao dos programas (ver Garcia, 2000d). Isso se faz mediante um processo de monitoramento e avaliao que suporte o julgamento e a pertinente e oportuna deciso. Os sistemas de monitoramento, avaliao e deciso so construdos caso a caso, respeitando as peculiaridades dos processos de produo de aes, das instituies responsveis e dos dirigentes. Exige, portanto, a definio prvia de um modelo de gesto que ainda no preciso e detalhado. Mas as exigncias postas pela macrogesto d

GARCIA Ronaldo Coutinho - Subsídios para organizar avaliações da ação governamental

Documents

Transcript of GARCIA Ronaldo Coutinho - Subsídios para organizar avaliações da ação governamental