Meta-análise sobre Avaliação de Programas e Projetos Sociais: levantamento de artigos publicados no período de 2000 a 2009

Autoria: Natália Real Pereira, Fernanda Cristina da Silva, Ronise Suzuki de Oliveira

Resumo

Os estudos sobre avaliação de programas e projetos sociais, durante muito tempo, eram escassos e por vezes, sem muita clareza, pois não existia um campo de conhecimento específico ao qual esses estudos pudessem ser associados. Posteriormente, a colaboração de pesquisadores de diversas áreas do conhecimento permitiu o amadurecimento das diretrizes teórico-metodológicas deste campo de pesquisa, gerando uma variedade significativa de tipos e modelos de avaliação de programas e projetos sociais. Atualmente, temas como eficiência, eficácia e desempenho ganharam popularidade no meio acadêmico e governamental. Nesse sentido, as pesquisas sobre avaliação adquirem relevância, na medida em que podem trazer à tona problemas, inconsistências ou mesmo potencialidades de um determinado processo. Diante do exposto, o presente artigo tem como objetivo analisar a produção científica da última década em relação aos estudos sobre avaliação de programas e projetos sociais. Para tanto, foram levantados todos os artigos publicados na Revista de Administração Pública (RAP), na Revista do Serviço Público (RSP) e nos anais de todos os eventos organizados pela Associação Nacional de Pós-Graduação e Pesquisa em Administração (Anpad) entre os anos de 2000 e 2009. Ao todo foram analisados 56 artigos, os quais foram analisados por meio da técnica análise do conteúdo, fundamentada em Bardin (1977). Na primeira etapa, foi realizada a caracterização dos artigos por meio das seguintes subcategorias : (i) instituições de origem dos trabalhos; (ii) ano de publicação; (iii) autores mais citados. Posteriormente, foram analisados os artigos oriundos de pesquisas empíricas em relação às seguintes subcategorias: (i) metodologia em relação ao momento da avaliação; (ii) metodologia em relação aos fins da avaliação; (iii) abordagem metodológica; (iv) área temática. Os resultados mostraram que somente a partir do ano de 2006 houve um aumento no número de publicações sobre o tema e que boa parte dessas publicações são de instituições das regiões sul e sudeste. Em relação aos estudos empíricos nota-se que a maior parte pode ser caracterizada como ex-post em relação ao momento da avaliação (80%), como avaliação de impactos (55%), no que diz respeito aos fins da pesquisa, e de natureza qualitativa (50%), quanto à metodologia utilizada. Já em relação a área temática dos programas e projetos analisados destacaram-se as áreas da educação, assistência social e agropecuária. Acredita-se que os resultados encontrados no trabalho possam contribuir para uma possível complementaridade do conhecimento desenvolvido na área sob diferentes perspectivas.

 

  2

1. Introdução O aprimoramento dos instrumentos de controle social do Estado brasileiro, nos últimos

20 anos, fez com que a mídia, os sindicatos, os conselhos gestores de políticas públicas e a própria sociedade civil passassem a exercer um maior poder de fiscalização sobre os governantes. Como conseqüência, exige-se maior eficiência, eficácia e efetividade na gestão dos gastos públicos, o que demanda a reorganização das atividades de planejamento, implementação e controle dos programas sociais.

Segundo Thoenig (2000), há motivos para crer que a avaliação está destinada a desempenhar um papel importante no atendimento dessas expectativas, uma vez que ela possibilita aos gestores, além da escolha das alternativas mais econômicas para alcançar os objetivos traçados, que estes acompanhem os projetos e promovam alterações nos rumos do projeto quando se julgar que os objetivos não estão sendo alcançados.

A avaliação pode ser considerada como um componente das práticas presentes em diversos âmbitos e campos do espaço social. Entretanto, apesar das inúmeras considerações existentes a respeito da função avaliativa, a conceituação da avaliação de programasi e projetosii sociais ainda não é consensual (ALA-HARJA e HELGASON, 2000).

O objetivo da avaliação, em um entendimento mais amplo, relaciona-se com a determinação do valor de um programa ou de parte dele. De acordo com Aguilar e Ander-Egg apud Cotta (1998), a avaliação pode ser entendida como um processo destinado a identificar, obter e proporcionar, de maneira válida e confiável, dados e informações relevantes para apoiar um juízo sobre o mérito e o valor dos diferentes componentes de um programa que se realiza, foi realizado ou se realizará, com o propósito de produzir efeitos e resultados concretos. E tem como premissa comprovar a extensão e o grau em que se deram essas conquistas, de forma tal que sirva de base uma tomada de decisões racionais, ou para solucionar problemas e promover o conhecimento e a compreensão dos fatores associados ao êxito ou ao fracasso de seus resultados. Além disso, o processo avaliativo permite, muitas vezes, que os gestores conheçam melhor as necessidades e a percepção dos usuários/beneficiários, que testem a viabilidade de seus projetos e se certifiquem de que as ações implementadas levarão ao alcance dos objetivos previstos, ou ainda, possibilita aos gestores conhecerem e mensurarem o impacto dessas ações. Em suma, trata-se de uma ação contínua, comprometida com as repercussões de um projeto ao longo da sua realização. De acordo com Vasconcelos (2007), o papel da avaliação deve transcender a fiscalização e o controle, abrangendo uma intensa reflexão feita com todos envolvidos no processo. Nesse sentido, a idéia fundamental é que os processos avaliativos ajudem os envolvidos a encontrarem seus próprios caminhos de aprendizagem e desenvolvimento, e ampliem o nível de consciência dos sujeitos e agentes sociais.

Assim, com intuito de consolidar o conhecimento acerca desses vários aspectos da avaliação de programa e projetos sociais, o presente artigo tem como objetivo analisar a produção científica dos últimos anos em relação aos estudos sobre avaliação de programas e projetos sociais. Para tanto, foram levantados todos os artigos publicados na Revista de Administração Pública (RAP), na Revista do Serviço Público (RSP) e nos anais de todos os eventos organizados pela Associação Nacional de Pós-Graduação e Pesquisa em Administração (Anpad) entre os anos de 2000 e 2009.

Na primeira etapa, foi realizada a caracterização dos artigos por meio das seguintes subcategorias: (i) das instituições de origem dos trabalhos; (ii) ano de publicação; (iii) autores mais citados. Posteriormente, foram analisados os artigos oriundos de pesquisas empíricas em relação aos seguintes critérios: (i) metodologia em relação ao momento da avaliação; (ii)

 

  3

metodologia em relação aos fins da avaliação; (iii) meta-avaliação; (iv) abordagem metodológica; (v) área temática.

2. Referencial Teórico

2.1. Avaliação de Programas e Projetos Sociais como Objeto de Estudo A avaliação de programas e projetos sociais se encontra atualmente em um estágio de

maturidade analítica e conceitual, alcançado através de um desenvolvimento potencializado pelas inovações da legislação e implementação das diferentes políticas sociais dos governos norte-americanos (REBOLLOSO E PACHECO, 1998).

De acordo com Cavalcanti (2007), na Inglaterra, durante o século XIX, o descontentamento com os programas educacionais e sociais gerou movimentos de reforma e, para avaliar tais programas, foram designadas comissões constituídas por membros da realeza para ouvir e analisar testemunhos.

Segundo a mesma autora, foi a partir da década de 1930 que iniciou-se um esforço em direção à avaliação dos programas sociais nos Estados Unidos, a fim de averiguar se os recursos públicos estavam sendo bem aplicados e surtindo os resultados esperados. Dessa forma, visando a subsidiar as avaliações, ocorreu uma gradativa inserção de cientistas sociais nas agências governamentais, com o objetivo de desenvolver pesquisa social aplicada às áreas de interesse público tais como: saúde, educação, transportes.

Nesse sentido, a necessidade de “se conhecer os resultados” das ações sociais voltadas, principalmente, para a saúde e educação direcionou a prática avaliativa. O desenvolvimento de novos conhecimentos científicos, que inclui a aplicação de ferramentas estatísticas, bem como o advento de novas tecnologias contribuíram também para o avanço da avaliação na pesquisa social.

No entanto, ainda observa-se que, atualmente, as decisões na área de programas e projetos sociais costumam ser tomadas com boas intenções a fim de atender às necessidades de determinada população, mas geralmente carecem de análise técnica das alternativas que permita selecionar a mais eficaz para consecução dos objetivos procurados e mais eficiente na utilização dos recursos que serão destinados a tal programa (COHEN e FRANCO, 2008).

Remontando a história das avaliações de projetos sociais, verifica-se que as abordagens iniciais datam da década de 50, quando as agências de desenvolvimento governamentais começaram a utilizá-las. O objetivo era tentar prever, antes que o projeto tivesse início, seus possíveis resultados em termos ambientais, sociais e econômicos, visando a dar prosseguimento ou nem mesmo implementá-lo (ROCHE, 2002).

Reforçando esses argumentos, Albaek apud Faria (2005) afirma que quando do início da massificação da avaliação nos Estados Unidos, na década de 1960, a pesquisa avaliativa era encarada predominantemente como ferramenta de planejamento destinada aos formuladores de políticas e aos gerentes de alto escalão. Buscava-se elaborar o melhor modelo ou referencial metodológico que permitisse avaliar o grau de sucesso ou fracasso das intervenções estatais na área social, através da construção de métodos avaliativos pautados em critérios definidos a priori e, geralmente, desconsideravam-se as variáveis contextuais que poderiam obstaculizar (ou facilitar) o processo de intervenção. O objetivo central desses estudos era respaldar as ações do governo ao instrumentalizar o planejamento social e indicar correções de seu curso (CASTRO, 1989).

Posteriormente, em um contexto de expansão do gasto público no país, de escasso conhecimento acerca do impacto da ação governamental e da busca de um maior controle sobre os burocratas/implementadores, a avaliação é institucionalizada, tendo como característica predominante o seu desenho top-down. Já na década de 1970, avolumaram-se as evidências sobre o excesso de otimismo no que dizia respeito à plena utilização e

 

  4

incorporação, de forma racional, dos resultados das avaliações. O paradigma top-down foi assim progressivamente revertido, abrindo espaço para o desenvolvimento de abordagens e metodologias bottom-up (REBOLLOSO E PACHECO, 1998).

No Brasil, as primeiras iniciativas institucionalizadas referentes à avaliação foram observadas no início da década de 70, quando o governo tentou montar um sistema de acompanhamento e avaliação do programa de metas e bases para ação do governo. O primeiro relatório elaborado referia-se ao exercício de 1971, quando constatou-se um elevado grau de execução dos projetos incluídos no plano de governo (75% dos projetos). Após essa experiência, foi procedida a avaliação do I Plano Nacional de Desenvolvimento – PND (1972) que também apresentou um resultado positivo e deu início ao Programa de Acompanhamento dos PND's até o início do regime militar – quando, assim como os projetos dos PNDs, as contas do Executivo também deixaram de ser apreciadas pelo Congresso Nacional (GHIRLANDA e TRISTÃO, 2002).

Na década de 80, a crise de financiamento e o grau de endividamento público soterraram o planejamento e as ações públicas passaram a ser conduzidas com predominância de uma perspectiva de curto prazo.

Com a agenda de reformas estruturais empreendida nos anos 90, verificou-se um crescimento da demanda por ações e serviços sociais, especialmente os de natureza compensatória. Nesse cenário de crônica escassez de recursos, tornou-se necessidade crucial e urgente o aumento da eficiência e do impacto dos investimentos governamentais em programas sociais (COSTA e CASTANHAR, 2003).

Em decorrência disso, a pesquisa de avaliação de programas e projetos sociais expandiu-se diante do contexto de transição política e da necessidade de formulação de políticas sociais mais equânimes, a fim de garantir o direito dos cidadãos na construção de uma nova ordem democrática. Assim, começava a surgir um conjunto relativamente amplo de estudos e análises que objetivam avaliar o funcionamento e o impacto dos programas governamentais (SERPA e CALMON, 2009).

Todavia, na prática, o que se observa no cenário atual, segundo Guirlanda e Tristão (2002), é um grande hiato entre o diagnóstico da situação, a tomada de decisão, a implementação e a avaliação dos programas. Essas atividades são dissociadas e os problemas detectados não são analisados de modo que contribuam para o aprimoramento do programa.

De acordo com Serpa e Calmon (2009), o que se vê no Brasil, atualmente, é um amplo acervo de teorias, modelos e técnicas de avaliação desenvolvidas no exterior, que têm sido absorvidas de maneira passiva e acrítica, transpondo isoladamente para o contexto nacional modelos e estratégias específicas que, muitas vezes, requereriam uma reflexão mais detalhada.

2.2. O debate metodológico no âmbito da avaliação de programas e projetos sociais De acordo com Faria (2005), parte significativa dos estudos sobre os processos de

avaliação de políticas públicas desde a década de 1960 refere-se às questões de ordem metodológica e/ou às distintas maneiras de se classificar a avaliação.

Atualmente, a vasta literatura, sobretudo americana, dedicada aos estudos de avaliação dispõe de uma variedade de métodos avaliativos, elaborados em função da natureza do objeto examinado e dos objetivos e intenções privilegiados pelos analistas. Segundo Castro (1989, p.3):

Dos enfoques econométricos e de cunho mais quantitativo às abordagens mais interativas que levam em conta as variáveis contextuais e processuais vinculadas à implementação de políticas em

 

  5

situações específicas, configurou-se um vasto campo de estudos que incorpora um enfoque interdisciplinar bastante influenciado pelas Ciências Sociais, entre outras áreas do conhecimento.

Nesse sentido, a primeira pergunta a ser feita deve ser: o que avaliar? Essa pergunta é

necessária para que se determine o foco da avaliação, uma vez que uma metodologia de avaliação de programas sociais envolve a escolha de um conjunto de critérios e o uso de um elenco de indicadores (ou outras formas de mensuração) consistentes com os critérios escolhidos e que permitam efetuar um julgamento continuado e eficaz acerca do desempenho de um programa, mediante o confronto com os padrões de desempenho anteriormente estabelecidos.

Do ponto de vista metodológico, o ponto central da avaliação de programas e projetos sociais é estabelecer conexões lógicas entre seus objetivos, seus critérios de avaliação e os modelos analíticos, devendo analisar os propósitos, produtos e/ou impactos gerados por determinada decisão governamental, bem como as “razões” (morais ou instrumentais)iii que motivaram sua avaliação.

Dentre as metodologias usuais de avaliação verifica-se: a avaliação de metas, que tem como propósito medir o grau de êxito que um programa obtém com relação ao alcance de metas previamente estabelecidas; a avaliação de impactos, em que o problema central a investigar é a efetividade do programa, recorre-se, assim, a mecanismos que permitam estabelecer relações causais entre as ações de um programa e o resultado final obtido; a avaliação de processos, que acompanha os processos internos de determinado projeto ou programa (COSTA e CASTANHAR, 2003).

Nessa discussão, a elucidação de três conceitos chave torna-se fundamental. O primeiro deles, a eficácia, relaciona-se com o “grau em que se alcançam os objetivos e metas de um programa ou projeto na população beneficiária, em um determinado período de tempo, independentemente dos custos implicados” (COHEN e FRANCO, 2008:102). Segundo estes mesmos autores, o conceito de eficiência pode ser considerado a partir de duas dimensões complementares: de um lado a quantidade de produto está predeterminada, logo, procura-se minimizar o custo total; de outro, o gasto total está previamente fixado, procura-se, então, otimizar a combinação de insumos para maximizar o produto. Por fim, o conceito de efetividade refere-se à razão matemática entre os resultados e os objetivos (COHEN e FRANCO, 2008:107).

Atualmente, maior atenção tem sido dada a uma metodologia de estruturação de políticas públicas chamada metodologia do marco lógico. Esta metodologia parte da concepção de políticas públicas como processos articulados e estabelece os recursos que configuram a política pública, seus programas e projetos, e encadeiam as etapas de um mesmo programa, desde o diagnóstico da população-alvo até a definição de critérios para intervenção.

Essa abordagem começa por analisar a situação existente e desenvolver os objetivos a fim de dar resposta às necessidades reais. A fase de análise geralmente começa com uma análise dos problemas. A análise do problema é realizada através da identificação dos principais problemas e desenvolvimento de uma "árvore do problema" em que são analisadas as causas e efeitos. Identificando o principal problema, técnicas de brainstorming são utilizadas para identificar as conseqüências decorrentes desse “macro-problema” Em seguida, a árvore do problema é transformada em uma árvore de objetivos ao se reafirmar os problemas como objetivos. Em suma, a árvore de objetivos seria nada mais que a imagem-espelho positiva da árvore do problema, em que o topo da árvore é o fim desejado e os níveis mais baixos são os meios para que se alcance tal fim. Na fase seguinte, dar-se-á a análise estratégica que buscará avaliar a viabilidade das diferentes intervenções. Desse modo, o

 

  6

estágio final da fase de análise envolve a seleção de uma estratégia para atingir os resultados desejados (DEY, HARIHARAN e BROOKE, 2006).

3. Procedimentos metodológicos do estudo

Esta pesquisa pretendeu analisar publicações científicas nacionais que tratam sobre a

avaliação de programas e projetos sociais. Consiste em um meta-estudo do tipo bibliográfico, de nível descritivo e exploratório, uma vez que busca a identificação de aspectos ainda não explorados sobre o problema formulado (VERGARA, 2006).

Rich et al. (1999) afirmam que a meta-análise é uma técnica rigorosa amplamente utilizada e aceita, que objetiva acumular resultados de vários estudos para se chegar a uma representação mais acurada do seu relacionamento na população do que aquela fornecida pelos estimadores de estudos considerados de forma individual.

Assim, o processo central dessa metodologia é a combinação de dados, de forma quantitativa, resultando em um trabalho que consolida os resultados dos estudos individuais agrupados (PEREIRA, 2004).

De acordo com Hunt (1997), apud Pereira (2004), a meta-análise foi originada em 1904, quando o matemático Karl Pearson inventou um método para combinar resultados divergentes. Contudo, apenas em 1976, a partir do estudos de Gene Glass e Mary Lee Smith, foi realizado um estudo e apresentados os resultados de uma meta-análise em Psicoterapia, envolvendo a análise de 375 estudos e 833 effect sizes durante dois anos.

Não obstante, a meta-análise por ser utilizada nas diversas áreas do conhecimento, passou a ser alvo constante de críticas quanto ao seu potencial de generalização e de grupamento de estudos com naturezas diversas (PEREIRA, 2004).

Conforme Armstrong (2001), citado por Pereira (2004), a meta-análise pode ser entendida como um “estudo de estudos”. Segundo o autor, esta metodologia torna possível identificar estudos realizados em determinada área do conhecimento, visualizar estudos relevantes, codificar os resultados, e realizar um sumário quantitativo dos mesmos. Assim, conforme Pereira (2004, p. 3), o pesquisador pode “explorar a causa principal das incoerências em determinada pesquisa, auxiliando no delineamento de pesquisas futuras a partir da consideração conjunta de resultados”.

Para o autor supracitado, a realização de uma meta-análise quantitativa envolve as seguintes etapas:

1. Formulação do problema: nesta etapa o pesquisador deve explorar as questões que se busca responder a partir da meta-análise, e identificar que tipo de evidência se busca examinar;

2. Coleta dos dados: nesta etapa os pesquisadores devem buscar em artigos, dissertações, teses e pesquisas em geral todos os estudos que tratam do problema, realizados de todas as formas possíveis;

3. Avaliação dos dados: nesta etapa o pesquisador deve decidir quais evidências compartilhadas são válidas e úteis, eliminando-se estudos que não estão nos padrões;

4. Síntese dos dados: para a síntese dos dados, deve-se utilizar métodos estatísticos, como probabilidades, para reconciliação e agregação de estudos diferentes;

5. Apresentação dos resultados. Nesta etapa, os resultados devem ser apresentados para a comunidade de pesquisa, informando os detalhes, os dados e os métodos usados. Apesar de alguns autores, tais como Hunt, 1997; Farley, Lehmann e Sawyer, 1995,

apresentados por Pereira (2004), considerarem a meta-análise uma metodologia estritamente

 

  7

quantitativa, Rodrigues (2002) afirma que é possível também realizar uma mata-análise qualitativa. Segundo o autor,

enquanto meta-análises quantitativas são realizadas através de instrumentos da estatística inferencial e têm por objetivo principal a generalidade dos resultados encontrados, uma meta-análise qualitativa procura identificar, através de determinadas categorias, semelhanças e controvérsias numa quantidade de estudos da mesma área de pesquisa. Trata-se, na verdade, de um processo de descrição interpretativa, orientado por determinadas categorias teóricas. O resultado final é uma visão mais acurada do desenvolvimento da área analisada (RODRIGUES, 2002, p. 26).

Assim, conforme Rodrigues (2002), uma meta-análise qualitativa trata-se de um processo de descrição interpretativa, orientada por determinadas categorias. Para o autor, o resultado final é uma visão mais acurada do desenvolvimento da área analisada.

Como objeto deste estudo tem-se todos os artigos publicados na Revista de Administração Pública (RAP), na Revista do Serviço Público (RSP) e em anais de todos os eventos organizados pela Associação Nacional de Pós-Graduação e Pesquisa em Administração (Anpad), entre os anos de 2000 e 2009, os quais abordassem, de forma central ou periférica, a temática da avaliação de programas e projetos sociais. Ao todo, foram analisadas 56 publicações, no período compreendido entre 11 de novembro e 13 de dezembro de 2009.

O critério para seleção dos artigos foram as palavras “avaliação” e “avaliações” na opção de busca do sítio da Anpad e na ferramenta ‘localizar’ do navegador ‘internet explorer”, uma vez que os sítios das revistas não possuem opção de busca.

A busca realizada na RAP encontrou sete artigos dentro do período a ser analisado, na RSP foram localizados cinco artigos. Já a busca realizada no sítio da Anpad, originou um total de 544 artigos. Entretanto, ao se proceder a leitura inicial para análise dos textos percebeu-se que em grande parte dos artigos o uso dos termos levantados estavam vinculados a questões da administração privada ou questões não relacionadas diretamente com a avaliação de programas e projetos sociais. Ao final, foram selecionados 44 artigos dos eventos da ANPAD. Com relação aos eventos da ANPAD vale ressaltar que o EnANPAD – fórum mais tradicional no campo da Administração no Brasil – deteve a maioria das publicações analisadas, seguido do EnAPG – Encontro de Administração Pública e Governança. Para análise dos dados, há que se destacar que os eventos temáticos da ANPAD são bienais. No caso do EnAPG, as edições ocorreram em 2004, 2006 e 2008.

Posteriormente à seleção destes artigos, procedeu-se a leitura dos seus resumos, problematização, metodologia e conclusões. Em casos específicos, houve a leitura integral de seus textos, na busca de uma compreensão maior do assunto tratado.

Para a análise dos dados, foi adotada a técnica de análise do conteúdo do material, fundamentada em Bardin (1977), o que permitiu construir uma análise dos resultados apoiada em procedimentos interpretativos e da estatística descritiva, por meio de quadros e gráficos.

Bardin (1977, p. 42) define a análise de conteúdo como:

Um conjunto de técnicas de análise das comunicações visando obter, por procedimentos sistemáticos e objetivos de descrição do conteúdo das mensagens, indicadores (quantitativos ou não) que permitam inferência de

 

  8

conhecimentos relativos às condições de produção/recepção (variáveis inferidas) destas mensagens.

Conforme esta mesma autora, as diferentes fases da análise de Conteúdo organizam-se em torno de três pólos cronológicos: pré-análise, exploração do material e tratamento dos resultados e interpretação. Na pré-análise, são definidos materiais e procedimentos a serem seguidos; na exploração do material são implementados os procedimentos escolhidos na pré-análise; e no tratamento dos resultados e interpretação são gerados inferências que vão construir os resultados da investigação.

Num primeiro momento, procedeu-se a caracterização dos artigos por meio da identificação: (i) das instituições de origem dos trabalhos; (ii) ano de publicação; (iii) autores mais citados. Nesta etapa foram analisadas as 56 publicações.

Posteriormente, foram analisados os artigos oriundos de pesquisas empíricas em relação aos seguintes critérios: (i) metodologia em relação ao momento da avaliação; (ii) metodologia em relação aos fins da avaliação; (iii) meta-avaliação; (iv) abordagem metodológica; (v) área temática. Nesta etapa foram analisados 36 artigos.

4. Apresentação e Discussão dos Resultados

Conforme descrito na metodologia, várias categorias foram analisadas neste estudo. Para cada uma delas foram criadas tabelas para auxiliar na contagem e na própria visualização dos dados, de forma resumida e condensada. Tais resultados são apresentados em termos tanto absolutos como relativos, visando facilitar a análise.

Os resultados foram dividos em duas categorias: a) caracterização dos trabalhos selecionados e b) configuração dos trabalhos teórico-empíricos. Posteriormente, cada categoria foi analisada conforme suas subcategorias.

a) Caracterização dos trabalhos selecionados

O principal objetivo desta categoria de análise é apresentar os resultados referentes à caracterização (identificação) dos 56 trabalhos mencionados na metodologia. A seguir apresenta-se as respectivas subcategorias.

i) Instituições de Origem dos Trabalhos

Nesta subcategoria considerou-se apenas a primeira instituição de ensino citada pelo primeiro autor, como forma de garantir um tratamento uniforme dos dados.

IES  UF  REGIÃO  Nº de TRABALHOS 

FGV‐RJ  RJ  SE  7 UFSC  SC  S  5 UFV  MG  SE  5 ENCE‐IBGE  RJ  SE  5 UNB   DF  CO  5 UNIVALI  SC  S  3 FGV – SP  SP  SE  2 Univ. Estácio de Sá  SC  S  2 PUC‐RJ  RJ  SE  2 UFMG  MG  SE  2 UFF  RJ  SE  2 

Figura 01 – Principais Instituições de Origem dos Trabalhos Fonte: Dados da Pesquisa

 

  9

O quadro acima apresenta as instituições com maior número de publicações acerca do

tema. Ressalta-se que, na elaboração do quadro foram consideradas as instituições que apresentaram mais de uma publicação no total dos artigos analisados.

Com base nesses dados, constata-se que a FGV/RJ é responsável pela origem da maioria dos artigos, seguida de quatro instituições (UFSC, UFV, ENCE-IBGE, UnB) com expressivo número de publicações na temática da avaliação de programas e projetos sociais. Já em uma perspectiva de divisão territorial, percebe-se a concentração da temática em poucas unidades da federação, destacando-se o Rio de Janeiro com 16 publicações dentre as apresentadas no quadro, seguido de Santa Catarina com 10 trabalhos. Na região Sudeste, além do Rio de Janeiro, localizam-se trabalhos oriundos de Minas Gerais e São Paulo. Através do quadro observa-se que nenhum trabalho oriundo de instituições das regiões Norte e Nordeste foi encontrado.

ii) Ano de Publicação

Nesta sucategoria, conforme figura 01, pretendeu-se demonstrar a distribuição dos

artigos por ano, de forma a identificar e evolução do crescimento dos estudos na área.

Figura 02 – Ano de Publicação Fonte: Dados da Pesquisa Percebe-se uma evolução quantitativa dos estudos sobre avaliação de programas e

projetos sociais a partir de 2006. Essa tendência crescente nas publicações sobre o gênero pode estar refletindo as

tendências também crescentes da prestação de contas e procedimentos avaliativos no contexto das políticas sociais, advindos das inovações gerenciais inseridas no âmbito da administração pública.

iii) Autores mais citados

Nesta categoria buscou-se conhecer a bibliografia constante em cada trabalho a fim de identificar as fontes mais utilizadas. Para evitar um quadro muito extensa foram destacados os autores mais citados nos artigos analisados.

 

  10

Autor  Nº de 

Citações   Autor  Nº de 

Citações  

Cohen, E.  10  Silva, P. L. B.  4 Franco, R.  10  Ala‐Harja, M.  4 Costa, F. L.  9  Helgason, S.  4 Januzzi, P. M.  9  Cotta, T.  3 Castanhar, J. C.  8  Faria, C. A. P.  3 Arretche, M. T. S.  7  Melo, M. A. B.  3 Frey, K.  5  Thoenig, J. C.  3 

Van Bellen, H.  5  Rua, M.  3  

Figura 03 – Autores mais citados nas referências analisadas Fonte: Dados da Pesquisa Dentre os autores mais referenciados estão Ernesto Cohen e Rolando Franco, autores

do livro ‘Avaliação de Projetos Sociais’ e Frederico Lustosa Costa e José Cézar Castanhar, co-autores de artigos, como ‘Avaliação de programas públicos: desafios conceituais e metodológicos’ publicado na RAP em 2003. Destaca-se também Paulo de Martino Januzzi, referência nacional nas publicações referentes a indicadores sociais.

Verifica-se um predomínio dos autores nacionais, que representam 81,25% dos autores citados no quadro acima.

b) Configuração dos trabalhos teórico-empíricos

O objetivo desta categoria foi realizar uma análise dos trabalhos teórico-empíricos em relação aos aspectos metodológicos e às áreas temáticas contempladas por esses estudos. Os trabalhos foram classificados: quanto ao momento em que se realiza a avaliação; quanto aos fins da avaliação; quanto ao tipo de abordagem metodológica; e quanto às áreas temáticas contempladas pelo estudo.

i) Tipos de Avaliação A avaliação desempenha um papel central no esforço de racionalização dos programas

e projetos sociais. Como citado anteriormente, a ausência de controles e de metodologias de avaliação geralmente leva a um gasto social ineficiente e, conseqüentemente, ao desperdício dos recursos disponíveis (COTTA, 1998).

No entanto, existem diferentes tipos de avaliação, que são derivados tanto do objeto a ser avaliado como da formação acadêmica daqueles que realizam essa tarefa. Logo, o objetivo dessa subcategoria é analisar as experiências empíricas de avaliação na área acadêmica, a partir de critérios e tipologias de avaliação amplamente difundidos na literatura sobre o tema, conforme apresentado a seguir:

Em função do momento em que se realiza a avaliação A avaliação de projetos sociais vem sendo, usualmente, classificada em função do

momento em que se realiza: antes do início, durante e depois do projeto executado. A primeira, a avaliação antes do início (ex-ante), nos permite escolher as melhores estratégias para a consecução dos objetivos do projeto, tem por objetivo proporcionar critérios racionais para uma decisão qualitativa crucial: se o projeto deve ou não ser implementado (COHEN e FRANCO, 2008). Já a avaliação “durante” a implementação das ações (in-itineri), também conhecida como avaliação intermediária, busca estabelecer indicadores de análise do andamento dos objetivos e alterar rotas objetivando a eficiência do processo.

 

  11

O primeiro e o segundo momento servem de referencial para a avaliação realizada depois do projeto executado (ex-post), quando o projeto for avaliado em termos de produto final, se dirige para fora, além do projeto, sendo utilizável para decidir sobre sua eventual continuação, para formular outros projetos futuros e, enfim, tomar decisões no âmbito da política. A análise, considerando esses três momentos, facilita o aperfeiçoamento dos modelos, visando à eficiência e melhoria contínua e incremental dos projetos a serem desenvolvidos.

As publicações analisadas mostram o seguinte cenário a respeito da produção científica nacional:

Figura 04 – Tipologia quanto ao momento da avaliação Fonte: Dados da Pesquisa A partir da figura 04, observa-se o nítido predomínio das avaliações ex-post nas

pesquisas realizadas na última década, poucos estudos contemplando a fase intermediária dos projetos e um grande vazio no que tange à avaliação ex-ante.

Essa constatação pode ser justificada pelas argumentações de Trevisan e Van Bellen (2009), segundo os quais as avaliações ex-ante, na verdade, permanecem sendo uma fonte relativamente secundária de informações por motivos ligados à pressão de tempo ou às visões políticas que os formuladores de políticas têm em mente. Sempre foram muito estimuladas e induzidas nos programas financiados pelos organismos multilaterais de financiamento, especialmente aqueles voltados à infra-estrutura econômica e ao desenvolvimento urbano.

O único estudo que contemplou a análise de viabilidade de um projeto tem como autores, Lage e Barbieri (2001), e é entitulado “Avaliação de Projetos para o Desenvolvimento Sustentável: Uma análise do Projeto de Energia Eólica do Estado do Ceará com base nas dimensões da sustentabilidade”. O estudo pretendeu apresentar, a partir de um conceito de desenvolvimento sustentável ancorado em sete dimensões da sustentabilidade, um conjunto de critérios capazes de contribuir para avaliação da viabilidade de projetos públicos de desenvolvimento sustentável.

Em função dos fins da avaliação De acordo com Costa e Castanhar (1998), para fins analíticos, as experiências de

avaliação de programas podem ser agrupadas, quanto aos objetivos que persegue, em quatro metodologias básicas: avaliação de processos, avaliação de metas e avaliação de impacto.

A avaliação de processo diz respeito à dimensão de gestão. Sua finalidade é julgar se a intervenção está sendo implementada como planejado, se a população-alvo está sendo tingida, se o cronograma está sendo cumprido, se os recursos estão sendo usados com eficiência etc. Trata-se, enfim, do acompanhamento sistemático da evolução das metas do programa ou projeto (COTTA, 1998).

 

  12

A avaliação de metas é o tipo mais tradicional que tem por objetivo medir o grau de êxito que um programa obtém com relação ao alcance de metas previamente estabelecidas. Essa modalidade de avaliação irá determinar a eficácia de determinado projeto e pressupõe que se atribuam valores a um conjunto de metas, definindo-se o êxito relativo do programa em função do grau em que tais metas tenham sido cumpridas (COSTA e CASTANHAR, 1998).

Por sua vez, a avaliação de impacto procura determinar em que medida o projeto alcança seus objetivos e quais são os efeitos secundários (previstos e não previstos) (COHEN e FRANCO, 2008). O foco desse tipo de estudo é, portanto, identificar em que medida mudaram-se as condições de um grupo-alvo ou de uma comunidade, como resultado de um programa e em que medida as mudanças ocorreram na direção desejada.

8

5

16

0

2

4

6

8

10

12

14

16

18

Avaliação de metas  Avaliação de processos  Avaliação de impacto 

Figura 05 – Tipologia quanto aos fins da avaliação

Fonte: Dados da Pesquisa Os resultados dessa análise revelam a grande ênfase que se dá aos resultados finais de

uma política ou programa. As avaliações de impacto concentram-se em determinar o valor do projeto em relação às necessidades dos beneficiários, julgando se o mesmo deve ou não ser encerrado, mantido, ampliado ou reduzido. Fornecerão subsídios para formulação de políticas futuras e oportunidades de aprendizado.

As avaliações de meta que, segundo Costa e Castanhar (1998), representam o tipo mais tradicional de avaliação, não tiveram grande expressividade nas pesquisas da última década. Esse tipo de avaliação é frequentemente criticada quando realizada isoladamente, na medida em que a simples comparação entre as metas previstas e alcançadas não permite atribuir causalmente o resultado ao projeto, mas apenas constatar que se produziram mudanças de maneira concomitante com a execução do programa. Talvez, essas considerações possam justificar a preferência dos pesquisadores pela avaliação de impacto, já que a avaliação de processos também é essencialmente gerencial.

ii) Meta-avaliação

Durante a análise observou-se que alguns artigos teórico-empíricos não se enquadravam nas classificações acima, por caracterizarem um tipo peculiar de avaliação: a meta-avaliação. Esses estudos, por não tratarem da avaliação de programas ou projetos, não poderiam ser analisados nos tópicos anteriores, mas devido à relevância desses artigos para discussão do tema, eles foram incluídos nesse item.

 

  13

Essa nova vertente teórico-empírica visa buscar o ‘valor’ através da pesquisa de meta-avaliação, ou seja, a avaliação da avaliação. Conforme Henry apud Trevisan e Van Bellen (2009), o interesse em meta-avaliações pode produzir duas linhas importantes de trabalhos para o campo. Em primeiro lugar, o resultado de um conjunto de estudos empíricos que examinam os impactos verdadeiros das avaliações seria muito positivo. A segunda contribuição das meta-avaliações são as revisões de avaliações individuais. Nesse sentido, assinala-se que os métodos para avaliar avaliações específicas devem trazer à luz preconceitos e inclinações quando elas ocorrerem e devem fazer com que estes achados sejam acessíveis.

Autores  Ano  Publicação 

Andrade, Ussan e Klering   2001  Enanpad 

Ghirlanda e Tristão  2002  Enanpad 

Ceneviva e Farah  2006  EnAPG 

Campos et al.   2008  Enanpad 

Trevisan e Van Bellen   2009  Enanpad 

Vieira, Silveira, Almeida Júnior  2009  Enanpad 

Figura 06 – Meta-avaliação Fonte: Dados da Pesquisa Dentre os artigos selecionados, seis podem ser classificados como meta-avaliação.

Como exemplo, toma-se o caso do projeto Microbacias I (Trevisan e Van Bellen, 2009). Nesse estudo, os autores verificaram que as avaliações preocuparam-se mais com os objetivos específicos do que com o objetivo geral do programa. Além disso, o fato da avaliação ter sido realizada por um avaliador interno pode ter comprometido a neutralidade do processo.

iii) Tipo de abordagem metodológica

Com relação aos diversos métodos de coleta e análise de dados tem-se as abordagens quantitativas e qualitativas . Na primeira, e mais usual, estão métodos cujos modos de análise baseiam-se no racionalismo encontrado em ferramentas e conceitos modelados nas ciências naturais de tradição positivista e cujos resultados se assentam em critérios especificados e objetivos. A segunda busca fundamentar as conclusões em critério mais subjetivistas por meio de metodologias construtivistas e participativas (ASSUMPÇÃO e CAMPOS, 2009).

37%

50%

13%

Abordagem Qualitativa

Abordagem Quantitativa

Abordagem Mis ta

Figura 07 – Abordagem Metodológica

 

  14

Fonte: Dados da Pesquisa

Apesar de ser defendida pela maioria dos autores de avaliação em projetos sociais, a abordagem mista, que combina diferentes procedimentos e técnicas dos métodos quantitativos e qualitativos conforme a natureza da investigação a fazer, foi verificada em apenas 13% dos estudos. Observa-se também que apesar do crescente número de estudos qualitativos nas pesquisas sociais, na área de avaliação de programas e projetos sociais as metodologias de caráter objetivo se sobrepõem.

iv) Áreas Temáticas

Como é amplamente reconhecido, a avaliação de programas e projetos sociais é uma tarefa eminentemente multidisciplinar. Sendo assim, essa subcategoria buscou analisar as áreas temáticas contempladas nos estudos analisados:

3

2

2

2

2

5

3

1

5

5

0 1 2 3 4 5 6

Turismo

S aúde

Reformas  adminis trativas

Meio Ambiente

E mprego e renda

E ducação

Des envolvimento  local

C iênc ia e tecnologia

As s is tênc ia S oc ial

Agropecuária

Figura 08 – Áreas Temáticas Fonte: Dados da pesquisa

Observa-se que as áreas: educação, assistência social e agropecuária foram as áreas de

maior expressão na produção científica da última década. 5. Considerações Finais

De forma geral, constatou-se que a produção científica sobre avaliação de programas e

projetos sociais nos veículos analisados ainda é incipiente e feita apenas por um pequeno número de instituições. Somente nos últimos anos têm-se observado o crescimento numérico de publicações acerca do tema.

Em relação aos estudos empíricos nota-se que a maior parte pode ser caracterizada como ex-post em relação ao momento da avaliação (80%), como avaliação de impactos (55%), no que diz respeito aos fins da pesquisa, e de natureza qualitativa (50%), quanto à metodologia utilizada.

No entanto, é necessária uma reflexão sobre a avaliação ex-ante e a avaliação de processos, uma vez que a produção de artigos e estudos requer acesso a informações – sejam elas primárias ou secundárias. Na prática, observa-se que muitas vezes o pesquisador não tem acesso às informações quando da elaboração de políticas, programas ou projetos. A avaliação de processos também adquire maior complexidade dependendo do objeto da avaliação. Em alguns casos, por se tratar de uma avaliação intermediária, cujas informações levantadas

 

  15

poderão alterar os rumos do programa ou projeto, essas ficam circunscritas às equipes que participantes ou aos contratantes das avaliações, limitando a análise ou estudos de terceiros – no caso específico, os acadêmicos e pesquisadores.

Destaca-se, ainda, que as produções científicas nacionais ainda não trazem teorias ou linhas de pensamento próprios, utilizando-se, sobretudo, da vasta literatura americana. Dessa forma, a avaliação de programas e projetos sociais acaba sendo vista como um objeto de várias áreas do conhecimento.

No Brasil, a prática de avaliação de programas e projetos sociais, de um modo geral, é realizada por exigência dos financiadores para mensurar em que grau os objetivos previstos foram alcançados. Além disso, a falta de conhecimento técnico-operacional e a limitação orçamentária acabam dificultando a realização dos procedimentos avaliativos.

Não obstante, os resultados das avaliações podem contribuir com informações para tomada de decisões, realocação de recursos e legitimação da atuação do Estado. Espera-se, portanto, que o aumento de estudos na área, fortaleça a institucionalização da avaliação no Brasil.

Os resultados obtidos neste artigo, embora exploratórios, sugerem um forte embasamento para o tema da avaliação de programas e projetos sociais. Como futuras pesquisas, sugere-se a ampliação do universo amostral, incorporando à análise outros periódicos e anais de eventos, e do período de tempo estudado, no intuito de confirmar (ou não) se os padrões estruturais aqui observados serão mantidos em casos de maior escopo.

6. Referências

ALA-HARJA, Marjukka & HELGASON, Sigurdur. Em direção às melhores práticas de avaliação. Revista do Serviço Público, Brasília, ano 51, nº 4, p. 5 - 60, out-dez 2000. ASSUMPÇÃO, J. e CAMPOS, L. Avaliação de Projetos Sociais: A Rede, os Nós e a Teia. São Paulo: Anais do Enanpad, 2009. BARDIN, L. Análise do conteúdo. Lisboa. Análise de Conteúdo. Lisboa: Edições 70, 1977.

CASTRO, M. H. G. Avaliação de Políticas e Programas Sociais. Núcleo de Estudos de Políticas – NEPP, Cadernos de Pesquisa, nº 12, Campinas: Unicamp, 1989. CAVALCANTI, P. SISTEMATIZANDO E COMPARANDO OS ENFOQUES DE AVALIAÇAO E DE ANÁLISE DE POLITICAS PUBLICAS: UMA CONTRIBUIÇÃO PARA A ÁREA EDUCACIONAL. Tese de Doutorado. Unicamp: 2007. COHEN, Ernest; FRANCO, Rolando. Avaliação de Projetos Sociais. 8. ed. Petrópolis: Vozes, 2008. COSTA, Frederico Lustosa da; CASTANHAR, José Cesar. Avaliação social de projetos: limitações e possibilidades. Foz do Iguaçu: Anais do ENANPAD,1998. COSTA, Frederico Lustosa da; CASTANHAR, José Cezar. Avaliação de programas públicos: desafios conceituais e metodológicos. Revista de Administração Pública – RAP, Vol. 37, n.5. Set/Out. 2003.

 

  16

COTTA, Tereza Cristina. Metodologias de Avaliação de Programas e Projetos Sociais: análise de resultados e de impacto. Revista do Serviço Público, Brasília, ano 49, nº 2, p. 105 -126, abr-jun 1998. COTTA, Tereza Cristina. Avaliação educacional e políticas públicas: a experiência do Sistema Nacional de Avaliação da Educação Básica (Saeb), Revista do Serviço Público, Brasília, v. 52, n. 4, p. 89-110, out./dez. 2001. DEY, P. K., HARIHARAN, S. e BROOKES, N. Managing healthcare quality using logical framework analysis. Managing Service Quality, Vol. 16, No. 2, 2006. DIAS SOBRINHO, Avaliação: políticas educacionais da educação superior. São Paulo: Cortez, 2003. FARIA, Carlos Aurélio Pimenta de. A política da avaliação de políticas públicas, Revista Brasileira de Ciências Sociais, São Paulo, v. 20, n. 59, p. 97-109, out. 2005. GHIRLANDA, M. e TRISTÃO, G. A Experiência do Governo Federal na Avaliação do Plano Plurianual 2000-2003. Salvador: Anais do Enanpad, 2002. LAGE, A. e BARBIERI, J. Avaliação de Projetos para o Desenvolvimento Sustentável: Uma análise do Projeto de Energia Eólica do Estado do Ceará com base nas dimensões da sustentabilidade. Campinas: Anais do Enanpad, 2001.

PEREIRA, L. L. Valores e estratégia organizacional: estudo comparativo de casos em órgãos oficiais de turismo. Enanpad, 2004.

PEREIRA, R. C. F. Explorando Conceitos e Perspectivas da Meta-Análise em Marketing. Curitiba: Anais do Enanpad, 2004. REBOLLOSO PACHECO, J. In: REBOLLOSO PACHECO, E. (ed). Evaluación de programas: ámbitos de ampliación. Espanha: Cooperativa Universitária ”Sant Jordi”, 1998. RICH, Gregory A.; BOMMER, William H.; MACKENZIE, Scott B.; PODSAKOFF, Philip M.; JOHNSON, Jonathan L. “Apples and apples or apples and oranges? A meta-analysis of objective and subjective measures of salesperson performance”. Journal of Personal Selling & Sales Management, v. 19, n. 4, 1999. ROCHE, Chris. Avaliação de impactos dos trabalhos de ONGs: aprendendo a valorizar as mudanças. 2. ed. São Paulo: Cortez Editora, 2002. RODRIGUES JUNIOR, J. B. Programa Social Berimbau de Auto-Sustentabilidade da Costa do Sauípe: avaliação do programa na comunidade de Porto do Sauípe. Dissertação de Mestrado. Brasília: UnB, 2006.

RODRIGUES, C.. A abordagem processual nos estudos da tradução: Uma análise meta-análise qualitativa. Cadernos de Tradução (UFSC), Florianópolis, v. 10, n. 2, p. 23-59, 2002. Disponível em:

 

  17

http://www.periodicos.ufsc.br/index.php/traducao/article/viewPDFInterstitial/6143/5701. Acesso em 13 de novembro de 2009.

SERPA, S. e CALMON, C. Afinal de Contas, Por que Avaliar? Resgatando o Debate sobre Utilização na Avaliação de Programas Governamentais. São Paulo: Anais do Enanpad, 2009. THOENIG, Jean-Claude. A avaliação como conhecimento utilizável para reformas de gestão pública, Revista do Serviço Público, v. 51, n. 2, p. 54-70, abr./jun. 2000. TREVISAN, A. e VAN BELLEN, H. Análise de Políticas Públicas: O Caso do Projeto Microbacias. São Paulo: Anais do Enanpad, 2009. VASCONCELOS, A. L. F. S. Uma Experiência de Avaliação dos Impactos da Formação de Capital Humano em Programas Sociais. Tese de Doutorado. Recife: UFPE, 2007. VERGARA, Sylvia Constant. Projetos e relatórios de pesquisa em administração. 7 ed. São Paulo: Atlas, 2006.                                                             

i De acordo com Cohen e Franco (2008:86), um programa é um conjunto de projetos com objetivos em comum. O programa estabelece as prioridades da intervenção, identifica e ordena os projetos, define o âmbito institucional e aloca os recursos a serem utilizados. As organizações responsáveis pelos programas são predominantemente públicas, mas existem também instituições privadas que operam dentro das diretrizes traçadas pelos órgãos de planejamento.

ii Por sua vez, o projeto pode ser definido como um empreendimento planejado que consiste num conjunto de atividades inter-relacionadas e coordenadas para alcançar objetivos específicos dentro dos limites de um orçamento e de um período de tempo dados. É a unidade mínima de execução, ou seja, representa a unidade mais operativa dentro do processo de planejamento e constitui o elo final de tal processo (COHEN e FRANCO, 2008:85).