BUVINICH, Manuel Rojas. Ferramentas para avaliacao monitoramento de programas projetos sociais

CADERNOS DE POL;ITICAS SOCIAIS SÉRIE DOCUMENTOS PARA DISCUSSÃO NÚMERO 10

FFEERRRRAAMMEENNTTAASS PPAARRAA OO MMOONNIITTOORRAAMMEENNTTOO EE AAVVAALLIIAAÇÇÃÃOO DDEE PPRROOGGRRAAMMAASS EE PPRROOJJEETTOOSS SSOOCCIIAAIISS

Manuel Rojas Buvinich (1)

CSD 10

Outubro de 1999

Oficial de Políticas Sociais e Avaliação do Unicef Brasil [email protected] Edição e revisão de texto: Freda Burger e Neisse Dobbin As opiniões contidas no presente documento são da exclusiva responsabilidade do autor, podendo ou não coincidir com as do Unicef

2 SUMÁRIO DE CONTEÚDOS

1. Introdução……………………………………………………………………….……….Pag. 4 2. Sistemas de Monitoramento e Avaliação: Necessidade Crescente e a Prática Atual………………………………………………………………………………..………..Pag. 5 3. Monitoramento e Avaliação: Conceitos, Funções e Diferenças / Complementariedades……………………………………………………………..……….Pag. 7

3.1. A Gestão por Objetivos e por Processos………………………………….….Pag. 8 3.2. A Hierarquia Lógica de Análise……………………………………………..Pag. 10

3.2.1. Fornecendo os Insumos ou Meios…………………………..……..Pag. 14

3.2.2. Combinando os Meios para a Obtenção do (s) resultados(s) o produto(s)……………………………………………………………….…Pag. 14

3.2.3. Os Efeitos e o Impacto……………………………………………..Pag. 14

3.3. Monitoramento e Avaliação…………………………………………………Pag. 18

3.4.Diferenças e Complementariedade entre Monitoramento e Avaliação…………………………………………………………………………..Pag. 22

4. Relação entre Objetivos, Metas e Indicadores para Monitoramento e Avaliação…………………………………………………………………………………..Pag. 26

4.1. Objetivos…………………………………………………………….………..Pag. 26 4.2. Metas e Indicadores…………………………………………………………..Pag. 28

4.2.1. Tipos e Características dos Indicadores…………………………..Pag. 28

5. Fontes e Métodos de Coleta de Informação para M&A……………………………..Pag. 30 6. Análises e Monitoramento e Avaliação de custos…………………………..………..Pag. 42

6.1. Análise Custo-Efetividade…………………………………………….……..Pag. 42

3 6.2. Análise de Custo-Eficiência……………………………………….………..Pag. 44 6.3. Análise Custo-Beneficio……………………………………………….……..Pag. 45

6.4. Passos para Efetuar uma Análise Custo-Efetividade e ACB……….……..Pag. 46

7. O Uso e Comunicação dos Resultados da Avaliação………………………...……..Pag. 47

7.1. Uso dos Resultados………………………………………………….………..Pag. 47 7.2. Comunicação dos resultados………………………………….……………..Pag. 49

8. As Etapas para a Implementação de um Sistema de M&A……………………..…..Pag. 52 Anexo 1 - GLOSSÁRIO DE TERMOS USADOS EM MONITORAMENTO E AVALIAÇÃO……………………………………………………………………………..Pag. 56 Anexo 2 - A METODOLOGIA DO MARCO LÓGICO DE ANÁLISE (MML)….....Pag. 65 Anexo 3 - BIBLIOGRAFIA E INTERNET SITES DE MONITORAMENTO E AVALIAÇÃO……………………………………………………………………………..Pag. 80

1. INTRODUÇÃO

O limitado sucesso, a escassez de recursos e, na maioria das vezes, o desconhecimento dos efeitos e impacto produzidos pelos investimentos realizados em programas e projetos de desenvolvimento social nas últimas décadas, tem provocado um interesse crescente entre governos, organizações não governamentais (ONGs) e, principalmente, agências internacionais de cooperação e países doadores, pela inclusão de sistemas de Monitoramento e Avaliação (M&A) para apoiar o gerenciamento e a formulação das políticas sociais.

Existe uma ampla gama de abordagens, métodos e modelos analíticos que, sem dúvida, podem confundir os que se iniciam no campo do Monitoramento e Avaliação de programas e projetos sociais. Nesta documento são explicados esses conceitos de forma aplicada e são estabelecidas algumas diretrizes para facilitar o desenho e a operacionalização de sistemas de M&A. A abordagem conceitual utilizada representa o consenso alcançado na última década pelas instituições multilaterais de cooperação, particularmente o Banco Mundial, o Banco Interamericano de Desenvolvimento e as agências do sistema das Nações Unidas. A aplicação desses conceitos no desenho e operacionalização de sistemas de M&A recolhe as experiências e lições aprendidas pelo autor em diversos cursos de treinamento, consultorias de avaliação para instituições governamentais e agências de desenvolvimento e, principalmente, na coordenação e condução de um significativo número de avaliações de projetos e programas na América Latina e, particularmente, no Brasil.

Na primeira parte do documento são apresentadas as principais razões da crescente importância que governos, organizações não governamentais, agências internacionais e grupos da sociedade civil vêm dando às atividades de M&A na formulação e implementação das políticas sociais. Também é apresentada uma reflexão sobre a atual prática de M&A das organizações governamentais e ONGs que implementam políticas públicas.

O marco conceitual básico que permite definir e mostrar as diferenças entre Monitoramento e Avaliação é discutido na segunda parte. Aqui também são assinaladas as principais diferenças entre M&A e os diferentes tipos e momentos da avaliação.

Na terceira parte são definidos os diferentes tipos de indicadores utilizados em sistemas de M&A mostra e também é discutida a importância do estabelecimento de metas e as características dos bons indicadores.

Na quarta parte apresentam-se as principais fontes e métodos de coleta de informação utilizados para constituir os diferentes tipos de indicadores. O monitoramento de custos e as análises custo-efetividade, custo-eficiência e custo-beneficio são apresentadas na sexta parte do documento.

Na sétima parte discute-se como a informação e os indicadores gerados pelo M&A podem ser utilizados e comunicados para uma variedade de propósitos e por diferentes atores que intervém, direta ou indiretamente, na formulação e implementação dos programas e projetos sociais.

5 Na oitava parte são apresentadas as diretrizes metodológicas para desenhar um sistema de monitoramento e avaliação. O Anexo 1 contém a metodologia do marco lógico, apresentada de forma esquemátrica, com diagramas para fácil compreensão. Os Anexos 2 e 3 apresentam um glossário de termos mais comumente usados em M&A e um conjunto de referências bibliográficas e sites na Internet sobre os tópicos tratados no documento.

2. SISTEMAS DE MONITORAMENTO E AVALIAÇÃO: NECESSIDADE CRESCENTE E A PRÁTICA ATUAL

As atividades de Monitoramento e Avaliação são disciplinas relativamente novas no campo do desenvolvimento. Ainda que o Monitoramento seja tão antigo quanto a Administração, a avaliação de programas começa a emergir dentro das agências das Nações Unidas e em alguns países em desenvolvimento, a partir da década de 50. Desde então, tem havido uma evolução lenta e descontínua. Inicialmente, os esforços de avaliação no sistema das Nações Unidas eram limitados no conceito e escopo, restringindo-se mais à alocação e entrega de insumos e à obtenção de produtos do que com os possíveis efeitos e impactos dos projetos de desenvolvimento sobre a população beneficiada.

Freqüentemente, o conceito e as funções da avaliação são confundidas com as de monitoramento e não existe um consenso quanto ao uso e significado de uma série de termos, tais como, impacto, efeito, produtos, atividades, resultados, metas, sustentabilidade, entre outros. Ao mesmo tempo, os termos monitoramento e avaliação (M&A) são usados numa variedade de contextos, o que confunde e dificulta o desenho de sistemas de informação para M&A de programas e projetos sociais. Por exemplo, o monitoramento ou a avaliação pode considerar o nível mais amplo ou estratégico de uma macropolítica ou plano, ou o nível mais específico de um programa, projeto ou atividade. Nesses níveis, o M&A pode focalizar tanto os aspectos estratégicos como os institucionais relacionados com a estrutura organizacional e gerencial, ou ainda, com a eficiência no uso dos recursos, ou a efetividade no alcance dos objetivos e metas. O M&A ainda pode focalizar a contribuição que os recursos de uma instituição de apoio ao desenvolvimento está conseguindo no alcance dos objetivos de uma política.

No caso particular do Brasil, a análise de indicadores para a definição de padrões de qualidade e parâmetros de custos, desempenho, coberturas e avaliação da qualidade de atendimento de serviços, eficiência, eficácia e efetividade das políticas sociais são uma prática incipiente. A maior parte da experiência de avaliação tem sido dirigida para projetos de investimento nos setores produtivos, onde os benefícios, na maioria das vezes tangíveis, podem ser mais facilmente quantificados, e onde o mercado atua como mecanismo penalizador de ineficiência na alocação dos recursos e ineficácia na obtenção dos resultados.

Via de regra, a grande gama de programas e projetos sociais desenhados para reduzir a mortalidade na infância e melhorar as condições de saúde da população, da qualidade da educação pré-escolar e fundamental, reduzir o trabalho infantil, gerar renda e oportunidades de

6 emprego para mulheres, fortalecer a capacidade e o empowerment individual ou coletivo de grupos vulneráveis, reduzir ou evitar a violência e abuso sexual de crianças, entre tantos outros, não têm tido um monitoramento sistemático e as avaliações realizadas raramente permitem traçar a causalidade dos resultados e tirar lições que sirvam para melhorar o gerenciamento e aprender para o desenho de novas intervenções.

Em termos gerais e, com raras exceções, pode-se assinalar que as políticas sociais e a maioria dos programas e projetos que fazem parte destas não recebem nenhuma avaliação. Quando, excepcionalmente, uma é realizada, trata-se, na sua maioria, de trabalhos descritivos com escassa análise avaliativa que permita julgar os méritos de uma determinada intervenção e tirar lições para ajustar e/ou reorientar os programas em andamento, ou melhorar o desenho de futuras iniciativas. Em outros casos, as avaliações são desenvolvidas com metodologias sofisticadas e um enfoque eminentemente acadêmico, fazendo com que, além da demora na obtenção dos resultados, os mesmos sejam de pouca utilidade para orientar propostas operacionalizáveis na definição de estratégias e tomadas de decisão. Geralmente, nas avaliações feitas em programas governamentais, não são enfatizados os aspectos relacionados com os efeitos (diretos e indiretos) e o impacto das intervenções sobre a população beneficiária, nem o grau de sustentabilidade das mesmas. Na maioria dos programas implementados pelo governo, não existe um mecanismo regulador que indique em que momento determinadas atividades, embora eficientes no uso de recursos, têm deixado de ser eficazes no alcance dos objetivos.

O mais comum é mostrar os recursos implementados e as coberturas alcançadas, com explicações ad hoc sobre as discrepâncias encontradas entre o programado (quando existe uma boa programação) e o realizado. O monitoramento efetuado é do tipo mais financeiro, tradicionalmente orientado para a prestações de contas e auditoria, e não para gerenciamento. Os relatórios financeiros que mostram as despesas programadas e realizadas por rubrica de despesa pouco ajudam para o gerenciamento, já que esse tipo de classificação esconde os custos das atividades e dos produtos e serviços que os programas e projetos sociais entregam para os beneficiários. Dessa forma, o gerente não tem uma idéia clara do custo dos processos, despesas per capita por tipo de tratamento ou procedimento, serviço, etc. Ou seja, não possuem as estimativas de custos dos processos e dos produtos e subprodutos que esses geram.

No monitoramento tradicional também se encontra uma clara desvinculação do uso dos recursos com os objetivos maiores ou missão da instituição. Por exemplo, a prestação de contas e os procedimentos de licitação de um determinado programa social podem estar de acordo com as normas jurídico-legais exigidas em lei. Entretanto, os benefícios podem ter sido apropriados por grupos e/ou regiões não contempladas originalmente no programa.

Porém, nos últimos anos tem havido um renovado interesse, no Brasil e nos países da América Latina e Caribe, pelas técnicas de planejamento estratégico e de monitoramento e avaliação das políticas públicas. Esse crescente interesse obedece a uma combinação de fatores e circunstâncias que tem a ver com: (i) a aguda crise social vivida na região, que exerce uma intensa demanda por projetos e programas sociais para satisfação das necessidades dos grupos mais vulneráveis; (ii) a necessidade de conhecer e aprender sobre a complexidade e dinâmica dos programas e projetos de desenvolvimento social que, além de serem multidimensionais, são

7 afetados por uma série de fatores fora do controle dos administradores e planejadores; (iii) o limitado sucesso ou o fracasso das estratégias de desenvolvimento social, muitas vezes gerando efeitos contrários aos esperados; (iv) a escassez de recursos disponíveis dos próprios governos, dos países doadores e das agências de ajuda externa, para satisfazer as necessidades urgentes do desenvolvimento social; (v) a necessidade de um planejamento e gerenciamento com maior e melhor informação em todos os níveis para superar o conhecimento incompleto que se possui dos efeitos e impacto das diferentes estratégias sobre os públicos-alvo; (vi) a necessidade de alocar os recursos disponíveis com maior eficiência e eqüidade, para assegurar um maior grau de efetividade e sustentabilidade no alcance dos objetivos das políticas sociais; (vii) a crescente cobrança, por parte da sociedade civil, tanto nos países doadores como nos próprios países em desenvolvimento, sobre o uso dos recursos e os resultados obtidos.

No caso do Brasil, esse último aspecto é particularmente importante devido ao crescimento e fortalecimento que grupos da sociedade civil organizada e ONGs vêm tendo nos processos de formulação e implementação de políticas públicas, especialmente pela capacidade de atender e representar aqueles grupos mais marginalizados. Obviamente, esta nova fase de participação de grupos organizados da sociedade civil e do setor privado (através de suas fundações) se dá dentro de um meio ambiente de caráter aberto e democrático que favorece a prática da avaliação participativa como mecanismo de controle social.

3. MONITORAMENTO E AVALIAÇÃO: CONCEITOS, FUNÇÕES E DIFERENÇAS/COMPLEMENTARIEDADES

O monitoramento e a pesquisa avaliativa, como todo o trabalho científico, pressupõem a obediência a um método que deve ser adaptável à natureza do objeto analisado, à conveniência e/ou viabilidade, em termos de tempo e custos, e ao interesse mais teórico ou prático da investigação. Na avaliação de uma política, programa ou projeto, não se dispõe de um caminho único, ou que seja considerado o mais científico. Pelo contrário, existem diversos modelos epistemológicos que, dependendo do tipo de problema a ser abordado, podem ser mais ou menos adequados. Nesses modelos encontram-se as discussões sobre a objetividade do conhecimento social e sobre os critérios de minimização da interferência da subjetividade no campo da observação, que se refletem na escolha de métodos e procedimentos.

Não é objetivo deste documento entrar na velha discussão existente entre as diferentes escolas de pensamento, quanto aos conceitos e diferentes métodos e técnicas da pesquisa avaliativa. A experiência mostra que os métodos e as técnicas utilizados pelas diferentes escolas de pensamento não são incompatíveis. Ao contrário, elas podem ser perfeitamente combinadas, de forma complementar, dependendo dos propósitos e objetos da avaliação. Por exemplo, se há necessidade de obter representatividade para verificar a magnitude na mudança de um determinado indicador, o desenho amostral com base probabilística e questionários pré-codificados é uma opção recomendada. Porém, para tentar explicar o porquê das mudanças, pode ser necessário utilizar entrevistas de tipo mais qualitativo com informantes-chave, grupos de discussão ou observação participante.

8 Freqüentemente, o conceito e as funções da avaliação são confundidas com as de monitoramento e não existe um consenso quanto ao uso e significado de uma série de termos, tais como impacto, efeito, produtos, atividades, resultados, metas, sustentabilidade, entre outros.

Ao mesmo tempo, os termos monitoramento e avaliação (M&A) são usados numa variedade de contextos, o que confunde e dificulta o desenho de sistemas de informação para M&A de programas e projetos sociais. Por exemplo, o monitoramento ou a avaliação podem considerar o nível mais amplo ou estratégico de uma macropolítica ou plano, ou o nível mais específico de um programa, projeto ou atividade. Nesses níveis, M&A pode focalizar tanto os aspectos estratégicos como os institucionais relacionados com a estrutura organizacional e gerencial, ou ainda com a eficiência no uso dos recursos, ou a efetividade no alcance dos objetivos e metas. Ainda, o M&A pode focalizar a contribuição que os recursos de uma instituição de apoio ao desenvolvimento está conseguindo no alcance dos objetivos de uma política.

3.1. A Gestão por Objetivos e por Processos

No planejamento e execução de programas e projetos de desenvolvimento social, podem ser encontrados dois enfoques principais: a gestão por objetivos e a gestão por processos. No primeiro, o planejamento está dirigido por objetivos e metas que são predeterminadas, enquanto que no segundo, o projeto ou programa vai sendo ajustado ou corrigido no transcurso da implementação. O modelo da avaliação por objetivos baseia-se num enfoque dedutivo e orientado por hipóteses que precisam ser verificadas, enquanto que no modelo de processos, o enfoque é eminentemente indutivo.

No modelo por objetivos o princípio fundamental é a formulação de hipóteses sobre a base de uma teoria estabelecida (enfoque de direitos ou de necessidades básicas, por exemplo), que logo são transformadas em objetivos. Geralmente essas hipóteses são mapeadas numa árvore de problemas e de conseqüências, a qual é transformada numa árvore de objetivos. Nesse caso, e posteriormente, a avaliação tenta verificar o alcance dos objetivos e testar as hipóteses por trás dos objetivos.

Uma vantagem desse enfoque é que toma como base o conhecimento e a experiência existentes, o que facilita o M&A, principalmente na seleção de indicadores e fontes de informação, e nas possibilidades de sua interpretação. A principal crítica a esse enfoque é que a delimitação dos problemas e objetivos pode direcionar muito a avaliação, com o perigo de que não sejam considerados os aspectos ou efeitos não previstos (efeitos secundários e outras externalidades), que geralmente surgem na implementação de programas e projetos sociais.

As políticas sociais (educação, saúde, assistência, habitação, emprego, previdência e assistência social, entre outras) se operacionalizam através de diversos programas, projetos e atividades que podem ser de índole setorial e/ou intersetorial e ter uma abrangência nacional, regional, estadual, municipal e local. O programa é constituído por um conjunto de projetos e atividades que compartilham estratégias e recursos para alcançar objetivos comuns. Na prática essas diferenças não são tão claras e erroneamente muitos projetos são considerados programas e vice-versa. Por sua vez, entende-se como projeto o conjunto de atividades programadas para alcançar um ou mais objetivos, dentro de um prazo e orçamento determinados.

9 Devido à complexidade e dinâmica dos programas sociais, a maioria dos projetos e programas não possuem uma adequada definição dos objetivos e das metas esperadas, nem uma análise de situação com suficiente informação que permita traçar a situação “antes” do início do projeto. Isto, sem dúvida, faz com que esse enfoque possua sérias limitações práticas. Porém, nada impede que o estabelecimento de objetivos e metas seja refinado, na medida em que a gerência e os atores envolvidos no projeto ou programa tenham um maior conhecimento sobre a dinâmica e rumo da iniciativa.

Ao contrário, o modelo de processos não estabelece um conjunto de hipóteses transformadas em objetivos. Nesse caso, a avaliação começa com uma atitude aberta e interrogante, onde as questões e os temas de análise vão surgindo sucessivamente e aumentando o conhecimento e/ou explicação sobre os fatos relacionados com a intervenção. Esse modelo, freqüentemente utilizado por antropólogos sociais, é muitas vezes o único meio para conseguir um conhecimento mais aprofundado dos temas que vêm sendo avaliados. Aplica-se quando é escasso ou não existe conhecimento sobre o fato que vem sendo avaliado. Esse enfoque é demorado e tem como principal desvantagem os desvios subjetivos que o processo e os resultados da avaliação podem tomar.

O gráfico abaixo ajuda na interpretação dos dois enfoques e mostra a necessidade da sua complementação. Nele observa-se que a combinação de processos e metas é a melhor alternativa para alcançar a situação do quadrante C (por exemplo, erradicação do trabalho infantil). Ou seja, não adianta alcançar a meta de erradicar o trabalho infantil se não se desenvolvem processos (fortalecimento institucional, por exemplo) que permitam garantir certa sustentabilidade dessa meta. Tampouco adianta desenvolver ou ficar somente em processos que não levem ao alcance de certas metas ou resultados. Ou seja, tanto no planejamento como na gestão e avaliação tem que existir um certo equilíbrio entre esses enfoques. Daí surge a recomendação da necessidade de trabalhar com objetivos e metas que podem ir sendo redefinidos/ajustados, na medida em que novo conhecimento vai sendo incorporado, através da implementação. Isso permite assegurar um certo grau de flexibilidade, tanto na gestão (estratégica) como na avaliação de eventos e efeitos não previstos.

10

Maior aprofundamento desta questão é encontrado em Sulbrandt (1994), que faz uma crítica aos modelos tradicionais de avaliação e propõe uma abordagem (avaliação global) que trata de integrar os enfoques de metas e de processos, onde se incorporam os atores afetados pelos programas e se utilizam os diferentes tipos de dados (qualitativo e quantitativo) e fontes e métodos de coleta de informação.

3.2. A Hierarquia Lógica de Análise

O entendimento dos conceitos de M&A e a sua inter-relação de forma integrada podem ser bem explicados através do marco lógico de análise (MLA), ferramenta que auxilia o planejamento e que foi proposta inicialmente pela Agência dos Estados Unidos para o Desenvolvimento (USAID) em 1970 e logo utilizada e adaptada pela Agência Alemã de Cooperação (GTZ) para exercícios de planejamento participativo em países em desenvolvimento. Atualmente o MLA é utilizado pelas agências bilaterais e multilaterais de cooperação, tais como as do sistema das Nações Unidas, Banco Mundial (BIRD), Banco Interamericano de Desenvolvimento (BID), Banco Asiático e Africano de Desenvolvimento e as

Metas e Processos

A C

B D

Bom

Ruim

Ruim Bom

Metas

Processos

Gestão por Metas Gestão por Processos -Parte de hipótese/paradigmas/objetivos -Não se estabelecem hipóteses -Considera o conhecimento acumulado -É indutivo -Os problemas e as causas estão delimit. -Conhecimento em profundidade -Os obj. e as metas estão mal definidos -Pode ser subjetivo -Efeitos não esperados/sustentabilidade -Prolongamento sem resultados

11 Agências de Cooperação dos Governos Danês, Britânico, Belga e Norueguês, entre muitas outras instituições e agências de cooperação internacional1.

O MLA (ou logframe), com suas categorias de classificação, ajuda nas fases de planejamento e formulação de um projeto ou programa, facilitando a programação de atividades e recursos e o desenho e a operacionalização dos sistemas de monitoramento e avaliação (M&A). Como mostra o Diagrama 1, o MLA possui uma hierarquia lógica que considera que os objetivos de um projeto ou programa são alcançados através de uma seqüência ou hierarquia lógica no tempo, isto é, o alcance de um objetivo imediato conduzindo à consecução de um objetivo intermediário que, por sua vez, levará ao alcance do objetivo de desenvolvimento ou de mais longo prazo.

Ou seja, o primeiro passo dentro do MLA é ter um consenso entre os que participam do projeto ou programa quanto aos problemas a serem abordados e a situação melhorada que se quer conseguir. Isto fará possível chegar a um consenso quanto aos objetivos específico e geral ou mais global do projeto. Portanto, no MLA é importante descrever a situação futura desejada, para que seja possível posteriormente verificar qual é o grau de alcance desses objetivos nos grupos-alvo.

No enfoque de MLA considera-se que a execução de um projeto é a consequência de um conjunto de fatos com uma relação causal interna. Esses níveis são os insumos, as atividades, os resultados ou produtos, os objetivos específicos e o global que se encontram interrelacionados, onde cada nível será alcançado na medida em que certas hipótese foram cumpridas.

O grau de certeza na implementação das atividades e dos resultados é bastante elevado, já que depende, em grande medida, do controle gerencial do projeto; porém, este grau diminui nos níveis superiores, onde há mais incertezas ou fatores externos que escapam ao controle interno do projeto ou programa. Cada nível desta hierarquia tem que ser verificável através de indicadores que são constituídos, tendo uma ou mais fontes de informação (ou meio de verificação). O diagrama abaixo mostra a interação entre os diferentes níveis e na tabela 1 observa-se, o modelo clássico de MLA resumido num exemplo em formato matricial.

11 NNoo aanneexxoo 22,, aa mmeettooddoollooggiiaa ddoo mmaarrccoo llóóggiiccoo ddee aannáálliissee éé aapprreesseennttaaddaa eemm ffoorrmmaa eessqquueemmaattiizzaaddaa.. EEssttee aanneexxoo ffooii bbaasseeaaddoo nnaa ttrraadduuççããoo ee aaddaappttaaççããoo ddoo mmaatteerriiaall pprroodduuzziiddoo ppeellaa OOIITT--PPrrooggrraammaa DDeellNNeett.. PPrrooggrraammaa aa DDiissttaanncciiaa ddee FFoorrmmaacciióónn,, AAssiisstteenncciiaa TTééccnniiccaa,, iinnffoorrmmaacciióónn yy TTrraabbaajjoo eenn RReedd eenn aappooyyoo aall DDeessaarrrroolllloo LLooccaall.. TTuurriinn 11999999..

ObjetivoEspecífico

Resultados

Insumos

Atividades

Pre-condições

Fatores Externos

Fatores Externos

Fatores Externos

ObjetivoGlobal

Fatores Externos

Diagrama 1. Elementos e Inter-relação do MLA

Se os insumos estão disponíveis, asatividades se implementarão

Se as atividades se implementam seobterão os resultados

Obtendo-se a resultados se alcançaráo objetivo específico

O alcance do objetivo específico levará, no mais longo prazo, a contri-buir na consecussão do objetivo global

Tabela 1. EXEMPLO DE MARCO LÓGICO DE ANÁLISE

Hierarquia Vertical

deObjetivos

Metas e Indicadores

Meios de Verificação

Pressupostos

Global: Melhorar a Saúde Reproductiva na Estado de Ceará

-Taxa de mortalidade materna reduzida em 20% até Dezembro 31, 2002 -Taxa de Morbilidade materna reduzida em 20% até Dezembro 31, 2002 -Taxa de mortalidade infantil reduzida em 15% até Dezembro 31, 2002 - Casos de DST/HIV/AIDS reduzida em 10% até Dezembro 31, 2002

Registros da Secretaria de Saúde do Estado

- As altas taxas de mortalidade, morbilidade e fertilidade devem-se à falta de conhecimento e/ou acesso a serviços de qualidade. - Espera-se que o Governo estadual e os governos municipais apoiarão os programas e que os recursos serão aprovados e disponíveis. - A estabilidade política e econômica continuará

14 3.2.1. Fornecendo os Insumos ou Meios

O primeiro passo nesta seqüência ou objetivo imediato de qualquer projeto ou programa de desenvolvimento social é fornecer os insumos ou meios, que são os recursos físicos, financeiros e humanos requeridos para realizar determinadas atividades. Estes insumos são implementados dentro de uma estrutura organizacional e administrativa que varia de acordo com cada instituição ou entidade implementadora (ONGs, Ogs, empresas). No caso de programas regulares, este é um processo contínuo, condicionado à programação anual de recursos. Por exemplo, num programa de imunização os recursos materiais estão representados pelas vacinas, disponibilidade de transporte, cadeias de frio para conservação das vacinas, seringas, etc. Já os médicos, enfermeiras, auxiliares e motoristas representam os recursos humanos disponíveis para o programa. Num projeto de erradicação dos meninos em situação de rua, os recursos humanos são os monitores de rua, educadores, psicólogos, nutricionistas, auxiliares administrativos, etc. 3.2.2. Combinando os Meios para a Obtenção do (s) Resultados(s) ou Produto(s) Como foi observado no Diagrama 1, para que seja possível alcançar os objetivos do programa ou projeto, o segundo passo é combinar os meios ou recursos humanos, materiais e financeiros, através de atividades e subatividades para a obtenção de determinado(s) produto(s) ou resultados. Ou seja, as atividades (e subatividades) seriam equivalentes a processos (e subprocessos) produtivos, em que se combinam insumos em determinadas proporções (por uma determinada tecnologia) para a obtenção dos produtos ou resultados. Por exemplo, em um programa de imunização e de alimentação emergencial os produtos podem estar representados pelas crianças e mães vacinadas, as cestas de alimentos, os litros de leite e os quilos de pão distribuídos. Se considerarmos que o resultado ou produto que queremos alcançar é a vacinação de um determinado número de crianças em determinado período de tempo e área geográfica, temos que implementar determinadas atividades que permitirão alcançar este produto. Via de regra, para alcançar cada um dos produtos da intervenção é necessário implementar mais de uma atividade. O importante é não confundir atividade com produto. Na prática de programação é a partir da definição dos produtos que se identificam as atividades que serão implementadas e dai os recursos necessários. 3.2.3. Os Efeitos e o Impacto Supõe-se, então, que, a partir da consecussão dos resultados, ocorrerão efeitos específicos que podem ser considerados como os objetivos mais imediatos do projeto ou programa. No exemplo anterior, o que se procura com a implementação das atividades e a

15 vacinação das crianças é uma redução no número de óbitos devido à incidência do sarampo, doença imuno-prevenível. No caso de um programa de alimentação emergencial, a partir da distribuição de cestas alimentares e pão e leite, pode-se esperar uma série de efeitos específicos sobre a população de famílias carentes, tais como a melhoria da condição nutricional das crianças e da família em geral, o aumento da renda não-monetária da família, a diminuição das diarréias e da mortalidade infantil, entre outros. A maior cobertura de abastecimento de água conseguida por um programa de saneamento básico pode trazer como efeito imediato uma menor incidência de doenças de origem hídrica e maior tempo para as as mães, que geralmente tem a função de carregar a água, se dedicarem ao lazer ou a outras atividades produtivas. Da mesma forma, um programa de aplicação de medidas sócioeducativas e de orientação de famílias com crianças infratoras pode resultar na reintegração das crianças ao seio da família e um retorno à escola. Embora a relação entre os recursos necessários à obtenção dos produtos possa ser conhecida ou mais fácil de estimar, as relações entre os produtos e os efeitos mais imediatos e o impacto desejados são difíceis e, às vezes, impossíveis de prever. Em alguns casos, é comum que existam vários programas atuando na mesma área geográfica e beneficiando as mesmas populações. Em outras ocasiões, há uma série fatores fora de controle do programa ou projeto (eventos políticos, mudanças em preços relativos, etc.) e elementos de incerteza ou situações emergenciais, como a seca no Nordeste, que interagem de forma dinâmica com o programa. Em programas ou projetos multisetoriais com vários componentes não é sempre possível separar esses efeitos específicos. Os diferentes resultados que estão sendo gerados pelas diversas atividades do programa, e os efeitos imediatos, provocam ou induzem efeitos mais amplos, que podem ser classificados como efeitos secundários ou indiretos. Estes efeitos secundários podem afetar positiva ou negativamente a população beneficiaria e também afetar outras regiões e grupos. Por exemplo, no caso de um programa de cestas familiares e distribuição de pão e leite para famílias carentes implementado no Estado de Goiás, gerou-se uma demanda por maior produção local, induzindo a implantação de mini-usinas de leite e o aumento da capacidade de produção das padarias existentes. A criação dessas mini-usinas e da capacidade das padarias também levou à criação de maior número de empregos e renda em setores e grupos não diretamente beneficiados pelo programa. Por outro lado, houve evidências de que a oferta de cestas alimentares para as famílias carentes resultou numa menor atividade do comércio local onde as famílias pobres residiam. O conjunto dos efeitos acima caracterizados levaria, a médio e longo prazos, a conformar o impacto do programa ou projeto, o qual pode ser definido como:

Os efeitos secundários, muitas vezes não previstos ou não considerados nas avaliações, podem ser mais importantes que os efeitos diretos ou imediatos. Dependendo do projeto ou programa os efeitos secundários podem ser de diferente índole (econômico, ambiental, cultural, demográfico, etc). por exemplo, a maior renda percebidas por famílias beneficiadas por um programa de profissionalização pode gerar renda e emprego em outros setores ao induzir uma produção adicional de bens de consumo. Um programa emergencial de distribuição de cestas básicas pode induzir a aumentos na atividade processadora local ou de outros estados (se a fonte de produção está for a do estado em que se implementa o programa). Outras externalidades de tipo econômico podem ser a instalação de novas empresas, agências de serviços, incrementos da atividade da construção, comércio, etc.

17

"O resultado total final, levando-se em consideração os efeitos diretos e indiretos onde se consideram os efeitos de difusão e a imitação que produzem mudanças na comunidade como um todo" (Casley e Lury 1982).

É importante então ressaltar que o impacto não é somente função do projeto ou programa, mas de uma série de outras variáveis sobre as quais a gerência não tem maior influência. O Diagrama 2 mostra a interrelação entre as categorias de insumos, atividades, produtos, efeitos (diretos e indiretos) e impacto num programa ou projeto. Já no Diagrama 3 observam-se estas categorias num programa multisetorial.

Análise de Situação(problemas, causas, alternat)

Objetivosimediatos

Objetivo de Desenvolvimento

Recursosfísicos, fi-nanceirose humanosorganizadosem funçãode objetivos.Dentro de uma estru-tura organi-zacional ad-ministrativa

Produtos/Resultados

Efeitosdiretos IMPACTO

EfeitosSecundários

Atividades/tarefas

Fatores fora de controle do programa/projeto. Pressupostos

HIERARQUIA NO ALCANCE DE OBJETIVOS

INPUTS

T..n

18 DIAGRAMA 2

Diagrama 3 Hierarquia Lógica no Alcance dos Objetivos de um

Programa Multisetorial

19

EfeitosEspecíficos

Im

EfEspe

Efeitos deInteração

Fatores

20 3. 3. Monitoramento e Avaliação Inicialmente, deve ser observado que, embora o monitoramento e a avaliação estejam intimamente relacionados, são atividades diferentes. A palavra monitoramento é de origem latina “monere”, que significa alerta. Na língua inglesa transformou-se em monitoring, com o mesmo significado. Em português tem-se traduzido como monitoria ou monitoramento e usada como sinônimo de vigilância, acompanhamento, seguimento ou supervisão. O consenso alcançado pelas diferentes agências de cooperação se expressa abaixo.

De acordo com o anterior, o monitoramento se iniciaria juntamente com a etapa de implementação do programa e teria a função de prover informação e alertar à gerência.

Já a avaliação é um juízo que se faz sobre o valor ou mérito do programa. Este juízo pode ser feito com relação a uma pessoa, a um produto, a uma organização ou a qualquer outro objeto que se queira avaliar. Porém, para efetuar estes juízos de valor ou de mérito, é necessário que se estabeleçam critérios ou padrões a partir dos quais seja possível, por parte dos atores interessados, efetuar avaliações mais objetivas sobre o objeto ou pessoa em questão. O consenso existente quanto à avaliação de programas e projetos sociais é que estes critérios devem estar orientados para verificar e analisar a pertinência ou relevância da intervenção, a sua eficácia (ou efetividade) no alcance dos objetivos e metas (efeitos), a eficiência (econômica e financeira), o impacto gerado e a sustentabilidade. Para cada um destes focos da avaliação existe uma variedade de metodologias e formas de coleta de informação que dependem, em grande medida, da natureza do problema abordado, das estratégias e tecnologias de intervenção, dos recursos

MONITORAMENTO envolve a coleta de informação sobre insumos, produtos, atividades e circunstâncias que são críticas e relevantes para a efetiva implementação do programa ou projeto. Através dessa informação, o monitoramento analisa e verifica, num processo contínuo, se os recursos e as atividades se estão implementando segundo o programado e se as metas sobre os resultados estão sendo alcançadas ou não, indicando, ao mesmo tempo, as razões de sucesso e insucesso. Em outras as palavras, o monitoramento fornece a informação e as sugestões necessárias para que a gerência do programa verifique o progresso da implementação, a fim de tomar as decisões cabíveis, no sentido de que as metas programadas sejam alcançadas e/ou ajustadas.

21 disponíveis e das populações-alvo e atores envolvidos. Abaixo temos uma definição de consenso que inclui os aspectos acima assinalados.

Se a avaliação é feita durante a implementação, denomina-se "avaliação durante ou em processo (on-going)", permitindo que os ajustes se efetuem durante a implementação. Quando a avaliação é feita após a implantação do programa ou projeto, denomina-se "avaliação terminal", e tem como principal propósito fornecer informações a administradores, planejadores e tomadores de decisão para a estruturação de futuras políticas, programas e projetos. Se a avaliação é realizada num ponto do tempo, dois ou três anos após a implantação do projeto, fala-se em ”avaliação de médio termo”. Quando a avaliação é feita depois de vários anos de terminada a intervenção, denomina-se “avaliação ex-post”. O maior problema que se apresenta na avaliação dos efeitos e impactos de um projeto é a separação entre as mudanças induzidas por ele e aquelas causadas por uma série de fatores totalmente fora do controle da gerência do programa, tais como as alterações bruscas na política do setor e as mudanças na política macroeconômica, que podem afetar as relações dos preços relativos dos insumos e produtos, assim como as mudanças políticas ou de lideranças, a superposição de outros projetos/programas, etc. No Diagrama 4 podem ser observadas as atividades de monitoramento e avaliação no contexto do ciclo do projeto e no Diiaaggrraammaa 55,, rreeggiissttrraa--ssee uumm rreessuummoo ddooss pprriinncciippaaiiss ccoonncceeiittooss aannaalliissaaddooss nneessttaa sseeççããoo..

A AVALIAÇÃO é um processo conduzido antes (fala-se de avaliação ex-ante), durante e/ou depois da implementação do projeto ou programa, onde se efetua um juízo sobre seu valor ou mérito considerando: a relevância dos objetivos e estratégias, a eficácia (ou efetividade) no alcance dos objetivos e metas esperados, a eficiência no uso de recursos, o impacto e a sustentabilidade da intervenção. Dessa forma, a avaliação trata de: (i) examinar novamente, com juízo crítico e face às mudanças subseqüentes, a justificação lógica do programa em termos da adequação dos seus objetivos e estratégias (relevância) para superar as limitações identificadas; (ii) comparar a consecução das metas reais com as estabelecidas, identificando as razões de sucesso e insucesso; (iii) verificar a eficiência dos procedimentos utilizados na execução do programa e da qualidade do desempenho gerencial; (iv) determinar a eficiência econômica do programa; (v) determinar e traçar a causalidade dos efeitos e impacto do programa e, (vi) identificar as lições aprendidas e propor recomendações, de modo a reforçar os acertos e/ou, se necessário, ajustar, reorientar e modificar objetivos, metas, arranjos organizacionais e recursos.

22 DIAGRAMA 4

DIAGRAMA 5

3.4. Diferenças e Complementariedade entre Monitoramento e Avaliação Embora o monitoramento e a avaliação sejam atividades interrelacionadas, elas são diferentes. A principal articulação da avaliação com a monitoria é que a avaliação utiliza extensivamente os dados gerados pelo sistema de monitoramento. Além dessa informação, a avaliação utiliza diversas fontes de dados, visando estabelecer a causalidade dos efeitos induzidos pelo projeto. Sem um bom monitoramento ou registro das informações sobre recursos, atividades, produtos e ocorrências na implementação é muito dificil efetuar uma boa avaliação.

No Diagrama 6 e Tabela 2 observam-se as principais diferenças e complementariedades entre M&A.

24

MONITORAMENTO

- Processo sistemático que se inirealiza junto com a implementaum projecto ou programa

- Coleta, sistematiza e analisainformação:

- Sobre o avanço (P/I) no uso dorecursos financeiros, humanos materiais

25 DIAGRAMA 6

26 TABELA 2 COMPLEMENTARIEDADE ENTRE M & A

Itens Monitoramento Avaliação

Freqüencia Regular Episódico Ação principal Acompanhamento/vigilância Apreciação, julgamento Propósito principal

Melhorar eficiência, ajustar plano de trabalho

Melhorar efetividade, impacto e programação futura

Foco Insumos, produtos, processos, efeitos, plano de trabalho

Efetividade, relevância, impacto, custo- Efetividade,

Fontes de informação

Sistemas regulares, sítios sentinelas, observação, relatórios progresso, apreciações

As mesmas, mais estudos e pesquisas específicas

Realizadas por: Gerentes e coord. de programas, comunidade (beneficiarios), supervisores, financiadores

Gerentes e coordenadores de programas, supervisores, financiadores, avaliadores externos, comunidade (beneficiarios)

Informa a: Gerentes e coordenadores de programas, técnicos e comunidade (beneficiarios), supervisores, financiadores

Gerentes e coordenadores de programas, supervisores, financiadores, tomadores de decisão, beneficiarios, comunidade

27 TABELA 3 RELAÇÃO ENTRE M&A

Monitoramento e avaliação são complementares Sem o monitoramento, avaliação não pode ser bem realizada

Monitoramento é necessário mas não é suficiente para a avaliação. (Monitoramento facilita a avaliação, mas avaliação utiliza informação adicional de outras fontes).

A avaliação de um programa pode levar a mudanças no plano de trabalho do programa. Isto pode significar uma mudança na coleta de informação para efeitos de monitoramento.

28 4. RELAÇÃO ENTRE OBJETIVOS, METAS E INDICADORES PARA MONITORAMENTO E AVALIAÇÃO

4.1. Objetivos De acordo com a hierarquia lógica de análise apresentada no capítulo 3, teriam-se os seguintes tipos de objetivos que precisam ser considerados para fins de monitoramento e avaliação: ♦ Objetivo global, que também é denominado de geral, de desenvolvimento ou de longo

prazo. Só deve existir um objetivo global ao qual o programa ou projeto, espera-se, contribua para seu alcance. Este deve ser definido como o estado desejado que se quer alcançar e que, geralmente corresponde à situação contrária encontrada no início da intervenção, ou seja, corresponde à solução do(s) problema(s) ou déficit(s) identificados.

♦ Objetivo(s) específico (s), que as vezes são chamados de propósitos, objetivos de efeitos ou

objetivos de curto prazo. Embora o Marco Lógico de Análise recomenda que se defina somente um (01) objetivo específico por projeto, na prática isto não se cumpre e são definidos vários objetivos específicos. O erro mais usual é que os objetivos específicos são estabelecidos de forma muito ambígua/ampla e, na maioria das vezes, como objetivos-meio e, não estados aos quais se quer chegar. Isto dificulta a definição de indicadores e posterior avaliação. Por exemplo, o enunciado “fortalecer a capacidade do serviço de saúde reprodutiva do centro de saúde x”, além de estar definido de forma ampla, é um objetivo-meio. Ou seja, não fica claro o que significa fortalecer e, ao mesmo tempo, não permite saber o estado a que ser quer chegar ou conseguir com este fortalecimento. Uma redação mais recomendável seria: “melhorar a qualidade do atendimento das equipes de saúde reprodutiva do município x”. Embora este objetivo ainda seja amplo, já que não especifica metas na sua construção, o estado de melhoria da qualidade dos serviços que se pretende alcançar, obriga à definição tanto de critérios ou padrões de qualidade como a indicadores para o seu monitoramento e avaliação.

♦ Objetivos de Resultado (ou outputs), denominados simplemente de resultado ou produto

estes objetivos são comumente confundidos com os objetivos específicos e por isso é comum que não se considerem como uma categoria. Os resultados correspondem à única categoria que pode ser garantida pelo projeto ou programa. É a partir de uma correta definição dos resultados que pode ser efetuada uma boa programação de atividades/subatividades e de recursos. Ao contrário dos objetivos específicos e global, os resultados são expressos no passado, ou seja, referindo-se ao fato de que estes tem que ser garantidos pela intervenção (centros de saúde com pessoal capacitado no atendimento de saúde reprodutiva, escolas construídas e devidamente equipadas, etc).

♦ As categorias de atividades/subatividades –que referem-se aos recursos necessários para

implementá-las – não são consideradas categorias de objetivos. Elas simplesmente

29 representam processos onde se combinam recursos humanos, financeiros e materiais (que envolvem tecnologias e estruturas administrativo-organizacionais) necessários para sua implementação.

Na definição das categorias existe a recomendação de que estes devem ser SMART, ou seja: specifics (específicos), measurables (mensuráveis), appropriates (apropriados), relevants (relevantes) e time-bounded (definidos dentro de um período de tempo). Seguindo esta recomendação - e assumindo que o objetivo é apropriado para os recursos que se possuem e relevante para o problema ou situação que se pretende melhorar ou eliminar - a definição de um objetivo também deveria incluir a meta que se pretende alcançar em determinado período de tempo, além de ser específico para os grupos de beneficiários de uma determinada área geográfica. Seguindo esta recomendação, um objetivo teria que ser redigido da seguinte forma: “melhorar o padrão de qualidade de atendimento das equipes de saúde reprodutiva do município x do nível 5 para 8 no período de um ano”. Neste caso pode-se notar que o objetivo é construído com metas embutidas dentro dele. Embora seja mais fácil o monitoramento e avaliação de um objetivo construído desta forma, na maioria das vezes não é possível defini-lo com esta precisão. A ausência de informação sobre a situação inicial (linha de base) impede formular objetivos com metas na sua definição. Por exemplo, o Plano Avança Brasil definiu uma série de objetivos e indicadores para o seu M&A, porém sem metas embutidas, devido ao desconhecimento das situações iniciais a partir das quais se definiu a intervenção. Há também várias críticas sobre a recomendação de definir objetivos com metas especificadas e mensuráveis. A primeira crítica é com a própria terminologia de objetivos e metas que, para a maioria das pessoas, equipes e participantes de programas e projetos, é desconhecida e difícil de vincular no dia a dia. Segundo Michael Quinn Patton (1982), principal crítico da abordagem de metas, a exigência de objetivos e metas leva muitas vezes a definições fictíçias que muitas vezes não correspondem à realidade do que realmente se quer alcançar. A recomendação deste autor é que não se deve perguntar quais os objetivos e metas do programa. Deve-se, sim, perguntar o que se quer alcançar com o programa?, quais são as mudanças desejadas?, quais seriam as diferenças que vai fazer o programa?. Ou seja, é através destas perguntas que as equipes e os usuários de programas formulariam os objetivos. A segunda recomendação é a necessidade de separar o objetivo da meta. Na maioria das vezes é possível definir os objetivos da forma recomendada, mas as metas são praticamente impossíveis de estabelecer. Neste caso, deve-se definir o objetivo, deixando para estabelecer metas à medida que o programa se implemente e se tenha um melhor conhecimento da realidade e da causalidade da intervenção. 4.2. Metas e Indicadores

30 Muitas vezes, quando se fala de objetivos entende-se que a meta está embutida no objetivo. Outras vezes, entende-se como meta os próprios objetivos, o que leva a confundir os conceitos e dificultar a sua operacionalização. No Brasil , via de regra, diferencia-se estes dois termos, considerando-se a meta como a quantificação do objetivo. Ou seja, fala-se de objetivos a serem alcançados com suas respectivas metas (quando for possível especificá-las). Nesta perspectiva, a meta seria o estágio desejado que o objetivo teria que alcançar num período de tempo para um grupo de beneficiários e área geográfica. Neste sentido, a meta é um standard ou parâmetro de desempenho contra o qual o avanço do programa é comparado e medido. Como regra, as metas devem possuir uma magnitude (valor), referir-se a uma área geográfica e/ou população-alvo e a um período de tempo. Os valores das metas podem ser também definidos tendo como base normas, padrões ou critérios (seguindo o exemplo: número desejado de pacientes que devem ser atendidos pelo serviço de saúde reprodutivo). Os indicadores, por outro lado, são as medidas (quantitativas e/ou qualitativas) que permitem aferir o estado ou progresso dos objetivos, metas e critérios (padrões) de um programa, projeto ou atividade. Ou seja, permitem assinalar em que medida uma mudança ou resultado esperado ou planejado está sendo alcançado nos diferentes níveis da hierarquia de objetivos de um programa. 4.2.1. Tipos e Características dos Indicadores Em geral, os indicadores de M&A são denominados indicadores de desempenho, no sentido de que é através deles que é possível verificar (mensurar) o possível impacto, os efeitos, os resultados ou produtos, os processos e recursos de um programa ou projeto para monitorar e/ou avaliar se os objetivos e metas estabelecidos estão ou não sendo alcançados. A partir da definição de indicadores é possível definir identificar as fontes de dados e fluxos de informação requeridos para efetuar as verificações/mensurações necessárias. Ou seja, tem-se as seguintes categorias de indicadores: (a) Indicadores de insumos ou de recursos

Mensuram a quantidade e qualidade dos recursos fornecidos para um programa ou projeto (ex: financiamento, recursos humanos, treinamento, equipamentos, materiais, capacidade organizacional).

(b) Indicadores de processo ou de atividades

Mensuram as atividades implementadas no dia-a-dia do projeto/programa para a implementação dos recursos e outros processos na tomada de decisão.

31

Um indicador é uma medida que é utilizada para mostrar a mudanças numa condição ou situação

específica num determinado período de tempo. Os indicadores nos permitem verificar o grau de alcance

ou progresso de um programa. Por esta razão eles são instrumentos essenciais para o monitoramento e

avaliação.

- Os indicadores podem ser medidas quantitativas (p.e. distância à escola mais próxima) e qualitativas

(p.e. centro de saúde funcionando bem).

- Os indicadores devem especificar: o grupo-alvo (para quem), quantidade (quanto), qualidade (se

está bem), tempo (dentro de que período) e área geográfica (onde)

(c) Indicadores de produtos ou resultados Mensuram a quantidade e qualidade dos bens e serviços criados ou fornecidos através do uso dos insumos. Ou seja, permitem verificar os resultados imediatos, tais como: crianças vacinadas, grupos constituídos e funcinando, clínicas e escolas construídas, etc.

(d) Indicadores de efeito e impacto Mensuram a qualidade e quantidade dos resultados alcançados através do fornecimento e uso dos bens e serviços, tais como: mudanças na qualidade de vida, redução da incidência de doenças, incremento de renda, redução da mortalidade infantil, etc.

É importante assinalar que os indicadores de processo podem ser instrumentos poderosos para descobrir e explicar os problemas que podem estar ocorrendo na implementação de um programa po projeto. Neste sentido, os indicadores de processos possuem uma série de vantagens sobre os indicadores de efeitos e impacto. Eles são mais baratos de obter e, conseqüentemente, podem ser medidos com maior freqüência. Ao mesmo tempo, os indicadores de processo podem refletir as mudanças mais rapidamente que os indicadores de efeitos e impacto, permitindo uma retroalimentação mais rápida para a gerência do programa, não tendo que esperar meses ou anos para dar um feedback para os tomadores de decisão. Um bom indicador deve apresentar as seguintes características:

Válido: que meça o que se supõe deve ser medido;

Confiável: que seja verificável;

Relevante: aos objetivos do programa/projeto;

Sensitivo: às mudanças da situação que é observada;

Aceitável: pela população em estudo e pelos que coletam a informação;

32 Especifico: adaptado aos objetivos do programa/projeto;

Oportuno: que possa ser constituído e reportado em tempo hábil;

Tecnicamente viável: que os dados requeridos possam ser coletados e mensuráveis (i.e., fácil

de coletar através de amostragem, disponibilidade de pessoal especializado, disponibilidade

transporte do equipamento necessário, etc), e

Custo-efetivo: que os dados requeridos possam ser coletados a um custo razoável (i.e., custos

de capital, pessoal, operacionais).

5. FONTES E MÉTODOS DE COLETA DE INFORMAÇÃO PARA M&A

No caso do monitoramento, as fontes de informação estão representadas principalmente pelos registros e relatórios de progresso que tem que ser produzidos de forma regular para garantir que a programação físico-financeira seja efetivamente implementada e para detectar e corrigir desvios na programação. Via de regra, no monitoramento financeiro os relatórios estão organizados por item de despesas dentro das categorias contábeis tradicionais, que não permitem a possibilidade de estimar custos ou despesas por tipo de atividade ou custos por tipo de produto e serviço oferecido. Como conseqüência, na maioria dos projetos e programas sociais não se efetuam boas análises de eficiência, viabilidade financeira ou de custo-efetividade. Para um gerente ou coordenador de um programa social pouco adianta saber o que foi programado e implementado por item de despesa num determinado período, e sim como esses recursos foram empregados nas diferentes atividades, produtos e serviços que oferece a instituição.

Com relação ao monitoramento, cabe enfatizar que um dos principais entraves para sua

operacionalização − e efetivo uso para a tomada de decisões de índole gerencial e como fornecedor de informação básica para a avaliação − é a falta de um sistema computarizados de gerenciamento que forneça, de forma amigável, um formato de entrada e leitura de informação que permita ao usuário sistematizar os dados provenientes dos diferentes instrumentos e fontes de informação, dentro de determinadas categorias conceituais para facilitar o processamento, a geração de relatórios e análise.

Muitas vezes, as equipes ou os responsáveis pelas atividades de M&A se enfrentam, no

dia a dia, com uma enorme quantidade de dados que se encontram espalhados em planilhas, tabelas, registros administrativo-financeiros e outros instrumentos de coleta de informação, o que torna dificil e lentas as etapas de processamento e análise da informação para o seu uso oportuno na tomada de decisões. Ou seja, e paradoxalmente, possui-se uma enorme quantidade de dados e, ao mesmo tempo, pouca informação relevante para a tomada de decisão.

33 Como já foi mencionado, a avaliação usa como insumo importante a informação gerada pelo monitoramento. Além desta informação, a avaliação também utiliza uma série de outras fontes de dados primários e secundários. Os dados secundários geralmente provém dos diferentes Censos (econômicos edemográfico), pesquisas anuais tais como as Pesquisas Nacionais por Amostra de Domicílios (PNADS, IBGE), Pesquisa Médico-Sanitária, Pesquisa Municipal (esta pesquisa, iniciada em 1999, coleta informações de todos os municípios sobre a oferta de serviços), Pesquisa Mensal de Emprego (realizada em 6 regiões metropolitanas), e uma série de outros levantamentos de informação, que são realizados pelos Institutos de Planejamento Estaduais. Nesta categoria de fontes de informação cabe ressaltar os sistemas de informações regulares dos Ministérios da Saúde e da Educação. Tanto em saúde com em educação, estes ministérios tem feito enormes esforços para redesenhar, atualizar e melhorar a qualidade dos dados coletados. Os sites de internet do DATASUS/RIPSA na saúde e do INEP na educação permitem acessar informação atualizada em diferentes níveis de agregação (país, região, estado e, em alguns casos, informação com desagregação municipal). Tabulações especiais podem ser solicitadas ao IBGE e aos ministérios correspondentes. As agências internacionais presentes no país também possuem sistemas de informações com indicadores relacionados com seus respectivos mandatos. Cabe destacar os Boletins de Indicadores Sociais produzidos anualmente pelo IBGE e UNICEF, o Relatório de Desenvolvimento Humano produzido pelo Programa das Nações Unidas para o Desenvolvimento (PNUD) e IPEA, as estatísticas econômicas e sociais produzidas pela Comissão Econômica para América Latina (CEPAL), os indicadores sobre emprego da Organização Internacional do Trabalho (OIT), as estatísticas sobre alimentação e produção alimentar da Organização das Nações Unidas para a Agricultura e Alimentação (FAO) e o Instituto Interamericano de Cooperação para a Agricultura (IICA), os indicadores sobre o estado de saúde da população da Organização Panamericana da Saúde (OPAS-OMS) e as estatísticas e estudos sobre população produzidas pelo Fundo das Nações Unidas para a População (FNUAP), entre as principais.

Além dos dados secundários e de monitoramento, a avaliação utiliza extensivamente uma série de outros métodos para a coleta de informação. Não é objetivo deste documento analisar detalhadamente cada método que pode ser utilizado no trabalho de avaliação. Porém, é importante dar uma visão esquemática dos diferentes métodos, assinalando as suas principais características e as situações em que é mais conveniente sua utilização.

Nesta direção, pode-se estabelecer uma diferenciação entre aqueles métodos mais formais típicos da pesquisa acadêmica, que são bastante exigentes em termos de recursos e tempo, e aqueles métodos mais simples e menos formais, que são mais rápidos e menos custosos de realizar. As características e os prós e contras dos métodos formais são apresentados na Tabela 4. Nas Tabelas 5 e 6 cada um dos métodos formais é analisado em termos de sua adequação e limitação para diferente situações do trabalho avaliativo.

Na Tabela 7 apresenta-se uma caracterização dos métodos menos formais e nas Tabelas 8 a 11 uma descrição quanto a seu uso e condições requeridas. No Anexo 3 são indicadas as fontes bibliográficas onde pode ser aprofundado o conhecimento sobre cada método2 22 EEssttaass ttaabbeellaass ffoorraamm ttrraadduuzziiddaass ee aaddaappttaaddaass ddee:: EEvvaalluuaacciióónn ddee PPrrooyyeeccttooss SSoocciiaalleess.. NNOORRAADD,, 11999999

34 TABELA 4 MÉTODOS FORMAIS DE COLETA DE INFORMAÇÃO PARA M&A

TIPO DESCRIÇÃO PRÓS E CONTRAS PESQUISA FORMAL (Censo, amostragem)

Inclui o uso de entrevistas e questionários escritos e orais para Serem aplicados em várias unidades amostrais (pessoas, famílias, comunidades, etc)

+ Os dados podem ser obtidos sobre a base de perguntas e questões abertas e fechadas - A coleta de dados é um processo exigente em tempo e recursos

♦ OBSERVAÇÃO PARTICIPANTE

Observação em profundidade de um ou alguns poucos casos selecionados; a observação pode ou não ser participativa

+ Muito adequada para compreender processos e formular hipóteses que serão contrastadas posteriormente. + Pode proporcionar uma descrição exaustiva e muito detalhada - Menos adequada para a generalização.

TABELA 5. CONDIÇÕES PARA A REALIZAÇÃO DA PESQUISA FORMAL (POR AMOSTRAGEM)

É O MÉTODO MAIS ADEQUADO Quando precisa-se de uma informação

precisa, generalizável e quantitativa. Quando não é possível ou apropriado incluir

a população total. Quando a finalidade é conhecer um grau de

variação ou desvio em uma população. Quando existe a necessidade de verificar

hipóteses ou opiniões estereotipadas de forma qualitativa.

♦ É IMPORTANTE LEVAR-SE EM CONTA

A formulação de uma pesquisa representativa requer um fundamento sólido de conhecimento acerca das condições socioculturais locais.

A capacitação meticulosa dos entrevistadores é importante, a fim de reduzir o número de erros no registro e interpretação.

Os questionários devem ser previamente revisados, para se controlar uma possível ambigüidade, ver se as perguntas são compreendidas da mesma forma e se cobrem todos os aspectos que serão estudados.

Deve-se ter cuidado no desenho amostral , para se ter certeza na inclusão de todos os grupos relevantes e também de todos aqueles que não são facilmente acessíveis.

O critérios de seleção e tipo de amostragem, deverão ser devidamente explicados.Assim como qualquer limitação estatística em relação à amostra.

TABELA 6 CONDIÇÕES PARA A REALIZAÇÃO DA OBSERVAÇÃO PARTICIPANTE

É O MÉTODO MAIS ADEQUADO Para se obter uma visão mais profunda

das condições socioculturais, dos processos e do padrões de conduta.

Quando existe a necessidade de um conhecimento de base que permita a interpretação dos dados existentes recolhidos por outros métodos.

Para estudar efeitos e processos imprevistos que não foram levados em conta na formulação do projeto.

Para evitar que o recolhimento de dados influa em sua qualidade.


A observação é um método que consume muito tempo; o trabalho deve começar de forma que os resultados estejam disponíveis quando necessário.

Desde o primeiro momento deve-se considerar se a presença do observador representa ou não uma fonte importante de erro.

A utilização de vários informantes e observadores independentes pode ajudar a corrigir uma possível informação errônea.

Deve-se reservar tempo suficiente para discutir e interpretar os resultados.

A posterior correção dos erros pode ser feita discutindo-se os resultados com aqueles que foram estudados; por exemplo, por entrevistas com um grupo focal.

37

TABELA 7 CONDIÇÕES PARA A REALIZAÇÃO DOS MÉTODOS NÃO FORMAIS, MAIS

SIMPLIFICADOS COMUMENTE UTILIZADOS

MÉTODO DESCRIÇÃO PRÓS E CONTRAS ENTREVISTAS COM INFORMANTES CLAVE

Proporciona informação geral descritiva procedente de vários indivíduos envolvidos. Útil para a verificação e geração de idéias

+ Enfoque flexível e profundo. + Fácil de se levar a cabo. - Risco de apresentação e de interpretação dos informantes e do entrevistador por um só ângulo.

ENTREVISTAS DE GRUPO

Gera informação em nível local relativa a projetos e medidas que afetam muitas pessoas.

+ Baixo custo, eficiente. + Os mesmos participantes verificam a informação. + Contato direto com os afetados. - As discussões pode ser facilmente manipuladas por líderes ou grupos locais. - Os temas controvertidos são a miúde excluídos.

ENTREVISTAS COM GRUPO FOCAL

Para a análise de problemas específicos e/ou complexos; para identificar atitudes e prioridades em grupos menores.

+ Razoável, eficiente. + Estimula a geração de novas idéias. - Um método muito exigente - Risco de pontos de vista parciais por parte dos participantes e da pessoa que dirige.

OBSERVAÇÃO DIRETA

Implica inspeção, visitas de campo, observação para compreender processos, infra-estrutura e serviços e sua utilização.

+ Adequado para proporcionar visões mais profundas. + Método simples, que requer escassa preparação prévia. - Depende da compreensão e interpretação do observador.

PESQUISA INFORMAIS

Implica pesquisas quantitativas de pequenas amostras; procedimentos de amostragem probabilísticos ou intencionais.

+ Meio razoável e rápido de obtenção de dados quant. - Risco de erros e desvios das amostras. - Menos adequado para a generalização.

TABELA 8 CONDIÇÕES PARA A REALIZAÇÃO ENTREVISTAS COM INFORMANTES

CHAVES É O MÉTODO MAIS ADEQUADO Para produzir informação geral,

descritiva. Para compreender melhor os motivos e

atitudes das diferentes partes Para interpretar dados quantitativos

disponíveis. Para desenvolver perguntas, hipóteses e

propostas para posterior comprovação e elaboração.


Os informantes deverão ser selecionados sobre a base de seu papel, função ou especial perspicácia.

Os principais grupos de interesse deverão estar representados.

As entrevistas devem ser preparadas de maneira que os informantes se confrontem com real conhecimento (substancial e experiência prática.

As entrevistas deverão se desenrolar em uma atmosfera aberta e informal.

A medida em que se obtém uma informação nova pode ser útil contatar o mesmo informante várias vezes no decorrer da avaliação.

O entrevistados deverá tomar notas detalhadas das entrevistas.

Os critérios utilizados na seleção dos informantes devem ser especificados no informe.

39 TABELA 9 CONDIÇÕES PARA A REALIZAÇÃO ENTREVISTAS DE GRUPO

É O MÉTODO MAIS ADEQUADO Para recolher dados em nível da

comunidade. Para determinar o grau de apoio

popular com o qual uma iniciativa específica conta.

Para obter informação sobre as necessidades e prioridades das pessoas.

Na avaliação de iniciativas de desenvolvimento que afetam um grande número de pessoas.


Os participantes devem constituir uma amostra representativa em termos de gênero, status, distribuição de papéis etc.

O entrevistados deve ter um conhecimento do tema e da comunidade local, assim como experiência na condução de entrevistas comunitárias.

Um plano de entrevista deve ser preparado com antecedência.

As perguntas devem ser formuladas de forma precisa e individualizada.

O entrevistados deve provocar uma participação ampla e barrar qualquer tendência que algumas tenham de predominar.

Todos os que quiserem expressar uma opinião deve ter a oportunidade de fazê-lo antes que a pergunta seguinte seja feita.

A utilização de perguntas do tipo “sim” ou “não” de categorias definidas proporciona uma certa possibilidade de se obter alguns dados quantitativos.

A informação obtida durante as entrevistas comunitárias deve ser meticulosamente registrada..

40 TABELA 10 CONDIÇÕES PARA A REALIZAÇÃO ENTREVISTAS COM GRUPOS FOCAIS

É O MÉTODO MAIS ADEQUADO Para gerar idéias e hipóteses para uma

análise posterior. Para provocar reações a distintas

sugestões e recomendações. Para conseguir explicações sobre as

escolhas e prioridades do grupo. Para a análise de áreas de problema

complexas e compostas de vários elementos.

Para alcançar um acordo em torno às conclusões e recomendações.


O grupo deveria ser homogêneo em termos de interesses e limitado de oito a doze participantes.

As discussões de grupo devem ser conduzidas por um moderador experiência que é responsável por manter uma discussão organizada.

Técnicas de visualização podem ser utilizadas com proveito.

O moderador deve permanecer neutro, mas deve conhecer profundamente o tema da discussão.

Deve-se enfocar somente um tema por vez. É desejável que se chegue a um consenso antes de passar ao tema seguinte.

Deve-se tomar notas detalhadas.

41 TABELA 11

CONDIÇÕES PARA A REALIZAÇÃO DE OBSERVAÇÃO DIRETA É O MÉTODO MAIS ADEQUADO Para proporcionar informação de

fenômenos físicos. Para recolher informação sobre a

adequação e utilização de serviços públicos e privados, infra-estrutura etc.

Para obter informações preliminares, descritivas.

Para compreender fenômenos, processos e como as coisas se organizam e se levam a cabo.


Qualquer que seja o objeto da observação – uma amostra ou um processo – deve ser representativa da população total ou o assunto em questão.

A observação deve ser sistemática, com listas de comprovação, registro das observações etc.

Os erros sistemáticos podem ser evitados utilizando vários observadores independentes.

Os observadores devem contar com uma formação minuciosa do tema em estudo.

Deve-se levar em conta os possíveis sesgos na observação; por exemplo, que a observação possa em si mesma influir no que está sendo observado.

42

TABELA 12 CONDIÇÕES PARA A REALIZAÇÃO DE PESQUISAS INFORMAIS

É O MÉTODO MAIS ADEQUADO Para gerar informação quantitativa

acerca de um grupo relativamente homogêneo; por exemplo, sobre atitudes, opiniões e reações.

Nos casos em que se consumiria muito tempo e em que seria muito cara a utilização de uma amostra aleatória representativa.

Para complementar a informação quantitativa existente.


A pesquisa deverá ser elaborada baseada em estudos prévios e dentro do conhecimento existente do tema em questão.

O número de perguntas deveria limitar-se entre dez e vinte.

O número de entrevistados deverá também ser limitado, entre trinta e cinqüenta.

Antes de realizar a pesquisa, o questionário deve ser testado com uma amostra menor.

Os entrevistadores deverão conhecer bem o tema que se pretende estudar, assim como ter experiência na utilização deste método.

Os critérios de amostragem e quaisquer limitações que resultem da seleção têm de ser especificados no relatório.

43 6. MONITORAMENTO E AVALIAÇÃO DE CUSTOS No presente capítulo são apresentadas algumas noções sobre as análises mais comumente utilizadas no monitoramento e avaliação de programas e projetos sociais que dizem respeito à análise custo-efetividade, análise custo-eficiência e análise custo-benefício. É importante ressaltar que para o entendimento destes métodos e seu uso no contexto do monitoramento e avaliação, é fundamental possuir um conhecimento básico de definição de recursos e tipos de custos (capital, operacionais, médios, marginais, incrementais, variáveis e fixos, monetários e imputados, diretos e indiretos, custos de oportunidade, financeiros e econômicos, etc), assim como sobre os métodos de preparação de orçamentos e as diferenças entre a análise financeira e econômica. Os três tipos de análises de custos que serão apresentadas podem ser realizadas no diversos momentos do ciclo do programa ou projeto, ou seja, no início, para selecionar entre as alternativas de intervenção, durante a implementação para verificar desvios e, numa etapa posterior, para efetuar recomendações a futuros programas. Quando a análise de custos é realizada na etapa de desenho, os custos são estimados em função de avaliações prévias de programas similares. Em geral, nos programas sociais os custos são elevados na fase inicial de execução do programa, dada a inversão que deve ser realizada na infraestrutura e nas equipes. Posteriormente, diminuem, concentrando-se em custos associados às remunerações da equipe técnica e de apoio administrativo e outras despesas correntes de operação. Por esta razão, estas análises são realizadas dentro de um horizonte de implementação que leva em consideração a vida útil média do investimento realizado e o fluxo de geração de benefícios. O fato de trabalhar com um horizonte de análise para contemplar estas diferenças nos fluxos de custos e benefícios obriga a trabalhar com o conceito de valor de dinheiro no tempo, que implica na atualização dos valores de custos e de benefícios (quando estes podem ser expressos em termos monetários) por uma taxa de desconto que corresponde ao custo de oportunidade do capital no mercado. 6.1.Análise Custo-Efetividade Esta análise compara diferentes alternativas de intervenção que produzem o mesmo efeito, porém cada uma com custos diferentes. Efetividade refere-se ao grau de alcance dos objetivos e, conseqüentemente, o custo-efetividade representa o custo para alcançar o objetivo. Nesta análise compara-se os custos por unidade de objetivo dos programas, por exemplo, x R$ por caso evitado de sarampo pela vacinação. Na comparação de várias alternativas de intervenção seleciona-se a melhor em termos de relação custo-efetividade. Por exemplo, para combater a malária na Amazônia, as autoridades de saúde poderiam examinar o custo-efetividade de cada uma das seguintes estratégias em termos de custo por caso ou por morte evitada: DDT spray distribuição de profiláticos distribuição de redes para mosquitos impregnadas com inseticida

44 venda subsidiada de profiláticos venda subsidiada de redes para mosquitos impregnadas com inseticida treinamento de agentes comunitários de saúde para promover a erradicação do mosquito

As medidas de custo-efetividade representam somente a relação entre os custos e os objetivos dos programas, não considerando as externalidades positivas e/ou negativas que possam ser induzidas. Eventualmente, as estratégias de intervenção podem possuir desvantagens com alto custo social no curto ou no longo prazo que não estão incluídas (ou não é possível incluir nos custos). Por exemplo, o uso de DDT impregnado nas redes pode ser prejudicial para as crianças se qualquer resíduo for ingerido. Daí que os resultados da análise de custo-efetividade devem contemplar uma análise dos prós e contras de cada alternativa, incluindo os efeitos secundários que estas podem gerar. Para ilustrar este tipo de análise, a seguir apresenta-se um exemplo direcionado a uma atividade de treinamento que tem como resultado Agentes Comunitários de Saúde treinados, e para o qual existem três alternativas de implementação.

EXEMPLO DE RESULTADOS DE UMA ANÁLISE CUSTO-EFETIVIDADE

Treinamento de Agentes Comunitários de Saúde (ACS) em procedimentos

sanitários

Alternativas Custo por ACS treinado

1: Enviar uma equipe a cada comunidade para treinar os ACS

R$50

2: Trazer os ACS das comunidades ao centro de treinamento do município,

R$40

3: Enviar aos ACS a serem treinados no hospital do distrito

R$42

Considerando que todas estas alternativas têm as mesmas vantagens e desvantagens

associadas, se selecionaria a alternativa 2, que apresenta o menor custo por ACS treinado. Neste caso, é uma atividade simples com um resultado bem concreto e que se realiza num curto período de tempo, que é o mesmo para as três alternativas. Ou seja, não é necessário atualizar os custos de cada alternativa para poder efetuar a comparação. Simplesmente, para cada alternativa há que efetuar uma estimativa dos diferentes custos (de investimento e operação) envolvidos. O total destes custos dividido pelo número de ACS a serem treinados possíbilita termos o custo por unidade de resultado para esta atividade.

6.2 Análise de Custo-Eficiência

45 Este segundo tipo de análise compara alternativas que possuem o mesmo custo, mas que produzem diferentes resultados. Neste caso, a relação custo-eficiência é medida pela comparação de custos totais e unitários entre as diferentes intervenções, ou de uma dada intervenção através do tempo. Nesta análise, os custos podem ser desagregados de diferentes formas para obter diferentes medidas de eficiência. Por exemplo, o custo unitário de um aluno entre diferentes escolas que possuem o mesmo orçamento alocado, pode ajudar o gerenciamento dos recursos dos municípios ou da própria escola. As diferenças nas medidas de custo-eficiência podem indicar a existência de economias de escala (menores custos devido a maior capacidade de atendimento de um serviço), economias de uso (menores custos por maior quantidade de serviços prestados numa mesma unidade) e maior ou menor produtividade da equipe, etc.

EXEMPLO DE RESULTADOS DE UMA ANÁLISE CUSTO-EFICIÊNCIA

Alternativas Número de ACS

treinados . 1: Enviar a equipe a cada comunidade para treinar os ACS 200


250


238

Usando o mesmo exemplo anterior, e supondo que o total de recursos disponíveis para

cada alternativa fosse de R$ 10.000, teria-se um maior número de Agentes Comunitários de Saúde treinados na alternativa 2, porque o custo unitário por ACS é de R$ 40.

46 6.3. Análise Custo-Beneficio

A análise custo-benefício (ACB) se baseia na quantificação dos custos e benefícios monetários atualizados de uma intervenção social, num determinado horizonte temporal. Em alguns casos, a aplicação da metodologia de custo-benefício a programas sociais apresenta algumas limitações devido à dificuldade de monetarizar adequadamente os benefícios sociais. ACB compara formas alternativas para alcançar os mesmos ou diferentes efeitos, cada alternativa com diferentes custos.

Basicamente ACB mede a relação entre os custos de um projeto ou programa e

seus beneficios expressos em termos monetários (em valores atualizados). Pressupondo que os beneficios possam ser expressos monetariamente, ACB é um instrumento poderoso para comparar alternativas de intervenção que possuem tanto custos como efeitos diferentes. Por exemplo, o propósito de redução da pobreza numa determinada região pode considerar diferentes estratégias. Uma pode ser a expansão de crédito para o setor informal, enquanto a outra pode ser o treinamento profissional para satisfazer as necessidades da indústria processadora local. Neste caso, a maior taxa interna de retorno e/ou relação beneficio-custo da inversão em cada alternativa, será o critério para decidir sobre a alternativa a ser selecionada. Embora exista grande discussão nos círculos acadêmicos, é amplamente reconhecido que os atuais métodos de estimação de “preços sombra” usados na ACB não capta os efeitos secundários ou multiplicadores que surgem nas intervenções e que, muitas vezes, podem ser mais importantes que os próprios efeitos diretos..

Utilizando o exemplo anterior e pressupondo que o treinamento dado aos ACS vai

possibilitar o atendimento de um maior número de famílias − estimado em 20 a mais por ano, e que o custo do atendimento é de R$ 5,8/ano, qual seria a alternativa a ser escolhida? Para simplificar a análise, considera-se o mesmo tempo de duração (1 ano) e, que não existe custo de oportunidade do capital.

EXEMPLO DE RESULTADOS DE UMA ANÁLISE CUSTO-BENEFICIO

Alternativa Fundos disponíveis Número ACS

Treinados 11. Enviar a quipe a cada comunidade para treinar os

ACS R$10,000 200


R$9,000 225


R$21,000 500

♦ Alternativa 1, Relação Beneficio-Custo = (200*20)*R$ 5.8/R$10.000 =2,32

47 ♦ Alternativa 2

Relação Beneficio-Custo = (225*20)*R$ 5.8/R$9.000 =2.90

♦ Alternativa 3 Relação Beneficio-Custo = (500*20)*R$ 5.8/R$ 21.000 =2.76

De acordo com os resultados desta análise pode-se observar que a alternativa 2, possue a maior relação beneficio-custo (2,90). Isto significa que os beneficios desta alternativa estão cobrindo os custos e ainda apresenta um excedente equivalente a 1,90 vezes o custo total da alternativa. Embora as outras alternativas também cubram amplamente os seus custos, o excedente que apresentam é menor que a alternativa 2.

6.4. Passos para Efetuar uma Análise Custo-Efetividade e ACB Os seguintes etapas sequenciais são recomendadas para a aplicação destes métodos de análise de custos:

♦ Definir os objetivos do programa ou projeto: se os objetivos são

definidos de forma precisa, fica mais fácil efetuar estas análises porque os custos e beneficios poderão ser mais claramente definidos, facilitando sua mensuração e interpretação;

♦ Identificar as alternativas para alcançar os objetivos: para que estas

análises possam ter maior utilidade é preciso identificar duas ou mais alternativas. É importante lembrar que estas alternativas representam as possíveis tecnologias ou soluções para o problema;

♦ Identificar e mensurar os custos de cada alternativa: para cada

alternativa selecionada devem ser identificados e medidos os custos que incluem os de investimento e de operação;

♦ Identificar e medir a efetividade de cada alternativa: para cada

alternativa devem ser mensurados os efeitos expressos em unidades tais como: pessoas, famílias, casos evitados, mortes evitadas, etc. No caso da ACB os beneficios devem ser expressos em unidades monetárias;

♦ Calcular as medidas de resultados da análise: para cada alternativa

devem ser calculadas as relações custo-beneficio e custo-efetividade, além das taxas internas de retorno, valor presente das receitas líquidas, pay-back period (as duas últimas na ACB). Quando há variações importantes nos custos e beneficios pode-se realizar uma análise de sensibilidade que permite estimar as medidas anteriores nas piores e melhores situações;

♦ Interpretar os resultados da análise: tendo estabelecido quais as

alternativas mais custo-efetivas ou com as maiores relações de beneficio-custo e taxa interna de retorno, um passo importante é a interpretação das diferenças entre as mesmas. Esta interpretação pode conduzir a modificações importantes no desenho do programa.

48

7. O USO E COMUNICAÇÃO DOS RESULTADOS DA AVALIAÇÃO

7.1. Uso dos Resultados

Uma das mais importantes características de uma efetiva avaliação é que forneça

informação que realmente possa ser utilizada. Ou seja, que os diferentes atores participantes do programa possam utilizar a informação gerada para a tomada de decisões relacionada com o programa. Obviamente, um relatório de avaliação que é simplesmente deixado na estante ou numa gaveta dificilmente pode conduzir à melhoria do desenho do programa ou à tomada de decisões. Processos e resultados da avaliação são úteis quando contribuem para decisões informadas, esclarecem as opções de tomada de decisão, identificam os pontos fortes e fracos, e fornecem lições aprendidas e recomendações para melhorar o programa, políticas e estratégias.

É mais provável que a equipe do programa ou projeto e os atores participantes (inclusive a população beneficiária) usem os resultados e as recomendações da avaliação se eles entendem e se apropriam do processo de avaliação. Portanto, quanto maior o número de pessoas envolvidas ativamente no processo avaliativo, mais fácil será o uso dos resultados e recomendações para a melhoria do programa.

A experiência mostra que os resultados da avaliação possuem mais chances de serem

utilizados quando o monitoramento e a avaliação são parte integral do gerenciamento do programa e quando estes são conduzidos de forma permanente (on-going) pela gerência do mesmo. Porém, algumas vezes é importante incorporar avaliadores externos ou facilitadores na avaliação. A distância e neutralidade destes avaliadores é importante para oferecer uma perspectiva fresca, que muitas vezes os atores internos não são capaces de enxergar pelo seu comprometimento com o programa.

Em ambos os casos, aqueles que usam os resultados das avaliações precisam saber o que eles realmente querem da avaliação, para que isto seja comunicado claramente ao avaliador, fazendo com que as expectativas de ambos sejam aceitas pelos dois lados. Muitas vezes uma avaliação não preenche as expectativas simplesmente porque os diferentes atores têm percepção diferente do que a avaliação tem ou pode produzir. Por isso é que o planejamento do monitoramento e avaliação em consulta com os usuários é imperativo. É importante assinalar que os usos específicos da avaliação dependerão do propósito mais amplo da avaliação e das questões que querem ser respondidas.

Os quadros abaixo sumarizam os principais propósitos da avaliação.

49

Melhoria do Programa

O propósito de toda avaliação deve ser a melhoria do programa. Os resultados da avaliação devem apoiar as decisões e ações para conseguir este propósito da melhor forma possível. Resultados mais específicos podem ser utilizados para identificar os pontos fracos e fortalezas do programa ou oferecer estratégias para melhoria continuada.

Custo-efetividade do Programa Nos casos em que o propósito principal é avaliar o custo-efetividade do programa, os resultados da avaliação devem apoiar as decisões sobre accountability no uso dos recursos e no controle da qualidade. Os resultados da avaliação podem ser utilizados para decidir sobre o futuro do programa, determinar a possibilidade de continuar seu financiamento ou efetuar decisões sobre a expansão do mesmo.

GMMMeneratin knowledge

Geração de Conhecimentos Outro propósito da avaliação é descobrir novos conhecimentos sobre as práticas mais efetivas (melhores práticas). Resultados e descobertas deste tipo fornecem informação importante sobre os princípios gerais de melhores práticas, tecnologias de intervenção mais efetivas e novas relações teoria/ prática, o que em algumas ocasiões pode conduzir a mais aprimoradas teorias sobre desnvolvimento organizacional e humano. Mais ainda, estes resultados podem ser utilizados para colaborar e trocar conhecimento entre programas e iniciativas com princípios e temas comuns. Este tipo de conhecimento é essencial à formulação de políticas públicas.

No quadro abaixo são apontadas cinco recomendações que permitem um maior uso dos resultados da avaliação.

50

1. A preocupação com o uso dos resultados da avaliação deve ser a força condutora numa avaliação. 2. Uma avaliação deve ser orientada para o usuário. Deve estar dirigida aos interesses e

necessidades de audiências bem específicas de usuários, 3. Os interesses ao redor de uma avaliação são múltiplos e variados. Porém, uma avaliação não pode

satisfazer as expectativas de todos os atores. Antes que a avaliação comece todos os interessados e atores devem formar um consenso em relação àqueles aspectos que serão prioritários.

4. É importante possuir uma visão ampla do uso potencial da avaliação. Isto significa considerar

tanto os tópicos de curto como de longo prazos. 5. O uso dos resultados da avaliação envolve a necessidade de recursos (fundos e tempo da equipe).

Estes custos não devem ser subestimados e devem constar explicitamente dos planos de M&A.

7.2. Comunicação dos Resultados A comunicação dos resultados do monitoramento e avaliação pode ser escrita ou verbal. Para ser mais eficiente, os relatórios escritos devem ser simples, diretos e livres de jargões. A ênfase deve estar em resultados importantes e recomendações, e não na metodologia e nas fontes dos dados. Esse último pode ser colocado em anexos, se estes existirem.

Os canais de comunicação de resultados e recomendações de M&A mais eficientes são as reuniões comuns da equipe ou do comitê coordenador. A vantagem é que, assim, os resultados podem ser ativamente partilhados com os que podem tomar ações imediatas, quando necessário. Além disso, a equipe de M&A tem retorno imediato e os erros, se existirem, podem ser corrigidos. O tato deve ser usado quando forem lidadas questões de natureza "sensível". Isso é mais apropriado em reuniões privadas com os interessados, e não em reuniões amplas ou relatórios largamente distribuídos. Na comunicação dos resultados da avaliação é importante diferenciar as seguintes categorias: resultados, conclusõs, recomendaçõeso, e lições aprendidas, onde:

Resultados: correspondem a fatos encontrados (tais como "a taxa de incremento do acceso foi de 35%").

Conclusão: corresponde a uma síntese dos fatos encontrados numa circunstância específica (tais como "a política de bolsa-escola não conseguiu alcançar os seus objetivos")

51 Recomendação: corresponde a uma prescrição do que deve ser feito em uma circunstância específica. Por exemplo, “para incrementar a taxa de acesso é necessário …" .

Lições Aprendidas: é uma generalização que não se refere a uma condição ou circunstância

específica, mas a uma classe ou categoria de situações, tais como: os projetos de prevenção e erradicação do trabalho infantil, as abordagens de atuação junto à família tem mostrado… . Uma lição aprendida deve assinalar o que provavelmente acontecerá ou o que deve ser feito para que alguma coisa aconteça ou seja evitada. Lições aprendidas não correspondem a experiências. Uma lição aprendida é o resultado de um processo de aprendizagem que requer uma reflexão sobre as boas e más experiências.

Os principais tópicos que devem ser incluídas num relatório de avaliação podem ser observados no quadro abaixo:

PRINCIPAIS TÓPICOS NUM RELATÓRIO DE AVALIAÇÃO

Capa Título do relatório, autores, instituições patrocinadoras/participantes, lugar e data.

Sumário de conteúdo Capítulos e subcapítulos do relatório Créditos Parágrafo de agradecimento a todas aquelas instituições/pessoas

que prestaram assistência especial ou que fizeram o estudo possível

Resumo Executivo

Resumo (1-4 páginas) dos aspectos mais significativos da avaliação, enfatizando os objetivos da mesma, os principais resultados, as lições aprendidas e as recomendações para melhoria do programa. O sumário executivo é particularmente importante porque a maioria das pessoas provavelmente não lerão todo o documento.

Introdução Contexto e antecedentes da avaliação: caracteriação do problema, justificativa, questões-chave, circunstâncias especiais.

Objetivos Parágrafos concisos do que a avaliação deverá medir e entregar. Metodologia Desenho da avaliação: coleta de informação, procedimentos

analíticos e limitações. É desejável que a seção de metodologia seja curta e inclua um anexo técnico com maiores detalhes sobre os métodos de coleta e de análise estatística (cálculo do tamanho da amostra, etc).

Resultados Fatos encontrados, incluindo tabelas, gráficos e diagramas. Conclusões Uma síntese dos fatos encontrados, que correspondem às

circunstâncias específicas do estudo. Recomendações Uma prescrição do que deve ser feito nas circunstâncias

específicas. O nível de detalhe das recomendações vai depender do propósito e do usuário do relatório (os tomadores de decisão precisam de recomendações de índole geral, enquanto os níveis de gerência

52 precisam de recomendações mais operacionais ou práticas).

Lições Aprendidas Generalização que aponta o que provavelmente acontecerá e/ou deve ser feito para que algo desejado ocorra ou seja evitado. As lições aprendidas não são somente experiências, mas o resultado de um processo de aprendizagem (que implica reflexão).

Referências e Bibliografia Relação de citações que foram usadas para realizar o estudo ou referidas no relatório.

Anexos Instrumentos de avaliação (questionários): procedimentos metodológicos, dados adicionaios ou com maior desagregação, e outra documentação relevante de apoio.

Com relação ao estilo e forma os seguintes elementos devem ser considerados:

ELEMENTOS DE UM RELATÓRIO ORIENTADO PARA A AÇÃO

1. Estrutura número de relatórios: vários segundo usuário escopo: focalizado tamanho curto resumo executivo: sempre sumário de conteúdo: algumas vezes anexos: as vezes

2. Estilo tono: envolvente tempo: primeira ou segunda pessoa escrita: com exemplos e fotos

3. Conteúdo Antecedentes: breve hipóteses: não metodologia: breve analises: abordagem global resultados: selecionados gráficos e diagramas: muitos

4. Perspectiva ponto de vista: da audiencia autor ideal: interno ao projeto

5. Outros aspectos conclusões: sim interpretações: sim recomendações: sim disseminação: primeiro informalmente

53 8. AS ETAPAS PARA A IMPLEMENTAÇÃO DE UM SISTEMA DE M&A

Enquanto a abordagem conceitual de M&A vem sendo progressivamente entendida, o lado prático, ou seja, como delinear e implementar esses sistemas, enfrenta várias dificuldades. Embora não existam receitas prontas para o delineamento de sistemas de M&A que sejam simples e que, com requerimentos mínimos de informação, possam dar um efetivo e rápido "feedback" para os diversos níveis de tomada de decisão, as experiências passadas permitem estabelecer algumas etapas que facilitam este processo.

♦ A recomendação, de ordem mais geral, é que projetos e programa com objetivos específicos e metas claramente estabelecidas, facilitam consideravelmente o delineamento de sistemas de M&A, ao permitir um melhor direcionamento na seleção de indicadores e na identificação de fontes de informação e formas de coleta, processamento e análise;

♦ Isto significa dizer que o primeiro passo no delineamento de um sistema de M&A deve estar orientado para definir e estabelecer a seqüência de objetivos e metas que se espera sejam alcançados durante o período de implementação do projeto. Paralelamente a esta tarefa, é preciso que sejam identificados, em ordem de prioridade, os "consumidores" desta informação e seus requerimentos específicos. A experiência assinala que a coleta de dados e sua posterior análise, sem ter, "a priori", identificado os possíveis usuários da informação gerada, representa um esforço de duvidosa utilidade;

♦ A partir da definição da hierarquia de objetivos e metas será possível, então, selecionar os indicadores (quantitativos e qualitativos) que permitirão verificar e analisar o andamento do projeto. Ao mesmo tempo, deverão ser identificadas as fontes, formas de coleta e fluxos de dados necessários para constituir os indicadores de M&A selecionados. O monitoramento terá, basicamente, como fonte principal de informação os registros e relatórios provenientes das diversas agências executoras, as quais farão referência aos meios alocados, às atividades desenvolvidas e aos produto(s) que vem sendo alcançado(s). A avaliação, como já foi assinalado, além de fazer uso da informação coletada e produzida pelo monitoramento, precisa de várias outras fontes, tais como: censos econômicos e demográficos, séries históricas de estatísticas de produção, consumo, rendimentos, preços, relatórios de pesquisa realizados nas áreas-alvo, etc.).

♦ Se as etapas anteriores são realizadas de forma efetiva, facilita significativamente o processamento e análise da informação coletada. No caso do monitoramento, o processamento e a análise são relativamente simples. Os dados específicos sobre os meios e produtos para cada componente do projeto são agrupados em tabelas-síntese de avanço, onde se indica se as metas programadas para estes níveis (em termos absolutos e relativos) estão sendo alcançadas ou não. Na análise, o monitoramento tenta identificar as razões e circunstâncias que estão impedindo/ dificultando, tanto o alcance das metas programadas em cada nível, como afetando a qualidade das ações desenvolvidas. O tipo de processamento vai estar diretamente relacionado com o da análise que precisa ser efetuada. Por exemplo, se são requeridas medidas de cálculo simples, tais como freqüências absoluta e relativa, médias aritméticas e ponderadas, taxas geométricas, coeficientes técnicos médios, etc, a experiência indica que o processamento manual, através de mapas de tabulação, é a alternativa mais recomendável. Porém, quando é necessário utilizar

54 técnicas estatísticas (análises de variação, fatorial e discriminante, diversos testes de hipóteses, etc.) e diferentes modelos os (econométricos, insumo-produto e outros), o uso do computador é indispensável. Por último, deve ser observado que, em muitos casos, significativos esforços realizados na coleta de dados para avaliação têm sido inúteis devido, principalmente, a que desde o início não se tem uma idéia clara da informação que deve ser coletada, para que, e como esta deve ser analisada. Sendo assim, a única recomendação que pode ser dada neste sentido, é a necessidade de formar equipes multidisciplinares altamente capacitadas. As etapas anteriores são ilustradas nos Diagramas 4 e 5.

Diagrama 4.

Etapas para Definir Indicadores de M&A

Qual é o status do problema e, deonde começamos? (AS)

Qué queremos alcançar?

Cómo devemos medir amudança? (processo articipatório)

Definir a linha de base (Io)

Ter claro os objetivos emetas

Consenso nos indicadores emetas

Ter claro as atividades,produtos e insumos

Cómo vamos a alcançar osobjetivos/efeitos (programação)

Acordo nos indicadores demonitoramento

Qué queremos monitorar?

Análise, uso e reporting Cómo vamos a usar-los?

55 Diagrama 5.

Para fechar este capítulo na tabela abaixo se apresenta um resumo com as questões chaves para orientar o desenvolvimento de sistemas de M&A.

Etapas no Desenho de um Sistema de M & A

• Estabelecimento da hierarquia de objetivos e metas• Seleção e definição dos indicadores para os diferentes

níveis de objetivos, resultados, atividades e recursos• Identificação das fontes, formas de coleta, fluxos de

informação, periodicidade e responsabilidadesinstitucionais

• Formas de análise e interpretação• Reporting para os diferentes níveis de tomada de

decisão e comunicação/ divulgação

56 QUESTÕES-CHAVE E PRINCIPAIS DIRETRIZES PARA M&A

QUESTÕES MONITORAMENTO AVALIAÇÃO Quem precisa da informação?

Identificar os usuários potenciais, especialmente os tomadores de decisão da informação gerada pelo monitoramento. Devem ser incluídos os beneficiários

Identificar os usuários potenciais, especialmente os tomadores de decisão da informação gerada pela avaliação. Devem ser incluídos os beneficiários e o público em geral.

Que informação?

Identique que informação eles precisam e selecione os indicadores. Os melhores indicadores são aqueles que limitam e focalizam a coleta de dados.

Estabeleça o escopo e o foco da avaliação e as questões que a avaliação deve responder.

Por que? Averigue o propósito da monitoria na tomada de decisão.

Averigue as decisões que serão feitas com base na avaliação.

Como a informação deve ser coletada?

Observações, entrevistas, relatórios e registros regulares, sítios sentinelas são os métodos para coleta de informação. Use quanto possível os dados existentes nos sistemas regulares.

A escolha dos métodos de coleta dependem do propósito da avaliação e dos recursos disponíveis.

Quem deve conduzir a coleta de informação?

A equipe do projeto ou do programa nos diferentes níveis.

Pode ser feita internamente ao projeto ou com o apoio de um facilitador ou avaliador externo. Porém, esta decisão depende do propósito da avaliação.

Quando? Diferente informação pode ser requerida em momentos diferentes.

Avaliações serão apropriadas em momentos diferentes do ciclo do projeto ou programa (plano).

De que forma? A informação do monitoramento pode ser apresentada num relatório escrito ou numa tabela-resumo de indicadores. Vai depender de como a informação vai ser usada e por quem.

Os relatórios de avaliação podem variar de um documento analítico a um breve resumo, dependendo da necessidade do usuário.

57

Anexo 1

GLOSSÁRIO DE TERMOS USADOS EM MONITORAMENTO E AVALIAÇÃO

58 Acompanhamento: muita vezes confunde-se com monitoramento e é entendido como o exame contínuo ou periódico, por parte da administração, em todos os seus níveis hierárquicos, da execução de uma atividade, para assegurar que as entregas de insumos, os calendários de trabalho, os produtos esperados, estão de acordo com as metas estabelecidas e desenvolvendo-se segundo o plano de trabalho definido. Análise de alternativas: é o exame crítico das diferentes tecnologias de intervenção e estratégias para alcançar os objetivos do projeto. Através de critérios previamente formulados, esta análise deve permitir selecionar a melhor alternativa de intervenção que se planeja e operacionaliza através do projeto. Análise de situação: envolve a análise e priorização dos problemas que estão afetando determinada área geográfica e/ou grupos populacionais, assim como a determinação das suas causas e consequências. A análise da situação faz parte do estágio inicial do ciclo de desenvolvimento do projeto e serve como linha de base para posteriormente aferir os avanços conseguidos pelo mesmo. Árvore de problemas: é a representação gráfica de uma situação-problema (tronco), suas principais causas (raízes) e os efeitos negativos que ela provoca na população-alvo do projeto (galhos e folhas). Árvore de objetivos: é a representação gráfica do objetivo central do projeto (tronco), dos meios para alcançá-lo (raízes) e dos efeitos positivos que o alcance dos objetivos provoca na população-alvo (galhos e folhas). Atividade: entende-se como um processo no qual, usando uma determinada tecnologia, combinam-se insumos ou recursos para contribuir à geração de um ou mais produtos. Cada atividade, por sua vez, pode exigir a realização de uma série sub-atividades ou tarefas. Quando uma atividade é permanente e sua suspensão interrompe um processo, está-se frente a uma função e não a uma atividade. Avaliação: é o processo de análise e interpretação sistemática e objetiva da relevância, eficiência, efetividade, impacto e sustentabilidade do projeto, à luz de seus objetivos. Quando este processo é feito durante a implementação do projeto/ programa denomina-se de avaliação em processo ou somativa. Se realizada ao final do desenvolvimento do mesmo chama-se de avaliação ex-post ou formativa que fornece subsídios para o planejamento, programação e tomada de decisão futuras. Muitas vezes quando um projeto é submetido a uma avaliação antes de iniciar sua implementação fala-se de avaliação ex-ante. Avaliação durante ou em processo (on-going): realiza-se durante a implementação do projeto, fornecendo informações aos gerentes sobre possíveis ajustes nos objetivos, estratégias de implementação e demais elementos do projeto. Examina também se os pressupostos e hipóteses formulados no estágio inicial permanecem válidos ou requerem ajustes para assegurar o alcance dos objetivos globais do mesmo (relevância). Em alguns casos, os pressupostos iniciais poderiam

59 ser impróprios; em outros, fatores imprevisíveis, de origem interna ou externa, podem exigir uma revisão dos pressupostos e hipóteses. Avaliação ex-ante: é o exame crítico do documento inicial do projeto, que analisa a relevância, viabilidade técnica, financeira, institucional, social da(s) alternativa(s) de intervenção selecionada. Nesta avaliação busca-se contribuir para o processo decisório, possibilitando a obtenção e análise de informações sobre as vantagens e viabilidade do projeto. Avaliação ex-post: é realizada após o pleno desenvolvimento do projeto, considerando um período de tempo suficiente para que os benefícios e impactos se manifestem e possam ser aferidos. A avaliação ex-post verifica e explica em que medida os objetivos ou efeitos imediatos, e o global foram ou não alcançados e se devem ou não à intervenção. Como avaliação formativa procura identificar as lições aprendidas para aprimorar a tomada de decisões e planejamento futuro em termos de desenho, implementação, monitoramento e avaliação das atividades de desenvolvimento. Em uma avaliação ex-post são confrontados os resultados do processo de transformação da realidade, tais como custos, produtos e resultados, com parâmetros de juízo, objetivos propostos, de forma a obter conclusões sobre a margem de acerto ou fracasso alcançado, inferir suas causas e realimentar os ciclos sequenciais do processo. Beneficiários: todos os projetos/programas sociais são formulados tendo em mente instituições ou grupos-alvos como beneficiários diretos ou primários. São denominados beneficiários diretos ou primários aqueles que recebem diretamente os bens e serviços proporcionados pelo projeto. Entretanto, as intervenções sociais também podem afetar positivamente a outras pessoas, grupos ou instituições que podem ou não estar dentro do grupo-alvo. Estes grupos ou instituições são denominados de beneficiários indiretos que podem ser considerados legítimos, se favorecê-los está de acordo com o espírito do projeto ou, ilegítimos se são outras populações ou grupos que encontram-se fora dos critérios de inclusão. É o caso, por exemplo, de membros das classes média e alta, que tem acesso a subsídios orientados aos grupos carentes. Ciclo do projeto: refere-se à sequência de etapas pela qual passa um projeto, desde a sua concepção até a execução. Embora com algumas diferenças considera-se as seguintes etapas como fazendo parte do ciclo: concepção da ideía, análise da situação, seleção das alternativas de intervenção (estudo de viabilidade), preparação do projeto, avaliação ex-ante (appraisal), execução, monitoramento e avaliação. Cobertura: representa a proporção da população afetada pelo problema e que será beneficiada pelo projeto. Ou a proporção que existe entre a população que forma parte do grupo-alvo, tem a necessidade e recebe os serviços, dividida pela população total do grupo-meta, que tem a necessidade que o projeto pretende atender. Componente: representa uma parte ou um segmento que faz parte de um todo. Geralmente referem-se a um grupo de atividades dentro de um projeto ou programa. Custo/beneficio: é uma forma de avaliação econômica, onde são estimados os fluxos monetários de benefícios e custos para uma ou mais alternativas de investimento social ou produtivo, ambos

60 fluxos descontados por uma taxa de desconto representada pelo custo de oportunidade do capital. As dificuldades de estimar os fluxos de beneficios faz com que na maioria das vezes a análise custo/beneficio se veja reduzido aqueles custos e beneficios que são fáceis de expressar em termos monetários. Se esta análise é feita com preços de mercado fala-se de análise privada. Se os preços de mercado são corrigidos para representar o verdadeiro beneficio e custo social fala-se de análise econômica ou social. Custo-efetividade: é uma forma de avaliação de custo-beneficio que quantifica os beneficios sem traduzi-los em termos monetários. Este tipo de análise permite comparar diferentes alternativas para alcançar os objetivos imediatos dos projetos e selecionar aquela alternativa que permite o alcance dos mesmos ao menor custo. Diagnóstico: é o exame crítico de uma situação social, visando identificar suas causas e efeitos, distribuição e incidência na população, bem como os atores envolvidos e as alternativas possíveis de evolução da situação; . Efeitos: são os outcomes ou resultados diretos do uso ou adoção dos produtos do projeto. Ou seja, os efeitos são os resultados mais imediatos que idealmente deveriam equivaler aos objetivos específicos almejados. Deve-se diferenciar entre objetivos e efeitos. Os objetivos constituem a situação ou estado desejado que se pretende atingir com a realização do projeto. Porém, os efeitos somente são verificados durante ou depois da implementação do mesmo. Podem, ser distinguidos efeitos que ocorrem durante a realização do projeto e finais que equivalem à transformação verificada na população-alvo depois da implementação do mesmo. Existem ainda aqueles efeitos que são perseguidos ou previstos e aqueles efeitos indiretos, secundários, não previstos, denominados também de secundários, externalidades ou indiretos e que de alguma forma podem ter sido induzidos ou ocorrerram como consequência do projeto. Os efeitos perseguidos são em certa medida positivos (pois não seria lógico elaborar projetos para conseguir resultados negativos à luz da imagem-alvo). Porém os efeitos secundários ou imprevistos podem ser negativos e surgem em decorrência de limitações do conhecimento disponível, por fatores fora do controle da gerência ou por desinformação daqueles que elaboraram o projeto. Efetividade ou eficácia é um termo utilizado para expressar o grau de consecussão dos objetivos específicos de um projeto. Ou seja, em que medida os recursos, atividades e produtos estão conseguindo os efeitos diretos almejados pelo projeto em um determinado período de tempo, independentemente dos custos implicados. A definição tem dois aspectos fundamentais: metas e tempo. A programação é realizada sobre a base de normas ou padrões, que determinam a alocação de recursos para a consecução das metas. Em cada uma das relações anteriores supõe-se que a programação está corretamente realizada. Se os padrões forem inadequados ou os cálculos de tempo errôneos, as metas serão arbitrárias e, portanto, o cálculo do grau de eficácia para atingi-las terá a mesma validade que o dos tempos e metas, a partir dos quais foi determinada. Eficiência: é a consecução dos objetivos do programa/projeto com o menor custo e/ou maior beneficio. O conceito de eficiência pode ser considerado a partir de duas perspectivas complementares: se a quantidade de produto está pré-determinada, procura-se minimizar o custo

61 total ou o meio que se requer para sua geração; se o gasto total está previamente fixado, procura-se otimizar a combinação de insumos para maximizar o produto. Os insumos requeridos por um projeto podem ser expressos em unidades monetárias. A partir disso, a eficiência pode ser definida como a relação existente entre os produtos e os custos dos insumos. Portanto, o resultado será sempre o custo de uma unidade de produto final recebida por um beneficiário em certa unidade de tempo. Eficiência e produtividade são conceitos semelhantes, dado que relacionam recursos com resultados. Mas a produtividade considera os recursos em unidades físicas (do mesmo modo que o ótimo na análise econômica), enquanto que a eficiência traduz os insumos em unidades monetárias. Focalização: é um critério utilizado para a formulação de projetos, que identifica, com a maior precisão possível, o conjunto dos beneficiários potenciais. Para tanto, requer o conhecimento detalhado das características do grupo-alvo. Nesse sentido, focalizar implica estabelecer uma oferta de bens e/ou serviços orientada a determinados grupos ou populações-alvos selecionados através de determinados critérios (geográficos, sócioeconômicos, etários ou institucionais). A focalização, que muita vezes é justificada pela limitação de recursos e pela necessidade de aumentar a eficácia dos projetos, é uma forma de priorização ou seleção de um ou vários grupos sociais que se quer beneficiar pelo projeto. Formulação: é a etapa em que são identificados os problemas e desenhadas as alternativas de um projeto, ou seja, as opções tecnicamente viáveis para solucioná-lo. Estas alternativas surgem da teoria disponível e do conhecimento derivado das avaliações ex-post, realizadas previamente sobre projetos análogos. Impacto: é o resultado dos efeitos diretos do projeto, mais os secundários por ele induzidos, juntamente com os causados por eventos fora do controle do projeto. São os resultados mais amplos relacionados com os objetivos mais gerais daquele. Podem se manifestar a nível individual e domiciliar ou nacional. Alguns elementos de impacto podem surgir durante a implementação (aumento do nível de emprego ou nutrição). Outros, porém, vão se manifestar após o pleno desenvolvimento do projeto como, por exemplo, alterações na taxa de alfabetização, capacidade de desenvolvimento auto-sustentável, etc. A determinação e explicação do impacto exige o estabelecimento de objetivos operacionais e de um modelo causal que permita vincular o projeto com os efeitos resultantes de sua implementação. Há autores que distinguem os resultados brutos (RB), que são as modificações verificadas na população-alvo, depois que o projeto esteve funcionando durante um tempo suficientemente longo para que tais modificações sejam visíveis e, os resultados líquidos (RL) são as alterações no grupo-alvo, que podem ser atribuídos única e exclusivamente ao projeto. Indicador: é uma medida quantitativa ou qualitativa utilizada para verificar o alcance dos insumos, implementação de processos, bem como para aferir as mudanças e objetivos de um programa/projeto em termos de quantidade, qualidade e tempo. Os indicadores podem ser classificados em indicadores de insumo, processo, produtos, efeitos e impacto. Insumo (input): é o conjunto de recursos humanos, financeiros, materiais e organizacionais que combinados através de atividades levam à obtenção de um ou vários produtos. São fluxos

62 associados aos estoques utilizados no processo de implementação do projeto e constituem elementos necessários para conseguir um resultado. São bens, serviços, mão-de-obra, recursos técnicos e outros fornecidos para a realização das atividades do projeto. Linha de base (ou situação inicial): é a análise que descreve a situação antes da implementação de uma intervenção e serve como ponto de referência para a comparação de indicadores nas situações antes/depois, com/sem o projeto. Meta: é a quantificação e qualificação do objetivo que se quer alcançar. Sua formulação deve incluir tempo, quantidade, área geográfica e, se possível e necessário, qualidade e grupo-alvo. Exemplo: a meta de um projeto de educação é reduzir, por exemplo, em 2 %, em dois anos, a repetência escolar em cada uma das escolas municipais onde é realizada a intervenção. É preciso distinguir as metas do projeto das normas técnicas de implementação. As primeiras correspondem ao processo de quantificação dos objetivos. As normas na realidade são as exigências técnicas que devem ser cumpridas para atingir o objetivo. Monitoramento: é o processo contínuo e sistemático de supervisão e revisão do gerenciamento da implementação de uma atividade, com o objetivo de assegurar que os insumos distribuídos no cronograma de trabalho e os produtos esperados estejam de acordo com o planejado. O propósito do monitoramento é garantir a eficiência e a efetividade no gerenciamento, permitindo a melhoria do plano operacional, bem como a tomada de ações corretivas durante o andamento do projeto. O monitoramento faz parte do sistema de gerenciamento da informação, sendo, portanto, uma atividade interna ao projeto. Deve ser conduzido pelos responsáveis da implementação do programa/projeto, em todos os níveis da hierarquia gerencial. Ele se relaciona diretamente com a gestão administrativa e consiste em um exame contínuo ou periódico que efetua a administração durante a etapa de operacionalização do projeto. É realizado com o objetivo de controlar o cumprimento dos prazos nas atividades programadas, bem como a provisão de insumos para determinar se eles foram entregues nos prazos, quantidades, qualidades e preços previstos e se os produtos responderam às especificações (quantidade, qualidade e tempo) em função da programação prevista. Objetivos: representam o estado desejado para ser alcançado ou esperados de programas e projetos de desenvolvimento. Podem ser hierarquizados em diferentes níveis, tais como objetivos de curto, médio e longo prazo; ou específicos/imediatos, intermediários e de desenvolvimento; ou global/geral. Um objetivo geral, global ou de desenvolvimento é a situação de longo prazo que o programa ou projeto quer alcançar em sinérgia com outras intervenções. Os objetivos específicos ou de curto prazo são os resultados mais imediatos que querem ser alcançados com o projeto. O conjunto dos objetivos adota a forma de uma "corrente", partindo do geral aos mais específicos. Isto implica que, além da coerência lógica na desagregação, deve existir também coerência "real", isto é‚ congruência entre a lógica dedutiva e o comportamento da realidade. É comum que os projetos tenham mais de um objetivo, e que estes sejam de natureza diferente. A lógica subjacente é a existência de projetos com objetivos múltiplos‚ que tenham pelo menos algum grau de complementaridade. Existem também objetivos complementares, competitivos e indiferentes: os objetivos são complementares quando atingir um deles implica na consecução dos demais ou incrementa a probabilidade de conseguí-los. Nos competitivos, pelo contrário,

63 conseguir algum implica em sacrificar ou dificultar os outros. Os objetivos são indiferentes quando a consecução de um não altera a probabilidade de ter êxito com os demais. O problema aparece quando um projeto tem vários objetivos competitivos entre si, o que obriga a definir prioridades que são expressas no modelo de alocação dos recursos do projeto. Planejamento: é a tentativa organizada e inteligente de selecionar a melhor alternativa disponível para alcançar metas especificas. Consiste também na aplicação sistemática do conhecimento humano para prever e avaliar custos alternativos de ação, visando a tomada de decisões adequadas e racionais, que sirvam de base para ação futura. Plano, programa e projeto: são documentos na forma de relatórios, contendo todas as informações necessárias à implantação, execução e controle das proposições feitas no processo de planejamento. A distinção entre plano, programa e projeto está baseada no nível hierárquico de tomada das decisões. Em um processo ideal de planejamento, os projetos constituem a unidade básica onde se operacionalizam os planos e programas globais/setoriais e/ou nacionais/regionais. Um plano é a soma de programas que procuram objetivos comuns, ordena os objetivos gerais e os desagrega em específicos, que constituirão, por sua vez, os objetivos gerais dos programas. Ele determina o modelo de alocação de recursos, resultante da decisão política e dispõe as ações programáticas em uma sequência temporal, de acordo com a racionalidade técnica das mesmas e as prioridades de atendimento. No planejamento da área social é imprescindível observar que raramente existe algo que possa ser denominado "planejamento social global". As prioridades mais gerais se limitam, na prática, à alocação de proporções variáveis do gasto público social aos distintos setores sociais. Uma vez localizados no campo dos setores sociais, cumprida a sequência lógica de planos, programas e projetos, mesmo que o plano esteja ausente, sempre existirão os outros dois elos da cadeia. Premissa: é o suposto ou condição externa necessária para a realização do projeto e alcance dos seus objetivos que, contudo, não estão sob o controle direto do gerente do projeto. Produto (output): são os resultados obtidos pela implementação das atividades. É o conjunto de resultados concretos produzidos através do gerenciamento e administração dos insumos. Certas atividades podem gerar produtos intermediários, que podem servir como insumos para outras atividades. Segundo seu caráter de materialidade, pode-se distinguir bens produzidos (ou resultados materiais) e serviços prestados. Costuma-se distinguir os produtos dos efeitos e do impacto. Os efeitos são resultados da utilização dos produtos do projeto. Programa: é o conjunto organizado de atividades, projetos, processos ou serviços destinados ao alcance de objetivos específicos. É a cooperação em um setor social ou de forma intersetorial, e em área geográfica específica, sendo definido a partir de efeitos e impactos pré-estabelecidos. Projeto: é o trabalho planejado, constituído por um conjunto de atividades interrelacionadas e coordenadas, orientadas para o alcance de determinados objetivos específicos, dentro de um orçamento e período de tempo definidos. Geralmente os projetos fazem parte de um programa ou

64 subprograma. É a unidade operacional que vincula recursos, atividades e produtos durante um período determinado e com uma localização definida, para resolver problemas ou necessidades da população-alvo. Quando realizados por organismos públicos ou através de convênios com estes, os projetos são, em geral, as unidades mínimas através das quais se materializam e executam os programas e políticas sociais. Produtividade: derivada da relação existente entre um produto e um insumo. Depende, portanto, da tecnologia, da organização, do comportamento dos atores sociais envolvidos, etc. Como o produto, normalmente é consequência da combinação de vários insumos, costuma referir-se à contribuição de cada um deles na geração do resultado. Sempre se associa à unidade de tempo em que o insumo é aplicado. Recursos: são o estoque previsto para a realização de uma atividade, com a qual se espera obter determinados produtos e atingir os objetivos de um projeto. Em muitas ocasiões‚ é utilizado como sinônimo de insumos. A diferença está em que "recursos" se usa no âmbito de uma organização relativamente estável, enquanto que "insumos" costuma estar ligado a processos que carecem de permanência. Por isso, o primeiro conceito está mais associado a projetos permanentes e o segundo àqueles que têm uma existência mais precária. Sustentabilidade: é o grau de continuidade na mobilização de insumos, obtenção de produtos e alcance dos objetivos de um projeto, após a finalização da assistência/apoio dado por uma agência ou entidade de cooperação. Dependendo dos fatores que a determinam fala-se de sustentabilidade financeira, político-institucional e técnica. Portanto, pode-se considerar a sustentabilidade como o conjunto de fatores que permitem que os benefícios imediatos e o impacto alcançados pelo projeto na população-alvo terão longa duração ou serão conservados por um tempo mínimo razoável.

Utilização: é o uso efetivo que se faz de um recurso que se encontra disponível. Nesse sentido, poderia ser definido um coeficiente de utilização como a relação existente entre os recursos efetivamente utilizados e os disponíveis para uma atividade do programa em certa unidade de tempo.

65

Anexo 2

A METODOLOGIA DO MARCO LÓGICO DE ANÁLISE

(MML)3

33 TTrraadduuzziiddoo ee aaddaappttaaddoo ddee:: OOIITT--PPrrooggrraammaa DDeellNNeett.. PPrrooggrraammaa aa DDiissttaanncciiaa ddee FFoorrmmaacciióónn,, AAssiisstteenncciiaa TTééccnniiccaa,, iinnffoorrmmaacciióónn yy TTrraabbaajjoo eenn RReedd eenn aappooyyoo aall DDeessaarrrroolllloo LLooccaall.. TTuurriinn 11999999..

66

EM QUE CONSISTE A MML?

É um instrumento desenvolvido para:

facilitar o desenho, a gestão e a avaliação de programas e projetos de desenvolvimento;

favorecer mecanismos de discussão e trabalho transparentes, participativos, estruturados e flexíveis;

facilitar a análise, o intercâmbio de experiências, a reflexão, a eleição entre diferentes opções e relacionar a análise com a ação.

67

POR QUÊ APLICAR A MML?

Facilita a comunicação com as instituições e atores que participam do programa. Instrumento utilizado por importantes instituições, tais como: USAID, Nações Unidas, GTZ, DANIDA, NORIDA, AECI, União Européia, Banco Mundial, etc..).

Utilizada em forma correta, a MML favorece o diálogo e a criação de consensos entre os atores políticos, sociais e econômicos do âmbito interno e externo do programa.

Facilita o enfoque participativo no desenho das estratégias de desenvolvimento local, dos programas e projetos.

Assegura que as questões fundamentais com relação ao planejamento e desenho de programas e projetos sociais sejam analisadas em função dos problemas e se estabeleçam e definam prioridades e objetivos.

68

POR QUÊ APLICAR A MML?

Ajuda a realizar uma análise sistemática e

lógica de problemas e elementos que estão inter-relacionados.

Facilita a inter-relação e a continuidade entre planos de desenvolvimento social e as iniciativas (tais como programas e/ou projetos).

Facilita o monitoramento e avaliação de planos, programas e projetos.

69

Árvore de Problemas

Problemafocal

Problema

ProblemaProblema

Problema

Problema

Problema

Problema

Problema

EFEITOS do

problema focal

CAUSAS do

problema focal

70

Exemplo de uma Árvore de Problemas

Desemprego Diminuição da renda per capita

Baixo nivel de

atividade econômica

Apoio insuficiente

para a criação de novas empresas

Setores tradicionais

da economia local em

reestruturação

71

Árvore de objetivos (após priorizaçãoe definição da estratégia)

Incremento da

atividade econômica

Criação de

emprego

Apoio à criação de

novas empresas

72

Meios de PressupostosHierarquia Indicadores Verificação (hipóteses, riscos)

Objetivo Geral (de desenvolvimento ou global)

Objetivo (s) específicos (imediatos)

Resultados

Atividades

Insumos

A matriz do marco lógico

73

PROBLEMAS devem ser formulados assinalando possíveis soluções. Nunca formular os problemas:

Como falta de… (“Total carência de atividade econômica”).

Como alguma coisa sobre o que não se pode fazer nada.

Definições (1)

74

OBJETIVO GERAL (de desenvolvimento ou global): o objetivo de mais longo prazo ao qual o programa e/ou projeto vão contribuir.

OBJETIVOS ESPECíFICOS (imediatos): as mudanças que o programa e/ou projeto vão conseguir se forem implementados com sucesso e em tempo. Os objetivos imediatos devem ser: específicos, mensuráveis, precisos, realistas e alcançáveis no tempo. É melhor formulá-los usando verbos claros e conclusivos no infinito: “Incrementar a capacidade técnica das estruturas de apoio à criação de empresas”.

Definições (2)

76

Anexo 3

BIBLIOGRAFIA E INTERNET SITES DE MONITORAMENTO E AVALIAÇÃO

78

Adkisson, Steve. "Oversight in UNICEF: Programme Audit," PREviews, Dec. 1997, Vol. 1-4. CCaammppooss,, JJeennnniiee aanndd FFrraannccooiissee CCoouuppaall,, PPaarrttiicciippaattoorryy EEvvaalluuaattiioonn,, UUNNDDPP,, 11999966::44.. Chambers, R., 1983. "Short-Cut Methods in Social Information Gathering for Rural

Development Projects," Putting People First, edited by Michael Cernea. Washington, DC: World Bank).

CIDA, 1996, The Why and How of Gender Sensitive Indicators: A Project Level Handbook. CIDA, 1996, The Why and How of Gender Sensitive Indicators: A Project Level Handbook. Dube, L., June 9-12, 1997. "How Can We Systematically Investigate, Develop Indicators and

Monitor Child Labour: Lessons from Childwatch International’s Zimbabwe Indicators Project," Urban Childhood Conference, Trondheim, Norway.

Feuerstein, Marie-Therese, Partners in Evaluation: Evaluating Development and Community

Programmes with Participants, London, McMillan, pp. 194, 1986. Fisher, A. et al., 1991. Handbook for Family Planning Operations Research Design, Second

Edition, The Population Council: New York, pp. 64-65. Fisher, A. et al., 1991. Handbook for Family Planning Operations Research Design, Second

Edition, The Population Council: New York, pp. 64-65. Gosling, L. and Edwards, M. Toolkits: A practical guide to assessment, monitoring, review and

evaluation. Save The Children Development Manual No. 5, 1995. Gosling, L. and Edwards, M., 1995. Toolkits: A practical guide to assessment, monitoring,

review and evaluation. Save the Children/UK Development Manual No. 5. Habicht, JP, Victora, CG, Vaughan, JP. Linking Evaluation Needs to Design Choices. UNICEF

Staff Working Papers, Evaluation and Research Series No. EVL-97-003. Hendricks, M., 1994:549-575. "Making a Splash: Reporting Evaluation Results Effectively"

Handbook of Practical Program Evaluation, edited by Joseph S. Wholey, et. al., Jossey-Bass Publishers: San Francisco.

ITAD, 1992. Project Monitoring , Reporting and Evaluation, World Food Programme, Self-

Briefing Materials, Module 3. ITAD, 1992. Project Monitoring , Reporting and Evaluation, World Food Programme, Self-

Briefing Materials, Module 3. ITAD, 1996, Monitoring and the Use of Indicators. Kliksberg, Bernardo (Organizador), Pobreza: Uma Questão Inadiável. ENAP, Brasília-DF. 1994.

79

Mosse, R. and Sontheimen, LE. World Bank Technical paper no. 334, 1996. Performance Monitoring Indicators Handbook.

Mosse, R. and Sontheimen, LE., 1996. World Bank Technical paper no. 334, Performance

Monitoring Indicators Handbook. Newcomer, Kathryn E., 1994. "Using Statistics Appropriately," Handbook of Practical Program

Evaluation, edited by Joseph S. Wholey et al, Jossey-Bass Publishers: San Francisco, pp. 389-406.

Newcomer, Kathryn E., 1994. "Using Statistics Appropriately," Handbook of Practical Program

Evaluation, edited by Joseph S. Wholey et al, Jossey-Bass Publishers: San Francisco, pp. 389-406.

OIT-Centro Internacional de Formación de la OIT. Programa a Distancia de Formación,

Asistencia Técnica, Información y Trabajo en Red en apoyo al Desarrollo Local. Turin, Itália. 1999. Patton, M. Utilisation-Focused Evaluation, 3rd ed., Thousand Oaks: Sage Publications, Inc.,

1997. Pearson , R. and Kessler, S. 19-- “The Use of Rapid Assessment Procedures for Evaluation by

UNICEF,” UNICEF, New York, Rapid Assessment Methodologies. Rebien, Claus C. "Development assistance evaluation and the foundations of programme

evaluation," Evaluation Review, vol. 21(4): 438-460, 1997. SEED: A Methodology for Increasing Communication Awareness and Capacity. Pp. 20-23 Senge, P. The Fifth Discipline Fieldbook. New York: Doubleday, 1994. UNICEF Regional Training Workshop on Sentinel Community Surveillance, June 1996.

"Putting the Community Voice into Planning, " UNICEF ROSA, Kathmandu workshop report: Kathmandu, Nepal.

UNICEF, New York. A UNICEF Guide for Monitoring and Evaluation: Making a Difference?

Evaluation Office, 1991. USAID Center for Development Information and Evaluation, 1996. Performance Monitoring

and Evaluation TIPS. Number 5. USAID Center for Development Information and Evaluation, 1996. Performance Monitoring

and Evaluation TIPS. Number 4. USAID Center for Development Information and Evaluation, 1996. Performance Monitoring

and Evaluation TIPS. Number 2.

80

USAID, 1996. Performance Monitoring and Evaluation TIPS "Selecting Performance

Indicators," No. 6. USAID, The Participation Forum Workshop Notes. Participatory Evaluation. No. 2, October

1995. WHO, 1996, "Indicators for assessing Vitamin A Deficiency and their application in monitoring

and evaluating intervention programmes," WHO/Nut/96.10 WHO, 1996, "Indicators for assessing Vitamin A Deficiency and their application in monitoring

and evaluating intervention programmes," WHO/Nut/96.10 WWoorrtthheenn BBllaaiinnee RR.. aanndd SSaannddeerrss,, JJaammeess RR.. PPrrooggrraamm EEvvaalluuaattiioonn:: AAlltteerrnnaattiivvee AApppprrooaacchheess aanndd

PPrraaccttiiccaall GGuuiiddeelliinneess,, 22nndd eedd..,, WWhhiittee PPllaaiinnss,, NNYY:: LLoonnggmmaann IInncc..,, 11999977.. Yin, Robert K. Designing case studies. In Case Study Research, Design and Methods, 2nd

edition, Thousand Oaks: Sage Publications, Inc., 1994. SITES DA INTERNET RELACIONADOS COM AVALIAÇÃO: a. Associações de Avaliação American Evaluation Society http://www.eval.org/ Canadian Evaluation Society http://www.evaluationcanada.ca/ American Educational Research Association http://aera.ucsb.edu/ Australasian Evaluation Society http://www.parklane.com.au/aes/ Grantmakers Evaluation Network http://hogg1.lac.utexas.edu/Gen/ National Legislative Program Evaluation Society http://www.oppaga.state.fl.us/nlpes/ The American Marketing Association http://www.ama.org/ American Productivity and Quality Centre

81

http://www.apqc.org/ American Society for Quality http://www.asqc.org/ b. Recursos para Avaliações GAO -- General Accounting Office/US Government -- searchable databases/resources http://www.gao.gov ERIC Clearinghouse on Assessment and Evaluation in Education http://www.cua.edu/www/eric_ae Juran Institute -- Online Articles on Quality http://www.juran.com/ National Quality Institute http://www.nqi.org/ Performance Management Network -- performance measures http://www.pmn.net/ The Evaluation Centre -- primarily educational evaluation http://www.wmich.edu/evalctr The Local Government Institute http://www.hsd.uvic.ca:8080/PADM/research/lgi/lgi.htm The Measurement Group -- performance measures http://www.tmg-web.com/ The Urban Institute -- government and nonprofits http://www.urban.org/ Municipal Research and Services Centre of Washington http://www.mrsc.org/ Oregon Progress Board Home Page --performance measurement http://www.econ.state.or.us/opb/ Bill Trochim’s Centre for Social Research Methods http://trochim.human.cornell.edu/ InnoNet Toolbox -- resources for nonprofits http://www.inetwork.org/main.html

82

The Program Manager’s Guide to Evaluation http://207.153.212.104/ftprgev1.htm The National Performance Review -- Al Gore’s “reinventing government” site http://www.npr.gov/ The International & Cross-Cultural Evaluation Topical Interest Group http://www.netins.net/showcase/evaluation/icce/ United Way of America -- Resource Network on Outcome Measurement http://www.unitedway.org/outcomes/ The World Bank http://www.worldbank.org UNICEF Monitoring & Evaluation http://www.unicef.org/reseval/ SAGE Publications http://www.sagepub.com/ c. Para outros Links Electronic Resources for Evaluators http://www.luc.edu/faculty/eposava/resource.htm

BUVINICH, Manuel Rojas. Ferramentas para avaliacao monitoramento de programas projetos sociais

Government & Nonprofit

Transcript of BUVINICH, Manuel Rojas. Ferramentas para avaliacao monitoramento de programas projetos sociais