Manual de Formação

SECÇÃO 4 - MONITORIZAÇÃO E AVALIAÇÃO

1. Distinção e complementaridade dos conceitos de monitorização e avaliação

Não existe uma distinção absoluta entre 'monitorização' e 'avaliação' porque, na

prática, os dois processos sobrepõem-se e são parte de um processo sistemático de uma

aprendizagem contínua.

Se a monitorização vulgar revela que as coisas não estão a correr como esperado

poderá ser necessário levar a cabo uma avaliação mais profunda e temática, para

compreender porquê e perceber que mudanças são necessárias.

O sistema de monitorização deverá fornecer os dados básicos necessários para

levar a cabo a avaliação caso tal venha a verificar-se necessário, no futuro. As

avaliações podem ter lugar num determinado momento, e fornecer feed back para a

correcção, implementação de um projecto actual e para a formulação de projectos

futuros.

De um modo pragmático a distinção entre a monitorização e avaliação advém do

enfoque das questões colocadas.

A monitorização enfoca a questão de saber se o projecto é realizado em

conformidade com os resultados e os objectivos determinados?

Neste sentido a monitorização consiste na verificação regular das diversas fases

da execução da intervenção, do grau em que as actividades são completadas e os

objectivos são atingidos. Tal permite a tomada de acções correctivas ao longo do

processo de implementação.

A avaliação enfoca a questão de saber como se vão atingindo os objectivos

determinados?

Neste sentido a avaliação é uma missão assumida em períodos específicos do

ciclo do projecto e fornece feedback em relação aos planos estabelecidos, às razões do

sucesso ou fracasso e deve, também, fornecer informação para projectos futuros.

A Avaliação inclui tanto a análise dos, resultados e impacto como, e também dos

processos para verificar como os resultados foram alcançados.

Planeamento de projectos sociais: metodologia enfoque quadro lógico

Manual de Formação

3. O enfoque da monitorização, o acompanhamento do projecto

A monitorização visa assegurar a boa execução das actividades e de rectificar, se

for necessário, algumas situações susceptíveis de comprometer a obtenção dos

resultados e a concretização dos objectivos visados. O acompanhamento é permanente e

cobre as actividades, os resultados e a gestão dos recursos.

A monitorização pode estar focada no processo do projecto e consequentemente

concentrada em três aspectos:

nas actividades e resultados do projecto inscritos no quadro lógico em

função dos indicadores objectivamente verificáveis, baseando-se nos

meios de verificação indicados e analisando a confirmação ou não das

hipóteses;

aos planos de trabalho para julgar o desenvolvimento das actividades,

nomeadamente as do caminho crítico, a sua duração, as interacções entre

as actividades do projecto e as prestações dos participantes;

ao orçamento para medir os gastos e os rendimentos do projecto;

às partes para avaliar a sua participação, nomeadamente com respeito

aos efeitos e ao impacto os beneficiários.

na gestão: tenta-se saber se os recursos financeiros, humanos e técnicos

correspondem às necessidades das actividades e aos resultados do

projecto;

A monitorização pode estar focada no impacto e consequentemente concentrada

fundamentalmente em dois aspectos:

progressos realizados concorrentes à realização do seu alvo global

sobre as mudanças observadas, em particular nos grupos-alvo.

Planeamento de projectos sociais: metodologia enfoque quadro lógico

Manual de Formação

É pelo exercício de acompanhamento e, em segundo lugar, de avaliação, que se

revela toda a importância dos indicadores objectivamente verificáveis e dos meios de

verificação. Tendo em conta que os meios de verificação são aplicados a partir da

concepção do projecto, pode ser que os mesmos necessitem, no início do projecto e,

portanto, durante o seu acompanhamento, de ser reajustados na sua forma ou

completados para permitirem obter as informações necessárias à verificação dos

indicadores.

2. Enfoque da avaliação e modalidades da avaliação

A avaliação respeita particularmente a aspectos estratégicos da performance do

projecto/programa:

Relevância: O que estamos a fazer pode ser considerado uma boa ideia em

termos de melhorar a situação actual? Será que está a lidar com as prioridades

dos grupos alvo? Porquê, ou porque não?;

eficácia: Os planos (objectivos, resultados e actividades) foram conseguidos?

A intervenção lógica está correcta? Porquê, ou porque não? O que estamos a

fazer actualmente é a melhor forma de maximizar o impacto?;

eficiência: Os recursos estão a ser usados da melhor forma possível? Porquê,

ou porque não? O que poderíamos fazer de forma diferente para melhorar a

implementação e, assim, maximizar o impacto a um custo sustentável e

aceitável?;

impacto: Até que ponto o projecto contribuiu para a redução da pobreza (ou

outros objectivos de longo prazo)? Porquê, ou porque não? Que

consequências positivas ou negativas não esperadas teve o projecto? Porque é

que surgiram?;

Planeamento de projectos sociais: metodologia enfoque quadro lógico

Manual de Formação

Sustentabilidade: Continuarão a verificar-se impactos positivos como

resultado do projecto depois de os fundos do projecto acabarem, dentro de

quatro ou cinco anos? Porquê, ou porque não?.

Dependendo dos diferentes critérios, a avaliação pode ser agrupada em diferentes tipos

e as recomendações de cada tipo da avaliação apresentam um interesse particular:

A avaliação prévia - ex-ante: avalia o projecto/programa no início da

implementação e recomenda ou não a sua realização;

a avaliação intermédia tem lugar em determinada altura da vida de um

projecto/programa, normalmente a meio, e avalia a probabilidade prosseguir o

projecto com ou sem reformulação dos objectivos, resultados e das

actividades;

a avaliação final: determina os progressos feitos em direcção aos objectivos

no final do projecto/programa e disponibiliza informação para o inicio ou não

da continuação do projecto ou de projectos similares com ou sem maiores

modificações da concepção do projecto;

a avaliação ex-post: posterior determina o impacto do projecto/programa

depois do seu fim. Estimam a duração dos resultados do projecto e aprecia a

possibilidade ou não de repetir o projecto com ou sem mudanças nas

diferentes etapas do ciclo do projecto.

De um modo geral uma avaliação visa:

Resolver os problemas e tirar lições da experiência para melhorar a

planificação e a realização de actividades parecidas: avaliação intermédia e

final;

endereçar o balanço dos resultados e julgar a actuação: avaliação final;

medir o impacto e a duração dos resultados: avaliação ex-post e ex-ante.

Planeamento de projectos sociais: metodologia enfoque quadro lógico

Manual de Formação

De maneira geral, uma avaliação examina:

A validade e a justificação da concepção e dos objectivos do projecto

envolvido;

a eficácia e a pertinência da sua realização, inclusive a eficácia da gestão;os

resultados obtidos, sua duração e sua relação custo/eficácia;

os efeitos e o impacto de um projecto em relação aos objectivos. Os efeitos

correspondem ao objectivo imediato e o impacto ao objectivo de

desenvolvimento.

O quadro seguinte apresenta um referencial que nos permite discutir algumas das

complementaridades e distinções entre os conceitos de monitorização e de avaliação.

Monitorização Avaliação

Instrumento de Gestão do projecto Instrumento de Política

Foco técnico orientado para osInputs, Actividades e Resultados(eficiência).

Orientado para a Finalidade e paraos Objectivos Gerais (impacto);Focado no contexto.

Orientado para os Resultados. Orientado para os resultados apenas.

Pressupostos do estudo a níveloperacional (Actividades) – Avaliação de Riscos.

Pressupostos a nível estratégico -Níveis de Resultados e Objectivos.

Visa uma acção correctiva – gestão (Formativa).

Ex-post (orientado para as políticas);Médio prazo; ex-ante.

Monitorização da Estratégia. Avaliação da relevância, exequibilidade eSustentabilidade.

Implementada internamente. Implementada por consultores externos.

Planeamento de projectos sociais: metodologia enfoque quadro lógico

Manual de Formação

Do orçamento do projecto. Frequentemente com um orçamentoseparado (e maior).

Processo contínuo e regular. Processo a médio prezo orientado para a acção correctiva.

Quantitativa, Objectiva. Qualitativa/Subjectiva e Quantitativa.

Factual. Acarreta a necessidade de estudos deReferência.

Relatório Curto. Elaborar relatório incluindo 'liçõesRetiradas.

Os utilizadores são pouco envolvidos. Envolvimento chave dos beneficiários/ utilizadores finais para verificar arelevância e satisfação.

Motivadora para a gestão. Dirigida ao processo de gestão do ciclo deProjecto.

3. Quadro lógico e níveis de monitorização e avaliação

Planeamento de projectos sociais: metodologia enfoque quadro lógico

Manual de Formação

O quadro lógico descreve uma estrutura lógica de níveis que deverão constituir da

monitorização e avaliação de um projecto.

Monitorização inputs / recursos:

Finanças: A informação financeira é reunida e processada pelo sistema de

contabilidade de forma a fornecer aos gestores informação relevante.

Equipamento: A disponibilização de equipamento e outros grandes

investimentos, como edifícios, e que se encontra frequentemente em vários

sistemas de registo.

Materiais: A utilização de materiais, em quantidade e espécie, é com frequência

relevante para os níveis de gestão operacional.

Recursos humanos: Os recursos humanos disponibilizados estão muitas vezes

integrados nos sistemas de informação de grandes organizações, mas as

Planeamento de projectos sociais: metodologia enfoque quadro lógico

Medidas/Actividades/inputs/acções:

Resultados/produtos/outputs

Objectivo especifico /projecto/intermédio:

Finalidade/Objectivo desenvolvimento/Global

Indicadores objectivamente

verificáveis:

Meios/Fontes de verificação

Narrativa sumária/estrutura

lógica

Hipóteses/Suposições/

Pressupostos

Quadro Lógico / Sistema de Monitorização e Avaliação

Monitorização inputs / recursos

Monitorização de resultados/ outputs: Eficiência / Eficácia

AvaliaçãoMonitorização Reacção: Utilidade e Impacto

Manual de Formação

organizações mais pequenas podem passar bem sem esta área funcional. No

entanto, quando um controlo de custos rigoroso é fundamental, os investimentos

homem/dia por actividade podem ser incluídos no sistema.

Monitorização de resultados / outputs (eficiência)

A monitorização de outputs diz respeito aos bens e serviços disponibilizados

aos beneficiários; da organização em termos de fornecimento de serviço (aos

beneficiários).

Os gestores estão interessados em saber se os outputs planeados estão a ser

conseguidos, de acordo com as actividades planeadas.

Os ‘outputs’ são descritos como ‘actividades executadas’ como por exemplo:

20 cursos ministrados, 200 km de estrada construídos, 5000 livros produzidos,

etc.

Esta informação sobre os ‘outputs’ apenas quer dizer que as actividades foram

completadas, não nos fornece nenhuma indicação quanto à eficácia das actividades ou à

satisfação dos seus receptores. A informação disponibilizada apenas nos dá indicadores

de ‘quantidade’ e não de ‘qualidade’ de serviço, uma medida de eficiência em relação

ao que resulta de um determinado input – actividade.

Monitorização de resultados / outputs (eficácia)

A este nível é introduzido o factor de qualidade na análise dos resultados. Os

Resultados são mudanças positivas no universo dos receptores. De facto, o projecto

assegura a disponibilidade ou o acesso do 'serviço' aos beneficiários.

Este tipo de monitorização é directamente associado à avaliação dos

beneficiários acerca da concretização de um objectivo. Frequentemente supõe-se que os

resultados são exclusivamente conseguidos sob a responsabilidade da gestão do

projecto, e como tal, devem ser monitorizados pelo próprio projecto,

Monitorização da Reacção (utilidade e impacto)

Planeamento de projectos sociais: metodologia enfoque quadro lógico

Manual de Formação

A monitorização da reacção consiste em lidar com o que acontece após a

prestação do serviço aos beneficiários e, como tal, usa informação gerada fora da

organização do projecto. Grosso modo apontam-se dois níveis de reacção e analisadas

pró referência à Finalidade/ Objectivo desenvolvimento ou global do projecto:

o primeiro nível corresponde ao grau de utilização dos serviços;

o nível seguinte corresponde às mudanças geradas.

Avaliação – Monitorização da reacção

A informação sobre a Reacção isto é, da utilização dos serviços e as mudanças

por ele geradas na sociedade é melhor quando gerada pelos próprios beneficiários. A

recolha deste tipo de dados é frequentemente designada por 'avaliação'. Não é uma

observação objectiva do que foi feito ou entregue, mas dá uma indicação, ou impressão

subjectiva.

Avaliação da Reacção (Utilidade e Impacto)

Utilidade / Utilização

A utilização dos serviços fornecidos é crucial para a maior parte dos gestores,

porque é um indicador da sua utilidade.

Determinado serviço pode considerado de extrema qualidade por todos, mas se

não for utilizado pelo utilizador final é porque algo se passa. Se, por outro lado, o

serviço está de facto a ser utilizado, pode assumir-se que existe uma boa razão para tal:

as pessoas têm necessidade do serviço, apercebem-se do benefício, em resumo, está a

ser satisfeita uma determinada procura.

Quando os avaliadores falam dos efeitos de um projecto, referem-se, com

frequência, ao nível de utilização dos serviços, e às consequências directas dessa

utilização.

Planeamento de projectos sociais: metodologia enfoque quadro lógico

Manual de Formação

Impacto

A 'monitorização da mudança' regista as alterações expectáveis na sociedade à

medida que estas ocorrem, quer sejam positivas ou negativas.

É expectável que depois da utilização dos resultados do projecto pelos beneficiários se

verifique uma certa mudança (económica, social, etc.) positiva ou negativa nas

condições de vida ou do comportamento desse grupo.

Quando os avaliadores falam do impacto de um projecto, é frequente referirem-

se às mudanças que ocorreram na sociedade. Se a mudança pode ser ou não atribuída

aos serviços do projecto pode ser o tema de um estudo de impacto.

Por exemplo, até que medida a utilização de determinada tecnologia de produção

contribuiu para um aumento na produtividade agrícola? Talvez outros factores, como as

chuvas ou os preços, tenham sido mais importantes.

Planeamento de projectos sociais: metodologia enfoque quadro lógico