Post on 31-Jan-2018
1
Programa de Formação de Técnicos Estaduais e Municipais para
Elaboração do PPA 2014 - 2017
Módulo III: Monitoramento e Avaliação do
Plano, Programas e Projetos
Docentes:
Dr. Greiner Costa
Dr. Jackson De Toni
2
Modulo III: Monitoramento & Avaliação do Plano, Programas e Projetos
Secretaria de Planejamento e Investimento Estratégico do Ministério do
Planejamento Escola Nacional de Administração Pública - ENAP
Brasília, Maio de 2014
Dez passos do
M&A
3
Participei do curso de capacitação (Módulo I e II)
E agora?
4
Monitorar e avaliar um Programa ou Projeto é saber fazer perguntas!
5
“É muito melhor ter uma resposta aproximada à pergunta correta, que é
geralmente vaga, que a resposta correta à pergunta errada, que
sempre pode ser formulada com precisão”.
J. W. Tukey (1962, page 13), "The future of data analysis". Annals of Mathematical Statistics
33(1), pp. 1-67.
6
2. Alinhamento
Metodológico e
formação da equipe
4. Revisão do
desenho inicial do
PPA
3. Elaboração do
Plano de M&A
Os dez passos do M&A
5. Definição dos
Indicadores
6. Identificação e
Coleta dos Dados
7. Análise dos
Dados e
informações
8. Elaboração do
Relatório de
Monitoramento
1. Sensibilização
do Prefeito
9. Elaboração dos
do relatório de
avaliação
10. Apoiar as
decisões para
ajustes do Plano
7
1. Sensibilização
do Prefeito
Os dez passos do M&A
1. Lembrar o que já foi feito e que o M&A
fazem parte do ciclo de planejamento e
gestão
2. O inventário de programas do PPA anterior
já é um processo avaliativo
3. M&A não se faz para “vigiar e punir”, mas
para apreender e melhorar
4. Evidenciar a utilidade do processo para os
órgãos de controle
5. Utilizar o sistema para o controle pessoal
do Prefeito e do Gabinete
6. Lembrar da relação com a estratégia de
marketing político
8
Avaliação X Monitoramento
• Avaliação é o exame discreto de processos, produtos, qualidade, efeitos impactos, das ações realizadas.
• Monitoramento é o exame contínuo de processos, produtos, efeitos, impactos, das ações realizadas.
• Monitoramento de conformidade • Monitoramento financeiro • Monitoramento de atividades • Monitoramento de produtos • Monitoramento de riscos • Monitoramento de efeitos/impactos
9
Segundo o momento em que se realiza
Avaliação ex-ante (de situação e de projeto)
Avaliação de meio-termo (de processos, de produtos, qualidade e de satisfação)
Avaliação ex-post (de resultados (efeitos) e impactos)
Segundo a função da avaliação
Avaliação de conformidade
Avaliação somativa
Avaliação formativa
Segundo a procedência dos avaliadores
Avaliação externa
Avaliação interna
Avaliação mista
TIPO DE AVALIAÇÃO
10
O ciclo de planejamento e gestão
11
2. Alinhamento
Metodológico e
formação da equipe
4. Revisão do
desenho inicial do
PPA
3. Elaboração do
Plano de M&A
Os dez passos do M&A
5. Definição dos
Indicadores
6. Identificação e
Coleta dos Dados
7. Análise dos
Dados e
informações
8. Elaboração do
Relatório de
Monitoramento
1. Sensibilização
do Prefeito
9. Elaboração dos
do relatório de
avaliação
10. Apoiar as
decisões para
ajustes do Plano
12
1. O que deve ser monitorado?
2. Como vamos monitorar ?
3. Como vamos fazer a avaliação?
4. Como vamos organizar e divulgar as
informações ?
5. Como o M&A pode auxiliar na decisão?
6. Fazer a discussão no Grupo de Planejamento
e validar com Secretário ou Prefeito
7. Focar no essencial, simplicidade, objetividade
e DILIGÊNCIA...
8. É uma histórica convincente...
Os dez passos do M&A
2. Alinhamento
Metodológico e
formação da
equipe
13
Precisamos reconhecer qual processo
avaliativo é mais apropriado nos
diferentes níveis
Impacto
Resultados
Produtos
Atividades
Insumos
MONITORAMENTO do
DESEMPENHO
AVALIAÇÃO do Projeto
AVALIAÇÃO de IMPACTO
14
2. Alinhamento
Metodológico e
formação da equipe
4. Revisão do
desenho inicial do
PPA
3. Elaboração do
Plano de M&A
Os dez passos do M&A
5. Definição dos
Indicadores
6. Identificação e
Coleta dos Dados
7. Análise dos
Dados e
informações
8. Elaboração do
Relatório de
Monitoramento
1. Sensibilização
do Prefeito
9. Elaboração dos
do relatório de
avaliação
10. Apoiar as
decisões para
ajustes do Plano
15
1. O “Plano de M&A” é uma matriz que organiza
as respostas das perguntas anteriores
2. Fazer um “checklist” com questões práticas
3. Definir quem são os “clientes”
4. Quais os objetivos do M&A
5. Métodos de avaliação: existem muitos
6. Metodologia: critérios, perguntas avaliativas,
indicadores, coleta e analise dos dados,...
7. Elaboração e divulgação dos Relatórios
8. O tempo é sempre uma variável-chave
9. Responsáveis
10. Elaboração do “Manual de M&A”
3. Elaboração
do Plano de
M&A
Os dez passos do M&A
16
Perguntas que orientam o Plano de M&A
1. Quem solicitou a avaliação? (Quem são as partes interessadas)?
2. Quais são as perguntas chave que devem ser respondidas?
3. Trata-se de uma avaliação formativa ou somativa (qual o propósito)?
4. Haverá uma fase seguinte ou outros projetos desenhados com base nos achados desta avaliação?
17
5. Que decisões serão tomadas em resposta aos achados desta avaliação?
6. Qual é o nível apropriado de rigor?
7. Qual é o alcance/escala da avaliação (o que será avaliado)?
8. Quanto tempo será necessário e de quanto tempo se dispõe?
9. Que recursos financeiros serão necessários e qual a disponibilidade?
Perguntas que orientam o Plano de M&A
18
10. A avaliação deveria apoiar-se principalmente em métodos qualitativos ou quantitativos?
11. Deveriam ser usados métodos participativos?
12. Poderia ou teria que ser feita uma pesquisa nos domicílios?
13. Quem deveria ser entrevistado?
14. Quem deveria ser envolvido no planejamento/implementação da avaliação?
15. Quais são os meios mais adequados para comunicar os achados a diferentes partes interessadas?
Perguntas que orientam o Plano de M&A
19
2. Alinhamento
Metodológico e
formação da equipe
4. Revisão do
desenho inicial do
PPA
3. Elaboração do
Plano de M&A
Os dez passos do M&A
5. Definição dos
Indicadores
6. Identificação e
Coleta dos Dados
7. Análise dos
Dados e
informações
8. Elaboração do
Relatório de
Monitoramento
1. Sensibilização
do Prefeito
9. Elaboração dos
do relatório de
avaliação
10. Apoiar as
decisões para
ajustes do Plano
20
1. SEMPRE quando discutimos como fazer
M&A percebemos lacunas ou fragilidades
nos Programas e Projetos. SEMPRE!
2. Um objetivo muito vago, uma meta mal
desenhada, uma inciativa confusa,...
3. Uma suposição falha (um argumento
incerto ou duvidoso)
4. Uma relação causa-efeito mal explicada
5. “Análise de Viabilidade”
6. Melhoramos a “capacidade avaliativa” do
PPA
4. Revisão
do desenho
inicial do
PPA
Os dez passos do M&A
21
2. Alinhamento
Metodológico e
formação da equipe
4. Revisão do
desenho inicial do
PPA
3. Elaboração do
Plano de M&A
Os dez passos do M&A
5. Definição dos
Indicadores
6. Identificação e
Coleta dos Dados
7. Análise dos
Dados e
informações
8. Elaboração do
Relatório de
Monitoramento
1. Sensibilização
do Prefeito
9. Elaboração dos
do relatório de
avaliação
10. Apoiar as
decisões para
ajustes do Plano
22
1. Melhor ter poucos indicadores bem
focados do que nenhum indicador
2. Indicador são réguas e métricas, não
explicam, mas mostram o que acontece
3. Devem responder às perguntas
avaliativas (ou perguntas de
monitoramento)
4. Preferir indicadores mais simples aos
mais complexos
5. Utilizar as fontes de informações
disponíveis publicamente: IBGE, INDE,
etc.
Os dez passos do M&A
5. Definição
dos
Indicadores
23
Grandes mitos
“Deve-se medir tudo” • Quem quer medir tudo acaba não medindo nada; deve-se medir o
que é relevante, significativo, útil; medir custa tempo e dinheiro.
“A Medição deve ser absoluta” • Raramente uma medida consegue atender a todas as propriedades
dos indicadores como validade, confiabilidade, simplicidade,
especificidade, disponibilidade, economicidade e outras. Uma boa
prática é trabalhar com aproximações a partir de dados já existentes.
24
Grandes mitos
“Medir por medir” • As medidas devem ter significância, não devem ser só obrigação ou
imposição legal, mas ferramentas úteis. Medir e depois decidir o que
fazer com as medidas não faz sentido.
“Dependência tecnológica” • Primeiro deve ser concebida a sistemática e depois o sistema de
informações. O sistema de suporte não precisa, necessariamente,
ser perfeito ou baseado no “estado da arte” da tecnologia
25
26
Os dez passos do M&A
Indicador Fonte dos
dados
Método
de coleta
dos
dados
Quem coletará
os dados
Frequência
da coleta
Custo
dificuldade
de coleta
Indicador 1
Indicador 2
Indicador 3
Objetivos
Metas
Nome do
Indicador
Fórmula
de Cálculo
Linha de
Base Variáveis
Fontes
de Dados
Por cada objetivo e meta:
27
Os dez passos do M&A: indicadores
28
A cadeia de impacto e os indicadores
Complexidade
Esforço para
monitorar e
avaliar
PRODUTOS
RESULTADOS
IMPACTOS
ATIVIDADES
INSUMOS
29
Se algo é importante...
Será detectável !
Se algo é detectável...
Poderá ser medido !
Se algo é medido...
Poderá ser avaliado !
Se pode ser avaliado...
poderá ser GERENCIADO !
30
Aspectos qualitativos
• Qualidade de um indicador: não é produzir
números, mas aferir resultados ou aspectos da
política que subsidiem decisões
• Dimensão Territorial: aproveitar as
potencialidades locais
• Transversalidade: é uma forma de atuação
horizontal, não hierárquica, que busca construir
políticas públicas integradas
• Fontes: um aspecto importante na seleção de
indicadores é que se deve evitar “reinventar a
roda”.
31
32 32
Índice de Desenvolvimento de Escopo - IDE: mostra
percentual do progresso físico alcançado em relação ao
valor planejado até o momento (IDE = Escopo
realizado/Escopo planejado)
0.90 < IDE > 1.10 J
0.8 < IDE >0.9 K
IDE < 0.8 L
IDE >1.10 L
IDE
Indicadores de Projetos (metodologia PMI)
IDE Conceito
8,0 a 10,0 pontos Atingiu metas compromissadas
5,0 a 7,9 pontos Atingiu parcialmente as metas compromissadas
Abaixo de 4,9 pontos Não atingiu as metas compromissadas
33 33
Índice de desempenho de custos (IDC). Um valor de IDC menor que 1.0 indica um estouro nos custos estimados. Um valor de IDC maior que 1.0 indica custos estimados não atingidos. O IDC é igual à relação entre VA e CR. O IDC é o indicador de eficiência de custos mais comumente usado
Fórmula: IDC = VA/CR
Valor Agregado (VA) é o orçamento previsto daquilo que foi executado, Custo Real (CR) é o custo efetivo e realizado
0.80 < IDC > 1 J
1 < IDC >1.10 K
IDC < 0.8 L
IDC >1.10 L
IDC
Indicadores de Projetos (metodologia PMI)
34
2. Alinhamento
Metodológico e
formação da equipe
4. Revisão do
desenho inicial do
PPA
3. Elaboração do
Plano de M&A
Os dez passos do M&A
5. Definição dos
Indicadores
6. Identificação e
Coleta dos Dados
7. Análise dos
Dados e
informações
8. Elaboração do
Relatório de
Monitoramento
1. Sensibilização
do Prefeito
9. Elaboração dos
do relatório de
avaliação
10. Apoiar as
decisões para
ajustes do Plano
35
1. Onde estão os dados ? As informações ?
2. Estatística é informação ?
3. Dados desorganizados não é informação
4. Como transformar informação em
conhecimento?
5. Se a pergunta avaliativa é complexa, o
indicador será complexo e a fonte de
informação também
6. Os dados brutos devem ser
ORGANIZADOS conforme uma lógica UTIL
ao M&A
7. Ponto importante no planejamento do M&A
Os dez passos do M&A
6.
Identificação
e Coleta dos
Dados
36
Os dez passos do M&A: fontes
37
2. Alinhamento
Metodológico e
formação da equipe
4. Revisão do
desenho inicial do
PPA
3. Elaboração do
Plano de M&A
Os dez passos do M&A
5. Definição dos
Indicadores
6. Identificação e
Coleta dos Dados
7. Análise dos
Dados e
informações
8. Elaboração do
Relatório de
Monitoramento
1. Sensibilização
do Prefeito
9. Elaboração dos
do relatório de
avaliação
10. Apoiar as
decisões para
ajustes do Plano
38
1. Analisar é entende o porquê
2. Porque os indicadores se comportam
desta ou daquela maneira ?
3. É o momento de avaliar e JULGAR os
resultados
4. Emitir um juízo de valor sobre o
andamento dos programas e projetos
5. EFICIENCIA
6. EFICÁCIA
7. EFETIVIDADE
Os dez passos do M&A
7. Análise
dos Dados e
informações
39
(1) as análises dos dados respondem ou
não aquelas perguntas (avaliativas) que
foram formuladas anteriormente?
(2) as informações estão bem organizadas,
são objetivas e claras o suficientes?
(3) as informações são consistentes e
confiáveis para fazer uma análise
segura e saber porque os resultados
estão na situação verificada?
Os dez passos do M&A
40
• Eficácia capacidade de cumprir metas e produzir os produtos planejados
• Eficiência elevação da produtividade, melhoria da relação custo-benefício
• Efetividade capacidade de produzir os efeitos pretendidos
• Economicidade capacidade de reduzir custos
• Equidade capacidade de contribuir para a redução de assimetrias
• Sustentabilidade capacidade de manter e/ou expandir os ganhos obtidos, para além da intervenção
Outros critérios....
41
Avaliação Benefício / Custo
• É uma avaliação de eficiência do gasto público
• É ex ante: identifica custos de capital e de manutenção
• Como quantificar os custos (em projetos sociais)?
• Como quantificar os benefícios?
• Usado para comparar alternativas concorrentes de políticas ou projetos
• Exemplo:
Programa Custo ($) Expectativa de vida Razão média de custo-efetividade
A R$ 37 29,99 R$ 1,23 / ano de vida
B R$ 14 29,98 R$ 0,46 / ano de vida
42
Análise do Custo de Oportunidade
• Utilizados estimar o retorno dos recursos aplicados caso fossem utilizados em outro programa ou projeto
• É difícil estabelecer valores monetários para custos e resultados subjetivos, intangíveis ou imateriais
• Exemplo: quais os custos de deixar de aplicar os recursos de construção de uma ponte e aplicá-los na construção de escolas para o município
• O custo de oportunidade não é um conceito contábil, mas político
• Implica em ter a consciência de que em cada escolha e direção da política pública, estamos renunciando em trilhar outros caminhos e destinos
43
Fazer a coisa certa (eficácia) do jeito certo
(eficiência) para mudar a realidade (efetividade) !
44
Como saber se as mudanças observadas no público-alvo do Projeto…
• renda, saúde, atitudes, assistência escolar, etc.
devem-se à implementação do projeto …
• crédito, abastecimento de água, vale-transporte, construção de escolas, etc.
ou a outros fatores não relacionados?
• Mudanças na economia, mudanças demográficas, outros programas de desenvolvimento, etc.
Que mudanças teriam ocorrido na condição da população alvo se não houvesse a intervenção
através deste Projeto ?
45
• Objetivos e intenções do Projeto não são claros e objetivos
• Não sabemos porque certas coisas acontecem
• Problemas sociais, políticos e econômicos são sempre interconectados
• Muitas vezes há pressões políticas ou sociais que criam um viés de avaliação
• Outras vezes, o contexto mudou tanto que a avaliação se tornou impossível ou muito custosa.
Dificuldades para avaliar um impacto/resultado
46
2. Alinhamento
Metodológico e
formação da equipe
4. Revisão do
desenho inicial do
PPA
3. Elaboração do
Plano de M&A
Os dez passos do M&A
5. Definição dos
Indicadores
6. Identificação e
Coleta dos Dados
7. Análise dos
Dados e
informações
8. Elaboração do
Relatório de
Monitoramento
1. Sensibilização
do Prefeito
9. Elaboração dos
do relatório de
avaliação
10. Apoiar as
decisões para
ajustes do Plano
47
1. Relatórios periódicos e sucintos
2. Podem conter “recomendações” ao final
3. O formato é sempre RELEVANTE
4. O conteúdo deve ser adequado ao
destinatário das informações
5. Recomenda-se DIALOGAR os relatórios
com os responsáveis pelos Programas
avaliados
6. A qualidade é mais importante que a
quantidade
7. Um histórico de relatórios de
monitoramento bem-feitos facilita a
avaliação no final do período estabelecido
Os dez passos do M&A
8. Elaboração do
Relatório de
Monitoramento
48
• Que atores serão comunicados dos resultados da
avaliação?
• Que tipos de produtos e linguagens são mais
adequados a cada um desses atores? (relatórios
extensos, relatórios executivos, apresentações em
slides, entrevistas em meios de comunicação,
informações pela Internet, vídeos, histórias em
quadrinhos, peças teatrais, cordel ou fotografias)
• De tudo aquilo que o monitoramento revelou, o que
deve constar em cada produto ou peça de
comunicação?
• Como cuidar para que não sejamos acusados de
esconder, maquiar ou falsear informações?
Os dez passos do M&A: Relatório de Monitoramento
49
2. Alinhamento
Metodológico e
formação da equipe
4. Revisão do
desenho inicial do
PPA
3. Elaboração do
Plano de M&A
Os dez passos do M&A
5. Definição dos
Indicadores
6. Identificação e
Coleta dos Dados
7. Análise dos
Dados e
informações
8. Elaboração do
Relatório de
Monitoramento
1. Sensibilização
do Prefeito
9. Elaboração dos
do relatório de
avaliação
10. Apoiar as
decisões para
ajustes do Plano
50
1. Maiores, mas espaçados e mais profundos
2. Atenção para problemas de má-
interpretação: personificação dos problemas
3. Tudo deve ser escrito e publicado ?
4. Só é útil se servir para a gestão do Prefeito e
seu Secretariado
5. Não existem relatórios de avaliação
NEUTROS !
6. Por isso é importante REVISITAR o Plano de
M&Avaliação (critérios, perguntas,
indicadores)
7. Colocar informações quantitativas no anexo
Os dez passos do M&A
9. Elaboração
dos do
relatório de
avaliação
51
52
Excesso de
informação é o
mesmo que
desinformação.
53
(1) Sumário Executivo: descrição do problema e dos métodos utilizados, resumo dos principais achados e recomendações;
(2) Introdução: objetivo da avaliação, seus patrocinadores ou contratantes, aspectos relativos ao uso dos achados;
(3) Antecedentes do Problema: contexto do problema, descrição do programa/projeto, seus objetivos, metas, atividades e efeitos pretendidos, perfil do público-alvo.
Os dez passos do M&A: Relatório de Avaliação
54
(4) Achados e Recomendações: fatos empíricos sobre os fatores que influenciaram o desempenho do programa/projeto, com foco nas perguntas avaliativas e nos critérios de avaliação. As recomendações devem ser baseadas nos achados e devem ser exemplificadas com boas práticas;
(5) Lições Aprendidas: todas a constatações sobre resultados ruins e sua lógica e também sobre êxitos inesperados; tudo o que puder ser extraídos como aprendizado para o futuro;
(6) Conclusões: Interpretações e julgamentos baseados nos achados.
Os dez passos do M&A: Relatório de Avaliação
55
56
2. Alinhamento
Metodológico e
formação da equipe
4. Revisão do
desenho inicial do
PPA
3. Elaboração do
Plano de M&A
Os dez passos do M&A
5. Definição dos
Indicadores
6. Identificação e
Coleta dos Dados
7. Análise dos
Dados e
informações
8. Elaboração do
Relatório de
Monitoramento
1. Sensibilização
do Prefeito
9. Elaboração dos
do relatório de
avaliação
10. Apoiar as
decisões para
ajustes do Plano
57
1. Aqui o M&A faz a “roda do planejamento”
andar
2. As vezes um “RESUMO EXECUTIVO” ajuda a
focalizar a atenção do Prefeito
3. É importante acompanhar as decisões e
modificações no PPA, isto é, o processo de
GESTAO DA MUDANÇA de programas e
projetos
4. A intensidade da mudança dependerá sempre
da profundidade e do desempenho do sistema
de M&A
5. Neste momento ocorre indiretamente uma
“avaliação do sistema de avaliação”.
Os dez passos do M&A
10. Apoiar
as decisões
para ajustes
do Plano
58
Fonte: ILPES-CEPAL
59
2. Alinhamento
Metodológico e
formação da equipe
4. Revisão do
desenho inicial do
PPA
3. Elaboração do
Plano de M&A
Os dez passos: monitoramento com atitude!
5. Definição dos
Indicadores
6. Identificação e
Coleta dos Dados
7. Análise dos
Dados e
informações
8. Elaboração do
Relatório de
Monitoramento
1. Sensibilização
do Prefeito
9. Elaboração dos
do relatório de
avaliação
10. Apoiar as
decisões para
ajustes do Plano