Conceitos básicos sobre Monitoramento e Avaliação de Políticas e Programas Sociais.

Conceitos básicos sobre Monitoramento e Avaliação de Políticas e Programas Sociais

Pode ser entendido, em um sentido lato, como o conjunto de atividades – articuladas, sistemáticas e formalizadas- de produção, registro, acompanhamento e análise crítica de informações geradas na Gestão de Políticas Públicas, de seus programas, produtos e serviços, por meio das organizações, agentes e públicos-alvo envolvidos, com a finalidade de subsidiar a tomada decisão quanto aos esforços necessários para aprimoramento da ação pública.

Trata-se, pois, de um conjunto de atividades inerentes ao ciclo de gerenciamento da produção das Políticas Públicas, voltadas à sistematização de informação acerca dos aspectos considerados críticos para sucesso dos programas.

Sistemas de M&A

Além de prover informação para análise das “entregas” de produtos e serviços e para correção de eventuais falhas da ação governamental, os sistemas de M&A também se destinam,

a produzir conhecimento sobre os impactos das Políticas e programas, bem como os custos de produção dos mesmos.

mecanismos importantes para garantir maior transparência da forma de utilização dos recursos públicos

para subsidiar decisões sobre o mérito e relevância das Políticas e programas na repartição orçamentária, ainda que não os únicos, nem necessariamente os mais legítimos.

Sistemas de M&A

Sistema de M&A

Sistema de M&A no Ciclo de Políticas e Programas

Avaliação ex-ante de demandas

Avaliação de desenhos de implementação

Avaliação de resultados e impactos

Avaliação custo-efetividade

Avaliação de processos

Indicadores para Monitoramento de Programas

Sistema de M&A no Ciclo de Políticas e Programas

Os sistemas de M&A podem ser diferenciados segundo vários critérios, como discutem MacDavid&Hawthorne (2006), Mackay (2007), Owen (2007) e Cunill e Ospina (2008).

Podem ser orientados mais ao – aprimoramento interno de programas, – gestão e decisão orçamentária ou – prestação de contas da ação governamental ao parlamento ou à

sociedade.

Sistemas de M&A

A abrangência conceitual e programática dos sistemas de M&A pode ser

– mais macro- quando se referem a Políticas ou Estratégias de Governo

– meso – quando voltados ao acompanhamento gerencial e analítico de programas e/ou organizações

– micro-ambiental- quando a ênfase avaliativa recai sobre indivíduos, processos ou produtos muito específicos.

Sistemas de M&A

Podem abarcar a – integralidade das ações de governo,

– algumas áreas setoriais ou

– um conjunto seletivo de projetos prioritários.

Assumem características diferentes, dependendo de onde estão sediados– Ministério da Fazenda,

– Ministério do Planejamento,

– Ministérios setoriais,

– Assessoria da Presidência,

– Órgão de Controle Externo

– Parlamento ou Sociedade

Sistemas de M&A

Dependendo do estágio da cultura existente em M&A no governo, estes sistemas podem dispor de um conjunto mais amplo ou restrito de ferramentas e produtos:

• Mapas Estratégicos, • Balanços de Gestão, • Sistemas Informatizados, • Indicadores de Desempenho, • Indicadores de Políticas e Programas, • Painéis Situacionais ou • Pesquisas de Avaliação, entre outros

Sistemas de M&A

Monitoramento e Avaliação da Ação Governamental está presente em várias instâncias

Congresso

Nacional Governos

EstaduaisSociedade

CivilMunicípios

Universidades

Poder

Judiciário e

Min Público

Complexidade do contexto de M&A de Políticas e Programas Sociais no Brasil

Estrutura Federativa e as dificuldades de articulação vertical

Múltiplos agentes envolvidos e dificuldades de articulação horizontal

Institucionalidade adquirida há tempo das Políticas de Educação, Saúde, Trabalho e de seus corpos técnicos

Realidade social bastante diferenciada pelo território

Problemas sociais multi-determinados

Forte ampliação do escopo e escala dos programas

Desafios da Gestão de Programas

Ênfase na coordenação de esforços Investimentos nos instrumentos de

planejamento de projetos (ZOOP, Marco Logico etc) e programação orçamentária

Programas mais “customizados” para as distintas realidades

Necessidade de maior integração de programas

Programas estão em estágios diferentes de maturidade

Conhecimento em Gestão de Programas e Cultura por resultados incipiente na esfera municipal

Não há um Sistema de M&A ou um Agência Avaliadora com poder decisivo sobre Políticas e Programas no Brasil

Complexidade do contexto de M&A de Políticas e Programas Sociais no Brasil

Complexidade da Realidade social,

multiplicidade de atores,

problemáticas de gestão de programas

Não seria recomendável um esquema padronizado ou Sistema de M&A ou um Agência Avaliadora com poder decisivo sobre Políticas e Programas no Brasil

Ao contrário: Há esforço de fortalecimento da

capacidade de planejamento e coordenação em diferentes instâncias

Esforços de desenvolvimento de Sistemas de M&A em diferentes instâncias do governo

Indicadores de desempenhoEstudos avaliativos

Multiplicação de instrumentos de controle interno e externo (univeridades, sociedade, imprensa etc)

Sistemas de M&A e relacionados

Orgão de Controle - Auditoria

Planejamento de Longo Prazo

Avaliação Pol.Públicas (IPEA)

Coord Estratégica de Governo

Sistema de Acompanhamento de Projetos Estratégicos PAC

Gestão do Plano Plurianual

Coord M&A – SIGPLAN

IBGE

Ministérios da Pasta Social

Maior prática de M&A ou sistematização de dados e pesquisas

Ministério da Fazenda

Controle financeiro

• Até algum tempo atrás, constatação frequente nas avaliações de programas do TCU é que não existem sistemáticas de acompanhamento de resultados dos repasses orçamentários e produtos a outros entes federativos ou junto ao público-alvo.

• Exemplo: Relatório de Avaliação do Programa Nacional Biblioteca na Escola (PNBE):

O trabalho constatou que o FNDE tem mostrado grande eficácia operacional na distribuição dos acervos do Programa para as escolas beneficiadas. Foram atendidas 20 mil escolas em 1998 e 36 mil em 1999, com previsão de atendimento de 139 mil escolas em 2002.

Todavia, também se verificou que o PNBE não tem atividades de monitoramento e avaliação bem estruturadas. O MEC não dispõe de informações que permitam conhecer o nível de utilização dos acervos, bem como os problemas que podem estar afetando a efetividade do uso dos livros no desenvolvimento escolar dos alunos nas escolas beneficiadas. Tal fato é mais preocupante justamente no momento em que aumenta a escala de atendimento do Programa. (TCU, 2002, p.10).

Em que pese o esforço em constituir Sistemas de M&A

Desafio: Adequar expectativas do que é possível obter de Sistemas de Monitoramento e Pesquisas de

Avaliação de programas no contexto atual

Garcia, 2001, .21)

Desafio: Envolver cada vez mais as equipes dos programas na especificação de Sistemas de Monitoramento e Pesquisas de Avaliação

Garcia, 2001, 17-18)

Monitoramento e avaliação são processos analíticos organicamente articulados, que se complementam no tempo, com o propósito de subsidiar o gestor público de informações mais sintéticas e tempestivas sobre a operação do programa –resumidas em painéis ou sistemas de indicadores de monitoramento – e informações mais analíticas sobre o funcionamento desse, levantadas nas pesquisas de avaliação.

Problemas complexos -> Programas específicos, mas articulados

Sistemas de Monitoramento e Pesquisas de Avaliação com

maior especificidade, mas sinergia na troca de dados

Desafio: Integração de Sistemas de Monitoramento e Pesquisas de Avaliação

Monitoramento de Programas

Monitoramento

Coutinho (2001, p.11) define o monitoramento como um processo sistemático e contínuo que, produzindo

informações sintéticas e em tempo eficaz, permite rápida avaliação situacional e a intervenção oportuna que confirma ou corrige as ações monitoradas”.

Rua (2004,p.6) define o monitoramento como: Um conjunto de estratégias de “acompanhamento” de

uma política programa ou projeto, de modo a identificar de maneira oportuna e tempestivamente as vantagens e pontos frágeis na sua execução, a fim de efetuar os ajustes e correções necessárias à maximização dos seus resultados e impactos.

Monitoramento e Avaliação de Programas

M&A de programas compõe-se de atividades de

Monitoramento de programas Avaliação de Programas por meio de dados por meio de pesquisas por meio de indicadores ex-ante (diagnóstico) por meio de Painéis gerenciais desenho dos programas por meio de Painéis analíticos processo

resultados e impactos custo-efetividade Recurso: base de dados e Recurso: técnicas de aplicativos pesquisa social

Aprimoramento da Gestão do Programa

Monitoramento e Avaliação de Programas

Acompanhando a saúde de uma criança

Monitoramento Avaliação

1º. Observação do comportamento sintoma:sinal de mal-estar 1º. Busca da avaliação de decisão:tomar a temperatura um médico 2º. Termômetro 2º. Exame clínico sintoma: febre decisão: remédio 1 decisão: antitérmico 3º. Exames diversos 3º . Termômetro decisão: remédio 2 e 3 sintoma: febre persistente 4º. Retorno- Nova Avaliação

Diagnóstico de Condições de Vida

A demanda por informação estruturada no Ciclo de Programas

Indicadores sociais

Censos Demográficos Cadastros Públicos CadUnico

Diagnóstico propositivo


Indicadores de diagnóstico

Públicos-alvo (Censos, Cadastros e registros de programas)

Agentes implementadores (Registros, MUNIC)

Participação social

(Munic, registros de reuniões)

Gestão e implementação dos programas


Indicadores de monitoramento

(produzidos pelo próprio programa e outros programas no Ministério e fora dele)

Insumos ($$, RH, Adesões etc) Processos (Ações, ativ. meio) Resultados (Entregas, uso e consumo de serviço) Impacto (Mudança social)

Avaliação somativa dos programas


Informação para avaliação

(pesquisas específicas)

Indicadores de Resultados e Impactos

Informação de natureza qualitativa






Painel de Indicadores para Monitoramento Analítico de Programas

Desafio: Especificar Painel de Indicadores para Monitoramento Analítico de Programas






Tipologia de pesquisas de avaliação segundo maturidade do programa ( Peter Rossi)







Pesquisas de avaliação

Análise Institucional da Política

Análise da Lógica de Intervenção do Programa







Pesquisas de avaliação

Abordagens qualitativas (Observação, Entrevistas, Grupos de Discussão)

Abordagens quantitativas (Amostras intencionais, probabilísticas, desenhos quase-experimentais)


Unidades de análise

(diferentes naturezas)

Produtos

Serviços prestados

Públicos-alvo

Gestores

Técnicos atendentes

Instituições prestadoras de serviços

Municípios

Estados

Outros Ministérios

Pesquisas encomendadas

Avaliações do TCU

Auditorias da CGU

Pesquisas do IBGE e oras instituições

Indicadores de Diagnósticocomo retratos da realidade

•Taxa de mortalidade infantil•Taxa de evasão escolar•Moradias sem saneamento básico•Ocupados com baixo rendimento•Taxa de pobreza

Medidas que operacionalizam o acompanhamento da ação pública

Alocação e execução do gasto

Realização de processos e ações intermediárias

Entrega de serviços, produtos e obras

Medição de efeitos das ações

resultados mais imediatos

impactos mais de médio/longo prazo e mais abrangentes

Indicadores de Monitoramento como sequências de fotos - filme

Recurso metodológico para “filmar” as atividades, ações e programas promovidas pelo setor público, assim como a mudança social impactada pelos mesmos


Permitem antecipar, em tempo, ainda que com imperfeições, tendências e rupturas indesejáveis


Indicadores de Monitoramento da Ação Governamental

1a. questão) O que deve ser monitoradoexecução orçamentária

processos e atividades

resultados

2a. questão) Unidade de monitoramento

unidades organizacionais - quem faz

programas - o que se faz

projetos - o que é mais prioritário

Decisões para desenvolvimento de Sistemas de Indicadores de

Monitoramento

3a. questão) Escopo de monitoramentoanalítico

prioridades

4a. questão) Periodicidade das informações

integração de dados de diferentes programas

fontes e pesquisas externas


Monitoramento

5a. questão) Divisão de Responsabilidadesunidades organizacionais temáticas

área de informática

6a. questão) Nível de centralização e acessorestrito

orientado

aberto ao público

7a. questão) Nível de articulação do sistema ao conjunto de gestores para a tomada de decisão


Monitoramento

Princípios relativos à construção do Painel de Indicadores

O conjunto de indicadores não pode se pretender exaustivo e deve ser equilibrado entre as dimensões de acompanhamento

Os indicadores devem ser organizados por níveis de atuação estratégica-operacional, setorialmente, lógica sintese-análise ou por nível de criticidade para as demais atividades

Os indicadores devem permitir evolução dos esforços, processos e efeitos

Os indicadores devem privilegiar a sua sensibilidade e especificidade ao programa, ainda que com problemas de validade de constructo ou de cobertura

Indicadores devem estar suportados em aplicativos de fácil implementação operacional, que buscam informação em outros sistemas transacionais

Principios relativos à construção do Painel de Indicadores

Os indicadores devem ter interpretação normativa clara

Os indicadores devem ser mutuamente consistentes e com importância equivalente

Os indicadores devem ser inteligíveis e acessíveis ao gestor

Os indicadores devem ser atualizados a partir de fontes de dados já existentes, periodicamente.

Indicadores de potenciais impactos podem ser buscados em outros cadastros públicos ou pesquisas do Sistema Estatístico Nacional (Censo 2010 e o Sist.Integrado de Pesquisas Domiciliares)

Monitoramento gerencial: acompanhamento das ações, em

suas diferentes fases, para orientar a tomada de decisão visando a prestação dos serviços e cumprimento de prazos e metas previstos no programa

Sistemas informatizados, planilhas de controle Muito intensivo em dados, estruturados ou não Subentende a lógica de encadeamento de ações Prazos e metas são os parâmetros de avaliação

Monitoramento Gerencial e Monitoramento Analítico

Monitoramento Analítico

Exercício sistemático de análise de séries históricas

de indicadores de esforços e de processos-chave da lógica de intervenção implícita de um programa- como indicadores de fluxos de desembolsos financeiros, de realização de atividades-meio, de entrega de produtos e serviços-

e de indicadores que permitam inferir os efeitos – resultados e, se possível, impactos- dos programas junto a seus públicos-alvo,

tipificados segundo diferentes contextos socioeconômicos de vivência- como municípios ou regiões mais pobres ou mais desenvolvidas, com menor ou maior oferta de infraestrutura de serviços públicos, por exemplo-

ou segundo arquétipos das estruturas organizacionais que lhes atendem nos programas- como municípios ou regiões com agentes com menor ou maior capacidade de gestão operacional do programa, ou menor ou maior controle social, maior ou menor integração/articulação entre programas sociais, por exemplo.

Escolha dos eixos analíticos: vulnerabilidade do público-alvo e capacidade de gestão do agente implementador

Indicador de bem estar

Indicador de

Capacidade

Gestão

Escolha dos eixos analíticos: vulnerabilidade do público-alvo e capacidade de gestão do agente implementador

Por que minhas “entregas” estão se processando se forma diferente nesses dois contextos?

Indicador de bem estar

Indicador de

Capacidade

Gestão

a) Como se processam as adesões, convênios e entregas dos programas em municípios mas pobres ? E nos mais ricos ? E nos menos estruturados em termos de gestão ? E nos mais estruturados ? E nos municípios em que se sabe que há ações mais articuladas entre programas ?

b) Enfim, como evoluem os indicadores de esforços nos municípios ? Há algum critério de priorização que justifique tal comportamento ?

c) Como evoluem os indicadores de efeitos nos municípios ?

d) E os indicadores de contexto ? Alguns deles parecem ser refletir efeitos dos programas ?

e) Parece haver algum comportamento inesperado dos indicadores de efeitos em função dos esforços e da lógica de encadeamento ?

f) Que informações você pode inferir destas análises para aprimoramento incremental do programa ?

g) Que tipo de problema identificado por esses indicadores sugere a necessidade de realização de uma Pesquisa de Avaliação específica ?

Perguntas a serem respondidas por meio de um Painel de Indicadores de Monitoramento Analítico

Etapas para Construção de um Painel de Indicadores

Conceitos básicos sobre Monitoramento e Avaliação de Políticas e Programas Sociais.

Documents

Transcript of Conceitos básicos sobre Monitoramento e Avaliação de Políticas e Programas Sociais.