Avaliação no Ciclo da Gestão Pública

Surge associada ao planejamento, após a

Segunda Guerra

Ganha relevância no âmbito das novas relações

do Estado com a sociedade, que têm como

tônica a busca de resultados e foco no cidadão

ETAPAS DA CONCEPÇÃO DA AVALIAÇÃO  Primeira geração (fim do século XIX) Medição INTERESSE: Identificação do nível de êxito de certos objetivos específicos, mediante a medição quantitativa.  

ETAPAS DA CONCEPÇÃO AVALIAÇÃO  Segunda geração - Descrição/comparação - Décadas de 1920 a 1950)

INTERESSE: Identificação de conjuntos de aspectos otimizadores e limitadores em relação a certos objetivos estabelecidos; comparação de enfoques usando métodos experimentais, ou de fenômenos, em grupo e em situações de ocorrência natural.  

ETAPAS DA CONCEPÇÃO DA AVALIAÇÃO  Terceira geração (Década de 1950 a 1980)

INTERESSE: Comparação de resultados múltiplos com metas e normas estabelecidas a priori; avaliação normativa relacionada com dados de referência e indicadores.  

ETAPAS DA CONCEPÇÃO DA AVALIAÇÃO Quarta geração - (Década de 1980 até hoje)

INTERESSE: Transparência, responsabilidade executiva e desempenho coordenados por meio de análise de todos os dados disponíveis, utilizando uma variedade de métodos e medições múltiplas, e incorporando o conhecimento, as perspectivas e os valores de todos os envolvidos   

Avaliação ferramenta que contribui para integrar as atividades do ciclo de gestão pública:

Deve estar presente – como componente estratégico - desde a identificação dos problemas e o planejamento até o controle

Pode subsidiar desde o planejamento e formulação de uma intervenção, o acompanhamento de sua implementação, os conseqüentes ajustes a serem adotados, e até as decisões sobre sua manutenção, aperfeiçoamento, mudança de rumo ou interrupção.

Favorece a formulação de metas e objetivos.

Propicia ganhos de eficácia, eficiência e efetividade.

Facilita a busca e obtenção de ganhos das ações

governamentais em termos de satisfação dos usuários e

de legitimidade social e política.

Contribui para a viabilização de todas as atividades de

controle interno, externo, por instituições públicas e pela

sociedade levando maior transparência e accountability

às ações de governo. É decisiva para o processo de aprendizagem

institucional.

Implementação espaço privilegiado de avaliação É processo crucial de tomada de decisão e não apenas

execução Informa a própria formulação: o que já foi ou está sendo

realizado

Envolve:

Limitações cognitivas

Contingências ambientais

Formulação genérica de cursos de ação

Formulação de políticas como espaço de conflito: preferências não consensuais

Questões estratégicas: viabilidade política e operacional, coordenação inter e intra-organizacional

Obstáculos à avaliação:

Modelos gerenciais orientados para processos/ Ausência de cultura de accountability

Ameaça: avaliação alheia à gestão, estritamente por avaliadores externos

Falta de domínio conceitual e metodológico

Falta de clareza dos critérios

Reduzida utilidade: Falta de conexão entre avaliação e tomada de decisão impede o aprendizado organizacional

Desafios para a institucionalização da avaliação:

definição clara dos objetivos e valores que orientam o ciclo de gestão e a atividade de intervenção.

definição clara dos objetivos da avaliação definição de critérios claros e consolidados

para mensuração e julgamento Construção e utilização precisa de indicadores

fidedignos estabelecimento e consolidação de marco

conceitual e metodológico.

Desafios para a institucionalização da avaliação:

utilização das abordagens compatíveis com o objeto e sua complexidade.

superação do dilema entre abordagens qualitativas e quantitativas.

identificação e pactuação de indicadores e informações relevantes com os atores envolvidos

definição e manejo efetivo de fluxos da informação gerada pelo processo avaliativo

adoção de mecanismos efetivos de disseminação dos resultados e de aprendizagem organizacional

Mitos da Avaliação

Neutralidade e racionalidade do planejamento X influência do contexto e da política

Abordagens estritas X triangulação

Avaliação como mensuração X resultados intangíveis e peso do contexto

Confiança no Grupo de controle X dificuldade de isolamento e de identificação da relação de causalidade

Crença na natural integração das etapas dos planos X baixa coordenação dos sistemas de avaliação

Conceitos Básicos

Avaliação formal

é o exame sistemático de certos objetos, baseado em critérios explícitos e mediante procedimentos reconhecidos de coleta e análise de informação sobre o conteúdo, estrutura, processo, resultados, qualidade e/ou impactos de quaisquer intervenções planejadas na realidade

Avaliação: envolve tanto julgamento como atribuição de valor e mensuração não é tarefa neutra, mas comprometida com princípios e seus critérios

Requer uma uma cultura: uma disciplina intelectual e uma familiaridade prática, amparadas em valores

Avaliação: objetivos geraisidentificar e mensurar os resultados, efeitos,

impactos obtidos

compreender como e porque foram obtidos ou não

permitir julgar as intervenções tendo como referência critérios como eficácia, eficiência, sustentabilidade, etc – a ser definidos

proporcionar informações necessárias para a tomada de decisão sobre o projeto, programa ou política

viabilizar estratégias de responsabilizaçao e accountability

proporcionar “policy learning”

Avaliação X MonitoramentoAvaliação X Monitoramento

Avaliação é o exame discreto de processos, produtos, qualidade, resultados, impactos, das ações realizadas.

Monitoramento é o exame contínuo de processos, produtos, resultados, impactos, das ações realizadas.

Monitoramento: Objetivos

identificar mudanças parciais a partir da linha de base das metas;

controlar o cumprimento das metas estabelecidas

acompanhar a execução de um Plano de Atividades para facilitar sua correta implementação

identificar erros e omissões na concepção do próprio projeto ou programa

proporcionar informações necessárias para a tomada de decisão sobre o projeto ou programa

proporcionar “policy learning”

Pode-se monitorar atividades, processos, resultados, impactos.

Monitoramento também é chamado de “avaliação em processo” quando incide sobre os processos de implementação das ações.

Monitoramento baseia-se principalmente nos dados da implementação (internos)

Pode ter como referência – ou não - o “Plano de Ação” ou “Plano de Atividades”.

Pesquisa Avaliativa: procedimentos de coleta de dados primários:

Análise quantitativa:

Censos e pesquisas por amostragem probabilística e não probabilística questionários aplicados ou entrevistador ou auto-aplicáveis

Análise qualitativa:

Entrevistas em profundidade, individuais ou em grupos focais, semi-estruturadas ou não estruturadas

Observação

Análise documental (de informação e/ou de conteúdo)

Tipologia (s) de Avaliação- Avaliação Política- Avaliação Jurídica ou de conformidade- Avaliação de situação, ambiental ou de

contexto- Avaliação de desempenho- Avaliação de processo- Avaliação de produto- Avaliação de impacto

Tipologia (s) de Avaliação- Avaliação de qualidade - Avaliação de satisfação do usuário- Avaliação Interna - Avaliação Externa- Avaliação Mista

Tipologia (s) de Avaliação- Avaliação participativa- Avaliação por pares- Avaliação ex-ante- Avaliação ex-post- Avaliação Somativa - Avaliação Formativa ou Retroalimentadora

Objetivos/critérios para avaliação: Eficácia capacidade de produzir os resultados

esperadosEconomicidade capacidade de reduzir custos Eficiência elevação da produtividadeEfetividade capacidade de maximizar a eficácia

e a eficiência Equidade capacidade de contribuir para a

redução de assimetriasSustentabilidadecapacidade de manter e/ou

expandir os ganhos obtidos, para além da intervenção

análise custo-benefício, análise custo-efetividade.

Elementos Essenciais à Avaliação Condições de Avaliabilidade

Critérios de avaliação estabelecidos

Objetivos e Metas especificados

Indicadores e linhas de base

Dados, registros do processo

Fontes de dados/meios de verificação

Abordagens consistentes com a natureza dos dados e do objeto de avaliação

Métodos/Modelos de Avaliação

Custo-efetividade e custo-benefício são métodos de planejamento e de avaliação

ambas são comparativas

ambas estimam custos e resultados

ambas quantificam os custos financeiros de uma intervenção

custo-benefício quantifica da mesma forma os resultados obtidos

custo-efetividade, tratando com resultados não quantificáveis em termos financeiros usa outras unidades (naturais)

Métodos/Modelos de Avaliação - Meta-avaliação- Avaliação Experimental- Avaliação quasi-experimental: sincrônica

e diacrônica- Modelo causal: Marco Lógico(BID) ou

Matriz Lógica (BIRD) ou Quadro Lógico (GTZ)

Métodos/Modelos de Avaliação Modelo orientado pela teoria ou Teoria do

Programa: compara os resultados diretos e indiretos de uma intervenção com os pressupostos teóricos que orientaram a formulação da mesma. Pode usar abordagem dedutiva, indutiva ou focalizada no cliente.

Análise de discrepâncias ou Teoria da Implementação: compara desempenho com padrões estabelecidos para insumos, processos e resultados. A discrepância refere-se às diferenças entre a situação real prévia e o padrão e entre o desempenho e o padrão.

Pesquisa Avaliativa: principais técnicas

Participatory Impact Monitoring (PIM) – não focaliza planos ou sistemas de objetivos formalizados, mas as percepções individuais dos stakeholders, com a finalidade de analisar as atividades e mudanças introduzidas por uma intervenção em suas vidas e ambiente.

Avaliação Independente de Objetivos – não se inicia pelos objetivos da intervenção, mas com a população-alvo mais afetada pelo mesmo. Destina-se a apurar os resultados e impactos da política ou programa, examinando como e quanto a população-alvo é afetada e comparando esses dados com o que a intervenção especificamente indica como objetivos.

Avaliação de Quarta Geração – focaliza as queixas, interesses e reinvidicações dos stakeholders. Visa a compreender as percepções dos atores envolvidos e afetados pela intervenção, quanto os custos, riscos e benefícios da mesma.

Mapeamento Organizacional – examina o arranjo organizacional para uma intervenção para verificar se, e como, as agências envolvidas estão ou não, organizadas de modo a perseguir objetivos comuns, evitar superposições e contradições, e oferecer interface consistente e facilmente compreensível com os usuários.

Mapeamento Cognitivo: examina como os indivíduos percebem a operação de uma intervenção (focalizando os problemas, as vantagens, os pontos fortes e as fraquezas desta) e seus resultados e impactos.

Mistery Shopping (Cliente Oculto) – é uma técnica observacional, baseada no princípio de que a melhor maneira de avaliar a qualidade de um serviço ou de compreender os seus efeitos sobre os usuários é experimentar a condição de usuário daquele serviço. Diferencia-se de outras formas de observação participante pelo fato de que o avaliador não revela a sua identidade ou condição.

Planejamento de um Sistema de M & A

1. Objetivo e periodicidade2. Usuários3. Critérios questões gerais4. Dimensões focais perguntas específicas5. Instrumentos e Mecanismos de M&A 6. Arranjo institucional 7. Estratégia de disseminação e aprendizado

organizacional8. Estratégia de sustentabilidade9. Orçamento

1-Objetivo e periodicidade das avaliaçõesObjetivo e periodicidade das avaliações

*Testar a estratégia inicial para gerar os resultadosmomento inicial do ciclo do programa (1-2 anos)

*Averiguar a necessidade e identificar quais os ajustes para melhorar a obtenção dos resultados

momento intermediário do ciclo do programa (2-3 anos)

*Tomar decisões sobre prosseguimento ou extensão do programa, extrair lições

momento final do programa: meados do último ano

2-Usuários: a quem se destina cada produto do sistema de M&A, conforme os objetivos definidos

3- Critérios: economicidade, conformidade, tempestividade, celeridade, eficácia, eficiência, efetividade, equidade, sustentabilidade, etc

4-Dimensões focais: processo, atividades, produtos, resultados, efeitos, impactos definem as perguntas a serem respondidas

5-Instrumentos e Mecanismos: Relatórios de Monitoramento; Relatórios de Avaliações Iniciais, Intermediárias e Final; Visitas de Validação; Oficinas de Avaliação de Efeitos; Exame Final

6-Arranjo institucional: definição das funções e responsabilidades de cada ator no sistema de M&A

7-Estratégia de disseminação e aprendizado organizacional: alcance da divulgação de cada tipo de produto do sistema (quem recebe o quê, quando e por que meios) + mecanismos, instrumentos e dinâmicas a serem adotadas para aprendizagem (oficinas, reuniões, audiências de revisão, etc)

8-Estratégia de sustentabilidade avaliação das reações ao sistema de M&A: monitoramento da implementação das recomendações e das lições aprendidas; identificação das necessidades e oferta de sensibilização e de capacitação dos stakeholders; exame crítico do sistema de M&A e ajustes necessários.

9-Orçamento

Desenho de uma Avaliação1-Usuário: a quem se destina a presente avaliação?

2-Objetivo: o que o usuário deseja com a avaliação?

3-Critérios da avaliação

4-Indicadores e suas linhas de base

5-Métodos e técnicas para a avaliação

6-Informação necessária: que dados qualitativos e quantitativos serão necessários, suas fontes e meios de verificação permitem validação

7-Métodos e período de coleta dos dados

8-Métodos e técnicas de análise dos dados

9-Limites e restrições da pesquisa avaliativa

10-Equipe e orçamento

Desenho de um Monitoramento

1-Objetivo: processo de implementação, resultados e efeitos parciais ou ambos.

2. Periodicidade

3. Critérios questões gerais

4. Dimensões focais perguntas específicas

5. Indicadores e suas linhas de base

6. Informações necessárias, fontes, bases de dados e suas memórias

7. Instrumentos e Mecanismos

8. Arranjo institucional

9. Estratégia de retroalimentação

Itens para avaliar a avaliação

1-Clareza na identificação dos usuários, dos objetivos gerais e específicos, dos critérios e dos indicadores utilizados.

2-Qualidade das perguntas específicas

3-Qualidade metodológica: Consistência da estrutura lógica, dos métodos e das técnicas frente ao objeto e aos critérios; identificação das fontes de informação, amostras e instrumentos utilizados; consistência dos métodos de coleta e análise de dados; indicação dos limites da metodologia utilizada.

Itens para avaliar a avaliação

4-Acurácia: relato da confiabilidade e validade dos dados, contexto dos dados, defensibilidade e limites das informações, correção e precisão da análise

5-Qualidade do Relatório:presença de sumário executivo; resposta às perguntas de pesquisa; consistência lógica e pertinência das conclusões; achados e conclusões fundados em dados e fontes identificáveis, inclusive sem limites de confidencialidade quando possível; adequação ao usuário; correção, parcimônia e imparcialidade do estilo.

Itens para avaliar a avaliação

Sugestões e recomendações:

Devem ser pertinentes e embasadas na análise;

Devem apontar a necessidade de outros estudos;

Sempre que possível devem estar exemplificadas em “boas práticas”;

Devem ser apresentadas por ordem de prioridade;

Devem indicar linhas de tempo para implementação e, se possível e se for o caso, estimativas de custos;

Devem ser consistentes com o nível de autoridade e poder de decisão dos usuários.