A avaliação das ações públicas, uma forma de avaliação entre outras

Podemos avaliar : Podemos avaliar : O pessoal O pessoal (nível de conhecimento, (nível de conhecimento,

competências, práticas profissionais)competências, práticas profissionais) As estruturas (instituições, organismos, As estruturas (instituições, organismos,

serviços)serviços) As técnicas (produtos, processos, As técnicas (produtos, processos,

procedimentos)procedimentos) As açõesAs ações (políticas, programas, projetos)(políticas, programas, projetos)

Vários tipos de ações

PolíticasPolíticas ProgramasProgramas ProjetosProjetos Normas, regulamentação (leis, decretos)Normas, regulamentação (leis, decretos) ProcedimentosProcedimentos DispositivosDispositivos FunçõesFunções

Definição da avaliação das políticas (ações) públicas (I)

Avaliar uma política consiste em Avaliar uma política consiste em ““avaliar sua eficiência, comparando avaliar sua eficiência, comparando seus resultados com os objetivos seus resultados com os objetivos fixados e os meios utilizados”fixados e os meios utilizados” (Decreto de 18/11/1998)(Decreto de 18/11/1998)

Definição da avaliação (V)

Atividade de estudo e análise sobre a Atividade de estudo e análise sobre a implementação e os resultados de uma implementação e os resultados de uma ação pública ação pública

Realizada num quadro metodológico e Realizada num quadro metodológico e institucional (mais ou menos) formalizadoinstitucional (mais ou menos) formalizado

No intuito de prestar contas e/ou de No intuito de prestar contas e/ou de melhorar essa ação melhorar essa ação

A avaliação : um momento no ciclo de vida das ações

Avaliação ex-anteAvaliação concomitanteAvaliação a meio caminhoAvaliação ex-post

Três dimensões da avaliação

CognitivaCognitiva NormativaNormativa InstrumentalInstrumental

Controle

Auditoria

Consultoria

Pesquisa socialAnálise de políticas

Medição da performanceBenchmarking

AVALIAÇÃO

Finalidade da avaliação

Prestar contas sobre o “bom uso dos fundos públicos” (accountability)

Tomar decisões em base mais racional

estratégia (relação com a prospectiva)otimização do uso dos recursos

Mobilizar-se, dar sentido à ação Compartilhar informações, fazer convergir as

representações

Princípios da avaliação como procedimento institucional

A avaliação institucional utiliza os resultados da pesquisa avaliativa

Trata-se de um trabalho coletivo, monitorado e sintetizado por uma instância de avaliação

Toda avaliação começa pela elaboração coletiva de um projeto (referencial, questionamento, hipóteses, métodos)

Etapas de uma avaliação

Carta de mandatoCarta de mandato Elaboração de um projeto de avaliaçãoElaboração de um projeto de avaliação Constituição de uma instância de avaliação, Constituição de uma instância de avaliação,

que valida o projeto que valida o projeto Lançamento de um programa de estudoLançamento de um programa de estudo Acompanhamento e validação dos estudos Acompanhamento e validação dos estudos Redação e validação do relatórioRedação e validação do relatório Acompanhamento e valorização das Acompanhamento e valorização das

conclusõesconclusões

O PROJETO DE AVALIAÇÃO

Contexto, expectativas, apostas Delimitação das ações a serem avaliadas Critérios de avaliação (referencial) Diagnóstico e hipóteses Questionamento (agenda analítica) Balanço informacional Programa de estudo (entrevistas, pesquisas)

Escolha dos operadores

Papel da instância de avaliação Elaborar uma lista de questionamentos com Elaborar uma lista de questionamentos com

base no mandatobase no mandato Escolher um (uns) método(s) Escolher um (uns) método(s) Juntar informações e documentos pertinentes Juntar informações e documentos pertinentes Realizar audições Realizar audições Organizar e conduzir as pesquisas Organizar e conduzir as pesquisas Sintetizar e interpretar seus resultadosSintetizar e interpretar seus resultados Redigir o relatório de avaliação Redigir o relatório de avaliação Comunicar, explicar, divulgar Comunicar, explicar, divulgar

Elaborar um referencial:

Transformar objetivos imprecisos, contraditórios e incompletos em um

sistema hierarquizado de resultados ou de impactos esperados, suscetíveis de serem

medidos ou objetivados através de indicadores ou de descritores

Distinguir diferentes níveis de resultados

Outputs (“resultados operacionais”) : resultado direto da atividade dos serviços, bens e serviços produzidos no âmbito de um programa

Outcomes (impacto, efeitos): efeitos econômicos e sociais do programa, a curto, médio ou longo prazo

A cadeia dos resultados

Um exemplo simples : O policial e a segurança rodoviária

Os efetivos da polícia (os “meios”)Os efetivos da polícia (os “meios”) As horas de trabalho disponíveis do As horas de trabalho disponíveis do

policial (o “potencial”)policial (o “potencial”) Os controles de alcoolismoOs controles de alcoolismo Os controles positivosOs controles positivos As sançõesAs sanções A informação públicaA informação pública A dissuasãoA dissuasão A redução do alcolismo ao volanteA redução do alcolismo ao volante A redução do número de mortosA redução do número de mortos

“Saídas”

ou

“Impactos”

“Meios”

ou

“Recursos”

“Outputs”

ou

“Produções”

Os principais objetos do questionamento

Implementação Implementação (conformidade, mobilização dos (conformidade, mobilização dos atores)atores)

Alcance dos objetivos Alcance dos objetivos (como o problema evolui) (como o problema evolui) Efeitos líquidos sobre os objetivos Efeitos líquidos sobre os objetivos (eficácia)(eficácia) Efeitos inesperados Efeitos inesperados ((efeitos de sistemaefeitos de sistema…)…) Mecanismos de ação Mecanismos de ação ((porquê e como a política porquê e como a política

operaopera)) Influência do contexto Influência do contexto ((circunstâncias influindo circunstâncias influindo

na implementação e na eficáciana implementação e na eficácia))

“Meta-critérios” de avaliação

PERTINÊNCIA (objetivos / finalidades /

necessidades)

COERÊNCIA (meios / dispositivo / objetivos)

EFICÁCIA (resultados / objetivos)

EFICIÊNCIA (resultados / meios / custos) IMPACTO SISTÊMICO (impacto global sobre

o sistema)

ProblemasNecessidades Problemas

NecessidadesAmbienteSociedade

Resultados EfeitosPOLÍTICAObjetivos – Meios – Recursos – Atores

COERÊNCIA

EFICIÊNCIA

EFICÁCIA

IMPACTO SISTÊMICO

PERTINÊNCIA

Fonte : Guia da ComissãoAvaliando as Despesas da UE

Redigir um relatório de avaliaçãoo que o leitor deve poder entender :

Objetivo da avaliaçãoObjetivo da avaliação Delimitação exata do objetoDelimitação exata do objeto Como a avaliação foi planejada e conduzidaComo a avaliação foi planejada e conduzida Quais fatos foram estabelecidosQuais fatos foram estabelecidos Quais conclusões foram tiradasQuais conclusões foram tiradas Quais recomendações resultaram delaQuais recomendações resultaram dela

A Carta da Sociedade Francesa para a Avaliação (SFE) Princípios de : Princípios de :

PluralidadePluralidadeDistanciamentoDistanciamentoCompetênciaCompetênciaRespeito das pessoasRespeito das pessoasTransparênciaTransparênciaOportunidadeOportunidadeResponsabilidadeResponsabilidade

Onde encontrar as informações ? Dados quantitativos

exploração de arquivos estatísticosinformações administrativaspesquisa por sondagem (questionário,

telefone, entrevista) Dados qualitativos

entrevistas abertas ou semi-abertasanálise de documentosvídeosdiscussão em grupoobservação participativa

Os métodos da análise causal

Objetivo : comprovar e quantificar uma Objetivo : comprovar e quantificar uma relação causal entre um “tratamento” e relação causal entre um “tratamento” e um efeito observávelum efeito observável

Uma tarefa central na ótica de uma Uma tarefa central na ótica de uma racionalização da decisão racionalização da decisão

Método preferido : a experimentação Método preferido : a experimentação controladacontrolada

Outro método : a estimativa de um Outro método : a estimativa de um modelo econométricomodelo econométrico

O modelo da experimentação socialO modelo da experimentação social Um “tratamento” social é aplicado a uma Um “tratamento” social é aplicado a uma

amostra aleatória de beneficiáriosamostra aleatória de beneficiários Uma amostra estatisticamente equivalente de Uma amostra estatisticamente equivalente de

não-beneficiários é formadanão-beneficiários é formada A situação dos indivíduos em relação aos A situação dos indivíduos em relação aos

objetivos é observada antes, durante e após a objetivos é observada antes, durante e após a implementação do programaimplementação do programa

Testes estatísticos permitem estabelecer em Testes estatísticos permitem estabelecer em qual medida o tratamento “faz a diferença”qual medida o tratamento “faz a diferença”

Limites e dificuldades da experimentação

Utilização limitada a certos tipos de Utilização limitada a certos tipos de programas (efeitos específicos, programas (efeitos específicos, existência de um ”contrafactual”)existência de um ”contrafactual”)

Obstáculos éticos / práticos Obstáculos éticos / práticos Custos, prazosCustos, prazos Problemas de validade externa Problemas de validade externa

(generalização)(generalização)

Métodos microeconométricos

Exigem muitos dados individuais a Exigem muitos dados individuais a respeito dos beneficiários de um respeito dos beneficiários de um “tratamento”“tratamento”

Sua validade depende da validade dos Sua validade depende da validade dos modelos explicativos subjacentes modelos explicativos subjacentes

Modelos macroeconométricos

Exigem séries temporais bastante Exigem séries temporais bastante longaslongas

Sua validade depende da validade do Sua validade depende da validade do modelo explicativo subjacentemodelo explicativo subjacente

Na prática : utilização limitada à Na prática : utilização limitada à análise dos efeitos econômicos das análise dos efeitos econômicos das políticas políticas

A avaliação não se limita à análise causal

A avaliação visa tanto explicar mecanismos A avaliação visa tanto explicar mecanismos quanto medir efeitosquanto medir efeitos

Ela participa tanto da explicitação do significado Ela participa tanto da explicitação do significado da ação quanto da sua racionalizaçãoda ação quanto da sua racionalização

Ela deve produzir uma argumentação apropriada Ela deve produzir uma argumentação apropriada para convencer um público diversificado…para convencer um público diversificado…

e para fundamentar novas ações / decisões com e para fundamentar novas ações / decisões com base em informações heterogêneasbase em informações heterogêneas

agindo por indução mais do que por agindo por indução mais do que por demonstraçãodemonstração

Os métodos qualitativos

Pesquisas qualitativas (entrevistas…)Pesquisas qualitativas (entrevistas…) Estudos de casos, monografias Estudos de casos, monografias Análise de documentosAnálise de documentos Etno-metodologiaEtno-metodologia Utilização de material audiovisual Utilização de material audiovisual ““Palavra de especialistas” Palavra de especialistas” Métodos de trabalho em grupoMétodos de trabalho em grupo

As técnicas de decisão

Custo – eficácia: comparação de relações Custo – eficácia: comparação de relações custo / resultados para diferentes custo / resultados para diferentes programas comparáveisprogramas comparáveis

Custo – benefícios : os resultados e os Custo – benefícios : os resultados e os impactos são traduzidos em termos impactos são traduzidos em termos monetários e comparados ao custo do monetários e comparados ao custo do programaprograma

Análise multicritérios Análise multicritérios

Os métodos econômicos da avaliação ambiental

Método dos “preços hedônicos”Método dos “preços hedônicos”

Avaliação contingenteAvaliação contingente

Limites desses métodos : o valor dos bens Limites desses métodos : o valor dos bens ambientais é assimilado à sua utilidade ambientais é assimilado à sua utilidade para os indivíduos para os indivíduos

A “neutralidade carbono”

Princípio geral : Princípio geral : compensaçãocompensação obrigatória por obrigatória por economias equivalentes, em termos economias equivalentes, em termos físicosfísicos (toneladas de carbono), no âmbito de um (toneladas de carbono), no âmbito de um territórioterritório (região), do impacto dos novos (região), do impacto dos novos projetos de desenvolvimento sobre as projetos de desenvolvimento sobre as emissões de gases com efeito estufa emissões de gases com efeito estufa

Ferramenta de base : sistema de cálculo dos Ferramenta de base : sistema de cálculo dos “balanços de carbono” de acordo com a “balanços de carbono” de acordo com a natureza dos projetosnatureza dos projetos

Implantada na França dentro dos contratos de Implantada na França dentro dos contratos de planos Estado – Regiõesplanos Estado – Regiões

Objetivo : estabilidade ou “fator 4” ? Objetivo : estabilidade ou “fator 4” ?

As agendas 21

Programa de ação para o século 21, adotado em Programa de ação para o século 21, adotado em 1992 por 173 países, na Cúpula da Terra, Rio 1992 por 173 países, na Cúpula da Terra, Rio 9292

as coletividades territoriais foram convidadas a as coletividades territoriais foram convidadas a implementar uma Agenda 21 localimplementar uma Agenda 21 local

Objetivos : desenvolvimento econômico e Objetivos : desenvolvimento econômico e social ; conservação e administração dos social ; conservação e administração dos recursos para o desenvolvimento; dar força aos recursos para o desenvolvimento; dar força aos principais grupos sociais principais grupos sociais

Mais de 200 ações na França Mais de 200 ações na França

A diretriz européia sobre os planos e programas (2001)

Torna obrigatória a avaliação ambiental Torna obrigatória a avaliação ambiental ex-ex-anteante dos planos e programas suscetíveis de dos planos e programas suscetíveis de ter uma incidência significativa sobre o meio ter uma incidência significativa sobre o meio ambienteambiente

Na França, essa diretriz é aplicada em Na França, essa diretriz é aplicada em dezenas de procedimentos administrativos dezenas de procedimentos administrativos