IV Seminário de Políticas Culturais: REFLEXÕES E AÇÕES

Rio de Janeiro, 23 a 25 de novembro de 2009

Formulação e Avaliação de Políticas Públicas: conceitos, técnicas e indicadores

Paulo de Martino JannuzziENCE/IBGE

Objetivo da apresentação

Introduzir conceitos e técnicas acerca do uso dos indicadores no Ciclo de Políticas Públicas

Apresentar fontes de dados e de indicadores para diagnósticos para formulação e gestão de programas sociais no Brasil

Constatação 1

As metodologias de avaliação de programas sociais têm sido objeto de severas críticas. Basicamente, afirma-se que, na prática, as avaliações não subsidiam o processo decisório porque seus resultados sãoinconclusivos, inoportunos e irrelevantes. Inconclusivos em função das próprias limitações deste tipo de estudo, inoportunos devido àmorosidade do processo avaliativo e irrelevantes, porque não respondem às demandas informacionais de todos os agentes sociais afetos à intervenção (COTTA 1998, p. 118).

Há um certo desencanto com a Avaliação...

Constatação 2

De vez em quando, uma “avaliação” mal concebida ou mal executada produz informações que, no melhor dos casos, seriam enganosas e, no pior, absolutamente falsas. Embora essas ocorrências sejam raras, podem causar problemas graves. Como geralmente tem ar de respeitabilidade, essas avaliações não costumam ser questionadas, e o resultado é que decisões importantes sobre programas e serviços essenciais baseiam-se inadvertidamente em informações falaciosas. (WORTHEN et al. 2004, p. 44).

Há um certo desencanto com a Avaliação...

1) Tecnocratismo ingênuo – Capacidade de implementação superestimada, desconsiderando contribuição dos agentes envolvidos na implementação e a capacidade de gestão dos mesmos

2) Desconhecimento sobre o estágio de Avaliabilidade dos Programas –antecipação de avaliações externas de natureza mais de auditoria ou medição de resultados e impactos em detrimento de avaliações de processos voltados ao aprimoramento do programa

1) Cultura de avaliação de programas é incipiente, assim como seu principal elemento estruturador – Gestão de Programas-mobilizado pela complexificação do Sistema de Proteção Social

2) Avaliação de programas têm sido realizadas por equipes com boa experiência em Análise de Macro-Políticas, Conjuntura Social ou projetos de pesquisa acadêmicos, mas sem experiência na implementação real de programas e sem a interdisciplinaridade exigida

Possíveis fatores que contribuem para o desencanto com a Avaliação

Institucionalização da Avaliação de Programas em outros países

American Evatuation Associationwww.eval.org

Evaluation PracticeNew Directions for Program EvatuationEncontro anual em outubro-novembro nos EUANo site há material de treinamento, instrumentos de pesquisa usados, meios de consulta e busca de consultores e instituições especializadas

Canadian Evaluation Societywww.evatuationcanada.ca

Canadian Journal of Program EvatuationConferência anual em maioMaterial de consulta

European Evaluation Societywww.europeanevaluation.org

EvaluationConferência bi-anual em novembroMaterial de consulta

Societé Françaised´Evaluationhttp://www.sfe.asso.fr

Evaluation et mesure de la performanceJornadas de Estudos anuais – nacional e internacionalMaterial de consulta

3) Desconhecimento sobre a complexidade da Gestão de Programas no setor público

1) Gestão de serviços são mais complexos que gestão de produtos2) Articulação entre Ministérios e entre entes federativos 3) Diversidade de Públicos-alvos de programas públicos

4) Inexistência, deficiência ou problemas na estruturação de Diagnósticos e de Sistemas de Indicadores de Monitoramento de Programas

Possíveis fatores que contribuem para o desencanto com a Avaliação

Ciclo de Políticas Públicas: do reconhecimento da relevância à avaliação

Definição de Agenda

Percepção e definição de

problemas, “agendasetting” Formulação

Identificação de alternativas e avaliação das opções, decisão e

elaboração de programas

Problemas sociaisNovas/recorrentes;

nacionais/internacionais

ImplementaçãoPlano de ações, monitoramento.

AvaliaçãoResultados, impactos,

eventual correção da ação, término

ou reinício do ciclo.

Definição de Agenda

Percepção e definição de problemas,

“agenda setting” FormulaçãoIdentificação de

alternativas e avaliação das opções, decisão e

elaboração de programas

Problemas sociaisNovas/recorrentes;

nacionais/internacionais

ImplementaçãoPlano de ações, monitoramento.

AvaliaçãoResultados, impactos,

eventual correção da ação, término

ou reinício do ciclo.

Avaliação de Processo

Avaliação de Eficiência

Avaliação de Desenho

Avaliação de Necessidade de Programa

Avaliação de Impacto

Ciclo de Políticas Públicas: os diversos focos da avaliação segundo Rossi

(2008)

Definição de AgendaPercepção e definição de problemas, “agenda setting” Formulação

Identificação de alternativas e avaliação das opções, decisão e elaboração de programas

DemandasNovas/recorrentes; nacionais/internacionais

ImplementaçãoPlano de ações, monitoramento.

AvaliaçãoResultados, impactos, eventual correção da ação, término ou reinício do ciclo.

Sistema de Dados e Indicadores para o Diagnóstico

Indicadores para tomada de decisão quanto aos programas

Painel de Indicadores para Monitoramento

Dados e Indicadores de Pesquisas de Avaliação

Ciclo de Políticas Públicas: os indicadores requeridos em cada etapa

O que é um Indicador ?

Para que serve ?

Que indicadores usar na elaboração de um Diagnóstico ?

E no monitoramento das ações governamentais ?

A fotografia como tentativa de síntese da realidade social

– Recurso metodológico para “retratar” a realidade social, de forma simplificada, mas objetiva e padronizada

– Medidas que operacionalizam um conceito abstrato ou dimensão de interesse da ação pública

Conceito Indicadores a construirComposição material da habitação

Condições de vida Infraestrutura urbana e entornoda população Disponibilidade de alimentos

RendimentosInserção no mercado de trabalho

Indicadores Sociais

Taxa de analfabetismo

Indicador de Conforto Domiciliar

Indicadores de Oferta

Indicador de Despesas Familiares

Indicador de Despesas Familiares

Índice de Gini

Índice de Desenvolvimento Humano

Esperançade vida

Indic.comp.Tx alfabetizTx escolariz

PIB capitaajustado

Método deaglutinação

IDH entre 0 e 1

0 a 0,5 - baixoSerra Leoa – 0,25Níger - 0,29

0,5 a 0,8 – médioBrasil - 0,75México – 0,78

0,8 a 1,0 – altoSuécia – 0,926Canadá - 0,935

Índice Sintético : O IDH

Mapa do IDH Municipal - 2000

Disponível para download nos seguintes endereços:– www.pnud.org.br– www.ipea.gov.br– www.fjp.gov.br

Indicadores sintéticos construídos por Análise Multicritério(aplicativo Pradin em www.anipes.org.br)

Indicadores institucionais do Controle Social

Indicadores institucionais do Controle Social

Indicadores institucionais da Cap.Gestão

Indicadores institucionais do Cap.Gestão

Tipologia construída a partir de indicadores

Tipologia construída a partir de indicadores

– Recurso metodológico para “filmar” as atividades, ações e programas promovidas pelo setor público, assim como a mudança social impactada pelos mesmos

Indicadores de Monitoramento da Ação Governamental

– Recurso metodológico para “filmar” as atividades, ações e programas promovidas pelo setor público, assim como a mudança social impactada pelos mesmos

Indicadores de Monitoramento da Ação Governamental

– Recurso metodológico para “filmar” as atividades, ações e programas promovidas pelo setor público, assim como a mudança social impactada pelos mesmos

– Medidas que operacionalizam o acompanhamento da ação pública Alocação e execução do gasto Oferta de serviços Realização de etapas e processos Entrega de produtos e obras Medição de efeitos das ações

– resultados mais imediatos – impactos mais de médio/longo prazo e mais abrangentes

Indicadores de Monitoramento e Avaliação da Ação Governamental

Coeficiente técnicos de recursos

Taxa de mortalidade infantil

Violência

Em 100 mil

Coeficiente técnicos de recursos

Índice de Desenvolvimento da Educação Básica

AnoP= Tx. média de

aprovação

Média da nota

padronizada

IDEB = N x P

Taxa média de

abandono %

M= Taxa média de

permanência

IDEB+=NxPxM

1999 78,00 4,56 3,55 10,20 89,8 3,19

2001 79,70 4,33 3,45 8,20 91,8 3,17

2003 80,80 4,42 3,57 6,60 93,4 3,34

2005 81,60 4,61 3,76 5,70 94,3 3,55

Var. 1999-2005 4,62 1,27 5,94 -44,12 5,01 11,25

Indicador-insumo

Quantidade de arte-educadores por mil jovens residentes na comunidade

Volume de recursos gastos/ recursos liberados

Indicador-processo

Número de oficinas de artesanato oferecidas por aluno inscrito

Taxa defrequência

Indicador-produtoResultado efetivo:Taxa de conclusão de alunos

Parcela de alunos atendidos pelo número de jovens da comunidade

Ciclo de formulação e avaliação

Indicador-impacto

Taxa de evasão escolar

Percepção de mudança pelas famílias

Taxa de mortalidade de jovens por agressões

Indicadores de Monitoramento

Medido o esforço e efeitos

Painel de Indicadores de Monitoramento pelo MONIT (disponível em dezembro em www.anipes.org.br)

Quais são as principais fontes de dados para construção de

indicadores ?

I B G E

Unidades Regionais

Unidades Regionais

AgênciasMunicipais

AgênciasMunicipais

AgênciasMunicipais

Ministérios

INEP

Datasus

MinTrab

Agências estaduais Estatísticas

SEADE

FEE

IPARDES

SEI

FJP

Sistema Estatístico Nacional

Data-prev

Senarce Sagi/

MDS

Min C&T

Sec Planej

IDESP

Principais fontes de estatísticas

Subsistema de Estatísticas sociais

1. Censos Demográficos decenais/Contagens

2. Pesquisa Nacional por Amostra Domicílios

3. Pesquisas amostrais específicas

4. Reg. Administrativos e Pesquisas dos Ministérios

5. Estatísticas Vitais

Censos Demográficos

• Primeiro: 1872 Depois de 1940, decenal

• Contagens populacionais no meio do decênio

• Cobertura total do território nacional

• 40 milhões de domicílios em 2000

• Mais de 150 mil recenseadores

• Principal fonte de dados municipais

• Questionário básico (dom, família, sexo, idade, alfabetização)

• Questionário da amostra (10% dos domicílios)

• Coleta de informações comparativa/e detalhada (educação, ocupação, rendimentos, migração, nupcialidade, etc.)

Registros Administrativos* IBGE

Estatísticas do Registro Civil anualPesq. Inf. Básicas Municipais anual

* Ministério do Trabalho RAIS anualCAGED mensal

* Ministério da Educação Censo Escolar anualCenso do Ensino Superior anualSist Aval Educ Basica – Pv Brasil bi-anual

* Ministério da Saúde: Estatísticas de mortalidade anualRegistro de Vacinações anualAssistência Médico-Sanitária irregularNotificação de Nascidos Vivos anualEstatísticas Produção SUS mensal

* OutrosAnuário da Previdência Social anualEstatísticas Arrecad. Federal anual

Pesquisa de Informações Básicas Municipais (MUNIC) Informações municipais sobre:

– Estrutura administrativa– Nível de participação e formas de controle social

(conselhos municipais)– Instrumentos de planejamento municipal (Plano

Plurianual, Plano Diretor, Lei de Parcelamento do solo, etc)

– Justiça e segurança (delegacia de mulheres, juizado de pequenas causas, etc)

– Cultura e lazer (bibliotecas públicas, livrarias, jornais locais, ginásios de esporte, etc)

Indicadores para:– Grau de participação e controle popular da ação

pública– Estágio de desenvolvimento institucional do

planejamento e gestão pública municipal