Indicadores de

Programas

Programa de Formação de Técnicos

Estaduais e Municipais para

Elaboração do PPA 2014 – 2017

Fonte: “Indicadores de Programas, Guia Metodológico”, SPI/MP, 2010 e 2012

Indicadores – como escolher ?

• Primeira medida: analisar a consistência do Programa, coerência entre objetivos e ações

• O objetivo do programa está bem definido (SMART) ?

• Indicadores são instrumentos

• Medem determinado conceito, fenômeno, problema ou resultado de uma intervenção

• Medidas que quantificam um insumo, resultado, característica, desempenho de um processo, serviço, produto ou organização

2

Funções básicas dos indicadores

• Descritiva: informa uma realidade empírica

• Valorativa: juízo de valor à situação em foco, dimensão avaliativa

• Ex-ante: no diagnóstico situacional, na definição do problema, no desenho da politica

• In curso: monitoramento e avaliação da execução

• Ex post: alcance das metas

3

Propriedades essenciais dos indicadores

• Validade: representatividade, significante ao que se quer medir e acompanhar

• Confiabilidade: fontes confiáveis, metodologias transparentes, coleta, processamento e divulgação de informações

• Simplicidade: fácil obtenção, construção, manutenção, comunicação e entendimento pelo público externo e interno

4

Propriedades complementares dos

indicadores

• Sensibilidade: refletir mudanças das intervenções

• Desagregabilidade: dimensão territorial

• Economicidade: relação custo / beneficio

• Estabilidade: séries históricas

• Mensurabilidade: alcance e precisão

• Auditabilidade: condições de verificação e acompanhamento

5

Taxonomia de Indicadores

• Estratégicos: dimensão estratégica

• de Processo: desempenho do processo

• Produtividade e Eficiência

• Qualidade ou Eficácia

• Capacidade

• de Projeto: monitoramento da execução de projetos

6

Natureza dos indicadores

• Econômicos: primeiros a serem produzidos, teoria geral mais consolidada, usados nas políticas de desenvolvimento, fiscal, monetária, cambial, comércio exterior, etc.

• Sociais: nível de bem estar e qualidade de vida da população

• Ambientais: desenvolvimento sustentável 7

Complexidade dos indicadores

• Indicadores Analíticos: dimensões sociais específicas, evasão escolar, taxa de desemprego, etc.

• Indicadores Sintéticos: são os índices, resultam da composição de indicadores analíticos, integram várias dimensões, muito usados por instituição internacionais: IDH, IDEB, PIB, etc.

• Objetividade: objetivos e subjetivos

8

Indicadores Sintéticos => índices

Vantagens:

• Simplicidade de entendimento.

• Sumarizam questões complexas facilitando a mobilização e priorização de recursos.

• Permitam estabelecimento de ranking entre regiões, estados, países etc.

• Facilitam a comparação de performance.

Desvantagens:

• Mitificação do índice em detrimento do conceito original.

• Requer base conceitual e empiricamente consistentes (dimensões em geral têm dinâmicas e tratamentos próprios).

• Subjetividade na definição dos critérios de seleção e ponderação das dimensões envolvidas; podem assim ter a sua validade questionada.

• A simplificação pode induzir a decisões erradas.

9

Indicadores sintético versus Sistema de

Indicadores

• Quando os conceitos são complexos não se pode reduzir a gestão de uma política ou programa à simples apreciação de um indicador sintético

• O IDH, por exemplo, resultado da ponderação de três temas distintos (economia, saúde e educação), busca melhor representar o nível de desenvolvimento socioeconômico de um país; porém, a sua composição mistura um conceito mais sensível às variações conjunturais e de prazo mais curto (PIB per capita) com conceitos estruturais menos sensíveis e de prazo mais longo de evolução (saúde e educação)

• Assim, uma variação anual positiva do IDH decorrente do aumento do PIB per capita pode, por exemplo, camuflar uma estagnação ou até um retrocesso nas outras dimensões estruturais do índice (saúde e educação)

10

Pirâmide da Informação

11

Indicadores no Fluxo de Implementação

• Insumo (input indicators): ex ante, área meio

• Processo (throughput indicators): in curso, esforço empreendido na utilização de insumos

• Produto (output indicators): metas físicas

• Resultado (outcome indicators): benefícios no público alvo

• Impacto (impact indicators): abrangente e multidimensional, estratégia, medio e longo prazo, sociedade como um todo

12

Indicadores de Avaliação de Desempenho

• Economicidade

– minimização de custos

• Eficiência

– produtividade, fazer mais com menos

• Eficácia

– grau de alcance das metas

• Efetividade

– efeitos na realidade que sofreu a intervenção

13

Tipos de Indicadores e fluxo de

implementação

14

Correlação entre etapas, características e

tipologia

15

Correlação entre etapas, características e

tipologia

16

Limitações no uso de indicadores

• São abstrações, representações simplificadas da realidade

• A evolução da teoria do programa impacta na evolução dos indicadores

• O indicador não substitui o processo avaliativo

• Teorias complexas dificilmente são captadas por indicadores sintéticos

17

Sistema Estatístico Nacional - IBGE

• Princípios: relevância, imparcialidade e acesso universal, ética e profissionalismo, confiabilidade e transparência, prevenção de erros, etc.

• IBGE (1938): Censo Demográfico, PNAD, PME, POF, PMC (comércio), MUNIC, AMS (assist. médico sanitária), PNSB (saneam. Básico), etc.

• Registros administrativos: registro civil, RAIS, Caged, Censo Escolar, DataSus, etc.

• www.metadados.ibge.gov.br

18

Indicadores no PPA

• Qualidade do indicador (critérios de escolha)

• Quantidade de indicadores (regra do bom senso)

• Dimensão territorial (espacialidade)

• Transversalidade (programas horizontais)

• Fontes

19

Método para construção de Indicadores

20

Passo 1: avaliar objetivos e metas

• Tentar entender a lógica conceitual do programa (qual teoria está explicando)

• Identificar a coerência interna entre objetivo e meta

• Identificar o problema e sua descrição

• Identificar a metodologia de desenho do programa (Modelo Lógico, Zoop, PES, etc.)

• Realizar entrevistas com a equipe gerencial do programa (se necessário)

21

Passo 2: Identificar os principais

interessados

• Identificar os interessados, positivos e negativos em relação aos objetivos e metas do programa

• Identificar (se possível) os recursos estratégicos para o programa que estes atores controlam

• Identificar (se possível) o interesse e o valor que esses atores atribuem aos objetivos e metas do programa

• Refletir sobre que indicadores podem ser utilizados para monitorar o interesse desses atores

22

Passo 3: Definir os tipos de indicadores

• Indicador Chave: conceito ou dimensão mais relevante, todo programa finalístico deve ter

• Indicador Complementar: expressam dimensões secundárias, ainda que igualmente importantes

• Indicador Específico: mensuram necessidades especificas dos gestores do programa ou outros atores

23

Passo 4: Definir critérios de seleção

Eliminatórios

– devem ser obrigatoriamente atendidos

Classificatórios

– estabelecem um ranking de indicadores candidatos (potenciais)

– possibilita análise quantitativa ponderada

– ajuda na seleção intuitiva de medidas de desempenho

24

Passo 4: Definir critérios de seleção

• Para operacionalizar a aplicação dos critérios classificatórios se requer uma subdivisão em:

• Grau de Atendimento dos Indicadores (0 a 2)

– é o grau de aderência dos indicadores sugeridos aos critérios estabelecidos

• Grau de importância (pesos de 3 a 9)

– é uma ponderação dos critérios classificatórios, varia de programa para programa

25

Passo 4: Definir critérios de seleção

Critérios (sugestões):

• Representatividade

• Mensurabilidade

• Confiabilidade da fonte

• Tempestividade

• Facilitação de obtenção

• Confiabilidade Metodológica

• Desagregabilidade espacial

• Simplicidade de construção e entendimento

26

Passo 4: Definir critérios de seleção

• Objetividade• Atendimento às necessidades de informação dos

interessados• Economicidade de obtenção• Estabilidade no tempo• Rastreabilidade• Desagregabilidade socio demográfica• Disponibilidade• Sensibilidade à intervenção• Existência de suporte técnico

27

Passo 5: mapear indicadores candidatos

• Indicadores Simples: valores numéricos, quantidades de um produto ou serviço

• Indicadores Compostos: relação entre duas ou mais variáveis

– Razão: densidade demográfica

– Proporção: coeficiente de mortalidade

– Taxa: mortalidade infantil

– Porcentagem

28

Passo 5: mapear indicadores candidatos

• (1º) pesquisar no Sistema Estatístico Nacional

• (2º) consultar em inventários e banco de dados de projetos e programas similares

• (3º) consultar técnicos especializados de instituições de pesquisa & estatística (IBGE, IPEA, CGEE, universidades, etc.)

• (4º) promover oficinas de brainstorming, grupos focais e entrevistas com partes interessadas

29

Passo 6: Realizar análise de trade-off

Análise Quantitativa

– construir a Matriz de Priorização dos Indicadores

Análise Qualitativa

– utilizar critérios subjetivos oriundos de experiências anteriores, opinião especializada, analogia com outros Programas, indicações de instituições nacionais e internacionais e demais fontes

30

Passo 6: Realizar análise de trade-off

Matriz de Priorização de Indicadores (MPI)

• Linhas: representam os indicadores candidatos • Colunas:

– interessado no acompanhamento do indicador– tipo do indicador: chave, complementar de

resultado e/ou específico– natureza: identifica se o critério é eliminatório

ou classificatório– total: apresenta o somatório dos pontos

obtidos pelo indicador candidato, a partir do atendimento ou não dos critérios estabelecidos

31

Passo 6: Realizar análise de trade-off

• Critérios Eliminatórios: lógica binária, “0” para “não atende” e “1” para “atende”

• Critérios Classificatórios:

32

Passo 6: Realizar análise de trade-off

33

Passo 6: Realizar análise de trade-off

• Pontuação final de cada indicador

– soma das multiplicações do grau de atendimento do indicadore ao critério (de 0 a 2) pelo grau de importância (pesos) de cada critério (de 3 a 9) previamente definido (... de cada programa)

– multiplica-se esta soma pelo resultado da multiplicação dos critérios eliminatórios (0 ou 1)

34

Passo 7: validar os indicadores

selecionados

Verificação final de conformidade e pertinência num chek list:

• Os indicadores escolhidos são válidos para expressar resultados?

• Têm relação direta com os objetivos do Programa?• São oriundos de fontes confiáveis?• São mensuráveis?• São em quantidade suficiente para expressar as dimensões

envolvidas?• Consideram a dimensão territorial, quando necessária?• Expressam questões transversais, quando existirem?• As limitações inerentes aos indicadores foram consideradas?• Atendem ao critério de completude dos atributos exigidos para

o seu cadastramento?

35

Passo 8: Cadastrar os indicadores

• Denominação (apresentação pública)

• Unidade de medida

• Índice de referência (situação mais recente)

• Índices esperados ao longo do PPA

• Índice final do Programa

• Fonte

• Periodicidade

• Base geográfica

• Fórmula de cálculo

36

Simulação de Uso

• Programa: “Segurança Pública nas Rodovias Federais”

• Evidências do problema: 20 mil mortes e 400 mil vítimas em 2006 (RENAEST)

• Primeira causa de morte entre 11 e 40 anos

• Custo estimado em R$ 20 bilhões/ano

• Causas: excesso de velocidade, uso de alcool, má conservação, criminalidade nas rodovias, baixo efetivo da PRF, sinalização precária, etc.

37

Simulação de Uso

• Problema: “elevado número de crimes e infrações nas rodovias federais”

• Público-alvo: usuários das rodovias federais (40 milhões de motoristas)

• Objetivo: “aumentar a segurança pública nas rodovias federais, mediante a prevenção e repressão de ações delituosas e reduzir os acidentes de trânsito”

• Passo 1: o objetivo está claro ? (é SMART ?)

38

Simulação de Uso - Passo 2: principais

interessados

• Equipe Gerencial do Programa: responsável pelo desenho, implementação, monitoramento e avaliação do desempenho

• MMA: o Ministério do Meio Ambiente possui interesse em acompanhar a diminuição da incidência de transporte irregular de madeiras e contrabando de animais silvestres

• SEDH: a Secretaria Especial dos Direitos Humanos possui interesse no monitoramento das ocorrências de exploração de crianças e adolescentes às margens das estradas

• MT: o Ministério do Transportes tem interesse no acompanhamento das condições de uso das estradas

39

Simulação de Uso - Passo 3: tipos de

indicadores

• O conceito de “segurança” envolve duas dimensões

• (1) “criminalidade” (prevenção e repressão a delitos)

• (2) “infrações” (acidentes, condutas ilegais na direção, etc.)

• Indicador Chave (no mínimo um) e indicadores complementares e específicos (criança & adolescente)

• Um total de 4 indicadores ... (?)

40

Simulação de Uso - Passo 4: critérios de

seleção

• Eliminatórios

– proximidade com o objetivo do Programa

– capacidade de mensuração anual

• Classificatórios (cada critério tem um peso – grau de importancia)

41

Simulação de Uso - Passo 5: mapear

indicadores

42

Simulação de Uso - Passo 6: realizar análise

de trade off

• Fazer a Matriz de Priorização de Indicadores (a MPI)

• Selecionados (Chave / complem. / especif.)

– Razão de mortes por tamanho da frota

– taxa de variação de acidentes

– transporte de animais silvestres por ano

– crianças & adolescentes vítimas de crimes por ano

43

Simulação de Uso - Passo 7: validar e Passo

8: cadastrar

• Validação: ver chek list de perguntas

• Cadastramento:

– Razão de mortes em rodovias federais em relação ao tamanho da frota

– Índice de Referência: 16 (2006)

– Índices esperados: 08 (2011)

– Fonte: DPRF e Denatran

– Fórmula: óbitos para cada cem mil veículos

44

Dinâmica de aplicação da metodologia

• Selecionar o programa e entender sua teoria• Realizar entrevistas com principais atores• Realizar pré-montagem da oficina (lista de

indicadores candidatos e critérios potenciais)• Realizar a “Oficina de Indicadores” (01 dia)

– nivelamento metodológico– aplicação do método “8 passos”– decisão final cabe ao gerente do programa– até 10 participantes– presença de um especialista no setor

45

Fontes & Bases públicas de Dados

46