Post on 16-Apr-2015
1
INDICADORES DE DESEMPENHO E EVALUACION
DE PROGRAMAS
Curso Políticas Orçamentárias e Gestão Pública por Resultados
ILPES/CEPAL
Outubro 2006
Marianela Armijo
2
INDICADORES DE DESEMPEÑO
INDICADORES DE DESEMPENHO: CONCEITOSPASSOS BASICOS PARA SEU CONSTRUCCIONREQUISITOS E CONDIÇÕESDIFICULDADES
3
INDICADORES DE DESEMPEÑO:CONCEPTOS
INSTRUMENTOS DE MEDICION DAS VARIÁVEIS SÓCIAS ÀS METAS
MEDIDAS QUE DESCREVEM COMO UMA INSTITUCION ESTA ATINGINDO SEUS OBJETIVOS E METAS
4
OBJETIVOS USO INDICADORES(*)
Induz melhoras em InformaçãoFundamenta a discussão de ResultadosPossibilita a AvaliaçãoApóia o processo de Formulação de PolíticasFacilita o estabelecimento de Compromissos de Resultado
(*) Dirección de Presupuestos. Ministerio Hacienda. Chile.
5
EVALUACION DA GESTION
Foco da evaluacion MEDICION DO DESEMPENHO CONSEGUIDO PELAS INSTITUIÇÕES
ELABORACION DE MEDIDAS DE DESEMPENHO PODE ABARCAR TODO O
PROCESSO DE PRODUCCION
INSUMOS
PROCESSOS
PRODUTOS
RESULTADOS
6
PROCESSO
PRODUTO – (OUTPUT)
RESULTADO FINAL OU IMPACTO
(OUTCOME)
INSUMO (INPUTS)INSUMO (INPUTS)
¿Com que rapidez o estamos fazendo? Quanto nos custa?
¿Quantas unidades de produtos e serviços
estamos gerando ?
¿Quantos recursos investimos, quanto pessoal trabalhou no processo ?
¿Cómo están cambiando las condiciones que estamos interviniendo?
7
•Custo da campanha de televisão
•desenho e provas dos avisos -produção dos avisos -compra do tempo de aviso comercial
•avisos realizando-se na Televisão
Resultados
Imediatos
Finais
•gente vê os avisos
•as atitudes da gente se vêem afetadas
•o comportamento se vê afetado
•menor incidência de doenças relacionadas com o tabagismo
Intermédios
Processos (Atividades)
Insumos (Inputs)
Produtos
8
Quem somos ou que fazemos Quem somos ou que fazemos
Onde queremos ir Onde queremos ir
Cómo podemos chegarCómo podemos chegar
Como sabemos que chegamos Como sabemos que chegamos
Objetivos
Estratégias
Medidas de Desempenho
Missão
A medição do desempenho é parte de um longo processo de planejamento
9
PASSOS BASICOS PARA A CONSTRUCCION DE
INDICADORES IDENTIFICAR OBJETIVOS E METASIDENTIFICAR AS AREAS DE MEDICION DE DESEMPENHO CONSTRUIR AS FORMULAS OU ALGORITMOSVALIDAR: APLICAR CRITÉRIOS DE TECNICOS E REQUISITOSRECOPILAR A INFORMACION NECESSÁRIAESTABELECER RESPONSABILIDADES ORGANIZACIONALESCOMUNICAR E INFORMAR
10
Ciclo Básico do Processo de Construção
de Indicadores de desempenho
1. Identificação e/ou revisão de
Missão
Objetivos
Estratégico
Metas
2. Estabelecer as medidas de desempenho claves
Eficácia, Eficiência, Qualidade, Economia
3. Atribuir as responsabilidades
Estabelecer indicadores em cada nível da organizacion 4. Estabelecer os referentes comparativos
5. Construir as fórmulas
6. Coletar os dados e gerar sistemas de informação
7. Validar os indicadores
9. Comunicar e informar
8. Analisar e interpretar os resultados
11
IDENTIFICAR OBJETIVOS E METAS
¿TENHO IDENTIFICADA A MISSÃO, OS PRODUTOS E OS USUÁRIOS?
¿ TENHO CLAROS OS OBJETIVOS QUE DEVO CONSEGUIR?
¿ ESTÃO OS OBJETIVOS ALINHADOS COM As PRIORIDADES ESTRATÉGICAS DA ORGANIZAÇÃO?
¿ OS OBJETIVOS ESTÃO EXPRESSADOS EM METAS MENSURÁVEIS?
12
IDENTIFICAR AS AREAS DE
MEDIÇÃO DA DESEMPENHO
¿QUE AREAS DO DESEMPENHO RESULTA CONVENIENTE MEDIR ?
EFICIÊNCIAEFICÁCIA
QUALIDADEECONOMIA
13
INDICADORES DA DESEMPEHNO (*)
EFICÁCIA
EFICIÊNCIA
ECONOMÍA
QUALIDADE
PROCESSO PRODUTO RESULTADO
Dimensões
AMBITOS DE CONTROLE
(*) Indicadores de Desempeño. www.dipres.cl
14
Qualidade
Eficácia
Eficiência
Economia
Estimação Meta
1998 1999 2000 2001 2002
Produco relevante (bien y/o servicio) al
que se vincula
Indicador de
DesempenhooFórmula de
cálculo
Informação Histórica Meios de
Verificacion
Programa/ Subtítulo/ ítem/
Atribuição
Orçamentária
MATRIZ DE INDICADORES (*)
(*) Indicadores de Desempeño. www.dipres.cl
15
Nº de usuáriosatendidos
Nº de certificados emitidos
Monto investimento
executado
Nº de usuários por atender
Nº Certificados solicitados
Monto atribuído para
investimento
O que se faz O que deve fazer-se
DEFINIR AS FORMULAS OU ALGORITMOS
A) BASES DE COMPARAÇÃO
16
FORMULAR ALGORITMOS
b) Definição de ratios
Custos médios: Custo total consultas/ conferes realizadasProduto medio:Nº inspeções realizadas/Nºinspetores
c) Definição de padrões
% de recomendações aceitadas% de clientes satisfeitos Nº de erros Tempo média de tramitação
17
RECOPILAR A INFORMACION NECESSÁRIA
Informação contável-orçamentária
Estatísticas de produção física,
ônus de trabalho do pessoal
Enquetes, estudos especiais
Benchmarking,etc
18
CONCEITOS E EXEMPLOS DE INDICADORES DE GESTION
EFICÁCIA:Mede o grau de cumprimento dos objetivos e metas estabelecidos, através dos produtos ou resultados obtidos, sem referência ao custo de consecução dos mesmos
19
EFICACIA:PRODUTO RESULTADO
INTERMÉDIORESULTADO FINAL OU IMPACTO
Percentagem de reclusos participando do programa de
reinserção /Total população enclausurada potencialmente beneficiária do
Programa
Taxa anual de variação de reclusos com contrato de trabalho
Porcentagem de desempleo da poblacao reclusa aprovada
Ateliês de capacitação realizados/Ateliês de capacitação
programados
Participantes que conseguem certificar-se por concorrência/Total de participantes
(Produtividade dos participantes ano t -Productividad participantes ano t-1/Produtividade participantes año t-1)*100
20
EFICÁCIA/Cobertura
Area de cultivo inclusa no Programa
Area Total do Programa de Cultivo
Direção Geral de Serviços Agrícolas . Uruguay
Controles de emissões Ônibus Interurbanos
Total de Ônibus Interurbanos
Subsecretaria de Transportes Chile
Reclusos com atividade industrial Total de reclusos
Direção Nacional de Cárceres Uruguay
21
CONCEITOS E EXEMPLOS DE INDICADORES DE GESTION
Estabelece a relação entre a produção física do bem ou serviço e os insumos utilizados para atingir o nível de produto.
Maior quantidade de serviços dado o mesmo nível de recursos
Atingir um determinado nível de serviços utilizando a menor quantidade de recursos possível
EFICIÉNCIA
22
CONCEITOS E EXEMPLOS DE INDICADORES DE GESTION
Custo médio de produção (Custo por beneficiário, custo por componente)
Produtividade média (usuários atendidos por unidade de tempo, fiscalizações por inspetor)
EFICIÉNCIA
23
EFICIÉNCIA
EFICIENCIA-Costo Medio
Gastos administrativos programa bolsa/bolsas entregadas
Gasto total programa certificação/Caixas vistoriadas
Gasto associado a intervenções quirurjicas/número de intervenções
Custo total de unidades moradias contratadas/unidades contratadas
24
EFICIÉNCIAEFICIENCIA-Produto Medio
Número de inspeções/número de inspetores
Número de expedientes resolvidos por semestre/dotação de pessoal na tarefa
Número de inspeções ao transporte de passageiros/pessoal afetado à tarefa
Número de consultas/número de médicos
25
CONCEITOS E EXEMPLOS DE INDICADORES DE GESTION
Qualidade
Mede a capacidade da organização por cumprir com os requisitos de satisfação do produto que esperam os usuários, em termos de oportunidade, acessibilidade, precisão, etc.
26
CONCEITOS E EXEMPLOS DE INDICADORES DE GESTION
Qualidade Medições indirectas:
Melhorar os atributos e caracteristicas dos
Produtos
Medições diretas
Grau de satisfação dos usuários
27
Qualidade
Qualidade-Tempo de resposta Tempo de espera média para atendimento em consulta
Direção Geral de Saúde
Tempo de tramitação média de solicitações mineiras Direção Geral de geologia e mineração
Tempo média para o estudo de cada Plano de ReflorestamentoDireção Geral de Recursos Naturais
Dia de demora média de trâmites de legalizaçãoDireção Geral de Secretaria
28
Qualidade Qualidade- Satisfação do usuário
Percentagem de aprovação Enquete de opinião aos usuáriosDireção Nacional de Registos
Percentagem de reclamos/casos atendidosDireção Nacional de Topografia
Número de reclamos/assuntos resolvidosSubsecretaria do Ministério de Educação e Cultura
Número de serviços reclamados/número total de serviços Hospital de Montevideo
29
Accesibilidade Percepcion de usuários
Precision
Percentagem de respostas aos Parlamentares dentro dos limites
lembrados
Número de localidades cobertas por atendimentos
móveis
Percentagem de aprovação excelente dos ateliês de trabalho, pelos participantes
Percentagem de contratos findos por
erros
Percentagem de reportes econômicos entregados em tempo lembrado
Nº de horas que a Biblioteca está aberta fora das horas de trabalho
Número de falhas reais/ Falhas programadas
Percentagem de População com necessidades especiais que são membros ativos da
Biblioteca
INDICADORES DE QUALIDADE
Número de intervenções com atraso/ Número de intervenções totais
Percentagem de contratos com um ou mais erros encontrados por revisões externas
Percentagem de usuários satisfeitos
Nº de usuários satisfeitos/ Total usuários interrogados Nº de usuários Satisfeitos com o trato no atendimento/
Total usuários
Oportunidade
30
CONCEITOS E EXEMPLOS DE INDICADORES DE GESTION
Economia
Capacidade da instituição por gerar e mobilizar adequadamenteos recursos financeiros de um programa ou instituição.
Exemplos:
Capacidade de autofinanciamientoNível de recuperação de empréstimosCapacidade de execução do orçamento
31
ECONOMIA
Percentagem de recuperação de créditos de curto prazo
Gasto de atividades de apoio/gastos totaisAporte
Aporte de beneficiários a financiamento/Monto total de investimento do programa
Gasto de funcionamento/gastos executados totais
Recuperação de cobranza/Faturação
32
ESTABELECER RESPONSABILIDADES ORGANIZACIONALES
Os centros de responsabilidade: Têm produtos estratégicos claramente asignableTêm objetivos concretos a atingir. Tem à cabeça um diretor responsável com pelo cumprimento desses objetivos.Dito diretivo não só conta com a responsabilidade senão que também com a autoridade e as atribuições para tomar as decisões necessárias para o lucro dos objetivos. Tem atribuído recursos humanos, materiais e financeiros.
33
Direção
Centros de Responsabilidade
Unidade de Controle de Gestão
Acuerdo Metas /
Indicadores
Informação Metas / Indicadores
Información de avanço
Evaluacion
Recomendações
Retroalimentação
Medidas correctivas
Modelo básico de Unidade de Controle de Gestão
34
Relevância Pertinência
Integracion
Homogeneidade
Independencia
Confiabilidad
Não é possível nem desejável medí-lo todo
Medir o correto
Eficácia, eficiência, qualidades, economia
Medidas equivalentes
Medir o controlável
Dados suficientes e demostrables
APLICAR CRITÉRIOS DE TECNICOS E
REQUISITOS Custorazoável
35
APLICAR CRITÉRIOS DE TECNICOS E REQUISITOS
RELEVÂNCIA DA MEDICION
ASSEGURAR-SE QUE ESTOU MEDINDO OS OBJETIVOS VINCULADOS AO ESTRATEGICO
INDICADORES QUE ESTEN VINCULADOS COM O DEFINIDO NO PLANO ESTRATEGICO E NO PLANO
OPERATIVO
“NÃO É POSSÍVEL, NEM DESEJÁVEL MEDÍ-LO TUDO”
36
CONDIÇÕES QUE DEVEM CUMPRIR OS INDICADORES
MEDIR O CORRETO:
CONHECER O PROCESSO DE PRODUCCION QUESE MEDE,
ASEGURANDOSE QUE A MEDIDA DE DESEMPENHO REPRESENTA UM PROCESSO FINQUE PARA A
OBTENCION DA META.
37
CONDIÇÕES QUE DEVEM CUMPRIR OS INDICADORES
INDEPENDÊNCIA
MEDIR O QUE A INSTITUCION SEJA CAPAZ DE CONTROLARCONTAR COM OS DADOS SUFICIENTES E DEMOSTRABLES
38
CONDIÇÕES QUE DEVEM CUMPRIR OS INDICADORES
CUSTOS RAZOÁVEIS NA RECOLECCION DE DADOS
HOMOGENEIDADE
PARA UM MESMO SERVIÇO MEDIDO A NATUREZA DAS PRESTAÇÕES DEVEM SER EQUIVALENTES
39
CONDIÇÕES QUE DEVEM CUMPRIR OS INDICADORES
OS INDICADORES DE DESEMPENHO NÃO SÃO UM FIM EM SE MESMO SENÃO UM MEIO.
“A EVALUACION MAS QUE UMA MEDICION É UMA INTERPRETACION DOS RESULTADOS”
DEVEM ESPECIFICAR-SE E TER-SE EM CONTA A INTERRELACION DAS DIFERENTES MEDIDAS DE DESEMPENHOSIMPLICIDADE DA MEDICION
40
COMO INTERPRETAR OS RESULTADOS
BASES DE COMPARACION:
DESEMPENHO HISTORICO: METASDESEMPENHO CONSEGUIDO
EM INSTITUIÇÕES SIMILARES, PROCESSOS OU PROGRAMAS.
41
COMO INTERPRETAR OS RESULTADOS
NÃO HÁ UMA MEDIDA UNICA QUE DEMONSTRE POR SE SÓ O DESEMPENHO DA INSTITUCION
REQUER-SE UM COMBINACION DE LASRESULTADOS, IMPACTO, EFICÁCIA, EFICIÊNCIA,
QUALIDADE
“ CERTOS INDICADORES PODEM SER CONTRADITÓRIOS ENTRE ELES”:
42
•GESTION DE ANOS ANTERIORES
Percentagem de aumento do parque informático da Unidade Executora e sua conexão em rede
Fórmula de cálculo: 1999 2000 2001
[(Equipes incorporadas e 53 71 96conectados nos ano t/equipes conectadas ano t-1) -1] *100 33,9% 35,2%
EXEMPLOS DE CONSTRUCCION DE INDICADORES: FORMULAS DE CALCULO
43
EXEMPLOS DE CONSTRUCCION DE INDICADORES: FORMULAS DE CALCULO
UM ESTANDAR DE INSTITUIÇÕES SIMILARES
Tempo máximo de tramitação de mediações
Fórmula de cálculo:1999 2000 Meta
Sumatoria de N°de dias de
Tramitação /N°de tramitações Realizadas 18dias 30dias 25dias(dias)
44
O PROGRAMADO, COMPARACION RESPECTO DO OBJETIVO DEFINIDO
Percentagem de vias navegáveis já habilitadas
Fórmula de cálculo
Vias navegáveis habilitadas ano t/Vias navegáveis programadas ano t
1999 2000 2001
S/d s/d (120/143)*100 83,9%
EXEMPLOS DE CONSTRUCCION DE INDICADORES: FORMULAS DE CALCULO
45
INTEGRALIDAD DAS METAS
INDICADOR DE QUALIDADE
Calorias por ração. * Percentagem de aceitaçãodos escolares (enquete)
INDICADOR DE EFICIÊNCIA
Custo média das rações gasto total programa / número de rações
INDICADOR DE EFICÁCIA
População escolar em programa / população escolar total
Aumentar a cobertura do programa de rações a um 55% da população escolar.
Chegar a um custos média de $5.
Atingir 1000 calorias por ração
46
PROBLEMAS FREQUENTES NA
CONSTRUCCION DE INDICADORES
ARMADILHA DA MEDICION:
MOSTRA-SE COMO RESULTADOS (E SE FAZ) SÓ O QUE SE PODE MEDIRTENDE-SE A MEDIR DE ACORDO À INFORMACION DISPONÍVEL, DESCUIDANDO A MEDICION DOS ASPECTOS MAS RELEVANTESSUBVALORACION DAS METAS FRENTE A UM AMBIENTE PUNITIVO DA EVALUACION
47
PROBLEMAS FREQUENTES NA CONSTRUCCION DE INDICADORES
TENDÊNCIA A MEDÍ-LO TUDO PARA NÃO SUBREPRESENTAR ESFORÇOS
DESENVOLVEM-SE INDICADORES MAS NÃO SE USAM PARA A TOMADA DE DECISÕES.