“Construção de Indicadores"

Ana Rojas Acosta

Março 2013

ALINHAMENTO CONCEITUAL

• O QUE É AVALIAÇÃO?

• O QUE É AVALIAÇÃO DE PROGRAMAS SOCIAIS?

• O QUE SÂO INDICADORES?

• O QUE SÃO INDICADORES SOCIAIS?

• O QUE SÃO INDICADORES DE AVALIAÇÃO?

• QUAL SUA IMPORTÂNCIA NOS PROGRAMAS SOCIAIS E NAS POLÍTICAS SOCIAIS?

Levantamento dos serviçose programas relativos

às várias políticas públicas

Conhecimento da realidade territorial

Conhecimento do perfil dapopulação e respectivos territórios onde vai incidir

a ação

Quadro de recursos humanos capacitado e

supervisionado

Sistema de planejamento e gestão capaz de aperfeiçoar e fundamentar ações

Diagnóstico

Conhecimento da realidade

DiagnósticoDiagnóstico

Dados socioeconômicos da população e do território

Dados socioeconômicos da população e do território

Relações sociais, costumes, cultura, religiosidade etc.(alcança a dimensãodo subjetivo, da cultura, dos valores, da ética)

Relações sociais, costumes, cultura, religiosidade etc.(alcança a dimensãodo subjetivo, da cultura, dos valores, da ética)

Perfil das famílias: suas vulnerabilidades e potencialidades e possibilidades

Perfil das famílias: suas vulnerabilidades e potencialidades e possibilidades

Redes e movimentos sociais, ONGs etc., pluralidade de atores e visões

Redes e movimentos sociais, ONGs etc., pluralidade de atores e visões

Conhecimento do perfil dapopulação e respectivos territórios onde vai incidir

a ação

Levantamento dos serviçose programas relativosàs políticas públicas

Serviços e programasexistentes no território e na região onde vivem as famílias

Serviços e programasexistentes no território e na região onde vivem as famílias

Atenção àdiversidade e complexidade das questões e da realidade

Atenção àdiversidade e complexidade das questões e da realidade

POLÍTICAS Atores Sociais (movimentos sociais, conselhos, ONGs e

outros)Redes e Parcerias

Atores Sociais (movimentos sociais, conselhos, ONGs e

outros)Redes e Parcerias

LOAS

ECA

SUAS

SUSAtenção à

fragmentação – não perder a noção de TOTALIDADE DA

REALIDADE

Atenção àfragmentação – não perder a noção de TOTALIDADE DA

REALIDADE

O Planejamento

Processo políticoProcesso

pedagógico

Processo técnico

operacional

Constrói conhecimento da realidade: análise e interpretação de dados

Sintetiza fatos e informações da realidade

Adequa-se às condições reais e concretas

Enfrenta jogo das vontades políticas

Compatibiliza diferentes interesses envolvidos

Mobiliza parcerias, acordos e pactos

Lida com idéias norteadoras e valores que fundamentam às decisões

PRESENTE FUTURO

MOVIMENTO

PLANEJAR

EXPRESSÃO DA QUESTÃO SOCIAL

QUE REQUER INTERVENÇÃO

LEITURA DA REALIDADE

PARA REFLETIR, DECIDIR E

AGIR

Plano/Programa/Projeto...........

REALIDADE EM TRANSFORMAÇÃO

PROPOR INTERVENÇÃO,

OBJETIVOS, METAS, AÇÕES, RECURSOS,

RESULTADOS, AVALIAÇÃO

MONITORAMENTO E AVALIAÇÃO

REPLANEJAMENTO

Avaliação

Avaliação é pensada como estratégia de fiscalização/punição.

Pensamento maniqueísta sobre os critérios de julgamento.

Avaliação é pensada como instrumento de poder político ou técnico.

Crença de que o conhecimento informal da prática é suficiente.

Herança do planejamento tradicional.

Mitos e representações sobre a avaliação:

Onde foi que eu errei?

O avaliador pode achar que meu trabalho é ruim e me prejudicar...

Se querem me avaliar, vou dizer o que eles querem ouvir...

É uma bobagem... só eu sei na prática quais são meus problemas!

Deve se avaliar no final da execução.

O que é avaliação?

Processo sistemático de análise das ações, características e resultados de um programa ou projeto a partir de critérios predefinidos.

Objetiva determinar o mérito ou relevância, qualidade, utilidade ou efetividade, gerando recomendações para correção ou melhoria das ações.

Avaliar é atribuir valor. Identifica processos e resultados, compara dados de desempenho, julga,

informa e propõe.

• Os objetivos estão sendo alcançados?

• O problema que se pretende superar ou minimizar está

sendo enfrentado?

•Quais os efeitos mais perceptíveis das ações

desenvolvidas?

Os recursos estão sendo aplicados nas ações prioritárias?

•A equipe está capacitada?

• Os beneficiários da ação estão utilizando o conhecimento

e os produtos da ação?

• Há participação da coletividade nos processos de

trabalho?

Aprender a perguntarUm bom avaliador é um bom perguntador

Aspectos importantes a considerar na

avaliação

Resultados de mais longo prazo, impacto do planejado sobre a situação, visão de totalidade; Benefícios ou mudanças

gerados;Incorporação permanente dos resultados.

Critérios: cobertura, relevância, abrangência, capacidade de influenciar políticas públicas,

de alterar estruturas.

Avaliação deve considerar

Adequação da ação aos objetivos e metas;Alcançar os resultados previstos e os

objetivos;

Congruência entre intenção e projeto planejado ou realizado.

Critérios: mudanças correspondentes aosobjetivos e metas do projeto.

Aspectos importantes a considerar

na avaliação

Padrão de qualidade e extensão de cobertura de atendimento

Otimização de recursos, prazos, custo.

Critérios: rendimento técnico e administrativo, capacidade de atender àdemanda, adequação do uso do espaço e

equipamentos.

Abordagens Avaliativas

Qualitativa

permite o estudo de questões, casos ou eventos mais ligados à lógica dos atores e das dinâmicas estabelecidas na

ação;

perspectiva subjetiva de mensuração (capta valores, atitudes, condutas, motivações, tensões).

Quantitativa

possibilita a realização de levantamento de informações sobre a lógica dos sistemas de ação, permitindo a realização de análises estatísticas, a comparação e generalização de resultados;

perspectiva objetiva de mensuração.

Pluralista

associa diferentes abordagens e métodos de pesquisa.

Avaliação inicial ou ex-ante (importância do marco zero)

avaliação de viabilidade, ponto zero, comportamento de entrada.

Avaliação de processo

realizado durante a implementação do programa.

Avaliação de resultados

realizada ao final da etapa de execução do projeto.

Avaliação pós-facto de impacto (ex-post)

realizada após a conclusão do projeto.

Fases da Avaliação

O que é Monitoramento?

É o processo sistemático de registro e armazenamento das informações substantivas durante a fase de execução da política, programa, projetos, serviços e equipamentos.....

Identifica-se com o acompanhamento e a avaliação sistemática e contínua, tanto das atividades, insumos, recursos, como dos efeitos e impactos das ações desenvolvidas. Por isso, éconsiderado parte integrante da gestão, construído por dentro do projeto, permitindo ajustes nos objetivos e ações até seu término. (IEE,2004)

O que é Monitoramento?

É preciso condições (técnicas e informacionais) para se estabelecer o fluxo e procedimentos para o registro e processamento das informações definidas como relevantes (com base nos indicadores).

É fundamental construir um sistema de monitoramento que possa capturar as informações necessárias e definidas como prioritárias para acompanhar o Programa e, posteriormente, criar os insumos precisos para a avaliação.

Indicador SocialÉ uma medida quantitativa com significado social substantivo (acadêmica) ou programático (paraformulação de políticas).

É um fator ou um conjunto de fatores que sinaliza ou demonstra a evolução, o avanço, o desenvolvimento rumo aos objetivos e às metas do projeto.

São parâmetros qualificados e/ou quantificados que detalham em que medida os objetivos foram alcançados. Como uma espécie de “marca” ou “sinalizador” que busca expressar aspectos da realidade sob uma forma que se possa observá-lo ou mensurá-lo; identificando uma variável que expressa o fenômeno de interesse.

A escolha dos indicadores sociais dependem de suas propriedades e da finalidade a que se

destinam.

Cada fase do processo de formulação e implementação de politicas e programas requer o

emprego de indicadores

Na avaliação de programas indicadores de diferentes tipos servem para medir eficiência,

eficâcia e efetividade.

PRESSUPOSTOS

Indicadores de Avaliação

• São ideias-síntese que representam o

aspecto, característica ou qualidade a

partir do que se fará a avaliação.

• São uma espécie de “marca” ou

sinalizador, que buscam expressar algum

aspecto da realidade a ser observado ou

medido.

QUANTITATIVOS OU QUALITATIVOS

AVALIAÇÃO QUALITATIVA INDICADOR QUALITATIVO

AVALIAÇÃO QUANTITATIVA INDICADOR QUANTITATIVO X

X

Quantitativos

• Quando procuram focar processos traduzíveis em

termos numéricos, tais como valores absolutos,

médias, porcentagens, proporções etc.

Qualitativos

• Quando relacionados a processos nos quais é

preferível utilizar referências de grandeza,

intensidade ou estado, impressões, relações e

outras manifestações de caráter não tangível.

Indicadores

Quantitativos e Qualitativos

A escolha de um indicador social deve ser pautada por suas

propriedadesDeve ter um grau de cobertura populacional adequado aospropósitos que se presta;

Deve ser sensível a políticas públicas implementadas;

Especifícos a efeitos dos programas….

Atualizável periodicamente;

Desagregável geografica, siociodemográfica e socioeconômica;

Historicidade para poder comparar; e

Inteligibilidade para garantir a transparência.

NÃO EXISTE TEORIA FORMAL QUE PERMITA ORIENTAR COM ESTRITA OBJETIVIDADE A SELEÇÃO DE INDICADORES

VERIFICAÇÃO

Grau de aderência do indicador proposto desejável de indicador social;

Validade como medida de desenvolvimento;

Confiável em perspectiva comparativa interregional;

Comparável com outras medidas existentes.

Sensível a esforços de políticas públicas;

Mudanças em um dos seus componentes;

Periodicidade da produção;

Esforço e custo justificados pelas suas aplicações;

Gasto necessário para sua produção e atualização com investimentos importantes;

Desagregado espacial ou populacionalmente para os mais desvantajados;

Série histórica do indicados comparável no tempo;

Construção intelegível, baseada em teoria social ou econômica abrangente;

Comunicável; Relevante; Traz algo de novo;

Contribui para que a exclusão social seja colocada em pauta.

MODELO DE AVALIAÇÃO

POLITICAS SETORIAISINDICADORES DE AVALIAÇÃO DE

RESULTADOS

INDICADOR-INSUMO INDICADOR-PROCESSO INDICADOR-PRODUTO

SAÚDERecurso: quantidade de médicos por mil habitantes ou gasto monetário per capita em saúde

Uso dos recursos: consultas ao mês por criança até 1 ano. Medicamentos distribuidos por mês por criança

Resultado efetivo: Taxa de morbidade ou mortalidade infantil por causa específica

EDUCAÇÃORecurso: quantidade de professores qualificados por mil crianças ou gasto monetário per capita em educação

Uso dos recursos: alunos por professor. Carga horária efetiva de aulas. Material escolar distribuido por aluno no ano

Resultado efetivo: Taxa de morbidade ou mortalidade infantil por causa específica.

ASSISTÊNCIA SOCIAL

Recurso: quantidade de assistentes sociais por habitantes gasto com os CRAS

Uso dos recursos: número de atendidos por famílias no PBF. Crianças na escola por crianças vacinadas por número de crianças desligadas.

Resultado efetivo: Índice de de vulnerabilidade. Melhoria na habitabilidade.

INDICADORES DE AVALIAÇÃO DE IMPLEMENTAÇÃO DOS PROGRAMAS

EFICIÊNCIA/ EFICÁCIA / EFETIVIDADE

PRINCIPAIS FONTES DE INDICADORES MUNICIPAIS

INSTITUIÇÃO FONTE DE DADOS TEMAS INVESTIGADOSPERIODICIDADE E DESAGREGAÇÃO

Censo demográfico Características demográficos, habitação, escolaridade, mão de obrea rendimentos

Decenal - Município setor censitário

Censo populacional População, migração Entre Censo - Município

Estatisticas do Registro Civil Nascimentos, óbitos, casamentos, etc. Anual - Distritos

Pesquisa básica de informações municipais

Infraestrutrura, recursos, finanças, equipamentos

Ministério de Trabalho RAIS / CAGED Empregos salários, admissões, demissões

Ministério de Educação Censo Escolar Alunos, professores, equipamentos

Ministério de Saúde DATASUS Est. Mortalidade, vacinações, equipamentos, recursos, morbidade

Ministério de Desenvolvimento Social e Combate à

GEOSUAS / DATASUAS Projetos sociais e perfil socioecômico dos municípios

IBGE

Anual - Municípios

Indicadores versus sistemas de indicadores:

o que é mais importante para o formulador de políticas?

Sistemas de indicadores que contemplem as múltiplas dimensões da realidade social

continuam sendo o melhor instrumento analíticode trabalho para os formuladores de políticas e

tomadores de decisão.

Sistemas de indicadores sociais

INSTITUIÇAO OBJETIVO GERAL TEMAS INVESTIGADOS

NAÇÕES UNIDAS Monitoramento do Desenvolvimento Socieconômico

População, saúde, educação, atividade econômica, renda, patrimônio, uso do tempo, segurança pública, monbilidade social, cultura, comunicação, lazer.

HABITAT Formulação e avaliação da Política de Desenvlolvimento Urbano

Uso do solo urbano, habitação, meio-ambiente, desenvolvimento socio-econômico, transporte urbano

SEADE Produzir, disseminar pesquisas estatísticas socioeconômicas e demográficas voltadas para juventude e indice paulista de vulnerabilidade social

Emprego, desemprego, juventude, transporte, saúde, população, segurança, justiça, saneamento...

Os indicadores sociais são insumosnecessários mas não suficientes no

processo de formulação e avaliação de políticas públicas.

Os diagnósticos são retratos parciais e enviesados da realidade (visão de mundodos técnicos);

As soluções vizualizadas e as especificaçõesdos programas estão determinadas a priori;

Defasagem entre planejamento e ação;

RH, potencializam ou criam barreras para suaefetivação.

O que

registrar?

Como

registrar?

Quando

registrar?

Definição do foco

Construção e/ou identificação de indicadores de

acompanhamento

Construção de instrumentais de coleta de dados

Definição dos momentos para levantamento de

dados

Seleção de bancos de dados com informações do

território

Para pensar sistema de Monitoramento devemos responder a três questões

básicas:

Arregui & Santos, 2009

Instrumentos e Métodos

de Coleta de Dados

Pessoas como fonte de informação

Questionário

Entrevistas

Depoimentos

Grupo focal

Observação informal

Testes

Debates

Fichas (frequência, cadastro, inscrição...)

Informações já existentes

• Estudo de documentos, dados disponíveis sobre a população- alvo ou

o problema a ser enfrentado;

• Estatísticas e pesquisas já produzidas;

• Levantamento de dados publicados sobre o tema na internet, nos

jornais etc.

Considerações Finais

• Conhecimento do significado, dos limites e potencialidadedos indicadores sociais para formulação e implementaçãodas políticas públicas principalmente as de âmbitomunicipal.

• Aprofundar a análise e a formulação da política.• A avaliação deve olhar para as necessidades daqueles

para quem o programa (projeto, serviços etc) foi criado e para as mudanças mais imediatas e observáveis com relação à situação inicial e aos objetivos estabelecidos.

Disseminação e uso das informações geradas• Como os diferentes públicos se apropriam dos resultados

da avaliação (funcionários, usuários, financiadores e parceiros);– Como se incorporam os resultados das avaliações nos

Planos Municipais?

Obrigada!BibliografiaCARVALHO, MARIA DO C. B.(2000) Avaliação de Projetos Sociais. In Gestão de Pojetos Sociais, Ed.

Capacitação Solidária, AAPC, São PauloCOHEN, Ernesto & FRANCO Rolando (1993) Avaliação de projetos sociais. Petrópolis, Vozes.

FIGUEIREDO, Marcus & FIGUEIREDO Argelina M.C. (1986) Avaliação Política e Avaliação de Políticas Públicas. IDESP, São Paulo, n. 15.

Instituto de Estudos Especiais. Material didático para o Curso de Elaboração do Plano Municipal de Assistência Social – Alagoas, 2009.

JANNUZZI, Paulo de Martino Repensando A Prática de Uso de Indicadores Sociais na Formulação de Políticas Municipais. In Qualidade de Vida, Tânia Keinert e Ana Paula Karruz (Orgs.) Fapesp, Annablume, 2002

PEREIRA, A.P Potyara, Política de Assistência Social para a Pessoa Idosa,1998.

Legislação

LOAS, 1993.

NOB RH, 2005.

PNAS, 2004

Sites

www.ibge.gov.br/observatoriodaequidade

www. seade.gov.sp.br

www. aplicacoes.mds.gov.br

www.pnud.org.br