Indicadores, Painéis de Monitoramento e Pesquisas de...

88
Sagi/ MDS Paulo de Martino Jannuzzi Secretaria de Avaliação e Gestão da Informação do Ministério de Desenvolvimento Social e Combate à Fome www.mds.gov.br/sagi Indicadores, Painéis de Monitoramento e Pesquisas de Avaliação como instrumentos para aprimoramento de programas e projetos sociais

Transcript of Indicadores, Painéis de Monitoramento e Pesquisas de...

Page 1: Indicadores, Painéis de Monitoramento e Pesquisas de ...institutofonte.org.br/sites/default/files/PPT Paulo Jannuzzi.pdf · Monitoramento e avaliação são processos analíticos

Sagi/

MDS

Sagi/

MDS

Paulo de Martino Jannuzzi

Secretaria de Avaliação e Gestão da Informação

do Ministério de Desenvolvimento Social e

Combate à Fome

www.mds.gov.br/sagi

Indicadores, Painéis de Monitoramento e

Pesquisas de Avaliação como instrumentos

para aprimoramento de programas e projetos

sociais

Page 2: Indicadores, Painéis de Monitoramento e Pesquisas de ...institutofonte.org.br/sites/default/files/PPT Paulo Jannuzzi.pdf · Monitoramento e avaliação são processos analíticos

Sagi/

MDS

Sagi/

MDS

Antes, porém, uma correção oportuna: Uma boa

manchete ou uma reportagem inverídica ?

O Globo,

27/05/2012,p.3

Page 3: Indicadores, Painéis de Monitoramento e Pesquisas de ...institutofonte.org.br/sites/default/files/PPT Paulo Jannuzzi.pdf · Monitoramento e avaliação são processos analíticos

Sagi/

MDS

Sagi/

MDS

Sítio SAGI/MDS: www.mds.gov.br/sagi

Disponibilidade pública de resultados de

pesquisas e base de microdados

Page 4: Indicadores, Painéis de Monitoramento e Pesquisas de ...institutofonte.org.br/sites/default/files/PPT Paulo Jannuzzi.pdf · Monitoramento e avaliação são processos analíticos

Sagi/

MDS

Sagi/

MDS

Nota de resposta ao Jornal

O Globo,

31/05/2012,p.7

Page 5: Indicadores, Painéis de Monitoramento e Pesquisas de ...institutofonte.org.br/sites/default/files/PPT Paulo Jannuzzi.pdf · Monitoramento e avaliação são processos analíticos

Sagi/

MDS

Sagi/

MDS

Não há uma pesquisa ou estudo avaliativo que possa compreender

toda a realidade. Daí a opção da SAGI pela disseminação das

pesquisas, para produção contínua de conhecimento sobre nossas

políticas e programas

Triangular significa abordar o objeto de pesquisa a partir de mais de uma técnica diferente de investigação ou sujeitos a entrevistar, como linhas não paralelas na forma de um triângulo cercando o objeto de pesquisa ao centro.

Page 6: Indicadores, Painéis de Monitoramento e Pesquisas de ...institutofonte.org.br/sites/default/files/PPT Paulo Jannuzzi.pdf · Monitoramento e avaliação são processos analíticos

Sagi/

MDS

Sagi/

MDS

O que é Avaliação de Programas e

Projetos ?

Para que serve ?

Page 7: Indicadores, Painéis de Monitoramento e Pesquisas de ...institutofonte.org.br/sites/default/files/PPT Paulo Jannuzzi.pdf · Monitoramento e avaliação são processos analíticos

Sagi/

MDS

Sagi/

MDS

Constatação 1

As metodologias de avaliação de programas sociais têm sido objeto de

severas críticas. Basicamente, afirma-se que, na prática, as avaliações

não subsidiam o processo decisório porque seus resultados são

inconclusivos, inoportunos e irrelevantes. Inconclusivos em função das

próprias limitações deste tipo de estudo, inoportunos devido à

morosidade do processo avaliativo e irrelevantes, porque não

respondem às demandas informacionais de todos os agentes sociais

afetos à intervenção (COTTA 1998, p.118).

Há um certo desencanto com a Avaliação...

Page 8: Indicadores, Painéis de Monitoramento e Pesquisas de ...institutofonte.org.br/sites/default/files/PPT Paulo Jannuzzi.pdf · Monitoramento e avaliação são processos analíticos

Sagi/

MDS

Sagi/

MDS

Constatação 2

De vez em quando, uma “avaliação” mal concebida ou mal executada

produz informações que, no melhor dos casos, seriam enganosas e, no

pior, absolutamente falsas. Embora essas ocorrências sejam raras,

podem causar problemas graves. Como geralmente tem ar de

respeitabilidade, essas avaliações não costumam ser questionadas, e o

resultado é que decisões importantes sobre programas e serviços

essenciais baseiam-se inadvertidamente em informações falaciosas.

(WORTHERN et al. 2004, p.44).

Há um certo desencanto com a Avaliação...

Page 9: Indicadores, Painéis de Monitoramento e Pesquisas de ...institutofonte.org.br/sites/default/files/PPT Paulo Jannuzzi.pdf · Monitoramento e avaliação são processos analíticos

Sagi/

MDS

Sagi/

MDS

Constatação 3

Há um certo desencanto com a Avaliação...

Garcia, 2001, p.21

Page 10: Indicadores, Painéis de Monitoramento e Pesquisas de ...institutofonte.org.br/sites/default/files/PPT Paulo Jannuzzi.pdf · Monitoramento e avaliação são processos analíticos

Sagi/

MDS

Sagi/

MDS

Possíveis fatores que contribuem para o desencanto com

a Avaliação

1) Complexidade do objeto –> Complexidade da forma de avaliá-lo

• Problemas sociais são complexos e multi-causais,

• Públicos-alvo bastante distintos e dispersos

• Parte significativa dos programas são muito recentes

• Natureza diversa das “entregas” – benefícios monetários, produtos,

serviços

• Complexidade do contexto de operação dos programas, envolvendo

articulação entre setores da Política Social, entes federativos e

organizações não governamentais

Page 11: Indicadores, Painéis de Monitoramento e Pesquisas de ...institutofonte.org.br/sites/default/files/PPT Paulo Jannuzzi.pdf · Monitoramento e avaliação são processos analíticos

Sagi/

MDS

Sagi/

MDS

2) Tecnocratismo ingênuo

• Capacidade de implementação superestimada

• Crença na elevada programabilidade dos projetos sociais

• Planejamento top-down, baixa interação com técnicos

envolvidos na operação dos programas

• Gestores e técnicos mais como expectadores do que

protagonistas, encarando M&A mais como espasmos ou

estorvos avaliativos do que como ferramentas para

aprendizado e aprimoramento dos programas

Possíveis fatores que contribuem para o desencanto com

a Avaliação

Page 12: Indicadores, Painéis de Monitoramento e Pesquisas de ...institutofonte.org.br/sites/default/files/PPT Paulo Jannuzzi.pdf · Monitoramento e avaliação são processos analíticos

Sagi/

MDS

Sagi/

MDS

3) Limitações dos desenhos das Pesquisas de Avaliação realizadas:

• Pesquisas qualitativas com amostras intencionais permitem

conhecimento exploratório importante, mas tem limitações na

generalização de resultados

• Desenhos metodológicos muito específicos (quase-

experimentais) garantem validade interna, mas comprometem a

generalização de resultados

• Amostras nacionais são muito dispendiosas e não

necessariamente mais precisas ou relevantes para determinadas

questões

Possíveis fatores que contribuem para o desencanto com

a Avaliação

Page 13: Indicadores, Painéis de Monitoramento e Pesquisas de ...institutofonte.org.br/sites/default/files/PPT Paulo Jannuzzi.pdf · Monitoramento e avaliação são processos analíticos

Sagi/

MDS

Sagi/

MDS

4) Inexistência, deficiência ou problemas na estruturação de Sistemas

de Indicadores de Monitoramento de Programas

• Em que pese a disponibilidade de dados e informações geradas

a todo momento na operação dos programas, eles não estão

organizados, acessíveis, sistematizados na forma de

indicadores

• Baixo uso das estatísticas oficiais, cadastros públicos e

registros administrativos, mesmo quando disponíveis na

Internet

• Baixa utilização de informações produzidas por orgãos de

controle e auditoria

Possíveis fatores que contribuem para o desencanto com

a Avaliação

Page 14: Indicadores, Painéis de Monitoramento e Pesquisas de ...institutofonte.org.br/sites/default/files/PPT Paulo Jannuzzi.pdf · Monitoramento e avaliação são processos analíticos

Sagi/

MDS

Sagi/

MDS

5) Cultura de monitoramento e avaliação de programas é incipiente, assim

como seu principal elemento estruturador (Sistema de Proteção Social)

• Desconhecimento sobre o estágio de Avaliabilidade dos

Programas, levando a antecipação de avaliações externas de

natureza mais de auditoria ou medição de resultados e impactos

em detrimento de avaliações de desenho da intervenção ou do

processo de implementação, mais voltados ao aprimoramento do

programa

• Avaliação de programas têm sido realizadas por equipes com boa

experiência em Análise de Macro-Políticas, Conjuntura Social ou

projetos de pesquisa acadêmicos, mas sem muita experiência na

implementação real de programas. sem a interdisciplinaridade

exigida, com participação pouco ativa do gestor

Possíveis fatores que contribuem para o desencanto com

a Avaliação

Page 15: Indicadores, Painéis de Monitoramento e Pesquisas de ...institutofonte.org.br/sites/default/files/PPT Paulo Jannuzzi.pdf · Monitoramento e avaliação são processos analíticos

Sagi/

MDS

Sagi/

MDS

Ciclo de Políticas e Programas Públicos Como superar o desencanto: Produzir e organizar informação ajustada às

necessidades do programa ou projeto no estágio do Ciclo de Programas

Page 16: Indicadores, Painéis de Monitoramento e Pesquisas de ...institutofonte.org.br/sites/default/files/PPT Paulo Jannuzzi.pdf · Monitoramento e avaliação são processos analíticos

Sagi/

MDS

Sagi/

MDS

Diagnóstico de

Condições de Vida

A demanda por informação estruturada

no Ciclo de Programas

Indicadores sociais

Censos Demográficos

Cadastros Públicos

CadUnico

Page 17: Indicadores, Painéis de Monitoramento e Pesquisas de ...institutofonte.org.br/sites/default/files/PPT Paulo Jannuzzi.pdf · Monitoramento e avaliação são processos analíticos

Sagi/

MDS

Sagi/

MDS

Diagnóstico

propositivo

A demanda por informação estruturada

no Ciclo de Programas

Indicadores de diagnóstico

Públicos-alvo (Censos,

Cadastros e registros de

programas)

Agentes implementadores

(Registros, MUNIC)

Participação social

(Munic, registros de

reuniões)

Page 18: Indicadores, Painéis de Monitoramento e Pesquisas de ...institutofonte.org.br/sites/default/files/PPT Paulo Jannuzzi.pdf · Monitoramento e avaliação são processos analíticos

Sagi/

MDS

Sagi/

MDS

Gestão e

implementação dos

programas

A demanda por informação estruturada

no Ciclo de Programas

Indicadores de monitoramento

(produzidos pelo próprio

programa e outros programas

no Ministério e fora dele)

Insumos ($$, RH, Adesões etc)

Processos (Ações, ativ. meio)

Resultados (Entregas, uso e

consumo de serviço)

Impacto (Mudança social)

Page 19: Indicadores, Painéis de Monitoramento e Pesquisas de ...institutofonte.org.br/sites/default/files/PPT Paulo Jannuzzi.pdf · Monitoramento e avaliação são processos analíticos

Sagi/

MDS

Sagi/

MDS

Avaliação somativa

dos programas

A demanda por informação estruturada

no Ciclo de Programas

Informação para avaliação

(pesquisas específicas)

Indicadores de Resultados e

Impactos

Informação de natureza

qualitativa

Page 20: Indicadores, Painéis de Monitoramento e Pesquisas de ...institutofonte.org.br/sites/default/files/PPT Paulo Jannuzzi.pdf · Monitoramento e avaliação são processos analíticos

Sagi/

MDS

Sagi/

MDS

Avaliação ex-ante

de demandas

Avaliação de

desenhos de

implementação

Avaliação de

resultados e

impactos

Avaliação custo-

efetividade

Avaliação de

processos

Tipologia de

pesquisas de

avaliação segundo

maturidade do

programa ( Peter

Rossi)

A demanda por informação estruturada

no Ciclo de Programas

Page 21: Indicadores, Painéis de Monitoramento e Pesquisas de ...institutofonte.org.br/sites/default/files/PPT Paulo Jannuzzi.pdf · Monitoramento e avaliação são processos analíticos

Sagi/

MDS

Sagi/

MDS

Ciclo de Políticas Públicas

A demanda por informação estruturada

no Ciclo de Programas

Pesquisas de

Avaliação Sistemas de

Indicadores

Enfoque

avaliativo

Page 22: Indicadores, Painéis de Monitoramento e Pesquisas de ...institutofonte.org.br/sites/default/files/PPT Paulo Jannuzzi.pdf · Monitoramento e avaliação são processos analíticos

Sagi/

MDS

SM&A pode ser entendido, em um sentido lato, como o conjunto de atividades – articuladas, sistemáticas e formalizadas- de produção, registro, acompanhamento e análise crítica de informações geradas na Gestão de Políticas Públicas, de seus programas, produtos e serviços, por meio das organizações, agentes e públicos-alvo envolvidos, com a finalidade de subsidiar a tomada decisão quanto aos esforços necessários para aprimoramento da ação pública.

Trata-se, pois, de um conjunto de atividades inerentes ao ciclo de gerenciamento da produção das Políticas Públicas, voltadas à sistematização de informação acerca dos aspectos considerados críticos para sucesso dos programas.

Enfoque avaliativo -> Sistemas de M&A

Page 23: Indicadores, Painéis de Monitoramento e Pesquisas de ...institutofonte.org.br/sites/default/files/PPT Paulo Jannuzzi.pdf · Monitoramento e avaliação são processos analíticos

Sagi/

MDS

Sagi/

MDS

Monitoramento e Avaliação de Programas

Exemplo didático: acompanhando a saúde de uma criança

Monitoramento Avaliação

1º. Observação do

comportamento

sintoma:sinal de mal-estar 1º. Busca da avaliação de

decisão:tomar a temperatura um médico

2º. Termômetro 2º. Exame clínico

sintoma: febre decisão: remédio 1

decisão: antitérmico 3º. Exames diversos

3º . Termômetro decisão: remédio 2 e 3

sintoma: febre persistente 4º. Retorno- Nova Avaliação

Page 24: Indicadores, Painéis de Monitoramento e Pesquisas de ...institutofonte.org.br/sites/default/files/PPT Paulo Jannuzzi.pdf · Monitoramento e avaliação são processos analíticos

Sagi/

MDS

Sagi/

MDS

Monitoramento e Avaliação de Programas

Exemplo didático: acompanhando aprendizagem do aluno

Monitoramento Avaliação

1º. Observação do

comportamento

sintoma:dispersão/conversa 1º. Investigar com outros prof. se

decisão: alertar acontece em outras aulas

2º. Lista de exercício 2º. Investigar problema do aluno

sintoma: não entrega decisão: nova data para entrega

decisão: cobrança 3º. Investigar com os pais

3º . Prova de conhecimentos decisão: alertar para reprovação

sintoma: nota baixa 4º. Avaliar se houve mudança de comp.

decisão: reprovar

Page 25: Indicadores, Painéis de Monitoramento e Pesquisas de ...institutofonte.org.br/sites/default/files/PPT Paulo Jannuzzi.pdf · Monitoramento e avaliação são processos analíticos

Sagi/

MDS

Sagi/

MDS

Sistemas de Monitoramento Pesquisas de Avaliação

subentende um lógica da intervenção desenho pode ser objeto avaliação

vale-se de dados já coletados envolve em geral coleta primária

busca dispor de indicadores informação qualitativa e quantitat.

na forma de Painéis gerenciais relatório de avaliação, respondendo

ou Painéis analíticos - mérito da demanda

- recursos e insumos - desenho e institucionalidades

- processos e produtos - dificuldades da implementação

- resultados e impactos - resultados e impactos

- qualidade, produtividade - custo-efetividade

Aprimoramento da Gestão do Programa

Monitoramento e Avaliação de Programas

Page 26: Indicadores, Painéis de Monitoramento e Pesquisas de ...institutofonte.org.br/sites/default/files/PPT Paulo Jannuzzi.pdf · Monitoramento e avaliação são processos analíticos

Sagi/

MDS

Sagi/

MDS

Monitoramento e avaliação são processos analíticos

organicamente articulados, que se complementam no

tempo, com o propósito de subsidiar o gestor público de

informações mais sintéticas e tempestivas sobre a

operação do programa –resumidas em painéis ou

sistemas de indicadores de monitoramento – e

informações mais analíticas sobre o funcionamento

desse, levantadas nas pesquisas de avaliação.

Integração de Sistemas de Monitoramento e Pesquisas de Avaliação

Page 27: Indicadores, Painéis de Monitoramento e Pesquisas de ...institutofonte.org.br/sites/default/files/PPT Paulo Jannuzzi.pdf · Monitoramento e avaliação são processos analíticos

Sagi/

MDS

Sagi/

MDS

O que é um Indicador ?

Para que serve ?

Page 28: Indicadores, Painéis de Monitoramento e Pesquisas de ...institutofonte.org.br/sites/default/files/PPT Paulo Jannuzzi.pdf · Monitoramento e avaliação são processos analíticos

Sagi/

MDS

Sagi/

MDS

• Recurso metodológico para “retratar” a realidade social, de

forma simplificada, mas objetiva e padronizada

• Os indicadores apontam, indicam, aproximam, traduzem em

termos operacionais as dimensões sociais de interesse

definidas a partir de escolhas teóricas ou políticas realizadas

anteriormente.

• Eles se prestam a subsidiar as atividades de planejamento

público e formulação de políticas nas diferentes esferas de

governo, possibilitam o monitoramento das condições de vida,

da conjuntura econômica e qualidade de vida da população

Indicadores Sociais

Page 29: Indicadores, Painéis de Monitoramento e Pesquisas de ...institutofonte.org.br/sites/default/files/PPT Paulo Jannuzzi.pdf · Monitoramento e avaliação são processos analíticos

Sagi/

MDS

Representação da realidade: fotos

Page 30: Indicadores, Painéis de Monitoramento e Pesquisas de ...institutofonte.org.br/sites/default/files/PPT Paulo Jannuzzi.pdf · Monitoramento e avaliação são processos analíticos

Sagi/

MDS

Sagi/

MDS

• Tal como as fotografias, os indicadores procuram retratar um aspecto

da realidade. Fotos reduzem a tridimensionalidade da realidade para

o plano bidimensional do papel fotográfico. Podem ser preto e branca

ou coloridas, com maior nitidez, luminosidade ou contraste

dependendo da resolução da máquina fotográfica e da destreza do

fotógrafo em escolher o momento e contexto adequado para o que

ele quer destacar.

• A imagem captada no indicador é também uma redução da realidade,

isto é, uma representação simplificada de um aspecto da mesma,

tão melhor quanto mais específico for o aspecto de interesse e

quanto mais confiável e precisas as informações usadas para

cômputo do indicador.

Indicadores Sociais

Page 31: Indicadores, Painéis de Monitoramento e Pesquisas de ...institutofonte.org.br/sites/default/files/PPT Paulo Jannuzzi.pdf · Monitoramento e avaliação são processos analíticos

Sagi/

MDS

Representação da realidade: indicadores

Page 32: Indicadores, Painéis de Monitoramento e Pesquisas de ...institutofonte.org.br/sites/default/files/PPT Paulo Jannuzzi.pdf · Monitoramento e avaliação são processos analíticos

Sagi/

MDS

Sagi/

MDS

Representação da realidade das condições de vida da

população: Taxa de mortalidade Infantil

Page 33: Indicadores, Painéis de Monitoramento e Pesquisas de ...institutofonte.org.br/sites/default/files/PPT Paulo Jannuzzi.pdf · Monitoramento e avaliação são processos analíticos

Sagi/

MDS

Sagi/

MDS SAGI – Secretariat of Evaluation and Information Management

www.ibge.gov.br/home/estatistica/populacao/condicaodevida/pof/2008_2009_encaa/default.shtm

Representação da realidade nutricional da população

brasileira: indicadores antropométricos de 5 a 9 anos

Page 34: Indicadores, Painéis de Monitoramento e Pesquisas de ...institutofonte.org.br/sites/default/files/PPT Paulo Jannuzzi.pdf · Monitoramento e avaliação são processos analíticos

Sagi/

MDS

Sagi/

MDS SAGI – Secretariat of Evaluation and Information Management

www.ibge.gov.br/home/estatistica/populacao/seguranca_alimentar_2004_2009/default.shtm

Representação da realidade nutricional da população

brasileira: indicadores de percepção objetivada de

segurança alimentar

Page 35: Indicadores, Painéis de Monitoramento e Pesquisas de ...institutofonte.org.br/sites/default/files/PPT Paulo Jannuzzi.pdf · Monitoramento e avaliação são processos analíticos

Sagi/

MDS

Sagi/

MDS SAGI – Secretariat of Evaluation and Information Management

www.ibge.gov.br/home/estatistica/populacao/pense_avaliacao_nutricional_2009/pense_avaliacao_nutricional_2009.pdf

Representação da realidade nutricional da população

brasileira: indicadores antropométricos de

adolescentes

Page 36: Indicadores, Painéis de Monitoramento e Pesquisas de ...institutofonte.org.br/sites/default/files/PPT Paulo Jannuzzi.pdf · Monitoramento e avaliação são processos analíticos

Sagi/

MDS

Sagi/

MDS

• Recurso metodológico para “filmar” as atividades, ações e

programas promovidas pelo setor público, assim como a

mudança social impactada pelos mesmos

• Medidas que operacionalizam o acompanhamento da ação

pública

Alocação e execução do gasto

Realização de etapas e processos

Oferta de serviços

Entrega de produtos e obras

Medição de efeitos das ações

•resultados mais imediatos

•impactos mais de médio/longo prazo e mais abragentes

Indicadores de Monitoramento de Programas e

Projetos Sociais

Page 37: Indicadores, Painéis de Monitoramento e Pesquisas de ...institutofonte.org.br/sites/default/files/PPT Paulo Jannuzzi.pdf · Monitoramento e avaliação são processos analíticos

Sagi/

MDS

Sagi/

MDS

Indicadores de Monitoramento de Programas e

Projetos Sociais

Page 38: Indicadores, Painéis de Monitoramento e Pesquisas de ...institutofonte.org.br/sites/default/files/PPT Paulo Jannuzzi.pdf · Monitoramento e avaliação são processos analíticos

Sagi/

MDS

Sagi/

MDS

O terremoto de 8 graus da escala

Richter atingiu o município de

Wenchuan, na província de

Sichuan, às 14h28 do dia 12 de

maio 2008

Page 39: Indicadores, Painéis de Monitoramento e Pesquisas de ...institutofonte.org.br/sites/default/files/PPT Paulo Jannuzzi.pdf · Monitoramento e avaliação são processos analíticos

Sagi/

MDS

22,6 22,9

17,3 17,7 17,8 16,8

17,4 17,4 16,5

17,5

15,4

13,5

11,1 10,5

8,9 8,5

0,0

5,0

10,0

15,0

20,0

25,0

1992 1993 1995 1996 1997 1998 1999 2001 2002 2003 2004*¹ 2005*¹ 2006*¹ 2007*¹ 2008*¹ 2009*¹

Evolução da pobreza extrema (%) - Brasil - 1992/2009

Fonte: IBGE, Pesquisa Nacional por Amostra de Domicílios . Eleboração IETS. *1 A área rural da região norte do país, a exceção do estado de Tocatins passou a integrar a amostra em 2004. Os resultados da coluna 2004*, 2005*, 2006*, 2007*, 2008* e 2009* foram estimados incorporando a amostra da área rural da região norte.

Indicadores de Monitoramento de Programas e

Projetos Sociais

Page 40: Indicadores, Painéis de Monitoramento e Pesquisas de ...institutofonte.org.br/sites/default/files/PPT Paulo Jannuzzi.pdf · Monitoramento e avaliação são processos analíticos

Sagi/

MDS

Sagi/

MDS

Indicadores de Monitoramento de Programas e

Projetos Sociais

Page 41: Indicadores, Painéis de Monitoramento e Pesquisas de ...institutofonte.org.br/sites/default/files/PPT Paulo Jannuzzi.pdf · Monitoramento e avaliação são processos analíticos

Sagi/

MDS

0,58

0,60 0,60 0,60 0,60 0,60

0,59 0,59 0,59

0,58

0,57 0,57

0,56

0,55

0,55 0,54

0,50

0,51

0,52

0,53

0,54

0,55

0,56

0,57

0,58

0,59

0,60

0,61

1992 1993 1995 1996 1997 1998 1999 2001 2002 2003 2004*¹ 2005*¹ 2006*¹ 2007*¹ 2008*¹ 2009*¹

Coeficiente de GINI - Brasil - 1992/2009

Fonte: IBGE, Pesquisa Nacional por Amostra de Domicílios . Eleboração IETS. *1 A área rural da região norte do país, a exceção do estado de Tocatins passou a integrar a amostra em 2004. Os resultados da coluna 2004*, 2005*, 2006*, 2007*, 2008* e 2009* foram estimados incorporando a amostra da área rural da região norte.

Page 42: Indicadores, Painéis de Monitoramento e Pesquisas de ...institutofonte.org.br/sites/default/files/PPT Paulo Jannuzzi.pdf · Monitoramento e avaliação são processos analíticos

Sagi/

MDS

0

100

200

300

400

500

600

700

800

900

1000

mar

/02

jul/

02

no

v/0

2

mar

/03

jul/

03

no

v/0

3

mar

/04

jul/

04

no

v/0

4

mar

/05

jul/

05

no

v/0

5

mar

/06

jul/

06

no

v/0

6

mar

/07

jul/

07

no

v/0

7

mar

/08

jul/

08

no

v/0

8

mar

/09

jul/

09

no

v/0

9

mar

/10

jul/

10

no

v/1

0

mar

/11

jul/

11

no

v/1

1

(em

mil

pe

sso

as)

Pessoas de 10 anos ou mais de idade, desocupadas na semana de referência , com menos de 8 anos de estudo nas principais Regiões

Metropolitanas - 2002/2012 (em mil pessoas)

Fonte: IBGE, Pesquisa Mensal de Emprego.

Page 43: Indicadores, Painéis de Monitoramento e Pesquisas de ...institutofonte.org.br/sites/default/files/PPT Paulo Jannuzzi.pdf · Monitoramento e avaliação são processos analíticos

Sagi/

MDS

Sagi/

MDS

Principais pesquisas e fontes de dados

Page 44: Indicadores, Painéis de Monitoramento e Pesquisas de ...institutofonte.org.br/sites/default/files/PPT Paulo Jannuzzi.pdf · Monitoramento e avaliação são processos analíticos

Sagi/

MDS

Sagi/

MDS

Sistema Estatístico Nacional

IBGE

Unidades estaduais

Agencias Municipais

Ministérios

Datasus

INEP

Sedet/MTE

Sagi/MDS

MPS

MCT

MMA Minc

Instituições

subnacionais

Idesp PA

Codeplan DF

Seade - SP

FEE-RS

Condepe PE Comitê de Estatísticas Sociais

Page 45: Indicadores, Painéis de Monitoramento e Pesquisas de ...institutofonte.org.br/sites/default/files/PPT Paulo Jannuzzi.pdf · Monitoramento e avaliação são processos analíticos

Sagi/

MDS

Sagi/

MDS

Comitê de Estatísticas Sociais

Page 46: Indicadores, Painéis de Monitoramento e Pesquisas de ...institutofonte.org.br/sites/default/files/PPT Paulo Jannuzzi.pdf · Monitoramento e avaliação são processos analíticos

Sagi/

MDS

Sagi/

MDS

Oportunidades

Page 47: Indicadores, Painéis de Monitoramento e Pesquisas de ...institutofonte.org.br/sites/default/files/PPT Paulo Jannuzzi.pdf · Monitoramento e avaliação são processos analíticos

Sagi/

MDS

Sagi/

MDS

Principais pesquisas e fontes de dados

Censos Demográficos

Demais Pesquisas

IBGE

Cadastros Públicos

Registros Administrativos

Sistemas de Informação Programas

Pesquisas regulares de

outras instituições

Pesquisas de Avaliação

dos Ministérios

Pesquisa Nacional por

Amostra de Domicílios

Page 48: Indicadores, Painéis de Monitoramento e Pesquisas de ...institutofonte.org.br/sites/default/files/PPT Paulo Jannuzzi.pdf · Monitoramento e avaliação são processos analíticos

Sagi/

MDS

Sagi/

MDS

Principais pesquisas e fontes de dados

Page 49: Indicadores, Painéis de Monitoramento e Pesquisas de ...institutofonte.org.br/sites/default/files/PPT Paulo Jannuzzi.pdf · Monitoramento e avaliação são processos analíticos

Sagi/

MDS

Sagi/

MDS

Principais pesquisas e fontes de dados

Page 50: Indicadores, Painéis de Monitoramento e Pesquisas de ...institutofonte.org.br/sites/default/files/PPT Paulo Jannuzzi.pdf · Monitoramento e avaliação são processos analíticos

Sagi/

MDS

Sagi/

MDS

Página SAGI: www.mds.gov.br/sagi

Page 51: Indicadores, Painéis de Monitoramento e Pesquisas de ...institutofonte.org.br/sites/default/files/PPT Paulo Jannuzzi.pdf · Monitoramento e avaliação são processos analíticos

Sagi/

MDS

Sagi/

MDS

Página SAGI: www.mds.gov.br/sagi DataSocial

Page 52: Indicadores, Painéis de Monitoramento e Pesquisas de ...institutofonte.org.br/sites/default/files/PPT Paulo Jannuzzi.pdf · Monitoramento e avaliação são processos analíticos

Sagi/

MDS

Sagi/

MDS

Principais Relatórios Sociais

Page 53: Indicadores, Painéis de Monitoramento e Pesquisas de ...institutofonte.org.br/sites/default/files/PPT Paulo Jannuzzi.pdf · Monitoramento e avaliação são processos analíticos

Sagi/

MDS

Sagi/

MDS

Principais Relatórios Sociais

Page 54: Indicadores, Painéis de Monitoramento e Pesquisas de ...institutofonte.org.br/sites/default/files/PPT Paulo Jannuzzi.pdf · Monitoramento e avaliação são processos analíticos

Sagi/

MDS

Sagi/

MDS

Principais Relatórios Sociais

Page 55: Indicadores, Painéis de Monitoramento e Pesquisas de ...institutofonte.org.br/sites/default/files/PPT Paulo Jannuzzi.pdf · Monitoramento e avaliação são processos analíticos

Sagi/

MDS

Sagi/

MDS 55

Page 56: Indicadores, Painéis de Monitoramento e Pesquisas de ...institutofonte.org.br/sites/default/files/PPT Paulo Jannuzzi.pdf · Monitoramento e avaliação são processos analíticos

Sagi/

MDS

Sagi/

MDS

Propriedades e Tipologias de Indicadores

Page 57: Indicadores, Painéis de Monitoramento e Pesquisas de ...institutofonte.org.br/sites/default/files/PPT Paulo Jannuzzi.pdf · Monitoramento e avaliação são processos analíticos

Sagi/

MDS

Sagi/

MDS

1. Relevância Social 2. Validade 3. Confiabilidade 4. Cobertura 5. Sensibilidade 6. Especificidade 7. Periodicidade na atualização 8. Desagregabilidade 9. Factibilidade para obtenção 10. Comunicabilidade 11. Replicabilidade de sua construção 12. Historicidade

Propriedades dos Indicadores

Page 58: Indicadores, Painéis de Monitoramento e Pesquisas de ...institutofonte.org.br/sites/default/files/PPT Paulo Jannuzzi.pdf · Monitoramento e avaliação são processos analíticos

Sagi/

MDS

Sagi/

MDS

Page 59: Indicadores, Painéis de Monitoramento e Pesquisas de ...institutofonte.org.br/sites/default/files/PPT Paulo Jannuzzi.pdf · Monitoramento e avaliação são processos analíticos

Sagi/

MDS

Sagi/

MDS

Page 60: Indicadores, Painéis de Monitoramento e Pesquisas de ...institutofonte.org.br/sites/default/files/PPT Paulo Jannuzzi.pdf · Monitoramento e avaliação são processos analíticos

Sagi/

MDS

Sagi/

MDS

Page 61: Indicadores, Painéis de Monitoramento e Pesquisas de ...institutofonte.org.br/sites/default/files/PPT Paulo Jannuzzi.pdf · Monitoramento e avaliação são processos analíticos

Sagi/

MDS

Sagi/

MDS

Page 62: Indicadores, Painéis de Monitoramento e Pesquisas de ...institutofonte.org.br/sites/default/files/PPT Paulo Jannuzzi.pdf · Monitoramento e avaliação são processos analíticos

Sagi/

MDS

Sagi/

MDS

Page 63: Indicadores, Painéis de Monitoramento e Pesquisas de ...institutofonte.org.br/sites/default/files/PPT Paulo Jannuzzi.pdf · Monitoramento e avaliação são processos analíticos

Sagi/

MDS

Sagi/

MDS

Page 64: Indicadores, Painéis de Monitoramento e Pesquisas de ...institutofonte.org.br/sites/default/files/PPT Paulo Jannuzzi.pdf · Monitoramento e avaliação são processos analíticos

Sagi/

MDS

Sagi/

MDS

Propriedades dos Indicadores

Page 65: Indicadores, Painéis de Monitoramento e Pesquisas de ...institutofonte.org.br/sites/default/files/PPT Paulo Jannuzzi.pdf · Monitoramento e avaliação são processos analíticos

Sagi/

MDS

Sagi/

MDS

Indicador simples/composto

Indicador descritivo/normativo

Indicador quantitativo/qualitativo

Indicador objetivo/subjetivo

Indicador insumo/fluxo/produto

Indicador esforço/resultados

Indicador performance/estoque

Indicador eficiência/eficácia/efetividade social

Indicador absoluto/relativo

Tipologias de Indicadores

Page 66: Indicadores, Painéis de Monitoramento e Pesquisas de ...institutofonte.org.br/sites/default/files/PPT Paulo Jannuzzi.pdf · Monitoramento e avaliação são processos analíticos

Sagi/

MDS

Sagi/

MDS

Indicadores Objetivos

Page 67: Indicadores, Painéis de Monitoramento e Pesquisas de ...institutofonte.org.br/sites/default/files/PPT Paulo Jannuzzi.pdf · Monitoramento e avaliação são processos analíticos

Sagi/

MDS

Sagi/

MDS

Indicadores Subjetivos

Page 68: Indicadores, Painéis de Monitoramento e Pesquisas de ...institutofonte.org.br/sites/default/files/PPT Paulo Jannuzzi.pdf · Monitoramento e avaliação são processos analíticos

Sagi/

MDS

Sagi/

MDS

Indicador-insumo

Recurso: quantidade

de médicos por mil

habitantes ou gasto

monetário per capita

em saúde

Indicador-

processo

Uso dos

recursos:

Consultas ao

mês por

Criança até

1 ano

Indicador-

produto

Resultado efetivo:

Taxa de

morbidade ou

mortalidade

infantil por causa

específica

Ciclo de formulação e avaliação

Indicador-

impacto

Desdobramentos

Mais abrangentes

Melhora do nível

nutricional

Melhora do

desemprenho

escolar

Economia futura

em gastos com

saúde

Indicadores de Monitoramento

Page 69: Indicadores, Painéis de Monitoramento e Pesquisas de ...institutofonte.org.br/sites/default/files/PPT Paulo Jannuzzi.pdf · Monitoramento e avaliação são processos analíticos

Sagi/

MDS

Sagi/

MDS

Insumo → Processo → Resultado → Impacto

Gasto Público

em Programas

de

Transferência

de Renda

%

Famílias

cadastrada

s

% famílias

atendidas

Proporção

de

Indigentes

Taxa de

evasão

escolar

Redução da

desnutrição

infantil

Indicadores de Monitoramento

Page 70: Indicadores, Painéis de Monitoramento e Pesquisas de ...institutofonte.org.br/sites/default/files/PPT Paulo Jannuzzi.pdf · Monitoramento e avaliação são processos analíticos

Sagi/

MDS

Sagi/

MDS

Indicador 1

Método de

aglutinação

Índice

composto ou

sintético

Indicador 2

Indicador 3

Índice de custo de vida

Indice de Desenvolvimento

Humano

Indice de Desenvolvimento da

Educação

Que dimensões utilizar ?

Como combinar ?

Que pesos atribuir ?

Indicadores Analíticos e Sintéticos

Page 71: Indicadores, Painéis de Monitoramento e Pesquisas de ...institutofonte.org.br/sites/default/files/PPT Paulo Jannuzzi.pdf · Monitoramento e avaliação são processos analíticos

Sagi/

MDS

71

Evolução do IDH Brasil : 1980 - 2011

O IDH cresce ano mesmo ritmo

desde 1980 - 0,03 a cada cinco

anos- em que pese a ampliação do

escopo e escala da Política Social no

Brasil, sobretudo após Constituição

de 1988

Page 72: Indicadores, Painéis de Monitoramento e Pesquisas de ...institutofonte.org.br/sites/default/files/PPT Paulo Jannuzzi.pdf · Monitoramento e avaliação são processos analíticos

Sagi/

MDS

1.3

82,8

4

1.3

81,9

1

1.4

89,3

4

1.5

81,9

3

1.5

96,3

5

1.6

81,5

7

1.7

69,6

4

1.8

10,7

2

1.8

03,5

2

1.9

43,6

0

2.0

81

,80

2.2

65,9

5

2.4

30,3

8

2.5

56,4

8

2.8

27,1

5

1000,00

1200,00

1400,00

1600,00

1800,00

2000,00

2200,00

2400,00

2600,00

2800,00

3000,00

1995 1996 1997 1998 1999 2000 2001 2002 2003 2004 2005 2006 2007 2008 2009

Gasto Social per capita, constantes de dez/2010, - Brasil - 1995/2009

O Gasto social per capita

dobrou em 15 anos

Page 73: Indicadores, Painéis de Monitoramento e Pesquisas de ...institutofonte.org.br/sites/default/files/PPT Paulo Jannuzzi.pdf · Monitoramento e avaliação são processos analíticos

Sagi/

MDS

Page 74: Indicadores, Painéis de Monitoramento e Pesquisas de ...institutofonte.org.br/sites/default/files/PPT Paulo Jannuzzi.pdf · Monitoramento e avaliação são processos analíticos

Sagi/

MDS

Page 75: Indicadores, Painéis de Monitoramento e Pesquisas de ...institutofonte.org.br/sites/default/files/PPT Paulo Jannuzzi.pdf · Monitoramento e avaliação são processos analíticos

Sagi/

MDS

12,4

11,3

9,9

8,3 8,7

6,9

5,5

4,2 3,8 3,5 3,8

3,4 3,0 3,1 2,8 2,5

0,0

2,0

4,0

6,0

8,0

10,0

12,0

14,0

1992 1993 1995 1996 1997 1998 1999 2001 2002 2003 2004*¹ 2005*¹ 2006*¹ 2007*¹ 2008*¹ 2009*¹

Taxa de analfabetismo das pessoas de 10 a 14 anos - Brasil -

1992/2009

Fonte: IBGE, Pesquisa Nacional por Amostra de Domicílios . Eleboração IETS.

*1 A área rural da região norte do país, a exceção do estado de Tocatins passou a integrar a amostra em 2004.

Os resultados da coluna 2004*, 2005*, 2006*, 2007*, 2008* e 2009* foram estimados incorporando a amostra da área rural da região norte.

Page 76: Indicadores, Painéis de Monitoramento e Pesquisas de ...institutofonte.org.br/sites/default/files/PPT Paulo Jannuzzi.pdf · Monitoramento e avaliação são processos analíticos

Sagi/

MDS

81,8 83,4

85,9 87,1

89,0

91,5 93,0

93,9 94,5 94,7 94,7 95,3 95,8 96,6 96,6 97,0

70,0

75,0

80,0

85,0

90,0

95,0

100,0

1992 1993 1995 1996 1997 1998 1999 2001 2002 2003 2004*¹ 2005*¹ 2006*¹ 2007*¹ 2008*¹ 2009*¹

Percentual de pessoas que frequentavam escola na população

de 7 a 14 anos de idade - Brasil - 1992/2009

Fonte: IBGE, Pesquisa Nacional por Amostra de Domicílios . Eleboração IETS.

*1 A área rural da região norte do país, a exceção do estado de Tocatins passou a integrar a amostra em 2004.

Os resultados da coluna 2004*, 2005*, 2006*, 2007*, 2008* e 2009* foram estimados incorporando a amostra da área rural da região norte.

Page 77: Indicadores, Painéis de Monitoramento e Pesquisas de ...institutofonte.org.br/sites/default/files/PPT Paulo Jannuzzi.pdf · Monitoramento e avaliação são processos analíticos

Sagi/

MDS

47,0 45,1

43,3 41,4

39,5 37,9

36,4 34,8

33,2 31,7

30,1 29,2 28,4 27,5 26,6 25,8 25,1 24,3 23,3 22,5

0

5

10

15

20

25

30

35

40

45

50

1990 1991 1992 1993 1994 1995 1996 1997 1998 1999 2000 2001 2002 2003 2004 2005 2006 2007 2008 2009

Evolução da taxa de mortalidade infantil (por mil)- Brasil - 1990/2009

Fonte : IBGE

Page 78: Indicadores, Painéis de Monitoramento e Pesquisas de ...institutofonte.org.br/sites/default/files/PPT Paulo Jannuzzi.pdf · Monitoramento e avaliação são processos analíticos

Sagi/

MDS

398 419

521 530 529 534 504 512 512

482 493 523

572 587

617 632

0

100

200

300

400

500

600

700

1992 1993 1995 1996 1997 1998 1999 2001 2002 2003 2004*¹ 2005*¹ 2006*¹ 2007*¹ 2008*¹ 2009*¹

Renda real domiciliar per capita - Brasil - 1992/2009

Page 79: Indicadores, Painéis de Monitoramento e Pesquisas de ...institutofonte.org.br/sites/default/files/PPT Paulo Jannuzzi.pdf · Monitoramento e avaliação são processos analíticos

Sagi/

MDS

22,6 22,9

17,3 17,7 17,8 16,8

17,4 17,4 16,5

17,5

15,4

13,5

11,1 10,5

8,9 8,5

0,0

5,0

10,0

15,0

20,0

25,0

1992 1993 1995 1996 1997 1998 1999 2001 2002 2003 2004*¹ 2005*¹ 2006*¹ 2007*¹ 2008*¹ 2009*¹

Evolução da pobreza extrema (%) - Brasil - 1992/2009

Fonte: IBGE, Pesquisa Nacional por Amostra de Domicílios . Eleboração IETS. *1 A área rural da região norte do país, a exceção do estado de Tocatins passou a integrar a amostra em 2004. Os resultados da coluna 2004*, 2005*, 2006*, 2007*, 2008* e 2009* foram estimados incorporando a amostra da área rural da região norte.

Page 80: Indicadores, Painéis de Monitoramento e Pesquisas de ...institutofonte.org.br/sites/default/files/PPT Paulo Jannuzzi.pdf · Monitoramento e avaliação são processos analíticos

Sagi/

MDS

80

Evolução do IDH Brasil : 1980 - 2011

Por quê o IDH não reflete essas

mudanças sociais tão significativas na

última década ?

- Dados defasados e não reconhecidos

- Escolhas técnicas não plenamente

consensuais na literatura

- Conceito originário restritivo

- Dimensões limitadas

- Indicadores pouco sensíveis

- Ênfase demasiada na modelização na

composição do índice

Page 81: Indicadores, Painéis de Monitoramento e Pesquisas de ...institutofonte.org.br/sites/default/files/PPT Paulo Jannuzzi.pdf · Monitoramento e avaliação são processos analíticos

Sagi/

MDS

Sagi/

MDS

Para finalizar: Indicadores, painéis e pesquisas podem

ser instrumentos úteis para transformar a realidade - t0

Page 82: Indicadores, Painéis de Monitoramento e Pesquisas de ...institutofonte.org.br/sites/default/files/PPT Paulo Jannuzzi.pdf · Monitoramento e avaliação são processos analíticos

Sagi/

MDS

Sagi/

MDS

Para finalizar: Indicadores, painéis e pesquisas podem

ser instrumentos úteis para transformar a realidade – t1

Page 83: Indicadores, Painéis de Monitoramento e Pesquisas de ...institutofonte.org.br/sites/default/files/PPT Paulo Jannuzzi.pdf · Monitoramento e avaliação são processos analíticos

Sagi/

MDS

Sagi/

MDS

Tal como fotografias, os indicadores

reduzem a realidade social a dimensões

tangíveis

Page 84: Indicadores, Painéis de Monitoramento e Pesquisas de ...institutofonte.org.br/sites/default/files/PPT Paulo Jannuzzi.pdf · Monitoramento e avaliação são processos analíticos

Sagi/

MDS

Sagi/

MDS

Uma boa fotografia depende da câmera, da

posição do fotógrafo, do foco da lente....

Page 85: Indicadores, Painéis de Monitoramento e Pesquisas de ...institutofonte.org.br/sites/default/files/PPT Paulo Jannuzzi.pdf · Monitoramento e avaliação são processos analíticos

Sagi/

MDS

Sagi/

MDS

Mas dependem fundamentalmente da destreza

do fotógrafo em retratar o que é efetivamente

relevante a ser apresentado

Page 86: Indicadores, Painéis de Monitoramento e Pesquisas de ...institutofonte.org.br/sites/default/files/PPT Paulo Jannuzzi.pdf · Monitoramento e avaliação são processos analíticos

Sagi/

MDS

Sagi/

MDS

O que é mais útil, relevante e pertinente para

avaliação do Bem Estar e para advocacy de

programas sociais? Um mosaico de fotografias

...

Page 87: Indicadores, Painéis de Monitoramento e Pesquisas de ...institutofonte.org.br/sites/default/files/PPT Paulo Jannuzzi.pdf · Monitoramento e avaliação são processos analíticos

Sagi/

MDS

Sagi/

MDS

Ou uma fotografia composta a partir de técnicas

sofisticadas de diagramação ?

Page 88: Indicadores, Painéis de Monitoramento e Pesquisas de ...institutofonte.org.br/sites/default/files/PPT Paulo Jannuzzi.pdf · Monitoramento e avaliação são processos analíticos

Sagi/

MDS

Sagi/

MDS