Avaliação de programas de desenvolvimento social · Revista Brasileira de Monitoramento e...

Avaliaccedilatildeo de programas de desenvolvimento social

A experiecircncia da Secretaria de Avaliaccedilatildeo e Gestatildeo da Informaccedilatildeo (SAGIMDS)

Profa Renata Bichir

EACHUSP e CEM

(renatabichirgmailcom)

Escola do Parlamento 21 de marccedilo de 2016

Bibliografia de referecircncia

bull Experiecircncia da SAGI ndash VAITSMAN Jeni Rodrigues Roberto PAES-SOUSA Rocircmulo Avaliaccedilatildeo de programas e

profissionalizaccedilatildeo da gestatildeo puacuteblica Revista Brasileira de Monitoramento e Avaliaccedilatildeo Nuacutemero 1 Jan-Jun de 2011

ndash DULCI Otavio Soares Avaliaccedilatildeo de programas sociais desafios e potencialidades na construccedilatildeo de um sistema de informaccedilotildees Caderno de Estudos ndash Desenvolvimento Social em Debate no 13 2012 pp 221-237

bull Dimensatildeo poliacutetica da avaliaccedilatildeo ndash ARRETCHE Marta T S ldquoUma contribuiccedilatildeo para fazermos avaliaccedilotildees menos ingecircnuasrdquo

In BARREIRA e CARVALHO (org) Tendecircncias e perspectivas na avaliaccedilatildeo de poliacuteticas e programas sociais Satildeo Paulo IEEPUC-SP 2001

ndash FARIA Carlos Aureacutelio Pimenta A poliacutetica da avaliaccedilatildeo de poliacuteticas puacuteblicas Revista Brasileira de Ciecircncias Sociais Vol 20 nordm 59 outubro2005

ndash Conceitos e tipos de avaliaccedilatildeo ndash JANNUZZI Paulo de Martino Avaliaccedilatildeo de programas sociais no Brasil repensando

praacuteticas e metodologias das pesquisas avaliativas Planejamento e Poliacuteticas Puacuteblicas ndash PPP no 36 JanJun IPEA 2011

O que significa avaliar

ldquoAVALIAR consiste fundamentalmente em emitir um juiacutezo de valor sobre uma

intervenccedilatildeo implementando um dispositivo capaz de fornecer informaccedilotildees

cientificamente vaacutelidas e socialmente legiacutetimas sobre essa intervenccedilatildeo ou sobre

qualquer um dos seus componentes com o objetivo de proceder de modo a que os

diferentes atores envolvidos cujos campos de conhecimento satildeo por vezes diferentes

estejam aptos a se posicionar sobre a intervenccedilatildeo para que possam construir individual

ou coletivamente um julgamento que se possa traduzir em accedilotildees (Champagne

Contandriopoulos Brouselle Hartz amp Denis 2011 p44)

Falta de uniformidade conceitual variaccedilotildees histoacutericas e de acordo com tipo de

abordagem diferentes sentidos de avaliaccedilatildeo

Diferentes contextos

bull Pesquisa acadecircmica e pesquisa aplicada diferentes missotildees diferentes constrangimentos diferentes usos dos indicadores

bull Temporalidades diversas no acircmbito do sistema de avaliaccedilatildeo do MDS haacute a inter-relaccedilatildeo complexa entre 3 tempos (Dulci 2010) teacutecnico poliacutetico e administrativo

Ministeacuterio do Desenvolvimento Social e Combate agrave Fome

bull Criado em janeiro de 2004 com a perspectiva de consolidaccedilatildeo

de uma rede integrada de proteccedilatildeo e promoccedilatildeo social

bull Coordenaccedilatildeo das accedilotildees de seguranccedila alimentar e nutricional de

assistecircncia social de transferecircncia de renda com

condicionalidades e de geraccedilatildeo de oportunidades de inclusatildeo

bull Estruturaccedilatildeo de sistemas de poliacuteticas puacuteblicas

o Sistema Uacutenico da Assistecircncia Social (SUAS)

o Sistema Nacional de Seguranccedila Alimentar e Nutricional

(SISAN)

Desafios no plano de monitoramento e avaliaccedilatildeo do MDS bull Problemas sociais da agenda do MDS satildeo

complexos e multicausais aleacutem de terem inserccedilatildeo recente na agenda brasileira de poliacuteticas sociais

bull Diversidade de programas especiacuteficos que entregam pacotes de serviccedilos e benefiacutecios requerendo articulaccedilatildeo entre diferentes setores da poliacutetica social entes federativos e entidades puacuteblicas e privadas

bull Puacuteblicos-alvo bastante distintos e dispersos (populaccedilatildeo de baixa renda quilombolas ribeirinhos populaccedilatildeo em situaccedilatildeo de rua povos indiacutegenas)

MDS

Gabinete da Ministra

SENARC

Secretaria Nacional de Renda de Cidadania

SNAS

Secretaria Nacional de Assistecircncia Social

SESAN

Secretaria Nacional de Seguranccedila Alimentar e Nutricional

SESEP

Secretaria Extraordinaacuteria para Superaccedilatildeo da Extrema Pobreza

SAGI

Secretaria de Avaliaccedilatildeo e Gestatildeo da Informaccedilatildeo

Secretaria Executiva

Seguranccedila Alimentar e

Nutricional


Nutricional

Banco de alimentos Banco de alimentos

Carteira Indiacutegena Carteira Indiacutegena

Cisternas Cisternas

Consad Consad

Cozinha Comunitaacuteria Cozinha Comunitaacuteria

Distribuiccedilatildeo de Alimentos Distribuiccedilatildeo de Alimentos

Educaccedilatildeo Alimentar e

Nutricional


Nutricional

PAA PAA

Restaurante Popular Restaurante Popular

Agricultura Urbana Agricultura Urbana

Accedilotildees complementares Accedilotildees complementares

Programa Bolsa Famiacutelia Programa Bolsa Famiacutelia

Cadastro Uacutenico Cadastro Uacutenico

CREAS CREAS

CRAS [Programa de Atenccedilatildeo

Integral agraves Famiacutelias]



Projovem Adolescente Projovem Adolescente

Benefiacutecio de Prestaccedilatildeo

Continuada - BPC


Continuada - BPC

BPC na Escola BPC na Escola

Serviccedilo socioassistenciais

ndash crianccedilas de 0 a 6 anos



Transferecircncia de Renda Transferecircncia de Renda Assistecircncia Social Assistecircncia Social


ndash Pessoas idosas e

Pessoas com deficiecircncia




P E T I P E T I

Benefiacutecios eventuais Benefiacutecios eventuais

Serviccedilo de Proteccedilatildeo

Social aos adolescentes

em cumprimento de

medidas soacutecio educativas



em cumprimento de


SENTINELA [Serviccedilo de

Proteccedilatildeo Social a Crianccedilas e

Adolescentes Viacutetimas de

Violecircncia Abuso e

Exploraccedilatildeo Sexual e suas

famiacutelias]






famiacutelias]

Carteira do Idoso Carteira do Idoso

Superaccedilatildeo da Extrema

Pobreza


Pobreza

SAGI SAGI

Brasil Sem Miseacuteria Brasil Sem Miseacuteria

Monitoramento Avaliaccedilatildeo e

Gestatildeo da Informaccedilatildeo



Condicionalidades Condicionalidades

9

MINISTEacuteRIO DO DESENVOLVIMENTO SOCIAL E COMBATE Agrave FOME

SECRETARIA EXECUTIVA SECRETARIA EXECUTIVA

GABINETE DA MINSTRA GABINETE DA MINSTRA

CONJUR CONJUR AECI AECI

SPO SPO

SAA SAA

ASPAR ASPAR AI AI

Secretaria de Avaliaccedilatildeo e Gestatildeo da Informaccedilatildeo (SAGI)

bull Secretaria do MDS responsaacutevel pelas accedilotildees de avaliaccedilatildeo monitoramento gestatildeo da informaccedilatildeo e capacitaccedilatildeo das poliacuteticas e programas do MDS

bull Inovaccedilatildeo na gestatildeo puacuteblica secretaria de avaliaccedilatildeo no mesmo niacutevel das secretarias responsaacuteveis pela execuccedilatildeo das poliacuteticas

bull Missatildeo produzir informaccedilotildees sistematizadas para avaliar e monitorar a efetividade das poliacuteticas de desenvolvimento social e combate agrave fome visando melhorar sua gestatildeo

bull Meios utilizados pesquisas de avaliaccedilatildeo paineacuteis de monitoramento ferramentas informacionais publicaccedilatildeo de documentos capacitaccedilatildeo de atores sociais


Quadro siacutentese do ciclo de avaliaccedilatildeo da SAGIMDS

1 Discussatildeo 2 Termo de Referecircncia 3 Contrataccedilatildeo

SAGIUC

bullDefiniccedilatildeo da avaliaccedilatildeo a ser realizada

bullRelevacircncia do estudo proposto

bullIdentificaccedilatildeo de parceiros interinstitucionais relevantes

SAGIUC

bullDefiniccedilatildeo do desenho da pesquisa

bullElaboraccedilatildeo do TOR pela SAGI

bullRevisatildeo do TOR pela UC

SAGISAA eou Oacutergatildeo de Cooperaccedilatildeo Internacional

bullAprovaccedilatildeo do TOR

bullElaboraccedilatildeo de edital

bullAvaliaccedilatildeo de propostas teacutecnicas e comerciais

bullContrataccedilatildeo da instituiccedilatildeo executora (IE)

4 Interlocuccedilatildeo para operacionalizaccedilatildeo do estudo

5 Acompanhamento 6 Resultados Finais

SAGIUCIE

bullDefiniccedilatildeo de questotildees relevantes para o estudo

bullDisponibilizaccedilatildeo dos dados necessaacuterios para a realizaccedilatildeo da pesquisa

SAGIIE

bullDesenvolvimento dos instrumentos de pesquisa

bullEnvolvimento no treinamento de equipes

bullAcompanhamento in loco do trabalho de campo

bullAnaacutelise discussatildeo e aprovaccedilatildeo de relatoacuterios parciais e do relatoacuterio final

SAGIUCIE

bullRecomendaccedilotildees da avaliaccedilatildeo (IE)

bullDiscussotildees com gestores e parceiros interinstitucionais

bullRetroalimentaccedilatildeo dos programas

7 Divulgaccedilatildeo dos Resultados 8 Publicaccedilotildees 9 Disponibilizaccedilatildeo dos microdados

SAGIUCIE

bullApresentaccedilatildeo dos resultados finais ao MDS

bullColetivas de imprensa (ou seminaacuterios ou outros formatos) abertos ao puacuteblico externo

SAGI

bullCadernos de estudos

bullRelatoacuterios de pesquisa

bullLivros

bullMultimeios

SAGI

bullDisponibilizaccedilatildeo ao CIS dos microdados desidentificados e documentaccedilatildeo pertinente divulgaccedilatildeo no site da SAGI

SAGI = Secretaria de Avaliaccedilatildeo e Gestatildeo da Informaccedilatildeo SAA=Secretaria de Assuntos Administrativos UC = Unidade Cliente IE= Instituiccedilatildeo Executora CIS = Consoacutercio de Informaccedilotildees Sociais

Avaliaccedilatildeo e Monitoramento

Avaliaccedilatildeo Monitoramento

Processo estruturado de coleta e anaacutelise de informaccedilotildees sobre uma intervenccedilatildeo que busca respostas para perguntas avaliativas

Acompanhamento contiacutenuo de informaccedilotildees sobre uma intervenccedilatildeo eou seus resultados e impactos

Determina o meacuterito ou o valor da intervenccedilatildeo eou explica a relaccedilatildeo entre ela seus resultados e impactos (busca de relaccedilotildees causais)

Identifica tempestivamente aspectos positivos e negativos relacionados agrave intervenccedilatildeo possibilitando a realizaccedilatildeo de ajustes

Objetivo comum aos processos de avaliaccedilatildeo e monitoramento oferecer informaccedilotildees que subsidiem decisotildees voltadas para o aprimoramento da intervenccedilatildeo

Monitoramento

bull Ecircnfase no acompanhamento do processo de implementaccedilatildeo dos programas

bull Acompanhamento contiacutenuo da demanda por serviccedilos e accedilotildees bem como do desenvolvimento dos programas e poliacuteticas ofertados

bull Funccedilatildeo de gestatildeo de programas que permite a adoccedilatildeo de medidas corretivas

bull Realizado com informaccedilotildees primaacuterias ou pela anaacutelise sistemaacutetica de dados secundaacuterios

Sistemaacutetica de Monitoramento

bull Mapeamento preliminar e seleccedilatildeo de programas a serem monitorados

bull Construccedilatildeo do modelo loacutegico bull Elaboraccedilatildeo do fluxo detalhado de atividades

dos programas selecionados (detalhar construccedilatildeo revisatildeo validaccedilatildeo)

bull Construccedilatildeo de indicadores e paineacuteis de monitoramento de poliacuteticas e programas

bull Alimentaccedilatildeo dos indicadores identificaccedilatildeo eou desenvolvimento de ferramentas para a coleta dos dados estrateacutegicos dos programas

Avaliaccedilatildeo no ciclo de poliacuteticas puacuteblicas

Diferentes avaliaccedilotildees diferentes

abordagens metodoloacutegicas bull Avaliaccedilatildeo de necessidade anaacutelise documental

estudos comparativos estudos institucionais tiacutepicos da Ciecircncia Poliacutetica avaliaccedilatildeo econocircmica

bull Avaliaccedilatildeo de desenho revisatildeo de documentos teacutecnicas de planejamento de projetos comparaccedilatildeo com outros modelos de intervenccedilatildeo semelhantes

bull Avaliaccedilatildeo de processo teacutecnicas variadas de coleta de dados oriundas da pesquisa social (quali e quanti)

bull Avaliaccedilatildeo de resultados e impactos entrevistas com agentes institucionais com usuaacuterios grupos de discussatildeo pesquisas amostrais estudos comparativos desenhos experimentais e quase-experimentais

Enfoque Avaliativo da SAGI instrumentos de MampA ajustados agrave complexidade dos programas e accedilotildees

Painel longitudinal com desenho quase-experimental Beneficiaacuterios X Natildeo Beneficiaacuterios

Pesquisas amostrais

Abordagens qualitativas entrevistas grupos focais avaliaccedilatildeo participativa

Levantamentos e ferramentas web

Indicadores e Paineacuteis

Abordagem multi-meacutetodos e Triangulaccedilatildeo de teacutecnicas e sujeitos

Consideraccedilotildees metodoloacutegicas

bull ldquoComo na pesquisa acadecircmica natildeo existe uma receita uacutenica pronta e acabada para responder a qualquer tipo de demanda avaliativa Frente agrave complexidade do objeto de estudo e sem prejuiacutezo do rigor metodoloacutegico eacute preciso que o estudo de avaliaccedilatildeo seja conduzido com certa maleabilidade e pluralismo metodoloacutegico ()

Januzzi 2011 p 251

Fatores que influenciam as decisotildees

metodoloacutegicas

bull Na praacutetica decisotildees sobre meacutetodos satildeo afetadas por bull Natureza do programa

bull Estaacutegio de desenvolvimento do programa

bull Objetivos da avaliaccedilatildeo

bull Tempo disponiacutevel

bull Recursos disponiacuteveis

bull Importacircncia de dados secundaacuterios (incluindo relatoacuterios de oacutergatildeos de controle como CGU e TCU) dos sistemas de monitoramento das bases de dados disponiacuteveis ndash nem sempre eacute necessaacuteria coleta de dados primaacuterios

Abordagens quali quanti e meacutetodos mistos

bull Importacircncia da multidisciplinaridade na abordagem de problemas em particular no campo das poliacuteticas puacuteblicas (Marques e Faria 2013)

bull Debate quali X quanti geralmente eacute inuacutetil e mesmo falso uma vez que cada vez mais a pesquisa centrada em problemas acaba conduzindo agrave necessidade de conjugar distintas abordagens metodoloacutegicas combinando quali e quanti

bull Babbie (1999) O exame de determinado fenocircmeno social frequentemente eacute mais bem-sucedido usando-se vaacuterios meacutetodos diferentes

Diferentes Abordagens Metodoloacutegicas

bull Abordagem Quantitativa permite generalizar o conhecimento apreendido bem como quantificaacute-lo

bull Abordagem Qualitativa permite profundidade no conhecimento apreendido natildeo permite generalizaccedilatildeo ou (nem tem essa pretensatildeo)

Diferentes Estrateacutegias nas Pesquisas de Avaliaccedilatildeo

bull Pesquisas censitaacuterias Populaccedilatildeo em Situaccedilatildeo de Rua

bull Pesquisas amostrais ProJovem Quanti Pesquisa Quantitativa sobre o PAIF Pesquisas de Opiniatildeo

bull Pesquisas quase-experimentais (avaliaccedilatildeo de impacto) AIBF I e II

bull Estudos longitudinais paineacuteis AIBF Pesquisa Painel Pobreza (PPP)

bull Estudos qualitativos grupos focais entrevistas em profundidade avaliaccedilatildeo participativa (Cisternas P1+2 Condicionalidades de Sauacutede ProJovem)


bull Integraccedilatildeo de diferentes estrateacutegias Cisternas P1+2 (quali e quanti) Educaccedilatildeo Financeira (construccedilatildeo do instrumento coleta de dados e anaacutelise como etapas distintas) Revisatildeo Cadastral

bull Contrataccedilatildeo de ldquometa-anaacutelisesrdquo avaliaccedilatildeo das pesquisas avaliativas nas aacutereas de renda de cidadania e assistecircncia social (Dulci 2010) bem como seguranccedila alimentar e nutricional (Kepple 2010)

bull Oficina de discussatildeo da agenda de avaliaccedilatildeo da SAGI na aacuterea de seguranccedila alimentar e nutricional apresentaccedilatildeo de todas as pesquisas realizadas na aacuterea visando subsidiar o planejamento das accedilotildees





Avaliaccedilotildees do Programa Bolsa Famiacutelia

bull Diferentes tipos diferentes meacutetodos qualitativos quantitativos

bull Diferentes perguntas avaliativas em cada pesquisa

bull Importacircncia tanto no debate sobre a gestatildeo do programa quanto no debate puacuteblico

bull Formas de divulgaccedilatildeo e disseminaccedilatildeo das informaccedilotildees ndash incluindo bases de dados

bull Pesquisas de avaliaccedilatildeo da SAGIMDS

Revisatildeo Cadastral do Beneficiaacuterios do PBF

bull Pergunta Qual eacute o perfil dos beneficiaacuterios que deixam de atualizar seus dados do CadUacutenico

bull Hipoacuteteses vulnerabilidade X caacutelculo racional (antecipaccedilatildeo da exclusatildeo)

bull Etapa qualitativa realizaccedilatildeo de grupos focais em 4 municiacutepios com perfis diferentes entrevistas com os gestores

bull Criteacuterios de seleccedilatildeo dos municiacutepios regiatildeo quantidade de famiacutelias disponiacuteveis nos 3 perfis considerados (desbloqueado revertido e cancelado) porte facilidade de acesso

bull Etapa quantitativa pesquisa amostral (5000 casos) com representatividade regional ndash aplicaccedilatildeo de questionaacuterios aos beneficiaacuterios + dimensatildeo qualitativa roteiro de entrevista aos gestores dos 145 municiacutepios selecionados

Avaliaccedilatildeo de Impacto do Bolsa Famiacutelia ndash AIBF

bull Objetivo avaliar o impacto do PBF sobre gastositens de consumo das famiacutelias beneficiaacuterias e medidas antropomeacutetricas de crianccedilas ateacute sete anos de idade aleacutem de outros aspectos-chave do programa como ajuste do valor dos benefiacutecios o BVJ a estrateacutegia de educaccedilatildeo financeira e de inclusatildeo bancaacuteria

bull Delineamento metodoloacutegico pesquisa longitudinal contrastando famiacutelias que recebem PBF com as que natildeo recebem com metodologia quasi-experimental utilizando-se teacutecnicas de pareamento e escore de propensatildeo

bull Referecircncias anteriores o levantamento inicial em 2005 coletou informaccedilotildees de 15426 famiacutelias dentre as quais mais de 11 mil foram reentrevistadas na pesquisa de seguimento em 2009

Avaliaccedilatildeo de Impacto do Programa Bolsa Famiacutelia

bull Impactos identificados bull Aumento da frequecircncia escolar em 44 pontos percentuais bull Aumento da progressatildeo escolar em 60 pontos percentuais bull Efeitos sobre a frequecircncia satildeo as maiores no Nordeste aumento a frequecircncia escolar em

117 pontos percentuais bull Retenccedilatildeo escolar sobretudo para as meninas A chance de uma menina de 15 anos

continuar frequentando agrave escola eacute 19 pontos percentuais maior se a famiacutelia dela receber o Bolsa Famiacutelia

bull Aumento da utilizaccedilatildeo de assistecircncia preacute-natal As mulheres graacutevidas que vivem em famiacutelias beneficiaacuterias do Bolsa Famiacutelia tiveram 15 mais visitas preacute-natal que seus pares (mulheres graacutevidas com caracteriacutesticas observaacuteveis semelhantes) de famiacutelias natildeo-beneficiaacuterias do programa

bull O estado nutricional das crianccedilas em idade preacute-escolar residentes em domiciacutelios beneficaacuterios do programa Bolsa Famiacutelia expresso em termos de sua altura e peso em relaccedilatildeo agraves normas internacionais melhorou entre 2005 e 2009 O impacto sobre o peso (aproximadamente 04 dp) pode ser diretamente atribuiacutedo ao Bolsa Familia

bull Aumento da probabilidade de uma crianccedila receber todas as sete vacinas necessaacuterias ateacute os 6 meses de idade em 15 pontos percentuais

bull 2ordf rodada (AIBF II) ndash 20092010 Instituiccedilatildeo executora IFPRIDatameacutetrica

Educaccedilatildeo Financeira

bull Objetivos Elaborar diagnoacutestico sobre os conhecimentos atitudes e praacuteticas da populaccedilatildeo inscrita no Cadastro Uacutenico em relaccedilatildeo agraves suas financcedilas pessoais ao seu orccedilamento familiar ao seu relacionamento com o sistema financeiro formal e informal dentre outros temas afetos agraves aacutereas de educaccedilatildeo financeira e microfinanccedilas ndash Realizaccedilatildeo de grupos focais com pessoas inscritas no CadUacutenico (5

municiacutepios)

ndash Sistematizaccedilatildeo dos resultados dos grupos focais e elaboraccedilatildeo de instrumentos de coleta de dados empregados na pesquisa nacional

ndash Realizaccedilatildeo do preacute-teste dos instrumentos de coleta de dados e aplicaccedilatildeo dos mesmos em pesquisa nacional (mais de 13 mil famiacutelias pesquisadas)

ndash Anaacutelise dos dados coletados na etapa anterior e com base nessa anaacutelise propor estrateacutegias de educaccedilatildeo financeira para as famiacutelias de baixa renda do paiacutes

Estudo sobre resultados de fiscalizaccedilotildees da Controladoria Geral da Uniatildeo (CGU) sobre o PBF

bull Objetivo estudo sobre os resultados das fiscalizaccedilotildees realizadas pela CGU no periacuteodo de 2006 a 2011 a respeito da gestatildeo e implementaccedilatildeo do PBF

bull Metodologia anaacutelise estruturada de texto entrevistas com teacutecnicos do DeopSenarc e da CGU

bull Executor consultor PF

bull Resultados diferentes visotildees sobre o programa e sobre os sentidos das fiscalizaccedilotildees discordacircncias sobre divisatildeo de responsabilidades

Estudo sobre o acompanhamento das famiacutelias em situaccedilatildeo de descumprimento de condicionalidades

bull Objetivo analisar o perfil das famiacutelias que cumpremdescumprem as condicionalidades de sauacutede e educaccedilatildeo associadas ao PBF

bull Metodologia pesquisa qualitativa envolvendo realizaccedilatildeo de grupos focais e entrevistas em profundidade realizada nos municiacutepios de Maracanauacute ndash CE Jaboatatildeo dos Guararapes ndash PE e Extremoz ndash RN

bull Executor consultor PF bull Resultados

httpaplicacoesmdsgovbrsagiPainelPEIPublicacoesEstudo20quali20condicionalidades20PBF_2012pdf

Exemplos de integraccedilatildeo de meacutetodos

bull Avaliaccedilatildeo do Programa Cisternas ndash Segunda Aacutegua bull Avaliaccedilatildeo da ldquocisterna calccediladatildeordquo (52 mil litros)

tecnologia de captaccedilatildeo de aacutegua da chuva no Semiaacuterido destinada a estimular a produccedilatildeo agriacutecola familiar e ampliar as possibilidades de geraccedilatildeo de renda Destinada a famiacutelias que jaacute dispotildeem da Primeira Aacutegua (16 mil litros)

bull Perguntas gerais qual a relevacircncia do programa na vida das famiacutelias que residem no Semiaacuterido Aacutegua disponibilizada eacute suficiente tendo em vista as necessidades das famiacutelias De fato aumentadiversifica a produccedilatildeo Impactos sobre a renda

Avaliaccedilatildeo do Programa Cisternas ndash Segunda Aacutegua

bull Etapa Qualitativa bull Foco avaliaccedilatildeo da implementaccedilatildeo do programa e seus

resultados do ponto de vista das famiacutelias ndash formas de utilizaccedilatildeo dos recursos hiacutedricos disponiacuteveis

bull Combinaccedilatildeo de meacutetodos grupos focais entrevistas em profundidade com agricultores e teacutecnicos locais em 3 municiacutepios visitas de campo

bull Seleccedilatildeo das localidades segundo diferentes trajetoacuterias de participaccedilatildeo no programa concentraccedilatildeo de famiacutelias beneficiadas haacute pelo menos 1 ano diferentes zonas pluviomeacutetricas diferentes UGTs (dimensatildeo institucional)


ndash Enfoque participativo estiacutemulo agrave reflexatildeo sobre os alcances e desafios do Programa

ndash Enfoque de gecircnero espaccedilos especiacuteficos para consulta agraves agricultoras

ndash Enfoque sistecircmico olhar integrado sobre a situaccedilatildeo do uso da aacutegua no P1+2 considerando as especificidades socioambientais locais


bull Etapa Qualitativa - Principais resultados ndash mapeamento de diferentes estrateacutegias locais de implementaccedilatildeo

das cisternas ndash Principais elementos que afetam a implementaccedilatildeo

caracteriacutesticas socioeconocircmicas e ambientais da localidade capacidade das organizaccedilotildees envolvidas na seleccedilatildeo das famiacutelias e perfil institucional das UGTs

ndash Detalhamento de problemas criteacuterios de seleccedilatildeo das famiacutelias conservaccedilatildeo das cisternas formatos dos TPs

ndash Possibilidades de articulaccedilatildeo com outros programas (PAA PNAE)

ndash Grande detalhamento dos sistemas locais de gestatildeo dos recursos hiacutedricos e dos kits produtivos recebidos pelo programa

ndash muito aleacutem do marco loacutegico revisatildeo e discussatildeo criacutetica relevacircncia das recomendaccedilotildees


bull Etapa Quantitativa ndash Etapas da pesquisa construccedilatildeo do questionaacuterio

coleta de dados anaacutelise dos dados ndash Questionaacuterio composto por 13 blocos incluindo

caracteriacutesticas dos moradores do domiciacutelio produccedilatildeo e geraccedilatildeo de renda acesso agrave aacutegua distribuiccedilatildeo de tarefas associativismo acesso a programas e poliacuteticas seguranccedila alimentar migraccedilatildeo

ndash 46 entrevistadores meacutedia de 2 questionaacuteriosdia ndash Perdas amostrais com realizaccedilatildeo de 938 da

amostra prevista

Estrateacutegias para disseminaccedilatildeo de informaccedilotildees

bull Disponibilizaccedilatildeo de sumaacuterios executivos relatoacuterios e microdados no portal MDS wwwmdsgovbrsagi

bull Disponibilizaccedilatildeo de microdados para o Consoacutercio de Informaccedilotildees Sociais (CIS)

bull Diferentes formatos de divulgaccedilatildeo ndash Cadernos de Estudos temaacuteticos httpaplicacoesmdsgovbrsagiportalgrupophpg=53

bull No 17 Resultados avanccedilos e desafios das condicionalidades de Sauacutede do Programa Bolsa Famiacutelia

bull No 18 Resultados avanccedilos e desafios das condicionalidades de Educaccedilatildeo do Programa Bolsa Famiacutelia

Siacutentese das habilidades necessaacuterias na aacuterea de avaliaccedilatildeo da SAGI

bull Experiecircncia anterior no serviccedilo puacuteblico e junto a oacutergatildeos do sistema ONU

bull Experiecircncia com comunidades tradicionais e populaccedilotildees especiacuteficas

bull Experiecircncia em anaacutelises de dados agrave luz de perspectiva teoacuterica incluindo os

eixos eacutetnicoracial e de gecircnero

bull Conhecimentos e experiecircncia no uso de metodologias qualitativas e

quantitativas de coleta e anaacutelise de dados aleacutem de teacutecnicas de anaacutelise

demograacutefica

bull Elaboraccedilatildeo de projetos de pesquisa

bull Conhecimentos sobre legislaccedilatildeo e experiecircncia na conduccedilatildeo e

acompanhamento de processos licitatoacuterios

bull Conhecimento e conduccedilatildeo de processos administrativos


bull Experiecircncias com softwares qualitativos quantitativos e de

georreferenciamento

bull Conhecimento e atuaccedilatildeo anterior nas poliacuteticas programas serviccedilos

e accedilotildees afetas ao MDS (seguranccedila alimentar assistecircncia social e

transferecircncia de renda)

bull Conhecimento e experiecircncia em anaacutelise de bases de dados sociais

(IBGE MDS e outras)

bull Experiecircncia na redaccedilatildeo de conteuacutedo teacutecnico inclusive com a

publicaccedilatildeo de livros e artigos

bull Experiecircncia em processos de formaccedilatildeo capacitaccedilatildeo e multiplicaccedilatildeo

bull Experiecircncia na construccedilatildeo de ferramentas informacionais

Principais gargalos

bull Morosidade dos processos de contrataccedilatildeo bull Dificuldades de contrataccedilatildeo via organismos internacionais bull Dificuldades relacionadas agrave priorizaccedilatildeo de demandas

(necessidade de fortalecimento do GTMA) bull Rotatividade e precariedade das relaccedilotildees de trabalho bull Insuficiecircncia de quadros em habilidades especificas bull Dificuldades relacionadas agrave obtenccedilatildeo das bases de dados com

o universo das pesquisas bull Necessidade de nivelamento dos atores envolvidos em

relaccedilatildeo aos conceitos de MampA bull Aprimoramento da utilizaccedilatildeo das informaccedilotildees produzidas ndash

novas formas de divulgaccedilatildeo

Bibliografia de referecircncia

bull Experiecircncia da SAGI ndash VAITSMAN Jeni Rodrigues Roberto PAES-SOUSA Rocircmulo Avaliaccedilatildeo de programas e

profissionalizaccedilatildeo da gestatildeo puacuteblica Revista Brasileira de Monitoramento e Avaliaccedilatildeo Nuacutemero 1 Jan-Jun de 2011

ndash DULCI Otavio Soares Avaliaccedilatildeo de programas sociais desafios e potencialidades na construccedilatildeo de um sistema de informaccedilotildees Caderno de Estudos ndash Desenvolvimento Social em Debate no 13 2012 pp 221-237

bull Dimensatildeo poliacutetica da avaliaccedilatildeo ndash ARRETCHE Marta T S ldquoUma contribuiccedilatildeo para fazermos avaliaccedilotildees menos ingecircnuasrdquo

In BARREIRA e CARVALHO (org) Tendecircncias e perspectivas na avaliaccedilatildeo de poliacuteticas e programas sociais Satildeo Paulo IEEPUC-SP 2001

ndash FARIA Carlos Aureacutelio Pimenta A poliacutetica da avaliaccedilatildeo de poliacuteticas puacuteblicas Revista Brasileira de Ciecircncias Sociais Vol 20 nordm 59 outubro2005

ndash Conceitos e tipos de avaliaccedilatildeo ndash JANNUZZI Paulo de Martino Avaliaccedilatildeo de programas sociais no Brasil repensando

praacuteticas e metodologias das pesquisas avaliativas Planejamento e Poliacuteticas Puacuteblicas ndash PPP no 36 JanJun IPEA 2011
























(SISAN)





MDS


SENARC


SNAS


SESAN


SESEP


SAGI




Nutricional


Nutricional



Cisternas Cisternas

Consad Consad




Nutricional


Nutricional

PAA PAA






CREAS CREAS







Continuada - BPC


Continuada - BPC













P E T I P E T I




em cumprimento de




em cumprimento de







famiacutelias]






famiacutelias]



Pobreza


Pobreza

SAGI SAGI







9





SPO SPO

SAA SAA

ASPAR ASPAR AI AI









SAGIUC




SAGIUC











SAGIUCIE



SAGIIE





SAGIUCIE





SAGIUCIE



SAGI



bullLivros

bullMultimeios

SAGI










Monitoramento




















Pesquisas amostrais







Januzzi 2011 p 251


metodoloacutegicas






















































municiacutepios)








































amostra prevista














demograacutefica







georreferenciamento





(IBGE MDS e outras)





Principais gargalos





























(SISAN)





MDS


SENARC


SNAS


SESAN


SESEP


SAGI




Nutricional


Nutricional



Cisternas Cisternas

Consad Consad




Nutricional


Nutricional

PAA PAA






CREAS CREAS







Continuada - BPC


Continuada - BPC













P E T I P E T I




em cumprimento de




em cumprimento de







famiacutelias]






famiacutelias]



Pobreza


Pobreza

SAGI SAGI







9





SPO SPO

SAA SAA

ASPAR ASPAR AI AI









SAGIUC




SAGIUC











SAGIUCIE



SAGIIE





SAGIUCIE





SAGIUCIE



SAGI



bullLivros

bullMultimeios

SAGI










Monitoramento




















Pesquisas amostrais







Januzzi 2011 p 251


metodoloacutegicas






















































municiacutepios)








































amostra prevista














demograacutefica







georreferenciamento





(IBGE MDS e outras)





Principais gargalos










MDS


SENARC


SNAS


SESAN


SESEP


SAGI




Nutricional


Nutricional



Cisternas Cisternas

Consad Consad




Nutricional


Nutricional

PAA PAA






CREAS CREAS







Continuada - BPC


Continuada - BPC













P E T I P E T I




em cumprimento de




em cumprimento de







famiacutelias]






famiacutelias]



Pobreza


Pobreza

SAGI SAGI







9





SPO SPO

SAA SAA

ASPAR ASPAR AI AI









SAGIUC




SAGIUC











SAGIUCIE



SAGIIE





SAGIUCIE





SAGIUCIE



SAGI



bullLivros

bullMultimeios

SAGI










Monitoramento




















Pesquisas amostrais







Januzzi 2011 p 251


metodoloacutegicas






















































municiacutepios)








































amostra prevista














demograacutefica







georreferenciamento





(IBGE MDS e outras)





Principais gargalos







Nutricional


Nutricional



Cisternas Cisternas

Consad Consad




Nutricional


Nutricional

PAA PAA






CREAS CREAS







Continuada - BPC


Continuada - BPC













P E T I P E T I




em cumprimento de




em cumprimento de







famiacutelias]






famiacutelias]



Pobreza


Pobreza

SAGI SAGI







9





SPO SPO

SAA SAA

ASPAR ASPAR AI AI









SAGIUC




SAGIUC











SAGIUCIE



SAGIIE





SAGIUCIE





SAGIUCIE



SAGI



bullLivros

bullMultimeios

SAGI










Monitoramento




















Pesquisas amostrais







Januzzi 2011 p 251


metodoloacutegicas






















































municiacutepios)








































amostra prevista














demograacutefica







georreferenciamento





(IBGE MDS e outras)





Principais gargalos














SAGIUC




SAGIUC











SAGIUCIE



SAGIIE





SAGIUCIE





SAGIUCIE



SAGI



bullLivros

bullMultimeios

SAGI










Monitoramento




















Pesquisas amostrais







Januzzi 2011 p 251


metodoloacutegicas






















































municiacutepios)








































amostra prevista














demograacutefica







georreferenciamento





(IBGE MDS e outras)





Principais gargalos













Monitoramento




















Pesquisas amostrais







Januzzi 2011 p 251


metodoloacutegicas






















































municiacutepios)








































amostra prevista














demograacutefica







georreferenciamento





(IBGE MDS e outras)





Principais gargalos





















Pesquisas amostrais







Januzzi 2011 p 251


metodoloacutegicas






















































municiacutepios)








































amostra prevista














demograacutefica







georreferenciamento





(IBGE MDS e outras)





Principais gargalos








Januzzi 2011 p 251


metodoloacutegicas






















































municiacutepios)








































amostra prevista














demograacutefica







georreferenciamento





(IBGE MDS e outras)





Principais gargalos







metodoloacutegicas






















































municiacutepios)








































amostra prevista














demograacutefica







georreferenciamento





(IBGE MDS e outras)





Principais gargalos





















































municiacutepios)








































amostra prevista














demograacutefica







georreferenciamento





(IBGE MDS e outras)





Principais gargalos










































amostra prevista














demograacutefica







georreferenciamento





(IBGE MDS e outras)





Principais gargalos



















demograacutefica







georreferenciamento





(IBGE MDS e outras)





Principais gargalos








georreferenciamento





(IBGE MDS e outras)





Principais gargalos






Principais gargalos






Avaliação de programas de desenvolvimento social · Revista Brasileira de Monitoramento e...

Documents

Transcript of Avaliação de programas de desenvolvimento social · Revista Brasileira de Monitoramento e...