Paulo de Martino Jannuzzi RSP Indicadores para diagnóstico...

RSP

Revista do Serviço Público Brasília 56 (2): 137-160 Abr/Jun 2005 137

Paulo de Martino Jannuzzi

Indicadores paradiagnóstico, monitoramento

e avaliação de programassociais no Brasil*


Introdução

O interesse pela temática dos indicadores sociais e sua aplicação nas ativi-

dades ligadas ao planejamento governamental e ao ciclo de formulação e avali-

ação de políticas públicas vêm crescendo no País, nas diferentes esferas de

governo e nos diversos fóruns de discussão dessas questões. Tal fato deve-se,

em primeiro lugar, certamente, às mudanças institucionais por que a adminis-

tração pública tem passado no País, em especial com a consolidação da siste-

mática do planejamento plurianual, com o aprimoramento dos controles admi-

nistrativos dos ministérios, com a mudança da ênfase da auditoria dos Tribunais

de Contas da avaliação da conformidade legal para a avaliação do desempenho

dos programas, com a reforma gerencial da gestão pública em meados dos anos

1990 (GARCIA, 2001. COSTA; CASTANHAR, 2003). Esse interesse crescente pelo

uso de indicadores na administração pública também está relacionado ao apri-

moramento do controle social do Estado brasileiro nos últimos 20 anos. A mídia,

Indicadores para diagnóstico, monitoramento e avaliação de programas sociais no Brasil

Revista do Serviço Público Brasília 56 (2): 137-160 Abr/Jun 2005

RSP

138

os sindicatos e a sociedade civil passarama ter maior poder de fiscalização do gastopúblico e a exigir o uso mais eficiente, eficaze efetivo dele, demandando a reorgani-zação das atividades de planejamento embases mais técnicas.

Também tem contribuído para adisseminação do uso dos indicadores oacesso crescentemente facilitado às infor-mações mais estruturadas – de naturezaadministrativa e estatística – que as novastecnologias de informação e comunicaçãoviabilizam. Dados cadastrais antesesquecidos em armários e f icháriospassam a transitar pela Internet, trans-formando-se em informação estruturadapara análise e tomada de decisão. Dadosestatísticos antes inacessíveis em enormesarquivos digitais passam a ser “customi-zados” na forma de tabelas, mapas emodelos quantitativos construídos porusuários não especializados. Sem dúvida,a Internet, os CD-ROMs inteligentes, osarquivos de microdados potencializarammuito a disseminação da informaçãoadministrativa compilada por órgãospúblicos e a informação estatística produ-zida pelas agências especializadas.

É com o objetivo de apresentar comoessas informações estruturadas podem serempregadas nas diferentes etapas do ciclode formulação e avaliação de programaspúblicos que se apresenta este texto. Paraisso, inicialmente, apresentam-se, nas duasprimeiras seções, os aspectos conceituaisbásicos acerca dos indicadores sociais, assuas propriedades e as formas de classi-ficá-los. Depois, discute-se uma propostade estruturação de um sistema de indica-dores para subsidiar o processo de for-mulação e avaliação de políticas e progra-mas públicos no País.

Indicadores nas políticas públi-

cas: conceito e suas propriedades

No campo aplicado das políticaspúblicas, os indicadores sociais são medidasusadas para permitir a operacionalização deum conceito abstrato ou de uma demandade interesse programático. Os indicadoresapontam, indicam, aproximam, traduzemem termos operacionais as dimensõessociais de interesse definidas a partir deescolhas teóricas ou políticas realizadas ante-riormente. Prestam-se a subsidiar as ativi-dades de planejamento público e aformulação de políticas sociais nas diferentesesferas de governo, possibilitam o monito-ramento das condições de vida e bem-estarda população por parte do poder públicoe da sociedade civil e permitem o aprofun-damento da investigação acadêmica sobrea mudança social e sobre os determinantesdos diferentes fenômenos sociais (MILES,1985. NAÇÕES UNIDAS, 1988). Taxas de anal-fabetismo, rendimento médio do trabalho,taxas de mortalidade infantil, taxas dedesemprego, índice de Gini e proporçãode crianças matriculadas em escolas são,nesse sentido, indicadores sociais, ao tradu-zirem em cifras tangíveis e operacionaisvárias das dimensões relevantes, específicase dinâmicas da realidade social.

O processo de construção de umindicador social, ou melhor, de um sistemade indicadores sociais, para uso no ciclode políticas públicas inicia-se a partir daexplicitação da demanda de interesseprogramático, tais como a proposição deum programa para ampliação do aten-dimento à saúde, a redução do déficithabitacional, o aprimoramento do desem-penho escolar e a melhoria das condiçõesde vida de uma comunidade. A partir dadefinição desse objetivo programático,busca-se, então, delinear as dimensões, os

RSP



componentes ou as ações operacionaisvinculadas. Para o acompanhamento dessasações em termos da eficiência no uso dosrecursos, da eficácia no cumprimento demetas e da efetividade dos seus desdobra-mentos sociais mais abrangentes e perenes,buscam-se dados administrativos (geradosno âmbito dos programas ou em outroscadastros oficiais) e estatísticas públicas(produzidas pelo IBGE e outras institui-ções), que, reorganizados na forma detaxas, proporções, índices ou mesmo emvalores absolutos, transformam-se emindicadores sociais (Figura 1). Os indica-dores guardam, pois, relação direta como objetivo programático original, na formaoperacionalizada pelas ações e viabilizadapelos dados administrativos e pelas estatís-ticas públicas disponíveis.

A escolha de indicadores sociais parauso no processo de formulação e avaliaçãode políticas públicas deve ser pautada pelaaderência deles a um conjunto de proprie-dades desejáveis e pela lógica estruturanteda aplicação, que definirá a tipologia deindicadores mais adequada (JANNUZZI,2001). No Quadro 1, estão relacionadas12 propriedades cuja avaliação de aderência(+) e de não aderência ou indiferençadeveria determinar o uso, ou não, do indi-cador para os propósitos almejados.

A relevância para a agenda político-so-cial é a primeira e uma das propriedadesfundamentais de que devem gozar os indi-cadores escolhidos em um sistema deformulação e avaliação de programassociais específicos. Indicadores como a taxade mortalidade infantil, a proporção decrianças com baixo peso ao nascer e a pro-porção de domicílios com saneamento ade-quado são, por exemplo, relevantes e perti-nentes para acompanhamento deprogramas no campo da saúde pública noBrasil, na medida em que podem responderà demanda de monitoramento da agendagovernamental das prioridades definidas naárea nas últimas décadas. Indicadores depobreza (no sentido de carência derendimentos), por outro lado, só vieram aser regularmente produzidos quando

programas e ações focalizados em gruposmais vulneráveis entraram na agenda dapolítica social, a partir dos anos 1980.

Validade é outro critério fundamentalna escolha de indicadores, pois é desejávelque se disponha de medidas tão “próxi-mas” quanto possível do conceito abstratoou da demanda política que lhes deramorigem. Em um programa de combate àfome, por exemplo, indicadores antro-pométricos ou do padrão de consumofamiliar de alimentos certamente gozam de

Figura 1: Construção de sistema de indicadores para ciclo de políticas públicas



RSP

140

maior validade que uma medida baseadana renda disponível, como a proporçãode indigentes. Afinal, índice de massacorpórea, baixo peso ao nascer ou quan-tidade de alimentos efetivamente consu-midos estão mais diretamente relacionadosà nutrição adequada e à desnutrição que àdisponibilidade de rendimentos. Por outrolado, é operacionalmente mais complexoe custoso levantar informações para o

cálculo desses indicadores de maiorvalidade, comprometendo o uso deles parafins de monitoramento periódico do graude “fome” na comunidade (daí o uso deindicadores de rendimento como medidasde acompanhamento).

Confiabilidade da medida é outrapropriedade importante para legitimar ouso do indicador. Na avaliação do nívelde violência em uma comunidade, porexemplo, indicadores baseados nos regis-tros de ocorrências policiais ou mesmo demortalidade por causas violentas tendema ser menos confiáveis – e menos válidos

– que aqueles passíveis de serem obtidos apartir de pesquisas de vitimização, em quese questionam os indivíduos acerca deagravos sofridos em seu meio em deter-minado período. Naturalmente, mesmonessas pesquisas, as pessoas podem-sesentir constrangidas a revelar situações deviolência pessoal sofrida, por exemplo, nocontexto doméstico, no assédio sexual ouna discriminação por raça e/ou cor.

Sempre que possível, deve-se procurarempregar indicadores de boa coberturaterritorial ou populacional, que sejamrepresentativos da realidade empírica emanálise. Essa é uma das característicasinteressantes dos indicadores sociais produ-zidos a partir dos censos demográficos, oque os tornam tão importantes para oplanejamento público no País. Mas mesmoindicadores de cobertura parcial podemser úteis. Os indicadores de mercado detrabalho construídos a partir das bases dedados administrativos do Ministério doTrabalho, por exemplo, não retratam a

Quadro 1: Avaliação da aderência dos indicadores às propriedades desejáveis

RSP



dinâmica conjuntural do mercado de tra-balho brasileiro, já que se referem apenasao mercado de trabalho formal. Aindaassim, esses indicadores aportam conheci-mento relevante acerca da dinâmicaconjuntural da economia e do emprego,em especial em âmbito municipal.

Sensibilidade e especificidade sãopropriedades que também devem seravaliadas quando da escolha de indicadorespara a elaboração de um sistema de moni-toramento e avaliação de programaspúblicos. Afinal, é importante dispor demedidas sensíveis e específicas às açõesprevistas nos programas, que possibilitemavaliar rapidamente os efeitos (ou não-efeitos) de determinada intervenção. Taxade evasão ou freqüência escolar, porexemplo, são medidas sensíveis e com certaespecificidade para monitoramento deprogramas de transferência de renda, namedida em que se espera verificar, em curtoprazo, nas comunidades atendidas por taisprogramas, maior engajamento dascrianças na escola, como resultado diretode controles compulsórios previstos oumesmo como conseqüência indireta damudança de comportamento ou danecessidade familiar.

A boa prática da pesquisa social reco-menda que os procedimentos de cons-trução dos indicadores sejam claros etransparentes, que as decisões metodo-lógicas sejam justificadas, que as escolhassubjetivas – invariavelmente freqüentes –sejam explicitadas de forma objetiva.Transparência metodológica é certamenteum atributo fundamental para que o indi-cador goze de legitimidade nos meiostécnicos e científicos, ingrediente indispen-sável para sua legitimidade política e social.Comunicabilidade é outra propriedadeimportante, com a finalidade de garantir atransparência das decisões técnicas tomadas

pelos administradores públicos e a com-preensão delas por parte da população, dosjornalistas, dos representantes comunitáriose dos demais agentes públicos. Na discus-são de planos de governo, orçamentoparticipativo, projetos urbanos, os técnicosde planejamento deveriam valer-se, tantoquanto possível, de alguns indicadoressociais mais facilmente compreendidos,como a taxa de mortalidade infantil e arenda familiar, ou que o uso sistemático já

os consolidou, como o índice de preços ea taxa de desemprego. Nessas situações, oemprego de indicadores muito complexospode ser visto como abuso tecnocráticodos formuladores de programas, primeiropasso para o potencial fracasso na suaimplementação.

A periodicidade com que o indicadorpode ser atualizado e a factibilidade de suaobtenção a custos módicos são outros

“Indicadores sociais

permitem a operaciona-

lização de um conceito

abstrato ou de uma

demanda de interesse

programático. Eles

apontam, indicam,

aproximam, traduzem

em termos operacionais

as dimensões sociais de

interesse definidas a partir

de escolhas teóricas ou

políticas realizadas

anteriormente”



RSP

142

aspectos cruciais na construção e seleçãode indicadores sociais para acompanha-mento de qualquer programa público. Paraque se possa acompanhar a mudança social,avaliar o efeito de programas sociaisimplementados, corrigir eventuais distor-ções de implementação, é necessário quese disponha de indicadores levantadoscom certa regularidade. Essa é uma dasgrandes limitações do sistema estatísticobrasileiro e, a bem da verdade, de muitospaíses. Para algumas temáticas da políticasocial – trabalho, por exemplo –, é possíveldispor-se de boas estatísticas e indicadoresde forma periódica (mensal), para algunsdomínios territoriais (principais regiõesmetropolitanas). Para outras temáticas, emescala estadual, é possível atualizar indica-dores em bases anuais, por meio da PesquisaNacional por Amostra de Domicílios(PNAD). Nos municípios, em geral, pelafalta de recursos, organização e compro-misso com a manutenção periódica doscadastros (de contribuintes, de imóveis, defavelas, etc.), só se dispõe de informaçõesmais abrangentes a cada dez anos, porocasião dos censos demográficos1.

Também é preciso que os indicadoresse refiram, tanto quanto possível, aosgrupos sociais de interesse ou à população-alvo dos programas, isto é, deve ser pos-sível construir indicadores sociais referentesa espaços geográficos reduzidos, grupossociodemográficos (crianças, idosos,homens, mulheres, brancos, negros, etc.),ou grupos vulneráveis específicos (famíliaspobres, desempregados, analfabetos, etc.).O Censo Demográfico 2000 reflete, nessesentido, o esforço governamental ematender novas demandas informacionaispara formulação e avaliação de políticaspúblicas, em especial as políticas compen-satórias e as voltadas à discriminaçãopositiva. Pela primeira vez, em censos brasi-

leiros, investigou-se a freqüência à creche,à educação infantil, questão fundamentalna agenda de discussão da política educa-cional nos municípios brasileiros. A carac-terização do tipo e grau de deficiência físicaé outro aspecto que mereceu especialatenção no levantamento, como resultadoda pressão de grupos organizados interes-sados em implementar, de fato, os direitosassegurados na Constituição. Tentou-se,também, na fase de pré-teste do censo, apri-morar o levantamento da ascendênciaétnica da população, de forma a fornecersubsídios mais precisos a políticas de dis-criminação positiva, de acesso compensa-tório a bens e serviços públicos (educaçãosuperior, por exemplo) de grupos histori-camente desprivilegiados (negros, porexemplo). O acesso a programas de rendamínima, como o Bolsa Escola, e outrastransferências governamentais tambémforam objeto de maior detalhamento nocenso.

A comparabilidade do indicador aolongo do tempo é uma característicadesejável, de modo a permitir a inferênciade tendências e a avaliar efeitos de eventuaisprogramas sociais implementados. O idealé que as cifras passadas sejam compatíveisdo ponto de vista conceitual e com confia-bilidade similar à das medidas maisrecentes, o que nem sempre é possível.Afinal, também é desejável que a coleta dosdados melhore ao longo do tempo, sejapela resolução dos problemas de cober-tura espacial e organização da logística decampo, como pelas mudanças conceituaisque ajudem a precisar melhor o fenômenosocial em questão.

Em uma perspectiva aplicada, dadasas características do sistema de produçãode estatísticas públicas no Brasil, é muitoraro dispor-se de indicadores sociais quegozem plenamente de todas essas

RSP



propriedades. Na prática, nem sempre oindicador de maior validade é o maisconfiável; nem sempre o mais confiável éo mais sensível; nem sempre o mais sensí-vel é o mais específico; enfim, nem sem-pre o indicador que reúne todas essas qua-lidades é passível de ser obtido na escalaterritorial e na periodicidade requerida. Oimportante é que a escolha dos indicado-res seja fundamentada na avaliação críticadas propriedades anteriormente discutidase não simplesmente na tradição de usodeles. Há esforço significativo de diversasinstituições de disponibilizar novos conteú-dos e informações a partir de seus cadas-tros, as quais podem ser usadas para a cons-trução de novos indicadores sociais.

Taxonomia dos indicadorespara fins de aplicação nas políticaspúblicas

Além da observância às propriedades,a escolha de indicadores para uso no ciclode formulação e avaliação de programastambém deveria pautar-se pela natureza oupelo tipo dos indicadores requeridos.

Há vários sistemas classificatórios paraos indicadores sociais (CARLEY, 1985). Aclassificação mais comum é a divisão dosindicadores segundo a área temática darealidade social a que se referem. Há, assim,os indicadores de saúde (leitos por milhabitantes, percentual de crianças nascidascom baixo peso, por exemplo), os indica-dores educacionais (taxa de analfabetismo,escolaridade média da população de 15anos ou mais, etc.), os indicadores demercado de trabalho (taxa de desempre-go, rendimento médio real do trabalho,etc.), os indicadores demográficos (espe-rança de vida, etc.), os indicadores habita-cionais (posse de bens duráveis, densidadede moradores por domicílio, etc.), os

indicadores de segurança pública e justiça(mortes por homicídios, roubos à mãoarmada por cem mil habitantes, etc.), osindicadores de infra-estrutura urbana (taxade cobertura da rede de abastecimento deágua, percentual de domicílios com esgota-mento sanitário ligado à rede pública, etc.),os indicadores de renda e desigualdade(proporção de pobres, índice de Gini, etc.).

Outra classificação usual correspondeà divisão dos indicadores entre objetivos esubjetivos. Os indicadores objetivos refe-rem-se a ocorrências concretas ou a entesempíricos da realidade social, construídosa partir das estatísticas públicas disponíveis,como o percentual de domicílios comacesso à rede de água, a taxa de desem-prego, a taxa de evasão escolar ou o riscode acidentes de trabalho. Os indicadoressubjetivos, por outro lado, correspondema medidas construídas a partir da avaliaçãodos indivíduos ou especialistas com relaçãoa diferentes aspectos da realidade, levan-tados em pesquisas de opinião pública ougrupos de discussão, como a avaliação daqualidade de vida, o nível de confiança nasinstituições, a percepção da corrupção, aperformance dos governantes. Ainda quese refiram a dimensões sociais semelhantes,indicadores objetivos e subjetivos podemapontar tendências diferentes. Famílias debaixa renda, quando instadas a avaliar suascondições de vida, podem emitir juízosparadoxalmente mais positivos que umaanálise baseada em parâmetros normativose com indicadores objetivos de rendimen-tos e de infra-estrutura domiciliar. Assim,a opinião da população atendida por umprograma é certamente importante, dese-jável e complementar em qualquer siste-mática de monitoramento e avaliação,trazendo subsídios para a correção emelhoria do processo de implementaçãodos programas e também indícios da



RSP

144

efetividade social desses programas, espe-cialmente aqueles difíceis de seremmensurados em uma escala quantitativa.

Uma outra lógica de classificação, inte-ressante de se usar na análise de políticaspúblicas, é a diferenciação dos indicadoresentre indicador-insumo, indicador-proces-so, indicador-resultado e indicador-impacto(OMS, 1996. COHEN; FRANCO, 2000). Osindicadores-insumo correspondem àsmedidas associadas à disponibilidade derecursos humanos, financeiros ou deequipamentos alocados para um processoou programa que afeta uma das dimensõesda realidade social. São tipicamenteindicadores de alocação de recursos parapolíticas sociais o número de leitos hospi-talares por mil habitantes, o número deprofessores por quantidade de estudantesou ainda o gasto monetário per capita nasdiversas áreas de política social. Os indica-dores-resultado são aqueles mais propria-mente vinculados aos objetivos finais dosprogramas públicos, que permitem avaliara eficácia do cumprimento das metasespecificadas, como, por exemplo, a taxade mortalidade infantil, cuja diminuiçãoespera-se verificar com a implementaçãode um programa de saúde materno-infantil. Os indicadores-impacto referem-se aos efeitos e desdobramentos maisgerais, antecipados ou não, positivos ounão, que decorrem da implantação dosprogramas, como, no exemplo anterior, aredução da incidência de doenças nainfância ou a melhoria do desempenhoescolar futura, efeitos decorrentes deatendimento adequado da gestante e dacriança recém-nascida em passado recente.Os indicadores-processo ou fluxo sãoindicadores intermediários, que traduzem,em medidas quantitativas, o esforçooperacional de alocação de recursoshumanos, físicos ou financeiros (indica-

dores-insumo) para a obtenção demelhorias efetivas de bem-estar (indicado-res-resultado e indicadores-impacto),como número de consultas pediátricas pormês, merendas escolares distribuídas diaria-mente por aluno ou ainda homens-horadedicados a um programa social.

A distinção entre essas dimensõesoperacionais – insumo, processo, resultado,impacto – pode não ser muito clara emalgumas situações, especialmente quandoos programas são muito específicos ou nocaso contrário, quando os objetivos dosprogramas são muito gerais. Mas é semprepossível identificar indicadores maisvinculados aos esforços de políticas eprogramas e aqueles referentes aos efeitos(ou não-efeitos) desses programas.

Na Figura 2, são apresentados algunsindicadores de acompanhamento de umsuposto programa de transferência de renda,cuja finalidade seja a de reduzir a parcela defamílias em condição de indigência, isto é,de famílias com recursos monetários insu-ficientes para a compra de uma cesta deprodutos para a alimentação de seus mem-bros: como indicador-insumo, o volume derecursos do programa, com percentual doorçamento ou em bases per capita; comoindicadores-processo, os percentuais defamílias cadastradas pelas prefeituras edaquelas efetivamente atendidas, que podemfornecer elementos para a avaliação daeficiência do programa; como indicador-resultado, a proporção de famílias em situa-ção de indigência, ou com rendimentosabaixo de determinado valor, medida quedeveria refletir o grau de eficácia com queo programa atendeu ao objetivo esperado;como indicadores-impacto, a taxa deevasão escolar e a desnutrição infantil, efeitospotenciais do programa implementado quepermitem dimensionar a sua efetividadesocial.

RSP



Os indicadores podem também serclassificados como simples ou complexos,ou, na terminologia que se tem empregadomais recentemente, como analíticos ousintéticos. O que os diferencia é, como asdenominações sugerem, o compromissocom a expressão mais analítica ou de síntesedo indicador. Taxa de evasão escolar, taxade mortalidade infantil, taxa de desem-prego são medidas comumente empre-gadas para análise de questões sociaisespecíficas no campo da educação, dasaúde e do mercado de trabalho. Medidascomo Índice de Preços ao Consumidorou Índice de Desenvolvimento Humano(IDH), por outro lado, procuram sintetizarvárias dimensões empíricas da realidadeeconômica e/ou social em uma únicamedida. No primeiro caso, o índice depreços corresponde a uma média ponde-rada de variações relativas de preços dediferentes tipos de produto (alimentação,educação, transporte, etc.). No segundocaso, o IDH corresponde a uma média demedidas derivadas originalmente de indi-cadores (simples ou analíticos) de escolari-zação, alfabetização, renda média eesperança de vida.

Há uma idéia subjacente a essa diferen-ciação entre indicadores analíticos esintéticos, de que estes últimos, ao contem-plarem no seu cômputo um conjunto maisamplo de medidas acerca da realidade socialde uma localidade, tenderiam a refletir ocomportamento “médio” ou situação

“típica” dessa localidade em termos dodesenvolvimento humano, qualidade de

vida, vulnerabilidade social ou outro con-ceito operacional que lhes deu origem.Como mostrado no Quadro 2, tem havidomuitas propostas de indicadores sintéticosno Brasil, com maior ou menor grau desofisticação metodológica, elaborados porpesquisadores de universidades, órgãospúblicos e centros de pesquisa, motiva-das, por um lado, pela necessidade deatender às demandas de informação para

Insumo Processo Resultado Impacto

Gasto público emprogramas detransferência derenda

% de famíliascadastradas

% de famíliasatendidas

Proporção deindigentes

Taxa de evasãoescolar

Redução dadesnutriçãoinfantil

Figura 2: Indicadores de acompanhamento de programas de transferência de renda

“Na prática, nem

sempre o indicador de

maior validade é o mais

confiável; nem sempre o

mais confiável é o mais

sensível; nem sempre o

mais sensível é o mais

específico; enfim, nem

sempre o indicador que

reúne todas essas quali-

dades é passível de ser

obtido na escala

territorial e na periodici-

dade requerida”



RSP

146

formulação de políticas e tomada dedecisões nas esferas públicas e , por outro,pelo sucesso do IDH e seu impacto,nestes últimos 15 anos, na disseminaçãoda cultura de uso de indicadores noscírculos políticos.

Contudo, a aplicabilidade dos indi-cadores sintéticos como instrumentos deavaliação da efetividade social das políticaspúblicas ou como instrumentos de alocaçãoprioritária do gasto social está sujeita a fortesquestionamentos (RYTEN, 2000). Ao partirda premissa de que é possível apreender o“social” por meio da combinação demúltiplas medições dele, não se sabe – aofim e ao cabo – quais as mudanças especí-ficas ocorridas e qual a contribuição ou oefeito dos programas públicos específicossobre sua transformação. Além disso, háquestionamento acerca do grau de “proxi-

midade” entre a medida e o conceito origi-nal e da usual subsunção do último pelaprimeira, em que o indicador adquire o statusde conceito, como no caso da proporçãode famílias com renda abaixo de determi-nado valor, que passou a designar a popu-

lação indigente, que passa fome, etc. (ROCHA,2002). Há questionamentos acerca do graude arbitrariedade com que se definem ospesos com os quais os indicadores devemser ponderados no cômputo da medidafinal. Há ainda críticas com relação àsdistorções na seleção de públicos-alvo a queo uso desses indicadores sintéticos podemlevar, sobretudo em casos de programassetoriais (GUIMARÃES; JANNUZZI, 2004).

Por mais consistentes que sejam essascríticas, é preciso reconhecer que os indica-dores sintéticos acabaram por se legitimarem diversos aspectos. A legitimidade social

Instituição promotora

Fundação João Pinheiro/MG

Fundação CIDE/RJ

Fundação SEADE/SP

Fundação Economia eEstatística/RSSuperintendência de EstudosEconômicos e Sociais da Bahia(SEI/BA)Prefeitura Municipal de BeloHorizonte/PUC Minas/MGINEP/Cedeplar/NEPO

Índice proposto

IDH-M: Índice de Desenvolvimento Humano MunicipalICV: Índice de Condições de Vida MunicipalIQM: Índice de Qualidade Municipal - verdeIQM: Índice de Qualidade Municipal - carênciasIQM: Índice de Qualidade Municipal - necessidades habitacionaisIQM: Índice de Qualidade Municipal - sustentabilidade fiscalIPRS: Índice Paulista de Responsabilidade SocialIVJ: Índice de Vulnerabilidade JuvenilIPVS: Índice Paulista de Vulnerabilidade SocialISMA: Índice Social Municipal Ampliado

IDS: Índice de Desenvolvimento SocialIDE: Índice de Desenvolvimento Econômico

IQVU: Índice de Qualidade de Vida UrbanaIVS: Índice de Vulnerabilidade SocialIMDE: Indicador Municipal de Desenvolvimento Educacional

Quadro 2: Alguns dos indicadores sintéticos propostos no Brasil

RSP



dessas propostas de indicadores tem-sedemonstrado pela visibilidade e freqüênciaque os indicadores sintéticos têm conferidoàs questões sociais na mídia – pelo formatoapropriado para a síntese jornalística – e àinstrumentalização política do movimentosocial e das ONGs no monitoramento dosprogramas sociais. O fato de que algunsdesses indicadores foram criados sob enco-menda – e mesmo com a participação –de gestores públicos e legisladores

certamente lhes confere legitimidade política.O fato de que os índices acabam aparen-temente “funcionando” bem, apontando oque se espera que apontassem – as iniqüi-dades, os bolsões de pobreza, etc. –,garante-lhes também legitimidade técnica.Também desfrutam de legitimidade cien-tífica, já que vários desses projetos têmobtido financiamento de agências nacionaise internacionais de fomento à pesquisa. Porfim, a legitimidade institucional dessaspropostas sustenta-se no fato de teremservido de instrumento de garantia doespaço institucional das instituições deestatística e planejamento em um quadro de

forte contingenciamento e de corte de ver-bas no setor público, nos últimos 15 anos.Além disso, como se discute mais à frente,indicadores sintéticos podem ser úteis comoinstrumentos de tomada de decisão no ciclode programas sociais.

Assim, além de avaliar a aderência decada indicador às propriedades relacionadasanteriormente, também pode ser útil fazeruma reflexão sobre a natureza de cada um(Quadro 3), a fim de entender o seu papel

informativo em um sistema de indicadorespara formulação e avaliação de programassociais, como se dirá na seção seguinte.

Indicadores no ciclo de formula-ção e avaliação de programas sociais

Apresentado o marco conceitual acercados indicadores sociais, passa-se agora àdiscussão a respeito do uso deles no ciclode formulação e avaliação de políticas pú-blicas ou programas sociais (Figura 3).Cada etapa do ciclo envolve o uso de umconjunto de indicadores de diferentesnaturezas e propriedades, em função das

Quadro 3: Identificação da natureza dos indicadores



RSP

148

necessidades intrínsecas das atividades aíenvolvidas (Quadro 4).

Assim, na etapa de elaboração dodiagnóstico para a política ou programasocial, são necessários indicadores de boaconfiabilidade, validade e desagregabi-lidade, cobrindo as diversas temáticas darealidade social. Afinal, é preciso ter umretrato tão amplo e detalhado quanto

possível acerca da situação social vivenciadapela população para orientar, posterior-mente, as questões prioritárias a atender,os formatos dos programas a imple-mentar, as estratégias e ações a desenvol-ver. Trata-se de caracterizar o marco zero,a partir do qual se poderá avaliar se oprograma está provocando as mudançassociais desejáveis. Os indicadores usados

Quadro 4: Indicadores requeridos em cada etapa do ciclo de programas sociais

Figura 3: Representação clássica do ciclo de formulação e avaliação de programas sociais

RSP



nessa etapa são construídos, em geral, apartir do censo demográfico ou depesquisas amostrais multitemáticas (comoas PNADs), quando os dados do censo jáestiverem distantes do momento deelaboração do diagnóstico.

Como observado anteriormente, oCenso 2000 constitui-se em fonte muitorica de indicadores de diagnóstico peloescopo temático, pela desagregabilidadeterritorial e populacional e pela compa-rabilidade inter-regional. Foram levantados,na amostra do censo, mais de 70 quesitosde informação, cobrindo característicasdomiciliares, infra-estrutura urbana, carac-terísticas demográficas e educacionais dosindivíduos, inserção da mão-de-obra, ren-dimentos, acesso a alguns programaspúblicos, etc. Os indicadores dessas dimen-sões analíticas podem ser computados paradiversos grupos sociodemográficos (porsexo, raça/cor, estratos de renda, etc.) eescalas territoriais que chegam ao nível deagregações de bairros de municípios (áreasde ponderação, mais propriamente) e atémesmo ao nível de setor censitário(conjunto de cerca de 200 a 300 domicíliosna zona urbana, para os quesitos levantadosno questionário básico, aplicados em todosos domicílios do País). Por meio de umsoftware de fácil manipulação – Estatcart –pode-se extrair estatísticas e cartogramasda quase totalidade dos municípios demédio porte no País, em nível de setorcensitário ou áreas de ponderação, comoilustrado na Figura 4.

Essa possibilidade de dispor de infor-mação estatística por setor censitário (ouárea de ponderação) não parece ter sidoexplorada em toda a sua potencialidadepor parte de formuladores e gestores deprogramas sociais, seja no âmbito federal,estadual ou municipal. Quando se trata defazer diagnósticos sociais mais detalhados

territorialmente, empregam-se, em geral,indicadores médios computados para osmunicípios, “escondendo-se” os bolsões deiniqüidades presentes dentro de cada um dosmunicípios brasileiros. Os indicadoresmédios de rendimentos ou de infra-estru-tura urbana do Município de São Paulo são,por exemplo, bem melhores que a médiageral dos municípios brasileiros. Contudo,se os indicadores forem computados emnível de setores censitários, poder-se-á cons-tatar no território paulistano a diversidadede situações de condições de vida encon-trada pelo território nacional, ou seja, é pos-sível encontrar bolsões de pobreza nacapital paulistana com características dealguns municípios do Nordeste2.

Um dos recursos que têm auxiliadona elaboração e apresentação de diagnós-ticos sociais é a proposição de tipologias,agrupamentos ou arquétipos sociais,usados para classificar unidades territoriaissegundo um conjunto específico de indica-dores sociais e , portanto, apontando osdéficits de serviços públicos, de programasespecíficos, etc. O Índice Paulista deResposabilidade Social é um exemplonesse sentido, ao classificar os municípiospaulistas em cinco grupos, de acordo comos níveis observados de indicadores desaúde, escolaridade e porte econômicomunicipal (SEADE, 2002).

Além dos indicadores multitemáticospara “retratar” as condições de vida, refe-rentes à saúde, à habitação, ao mercado detrabalho, etc., também devem fazer partedo diagnóstico os indicadores demográ-ficos, em especial, aqueles que permitemapresentar as tendências de crescimentopopulacional passado e as projeçõesdemográficas futuras (que dimensionam ospúblicos-alvo dos diversos programas emtermos de idade e sexo no futuro). Asmudanças demográficas foram bastante



RSP

150

intensas pelo País nos últimos 30 anos, comimpacto significativo e regionalmente dife-renciado sobre a demanda de vagas esco-lares, postos de trabalho, etc. (MARTINE;CARVALHO; ÁRIAS, 1994).

Na segunda etapa do ciclo de formu-lação e seleção de programas, requer-se umconjunto mais reduzido de indicadores, sele-cionados a partir dos objetivos norteadoresdos programas definidos como prioritáriospela agenda político-social vigente. Já seconhecem, em tese, por meio do diagnós-tico, os bolsões de pobreza, as áreas com

maior déficit de serviços urbanos, commaior parcela de crianças fora da escola,com maior número de responsáveis sujei-tos ao desemprego. Nessa etapa, requer-sedefinir, a partir da orientação político-go-vernamental, a natureza dos programas, asquestões sociais prioritárias a enfrentar, ospúblicos-alvo a atender.

É nessa fase que os indicadoressintéticos já mencionados podem termaior aplicação, na medida em queoferecem ao gestor uma medida-síntesedas condições de vida, da vulnerabilidade,

Chefes sem rendimento ou até 1 s.m. Chefes sem instrução ou até 1 ano de estudo

Pessoas de 7 a 14 anos analfabetas Domicílios urbanos sem acesso à rede de água

Figura 4: Cartogramas com indicadores sociais referidos em nível de setor censitárioCampinas/SP - 2000

RSP



do desenvolvimento social de municípios,estados ou de outra unidade territorial emque há implementação de programas. OIDH-municipal foi, por exemplo, o indi-cador empregado pelo Programa Comu-nidade Solidária para selecionar os muni-cípios para suas ações, o que certamenterepresentou um avanço em termos decritério técnico-político de priorização.Contudo, a escolha desse indicadoracabou por excluir do programa todasas cidades médias e populosas doSudeste, já que suas medidas sociaismédias – calculadas para a totalidade domunicípio – eram sempre mais altas queas dos municípios do Norte e Nordeste.Se fosse usado um indicador calculadopara domínios submunicipais (setorcensitário, bairros, áreas de ponderação,etc.), os municípios do Sudeste certamenteteriam bolsões que se enquadrariamentre os públicos-alvo prioritários doprograma.

Esse exemplo deixa claro a impor-tância do diagnóstico microespacializadocomentado anteriormente, em especial orealizado em nível de setor censitário.É possível, dessa forma, não só garantirmaior precisão e eficiência na alocação dosprogramas que devem ser focalizados,como também acompanhar, posterior-mente, os seus efeitos. Além disso, o usodo setor censitário (ou área de ponderação)garante, em alguma medida, a compati-bilização dos quantitativos populacionaisde cada pequena área, amenizando osefeitos potencialmente destoantes datomada de decisão baseada em indicadoresexpressos em termos relativos. Dois muni-cípios podem ter, por exemplo, percentualsimilar de famílias indigentes, mas totaisabsolutos de indigentes muito distintos.Municípios populosos podem apresentarcifras relativamente mais baixas de

indigentes, mas ainda assim podem reunirtotais absolutos bastante signif icativos. Emqual município devem-se priorizar as açõesde programas de transferência de renda:naquele em que a intensidade de indigên-cia é elevada ou naquele em que o quanti-tativo de indigentes é maior? Quando setêm indicadores calculados para áreas comtotais populacionais mais compatíveis, osrankings de priorização baseados em indi-cadores relativos ou absolutos diferempouco3.

Idealmente, a tomada de decisão comrelação aos públicos-alvo a serem prio-rizados deve-se pautar em um indicadormais específico e válido para o programaem questão, mais relacionado aos seusobjetivos, como a taxa de mortalidadeinfantil em programas de saúde materno-infantil, o déficit de peso ou altura emprogramas de combate à fome ou aproporção de domicílios com baixa rendaem programas de transferência de renda.Se vários indicadores devem ser usados eos critérios de elegibilidade referem-se avariáveis existentes no censo demográfico,é possível fazer processamentos especí-ficos, de forma relativamente rápida, pormeio de um pacote estatístico (com osmicrodados do censo em 16 CD-ROMs)ou mesmo por meio de uma ferramentadisponibilizada pela Internet (BancoMultidimensional de Estatísticas) no sítiodo IBGE. Um desses indicadoresconstruídos pelo cruzamento de variáveisdo Censo 2000 é o trazido na última tabelada publicação Indicadores municipais do IBGE(2002). Trata-se de um indicador combi-nado – construído a partir do cruzamentosimultâneo dos diversos critérios –, repre-sentando a proporção dos domicíliosparticulares permanentes que não têmescoadouros ligados à rede geral ou fossaséptica, não são servidos de água por rede



RSP

152

geral, não têm coleta regular de lixo, seusresponsáveis (chefes) têm menos de quatroanos de estudo e rendimento médio men-sal até dois salários mínimos. Esse indi-cador – batizado informalmente de Indi-cador de Déficit Social – pode ser calculadotambém por áreas de ponderação do censoe tem-se mostrado com grande poder dediscriminação e validade em representarsituações de carências de serviços públicosbásicos pelo território nacional.

Em alguns casos de programas inter-setoriais que envolvem esforços de equipesde diferentes áreas e o alcance de váriosobjetivos, pode ser interessante tomar adecisão acerca das áreas prioritárias deimplantação dos programas a partir dacombinação de vários critérios (indicadores).Nesse caso, pode-se empregar a análisemulticritério, técnica estruturada para toma-da de decisões em que interagem váriosagentes, cada um com seus critérios e juízosde valor acerca do que é mais importanteconsiderar na decisão final (ENSSLIN, 2001).A vantagem do uso dessa técnica em rela-ção a outras, como o emprego de indica-dores sintéticos, é que ela permite que a

decisão seja pautada com base nos critérios(indicadores) considerados relevantes parao programa em questão pelos agentesdecisores e que a importância dos critériosseja definida por eles, em um processo deinteratividade com outros atores técnico-políticos. Alguns algoritmos que implemen-tam a técnica produzem soluções hierar-quizadas – como um indicador sintético –e robustas, não dependentes da escala de me-dida ou dispersão das variáveis (Figura 5).

Na etapa de implementação e exe-cução dos programas, são necessáriosindicadores de monitoramento, que devemprimar pela sensibilidade, especificidade e,sobretudo, pela periodicidade com queestão disponíveis. Esse é um grandeproblema, como já se observou anterior-mente, em especial se se necessita de indica-dores em escala municipal. As informaçõesproduzidas pelas agências estatísticas nãosão, em geral, específ icas para os propó-sitos de monitoramento de programas, sejana escala territorial desejada, seja na regula-ridade necessária.

Contudo, procurando atender àdemanda por informações municipais mais

Figura 5: Análise multicritério para tomada de decisão com base em indicadores sociais

RSP



periódicas, o IBGE tem realizado, deforma mais regular, a Pesquisa Nacionalde Assistência Médico-Sanitária (AMS), aPesquisa de Informações Básicas Munici-pais (MUNIC) e a Pesquisa Nacional deSaneamento Básico (PNSB). A AMScorresponde a um censo de estabeleci-mentos de saúde no País, identificandovolume e qualificação de pessoal, equipa-mentos e outros recursos disponibilizadospara atendimento médico-sanitário dapopulação. Com isso, pode-se ter umaidéia mais clara e precisa do nível e dadiversidade da oferta de serviços de saúdepelo País, por meio da construção deindicadores de esforços de políticas na áreade saúde. A MUNIC contempla, anual-mente, o levantamento de conjunto amplode informações nas prefeituras dos maisde 5 mil municípios brasileiros. Nessapesquisa, levantam-se dados sobre a estru-tura administrativa, o nível de participaçãoe formas de controle social (existência deconselhos municipais), a existência delegislação e instrumentos de planejamentomunicipal (como a institucionalização doplano de governo, do plano plurianual deinvestimentos, do plano diretor e da lei deparcelamento do solo), a disponibilidadede recursos para promoção da justiça esegurança (existência de delegacia damulher, juizados de pequenas causas, etc.),além da existência de equipamentos espe-cíficos de comércio, serviços da indústriacultural e de lazer, como bibliotecaspúblicas, livrarias, jornais locais e ginásiosde esporte. Essa pesquisa permite, pois,construir indicadores que permitem retrataro grau de participação e controle popularda ação pública e caracterizar o estágio dedesenvolvimento institucional das ativi-dades de planejamento e gestão municipalpelo País. A PNSB veio complementaresse quadro informacional sobre os

municípios brasileiros com a coleta dedados sobre abastecimento de água,esgotamento sanitário, limpeza urbana esistema de drenagem urbana. Pode-se, as-sim, dispor de outros indicadores mais in-formativos sobre a estrutura e qualidadedos serviços de infra-estrutura urbana, quenão se limitam a apontar o grau de cober-tura populacional atendida. Com os dadoslevantados nessa pesquisa, é possível cons-truir indicadores do volume de água

ofertada per capita, do tipo de tratamentoe do volume da água distribuída à popu-lação, do volume e destino do esgoto elixo coletado, entre outros aspectos.

Há também esforços louváveis de váriasinstituições públicas, além do IBGE, emdisponibilizar informações de seus cadastrose registros de forma mais periódica, fatoque se deve não só à necessidade demonitoramentos da ação governamental,

“Dois municípios podem

ter percentual similar de

famílias indigentes, mas

totais absolutos de indigen-

tes muito distintos. Em qual

município devem-se priori-

zar as ações de programas

de transferência de renda:

naquele em que a intensi-

dade de indigência é elevada

ou naquele em que o

quantitativo de indigentes

é maior?”



RSP

154

mas também às facilidades que as novastecnologias de informação e comunicaçãotêm proporcionado. Os órgãos estaduais deestatística, os Ministérios da Saúde, da Edu-cação, do Trabalho, do DesenvolvimentoSocial, da Previdência Social, das Cidades e aSecretaria do Tesouro Nacional disponi-bilizam pela Internet informações bastanteespecíficas – em escopo temático e escalaterritorial – a partir de seus registros e sistemasde controle internos, que podem ser úteis paraa construção de indicadores de monitora-mento de programas (Quadro 5).

A lógica do acompanhamento deprogramas requer a estruturação de umsistema de indicadores que, além de especí-ficos, sensíveis e periódicos, permitammonitorar a implementação processual doprograma na lógica insumo-processo-resultado-impacto, isto é, são necessáriosindicadores que permitam monitorar odispêndio realizado por algum tipo de uni-dade operacional prestadora de serviços ousubprojeto; o uso operacional dos recursoshumanos, financeiros e físicos; a geração deprodutos e a percepção dos efeitos sociais

Quadro 5: Algumas das fontes oficiais para atualização periódica de indicadores

RSP



mais amplos dos programas. Assim, adistinção entre a terceira e a quarta etapasdo ciclo de programas pode ser menos evi-dente que nas demais, sobretudo em pro-gramas de longa duração, isto é, monito-ramento e avaliação de programas sãotermos cunhados para designar procedi-mentos de acompanhamento de progra-mas, focados na análise da sua eficiência,eficácia e efetividade (COHEN; FRANCO, 2000).Monitoramento e avaliação são processosanalíticos organicamente articulados, suce-dendo-se no tempo, com o propósito desubsidiar o gestor público com informa-ções acerca do ritmo e da forma deimplementação dos programas (indicado-res de monitoramento) e dos resultados eefeitos almejados (indicadores de avaliação).

Como atividade de monitoramento oude avaliação, é importante analisar os indi-cadores de resultados a partir dosindicadores de esforços e recursos alocados,o que permite o dimensionamento da efi-ciência dos programas. O emprego da Aná-lise Envoltória de Dados (DEA) poderepresentar grande avanço metodológiconesse sentido (LINS; MEZA, 2000). A DEAé uma técnica derivada dos métodos depesquisa operacional que visa à identificaçãodas unidades de operação mais eficientes,tendo em vista como os recursos (retratadospor vários indicadores de insumo) são utili-zados para gerar os resultados finais (me-didos por diversos indicadores-resultados),considerando as condições estruturais deoperação dos programas. Determinadosprogramas implementados em regiões maispobres, poderão não ter resultados tãopromissores como em outras mais desen-volvidas. Assim, é preciso avaliar a eficiên-cia dos programas em função não apenasem relação ao resultado obtido e à quanti-dade de recursos alocados, mas conside-rando as dificuldades ou potencialidades

existentes na região em que os programasestão funcionando. O que torna essa técnicaparticularmente interessante de ser aplicadaé que se podem considerar os recursos eresultados como vetores de indicadores emsuas escalas originais e não como variáveisrepresentando valores monetários de custose benefícios.

Como ilustra a Figura 6, um progra-ma de saúde deve ser avaliado em relaçãoaos diversos resultados que produz emtermos de redução das taxas de mortali-dade e morbidade, a partir dos recursosalocados (médicos por mil habitantes) eserviços de saúde prestados (consultasatendidas), considerando as condiçõesestruturais de vida existentes em cada localde sua implementação (indicadores derenda e infra-estrutura de saneamento). Pelatécnica é possível identificar as “boas prá-ticas” ou benchmarks reais, isto é, unidadesde implementação do programa em queos resultados são, de fato, compatíveis como nível de esforço empreendido e derecursos gastos.

Os indicadores de desembolso derecursos e produtos colocados à dispo-sição da população – construídos a partirde registros próprios da sistemática decontrole e gerenciamento dos programas– podem permitir uma avaliação indiretada eficácia dos programas no alcance dasmetas estabelecidas, quando as estatísticaspúblicas ou os dados administrativos deministérios e secretarias estaduais não foremmais específicos e periódicos na escalaterritorial desejada. Na falta de pesquisasamostrais regulares que contemplemtemáticas relativas , por exemplo, aoconsumo de produtos culturais e aoshábitos de lazer – ainda não incorporadasna agenda político-social nacional de formaimperativa –, a eficácia de programas naárea, como os de fomento à leitura, terá



RSP

156

âmbito dele possam ser imediatamenteimpactantes sobre a sociedade. Programasde transferência de renda ou de distribuiçãode leite ou cestas básicas em periferias degrandes cidades do Sudeste proporcionamimpactos sociais comparativamente menosintensos e rápidos que programas de inves-timento em saneamento básico, por exem-plo, no que diz respeito às condições demortalidade infantil. Contudo, ao longo dotempo, a transferência de renda ou adistribuição de produtos estará contri-buindo para a melhoria da nutrição decrianças, garantindo ganhos adicionais contraa mortalidade infantil, assim como, mais amédio prazo, para a melhoria do seudesempenho escolar. Esse exemplo revela,pois, a dificuldade de se atribuírem osefeitos de programas específicos sobre asmudanças estruturais das condições sociais,dificuldade que, paradoxalmente, cresce àmedida que tais transformações – e os im-pactos – tendem a se tornar mais evidentes.A dificuldade é ainda maior quando seobservam problemas de descontinuidadese de implementação nos programaspúblicos.

de ser inferida a partir dos produtosprevistos na ações desencadeadas, comoo volume de livros distribuídos às escolase bibliotecas. Nesse caso, indicadores deresultados mais válidos para avaliar aeficiência do programa, como númeromédio de livros lidos no último ano, porexemplo, são apenas ocasionalmentelevantados pelo IBGE ou pela CâmaraBrasileira do Livro.

Outra demanda no ciclo de programas,em particular na etapa de avaliação, é a iden-tificação dos seus impactos. Para tanto,devem-se empregar indicadores de diferen-tes naturezas e propriedades, de forma aconseguir garantir tanto quanto possível avinculação das ações do programa com asmudanças percebidas, ou não, nas condi-ções de vida da população, tarefa sempredifícil de ser realizada (ROCHE, 2002). Emprimeiro lugar, a menos que a realidadesocial vivenciada antes do início doprograma (marco zero) fosse muito trágica,ou que o programa tenha recebido recursosmuito expressivos para serem gastos emcurto espaço de tempo, não se pode esperarque os produtos e resultados gerados no

Figura 6: Aplicação da Análise Envoltória de Dados na avaliação de programas em saúde

RSP



De modo a perceber mais claramenteos impactos dos programas, deve-se buscarmedidas e indicadores mais específicos e sen-síveis aos efeitos por eles gerados. Uma dasformas de se operacionalizar isso é avaliandoefeitos sobre grupos específicos da popu-lação, seja em termos de renda, idade, raça,sexo ou localização espacial. Se os programastêm públicos-alvo preferenciais, localizadosem determinadas regiões ou estratos de renda,deve-se não só buscar indicadores de impactoque privilegiem a sua avaliação do conjuntoda população, que pode estar, inclusive, sobo risco de efeitos estruturais mais gerais (quepodem não afetar o público-alvo na mesmaintensidade), mas também desenvolverestratégias metodológicas avaliativas denatureza qualitativa, com pesquisas de opiniãoou grupos de discussão, incorporando indi-cadores subjetivos na avaliação. Nesse senti-do, os impactos podem ser avaliados em umaperspectiva mais restrita ou mais ampla, con-siderando o tamanho da população afetada,o espaço de tempo considerado para areferência dos indicadores e a natureza maisobjetiva ou subjetiva dos impactos percebidospela população.

Considerações finais

Uma das grandes dificuldades atuaisno acompanhamento de programaspúblicos é dispor de informações perió-dicas e específicas acerca do processo desua implementação e do alcance dosresultados e do impacto social que taisprogramas estão tendo nos segmentossociodemográficos ou nas comunidadesfocalizadas por eles. Seja da perspectiva daavaliação formativa, isto é, aquela com ospropósitos de acompanhar e monitorar aimplementação de programas, a fim deverificar se os rumos traçados estão sendoseguidos e permitir intervenções corretivas,

seja da perspectiva da avaliação somativa,isto é, aquela mais ao final do processo deimplementação, com propósitos maisamplos e meritórios (CANO, 2002), o gestorde programas sociais defronta-se com adificuldade de obter dados válidos, espe-cíficos e regulares para seus propósitos.

Se é fato que as informações produ-zidas pelas agências estatísticas são, em boamedida, pouco específicas para os propó-sitos de monitoramento de programas, nãoprovendo informação na escala territorialdesejada ou na regularidade necessária, étambém verdade que elas podem-seprestar à elaboração de diagnósticos bas-tante detalhados em escopo e escala, comono caso das informações provenientes doscensos demográf icos. As informaçõesproduzidas no âmbito dos processosadministrativos dos ministérios e dassecretarias estaduais e municipais podemtambém suprir boa parte da demanda dedados para a construção de indicadoresperiódicos de monitoramento, requerendo,contudo, algum “retrabalho” de “custo-mização” em função das necessidades dedelimitação territorial dos programas, desdeque exista um código de localização daescola, do posto de saúde, da delegacia, etc.

De qualquer forma, as estatísticas e osdados do IBGE e de outros órgãos públicosdificilmente atenderão todas as necessida-des informacionais requeridas para omonitoramento e a avaliação de programaspúblicos mais específicos. Assim, é necessá-rio, quando da formulação desses progra-mas, prever a organização de procedimen-tos de coleta e tratamento de informaçõesespecíficas e confiáveis em todas as fasesdo ciclo de implementação, que possampermitir a construção dos indicadores demonitoramento desejados.

(Ar tigo recebido em maio de 2005. Versãodefinitiva em junho de 2005)



RSP

158

Notas

* Texto submetido à editoria da Revista do Serviço Público em que se procura compilar ereorganizar idéias expostas em três oportunidades anteriores (Jannuzzi , 2001, 2002. Guimarães;Jannuzzi, 2004), a partir das experiências de capacitação de técnicos de ONGs e gestores do setorpúblico nos cursos de extensão de “Indicadores Sociais e Políticas Públicas”, desenvolvidos noâmbito do convênio ENCE/IBGE e Fundação FORD, e nos cursos de formação da Escola Nacio-nal de Administração Pública ao longo de 2003 e 2004.

1 Dada a inexistência e desorganização dos cadastros nos municípios brasileiros, os censosdemográficos acabam levantando um conjunto muito amplo de informações, o que o torna aindamais custoso e complexo.

2 De fato, é o que o Índice Paulista de Vulnerabilidade Social – calculado por setor censitário –permite constatar (vide em: www.seade.gov.br).

3 Vale observar, contudo, que os setores censitários apresentam variabilidade significativa emtermos de quantitativos populacionais pelos municípios brasileiros.

Referências bibliográficas

CANO, I. Avaliação de programas sociais . Rio de Janeiro: FGV, 2002.CARLEY, Michael. Indicadores sociais: teoria e prática. Rio de Janeiro: Zahar, 1985.COSTA, F.L.; CASTANHAR, J. C. Avaliação de programas públicos: desafios conceituais emetodológicos. Revista Brasileira de Administração Pública, Rio de Janeiro, v. 37, n.5, p.:969-992, 2003.COHEN, E.; FRANCO, R. Avaliação de projetos sociais. Petrópolis: Vozes, 2000.ENSSLIN, Leonardo et al. Apoio à decisão: metodologias para estruturação de problemas eavaliação multicritério de alternativas . Florianópolis, SC: Insular, 2001. v. 1. 296 p.GARCIA, R.C. Subsídios para organizar avaliações da ação governamental. Planejamento ePolíticas Públicas, Brasília, v. 23, n. 7, p. 70, 2001.GUIMARÃES, J. R. S.; JANNUZZI, P. M. IDH, indicadores sintéticos e suas aplicações empolíticas públicas: uma análise crítica. In: ENCONTRO NACIONAL DE ESTUDOS POPULACIONAIS,14. Anais... Caxambu, 2004.IBGE. Indicadores sociais municipais. Rio de Janeiro: 2002.JANNUZZI , P. M. Indicadores sociais no Brasil: conceitos, fonte de dados e aplicações. Cam-pinas: Alínea, 2001.___________ . Considerações sobre o uso, mau uso e abuso dos indicadores sociaisna formulação e avaliação de políticas públicas municipais. Revista de Administração Pública ,Rio de Janeiro, v. 36, n. 1, p. 51-72, jan./fev. 2002.LINS, M.E; MEZA, L. A. Análise envoltória de dados e perspectivas de integração no ambiente deapoio à decisão. Rio de Janeiro: COPPE/UFRJ, 2000.

RSP



MARTINE, G.; CARVALHO, J. A. M.; ÁRIAS, A. R. Mudanças recentes no padrão demográficobrasileiro e implicações para a agenda social . Brasília, IPEA, 1994. (Texto para Discussão n.345)MILES, I. Social indicators for human development. New York: St. Martin´s Press, 1985.NAÇÕES UNIDAS. Handbook of social indicators. Nova York: 1988.OMS. Catalogue of health indicators . Genebra: 1996.ROCHA, S. Pobreza: do que se trata afinal. Rio de Janeiro: FGV, 2003.ROCHE, C. Avaliação de impacto dos trabalhos de ONGs. São Paulo: Cortez, 2002.RYTEN, J. Should there be a human development index? Statistique, Développement et Droitsde l´Homme Seminar, Montreaux, Setembre, 2000.SEADE. Monitoração de prioridades de desenvolvimento com equidade social. In:KEINERT, Tânia; KARRUZ, Ana Paula (Orgs.). Qualidade de vida: observatórios, experiênciase metodologias. São Paulo: Annablume; Fapesp, 2002.



RSP

160

Resumo - Resumen - Abstract

Indicadores para diagnóstico, monitoramento e avaliação de programas sociais no BrasilPaulo de Mar tino Jannuzz iO objetivo do texto é discutir as potencialidades e limitações do uso das informações estatísticas

produzidas pelo IBGE e os registros administrativos de órgãos públicos para a construção deindicadores para diagnóstico, monitoramento e avaliação de programas sociais no Brasil. Inicia-secom uma apresentação sobre os aspectos conceituais básicos acerca dos indicadores sociais, suaspropriedades e formas de c lassificação. Depois, discute-se uma proposta de estruturação de umsistema de indicadores para subsidiar o processo de formulação e avaliação de políticas e programaspúblicos no País. Conclui-se o texto advogando-se a necessidade de estruturar sistemas de indicado-res que se apóiem na busca de informações já existentes em fontes secundárias e na produção dedados no âmbito dos próprios programas.

Palavras-chave: indicadores, monitoramento, políticas sociais

Los indicadores para formulación y evaluación de programas sociales en Brasil

Paulo de Mar tino Jannuzz iEl artículo discute las potencialidades y las limitaciones del uso de la información estadística

producida por el IBGE y los registros administrativos de las agencias públicas para la construcción delos indicadores para la diagnosis, seguimiento y evaluación de programas sociales en Brasil. Comienzapresentando la base conceptual referente a los indicadores sociales, sus características y los sistemas declasificación. Después, presenta un marco del sistema de indicadores para subsidiar el proceso deformulación y evaluación de programas públicos. El artículo concluye proponiendo la necesidad deconstruir sistemas de indicadores basados en fuentes secundarias de datos y también en los datosprimarios recogidos en las etapas de los programas.

Palabras c lave: indicadores, monitoreo, políticas sociales

Indicators for social policy making and evaluation in BrazilPaulo de Mar tino Jannuzz iThe paper discusses the potentialities and limitations of the use of statistical information

produced by the IBGE and the administrative registers of public agencies for the construction ofindicators to be used in the diagnosis, monitoring and evaluation of social programs in Brazil. Itbegins by presenting the conceptual basis for understanding the social indicators, their propertiesand classification systems. It then outlines a framework of a system of indicators to support theprocess of formulation and evaluation of public programs. The paper concludes by advocating theneed to structure systems of indicators based on secondary sources of data and also on primary datacollected in the scope of the programs.

Key words: indicators, monitoring, social policies

Paulo de Martino JannuzziAssessor da Diretoria Executiva do SEADE, professor da ENCE/IBGE, pesquisador CNPq noprojeto de pesquisa “Informação estatística no ciclo de formulação, monitoramento e avaliação depolíticas públicas no Brasil”, com recursos do CNPq (Proc. 307101/2004-5). Contato:[email protected]

Paulo de Martino Jannuzzi RSP Indicadores para diagnóstico...

Documents

Transcript of Paulo de Martino Jannuzzi RSP Indicadores para diagnóstico...