SEADE

AVALIAÇÕES DE POLÍTICAS PÚBLICAS E AS INSTITUIÇÕES

PRODUTORAS DE ESTATÍSTICAS

no 36, mar. 2016

Autor deste númeroOsvaldo Guizzardi Filho, Assessor técnico da Diretoria de Análise e Disseminação de Informações da Fundação Seade.Coordenação e ediçãoEdney Cielici Dias

ISSN 2317-9953

Diretora ExecutivaMaria Helena Guimarães de Castro

Diretora-adjunta Administrativa e FinanceiraMarcia Jungmann Cardoso Nogueira(respondendo pelo expediente)

Diretor-adjunto de Análise e Disseminação de InformaçõesEdney Cielici Dias

Diretora-adjunta de Metodologia e Produção de DadosMargareth Izumi Watanabe

Corpo editorial

Maria Helena Guimarães de Castro;

Haroldo da Gama Torres;

Margareth Izumi Watanabe;

Edney Cielici Dias e

Osvaldo Guizzardi Filho

Assistente de edição

Cássia Chrispiniano Adduci

SEADEFundação Sistema Estadual de Análise de Dados

Av. Prof. Lineu Prestes, 913 – Cidade Universitária – 05508-000 – São Paulo SPFone (11) 3324.7200 Fax (11) 3324.7324

www.seade.gov.br / sicseade@seade.gov.br / ouvidoria@seade.gov.br

apresentação

PESQUISAS INSERIDAS NO DEBATE PÚBLICOO Seade é uma instituição que remonta ao século 19, com o surgi-

mento da Repartição da Estatística e do Arquivo do Estado, em 1892. Ao longo de mais de um século, tem contribuído para o conhecimento do Es-tado por meio de estatísticas, com um conjunto amplo de pesquisas sobre diversos aspectos da sociedade e do território de São Paulo. Levar parte importante desse volume de informação e suas interconexões ao público é,

por sua vez, uma tarefa tão relevante quanto desafiadora.O Projeto Primeira Análise visa divulgar parte do universo de conheci-

mento da instituição, ao dialogar com temas de interesse social. Os artigos que compõem o projeto procuram sinalizar de forma concisa tendências e apresentar uma análise preliminar do tema tratado. Trata-se de texto au-toral, de caráter analítico e científico, com aval de qualidade do Seade.

Os textos são destinados a um público formado por gestores públi-cos, ao oferecer informação qualificada e de fácil compreensão; ao meio acadêmico e de pesquisa aplicada, por meio de abordagem analítica pre-liminar de temas de interesse científico; e para a mídia em geral, ao suscitar pautas sobre questões relevantes para a sociedade.

Os artigos do projeto têm periodicidade mensal e estão disponíveis na página do Seade na Internet. Os temas englobam aspectos econômicos, sociais e de interesse geral, abordados em perspectiva de auxiliar na formu-lação de políticas públicas.

Desta forma, o Seade mais uma vez se reafirma como uma instituição ímpar no fornecimento de informações de importância para o conhecimen-to do Estado de São Paulo e para a formulação de suas políticas públicas.

Maria Helena Guimarães de Castro

1a Análise Seade, no 36, mar. 2016 4

RESUMO: Cada vez mais exige-se que os resultados alcançados pe-

las políticas públicas sejam continuamente avaliados, para que se

faça um uso mais racional dos recursos arrecadados pelo poder

público. A produção dessas avaliações requer dois insumos básicos:

conhecimento sobre as áreas objeto de intervenção e informações

que deem suporte para sua realização. Nesse quadro, as agências

produtoras de estatística, dada a natureza do seu trabalho, têm

papel fundamental, seja apoiando a execução das avaliações, seja

realizando-as diretamente.

SUMÁRIO EXECUTIVO

• De forma crescente, os cidadãos vêm exigindo que os governos prestem contas sobre os resultados obtidos com base nos recursos arrecadados e nos gastos realizados.

• A avaliação constante dos resultados de programas públicos torna--se um requisito imprescindível para que se sejam alcançadas me-lhorias nos serviços prestados à população.

• A avaliação desses resultados e a tomada de decisões sobre os ajustes necessários aos programas requerem conhecimento apro-fundado sobre as áreas que são objeto de suas intervenções, bem como produção e organização de dados, indicadores e de outras informações, além da elaboração de pesquisas e estudos.

• As instituições produtoras de estatísticas, dadas as características dos trabalhos que realizam e o conhecimento multitemático de suas equipes, reúnem os requisitos para operar em três frentes,

AVALIAÇÕES DE POLÍTICAS PÚBLICAS E AS INSTITUIÇÕES PRODUTORAS DE ESTATÍSTICAS

1a Análise Seade, no 36, mar. 2016 5

todas elas essenciais para o bom andamento das avaliações: na produção de dados e indicadores; na própria realização das avalia-ções; e no apoio técnico às instituições de governo para geração, organização, processamento e disponibilização das informações necessárias para as avaliações.

INTRODUÇÃO

Os governos vêm sendo confrontados, de modo cada vez mais frequente,

com exigências legítimas por parte dos cidadãos para que sejam obtidos

crescentes e melhores resultados para os recursos arrecadados e os gastos

realizados.

A consolidação das democracias, o acesso à educação e a difusão das

tecnologias de informação e comunicação têm tido papel relevante nesse

processo, fazendo com que os governos sejam cada vez mais compelidos a

dar transparência aos seus atos e demonstrar os reais benefícios resultantes

de suas despesas.

A insatisfação gerada pelo entendimento de que os resultados po-

deriam ser potencializados por meio de uma alocação mais racional e de

maiores eficiência e eficácia na realização dos gastos das diferentes esferas

de governo tem levado a crescentes manifestações públicas, como as ob-

servadas recentemente no Brasil. Por outro lado, as restrições financeiras a

que os governos são frequentemente submetidos e a necessidade de buscar

equilíbrio nas contas públicas são outros fatores que pressionam na procura

de melhoria da qualidade de seus gastos e dos resultados dos programas

desenvolvidos.

Nesse quadro, a gestão das políticas e programas públicos com o

acompanhamento e avaliação contínuos de seus resultados é imprescindí-

vel, possibilitando, por exemplo, correções de trajetória que podem implicar

a revisão dos objetivos inicialmente propostos e dos instrumentos definidos

para alcançá-los, de forma a que se obtenham melhorias nos benefícios

oferecidos para a população ou mesmo a extinção de programas.

Avaliar os resultados de políticas e programas públicos significa ir mui-

to além do controle dos recursos a eles direcionados e dos produtos e servi-

ços ofertados para a população. A produção e disponibilização de sementes

melhoradas, por exemplo, não necessariamente significarão a melhoria da

produtividade, caso os agricultores não estejam qualificados para atentar

para questões como a necessidade de análise e correção do solo e de tratos

adequados durante o ciclo de produção.

1a Análise Seade, no 36, mar. 2016 6

A avaliação se torna particularmente relevante num cenário em que

os orçamentos públicos, muitas vezes, reproduzem, ano a ano e de forma

inercial, a mesma estrutura de programas, sem a verificação, por exem-

plo, de mudanças na composição e na dimensão de seus públicos-alvo e

dos reais efeitos para esse público, levando em conta os objetivos definidos

inicialmente.

No Brasil, a prática da avaliação de políticas e programas públicos é

recente, tendo crescido com o avanço das políticas sociais propiciado pela

Constituição de 1988 e com as demandas feitas pelas agências internacio-

nais de fomento, como o Banco Mundial, que vinculam o financiamento de

programas à realização dessas avaliações.

O desenvolvimento dessas políticas e programas se dá em um ambien-

te complexo, que requer a contínua tomada de decisões sobre a alocação de

recursos muitas vezes insuficientes para o atendimento das demandas colo-

cadas pelos diferentes segmentos da população. Também é exigida, muitas

vezes, a articulação de diferentes agentes e recursos para a consecução dos

objetivos. O programa Família Paulista,1 que busca enfrentar as múltiplas

privações das famílias em situação de extrema pobreza e promover o desen-

volvimento social, é um bom exemplo disso, envolvendo diferentes órgãos

e entidades da administração estadual e de municípios que dele participam.

O PAPEL DAS INSTITUIÇÕES PRODUTORAS DE ESTATÍSTICAS

A avaliação dos resultados desses programas e a tomada de decisões so-

bre os ajustes a que precisam ser submetidos ao longo do tempo, quando

necessários, só podem acontecer a contento se forem apoiadas em conhe-

cimento aprofundado sobre as áreas que são objeto de suas intervenções

e por um trabalho contínuo de produção, levantamento e organização de

dados e indicadores, além da elaboração de pesquisas e estudos.

Nesse contexto, as características da produção das agências de es-

tatísticas e os requisitos por ela exigidos fazem com que essas instituições

reúnam as condições necessárias para operar em três vertentes: na pro-

dução de dados e indicadores, sua principal atribuição; na realização das

avaliações; e no apoio técnico às diferentes instituições de governo para a

geração, organização, processamento e disponibilização das informações

que as avaliações demandam.

1 Decreto nº 61.675, de 02 de dezembro de 2015.

1a Análise Seade, no 36, mar. 2016 7

As estatísticas são um insumo estratégico para a realização das avalia-

ções, como apontam Molinas Vega e Medina Giopp (2006, p. 1):

No hay possibilidad de tener sistemas eficientes de monitoria y evaluación de resultados de la gestión pública sin confiables y oportunos sistemas nacionales de producción y difusión estadística. Tampoco resulta relevante contar con una oferta estadística de calidad sin un sistema de diseño, mo-nitoria y evaluación que permita a los usuarios tomar decisiones con base a la evidencia.

No que se refere à questão do conhecimento necessário para reali-

zação das avaliações, um dos principais atributos das diferentes pesquisas,

levantamentos e estudos que essas agências realizam regularmente é seu

caráter multitemático. Os dados, indicadores e análises que elas produzem

devem representar e interpretar, de forma adequada, as diversas dimensões

da realidade socioeconômica das regiões a que se dedicam. Isso exige que

suas equipes sejam compostas por pesquisadores com formação multidis-

ciplinar, competência nas diversas áreas que constituem seus objetos de

estudo e que possam atender aos requisitos colocados ao longo de seu

processo de trabalho.

Essas equipes incluem profissionais que se dedicam a um amplo leque

de atividades, compreendendo, por exemplo, a definição da população que

será objeto de estudo, da amostra que será pesquisada, das perguntas e

dos questionários que serão aplicados e das classificações que serão utili-

zadas para enquadrar os indivíduos pesquisados. Outros técnicos aplicarão

esses questionários, registrando as respostas de cada um dos indivíduos

entrevistados.

Essas primeiras anotações relativas a cada indivíduo, quando são dis-

ponibilizadas na base que contém os resultados da pesquisa, recebem o

nome de microdados. A partir do agrupamento dessas primeiras inscrições,

de acordo com características previamente determinadas, e de sua conta-

gem é que são gerados os dados estatísticos, unidades de informação em

bruto constituídas pelos números referentes a conjuntos de indivíduos agru-

pados, segundo determinadas características.

Numa fase seguinte, esses dados são relacionados com outros, geran-

do os indicadores, definidos por Jannuzzi (2001, p. 15) como

[...] uma medida em geral quantitativa dotada de significado social subs-tantivo, usado para substituir, quantificar ou operacionalizar um conceito social abstrato, de interesse teórico (para pesquisa acadêmica) ou progra-mático (para formulação de políticas). É um recurso metodológico, empiri-

1a Análise Seade, no 36, mar. 2016 8

camente referido, que informa algo sobre um aspecto da realidade social ou sobre mudanças que estão se processando na mesma.

Outros técnicos se dedicarão à análise e produção de estudos baseados

nesses dados e indicadores e à sua organização e disponibilização para os

diferentes públicos que podem fazer uso dessas informações.

O que se faz ao longo desse caminho, desde o momento em que se

estabelecem as questões que constarão do questionário de uma pesquisa e

as categorias que serão associadas aos elementos por ela coletados, até a

definição de determinado indicador, é estabelecer recortes que, sucessiva-

mente, procuram simplificar o objeto de estudo, normalmente complexo,

com a finalidade de facilitar sua compreensão.

Contar com essas expertises não significa, necessariamente, que tais

instituições tenham o domínio do conhecimento sobre todos os aspectos

das áreas temáticas envolvidas nas avaliações de programas públicos, mas as

qualifica como centros capazes de arregimentar e dialogar com especialistas

com condições de realizá-las e gerenciar o desenvolvimento de seus trabalhos.

A produção contínua e confiável de informações que deem suporte

às avaliações exige a garantia de pelo menos três dimensões associadas à

produção dessas instituições: a credibilidade, a estabilidade e a consistên-

cia. A credibilidade depende, diretamente, da qualidade técnica e científica

da produção de dados e indicadores e das atividades de levantamento e

organização de informações, revelada pelo rigor e pelos cuidados com os

procedimentos utilizados para sua produção e divulgação.

Essas características se manifestam, entre outros fatores: na definição

das metodologias das pesquisas e nos pressupostos que as sustentam; nos

cuidados com a delimitação e o controle da população e da amostra que

será utilizada para representá-la; no estabelecimento e observância das clas-

sificações utilizadas para expressar as dimensões da realidade socioeconô-

mica que são objeto de estudo; nos testes a que são submetidos os dados

para garantir que eles realmente espelhem os fenômenos sujeitos à mensu-

ração; na definição dos indicadores construídos com base nesses dados; e

nas análises dos resultados dos levantamentos.

A produção de estatísticas sobre mortalidade, por exemplo, requer a

identificação rigorosa das causas de morte associadas a cada um dos óbitos,

bem como do endereço de residência do falecido, para que o registro possa

ser associado ao município onde ele vivia, independentemente de onde te-

nha ocorrido o óbito. A questão do controle da residência também se aplica

às estatísticas sobre nascimentos.

1a Análise Seade, no 36, mar. 2016 9

A geração de dados sobre a produção industrial, por sua vez, exige,

entre outros cuidados, a verificação criteriosa da atividade informada para

cada uma das unidades locais de produção. Por exemplo, a atividade que

deve ser associada à produção de petróleo bruto e gás é “extração de petró-

leo e gás natural”, uma divisão da indústria extrativa, e não “fabricação de

coque, de produtos derivados do petróleo e de biocombustíveis”, segmento

pertencente à indústria de transformação.2 A falta de rigor com esse tipo de

associação pode distorcer a informação sobre o valor produzido por deter-

minado ramo, quando a unidade com esse tipo de problema for de porte

considerável, ou levar a equívocos na avaliação da estrutura econômica do

município onde ela esteja localizada.

A estabilidade, por sua vez, deve garantir que a produção de informa-

ções aconteça com base em procedimentos que não mudem com frequên-

cia ao longo do tempo. As metodologias associadas às pesquisas expressam

recortes do mundo, dependentes de elementos como o momento histórico,

o conhecimento e a formação do que as define e o contexto institucional

em que operam. O que não pode ocorrer é que elas mudem constantemen-

te, produzindo resultados que dificultam o conhecimento de processos que

se desenvolvem em períodos mais longos.

Um exemplo de estabilidade é o Sistema de Contas Nacionais, de res-

ponsabilidade do IBGE, que produz indicadores como o Produto Interno

Bruto e a Formação Bruta de Capital Fixo. A última mudança no ano de

referência desse sistema, que implicou alteração na classificação de ativida-

des e/ou produtos e incorporação de informações de novas fontes de dados

ou pesquisas, refere-se a 2010. A anterior tinha como referência o ano de

2000.

Já a consistência das informações está diretamente vinculada aos pro-

cessos de controle e verificação dos dados levantados, sejam eles oriundos

de pesquisas primárias ou de registros administrativos, de modo a assegurar

sua qualidade. Um exemplo desses procedimentos de consistência é a cha-

mada crítica de agregados, que pode ser realizada por meio da comparação

do valor de uma variável captada por uma pesquisa com a série histórica dis-

ponível para essa mesma variável. Caso seja detectado um comportamento

anômalo nessa comparação, procura-se verificar se ele não foi provocado

por algum problema em seu levantamento.

2 Classificação Nacional de Atividades Econômicas – CNAE 2.0. Disponível em: <http://cnae.ibge.gov.br/?view=secao&tipo=cnae&versaosubclasse=9&versaoclasse=7&secao=C>.

1a Análise Seade, no 36, mar. 2016 10

Todos esses cuidados exigidos para a garantia da qualidade da produ-

ção de estatísticas também devem ser levados em conta quando se utilizam

os registros administrativos, que são fontes importantes de informações para

avaliação e acompanhamento de programas públicos. Normalmente, os

registros administrativos são gerados com a finalidade de permitir a gestão

desses programas ou a fiscalização e o controle do cumprimento de obriga-

ções legais. Os cadastros de beneficiários de determinado programa ou dos

contribuintes de um imposto, o registro das matrículas em certo nível de

ensino ou o número de vacinas aplicadas são exemplos de registros desse tipo.

Como o objetivo final dos registros administrativos é o controle e não

a geração sistemática de estatísticas, não necessariamente são observados,

de forma rigorosa, os conceitos e as classificações a eles associados, sua

cobertura, levando em conta a população-alvo de determinado programa, a

periodicidade e a qualidade dos dados levantados.

Por outro lado, nem sempre os sistemas desenvolvidos para dar su-

porte a esses registros – quando existem – agregam funcionalidades básicas

como a geração de relatórios gerenciais que organizem e apresentem infor-

mações necessárias para o acompanhamento e a avaliação dos programas.

Aqui, novamente, as agências produtoras de estatística podem cumprir pa-

pel relevante, apoiando tecnicamente as instituições públicas na produção

de seus registros, na organização de suas bases de dados e na geração de

indicadores, de forma que se possa contar com informações regulares, con-

fiáveis e disponíveis para a avaliação de programas públicos.

CONSIDERAÇÕES FINAIS

Num ambiente em que a informação circula com cada vez maior velocidade,

em que as tecnologias de comunicação conectam as pessoas em tempo

real, estejam elas onde estiverem, e em que as diferentes práticas de gover-

no – bem ou mal sucedidas – são o tempo todo evidenciadas e discutidas, as

demandas por respostas do poder público sobre os efetivos resultados dos

gastos realizados tendem a se tornar cada vez mais frequentes e incisivas.

Nesse contexto, é de se esperar que as avaliações de políticas públicas

ganhem crescente relevância, contribuindo para o avanço da racionalidade

na aplicação dos recursos que os governos recolhem dos contribuintes.

Realizar tais avaliações requer a construção constante e ágil de uma

matriz complexa de informações e de conhecimentos que lhes deem supor-

te, sem o que elas podem não alcançar seus objetivos, ou seja, apontar se

1a Análise Seade, no 36, mar. 2016 11

os resultados planejados para determinado programa estão sendo de fato

atingidos e, se não, quais os ajustes exigidos para que isso aconteça.

Sem dúvida, as agências produtoras de estatística, considerando-se a

natureza e a diversidade das pesquisas e estudos que elas produzem e as

exigências colocadas para que sejam realizadas a contento, podem contri-

buir ativa e decisivamente para a realização a bom termo dessas avaliações.

REFERÊNCIAS

BANCO MUNDIAL Avaliação de impacto na prática. Washington D.C., 2015. Dis-ponível em: <https://openknowledge.worldbank.org/bitstream/handle/10986/2550/ 9781464800887.pdf?sequence=19&isAllowed=y>. Acesso em: 06 jan. 2016.

BELLUZZO, L.; CAMELO, R. Avaliação de programas públicos: um percurso na Fun-dação Seade. 1ª Análise, São Paulo, n. 23, fev. 2015. Disponível em: <http://www.seade.gov.br/wp-content/uploads/2015/03/Primeira_Analise_n23.pdf>. Acesso em: 13 jan. 2016.

BRASIL. Ministério do Desenvolvimento Social e Combate à Fome. Sagi–Informaçãoe conhecimento para políticas de desenvolvimento social. Brasília, 2015. Disponível em: <http://aplicacoes.mds.gov.br/sagirmps/ferramentas/docs/LIVRO_SAGI_BAIXA_FINAL.pdf>. Acesso em: 20 jan. 2016.

GUIZZARDI FILHO, O. A produção de estatísticas com base em registros adminis-trativos: controle e informação. São Paulo, 2004. 108p. Dissertação (Mestrado em Ciências da Comunicação) – Escola de Comunicações e Artes, Universidade de São Paulo – USP, São Paulo, 2004.

IBGE – Instituto Brasileiro de Geografia e Estatística. Implantação da série do Sistema deContasNacionais–referência2010(versãoparainformaçãoecomentários): nota metodológica nº 01. Rio de Janeiro, 2015. Disponível em: <ftp://ftp.ibge.gov.br/Contas_Nacionais/Sistema_de_Contas_Nacionais/Notas_Metodologicas_2010/01_mudanca_de_base.pdf>. Acesso em: 27 jan. 2015.

JANNUZZI, P. M. Indicadores sociais no Brasil: conceitos, fontes de dados e aplica-ções. Campinas: Alínea, 2001.

MOLINAS VEJA, J.; MEDINA GIOPP, A. Las estrategias nacionales de desarrollo es-tadístico (ENDES) y los sistemas de monitoreo y evaluación (M&E): hacia estrategia integrada de modernización de la gestión pública. In: Conferencia Regional sobre Monitoreo y Evaluación, 2, maio, 10-11, 2006, Washington: BID – BANCO MUN-DIAL, 2006. Disponível em: <http://siteresources.worldbank.org/EXTLACREGTOPPO-VANA/Resources/ENDESySistemasME.pdf>. Acesso em: 2 dez. 2015.

SCHWARTZMAN, S. Legitimidade, controvérsias e traduções em estatísticas públi-cas. Teoria & Sociedade, Belo Horizonte, v. 2, n. 1, p. 9-38, 1997.

1a Análise Seade, no 36, mar. 2016 12

SENRA, N. C. A coordenação da estatística nacional: o equilíbrio entre o desejável e o possível. Rio de Janeiro, RJ, 1998. 178p. Tese (Doutorado em Ciência da Informação) – Escola de Comunicação – ECO, Universidade Federal do Rio de Janeiro – UFRJ e Ins-tituto Brasileiro de Informação em Ciência e Tecnologia – IBICT, Conselho Nacional de Desenvolvimento Científico e Tecnológico – CNPq, Rio de Janeiro, 1998.

1a Análise Seade, no 36, mar. 2016 13

NOTA AOS COLABORADORES

Os artigos publicados pelo Primeira Análise devem ser relacionados

a pesquisas da Fundação Seade. As colaborações podem ser tanto

de integrantes da Fundação como de analistas externos.

A publicação não remunera os autores por trabalhos publicados.

A remessa dos originais para apreciação implica autorização para

publicação pela revista, embora não haja obrigação de publicação.

A editoria do boletim poderá contatar o autor para eventuais dúvidas

e/ou alterações nos originais, visando manter a homogeneidade e

a qualidade da publicação, bem como adequar o texto original ao

formato dos artigos do Primeira Análise – e para isso podem ser

realizadas reuniões de ajuste de conteúdo editorial com os autores.

É permitida sua reprodução total ou parcial, desde que seja citada

a fonte.

E-mail de contato: edneydias@seade.gov.br

NORMAS EDITORIAIS

O artigo deverá ser digitado em Word (fonte TIMES NEW ROMAN,

corpo 12), contendo no mínimo 15 e no máximo 30 páginas, em

espaço duplo.