Relatório do Evento

ÍNDICE

DADOS DO EVENTO .......................................................................................................... 2

TEXTO DE ABERTURA ........................................................................................................ 3

PROGRAMAÇÃO ............................................................................................................... 4

PALESTRAS ........................................................................................................................ 5

AVALIAÇÃO DO EVENTO PELOS PARTICIPANTES ............................................................ 11

EQUIPE ............................................................................................................................ 12

2

DADOS DO EVENTO

Data de realização: 5 e 6 de dezembro de 2011

Local: Auditório Romildo Bolzan – Tribunal de Contas do Estado do RS

Organização: Secretaria da Fazenda do RS, Fundação de Economia e Estatística, Secretaria de Planejamento, Gestão e Participação Cidadã e Tribunal de Contas do Estado do RS

Objetivos: Promover a discussão sobre o tema, gerar sinergia entre as instituições gaúchas e brasileiras e disseminar boas práticas

Número de participantes: 212

Número de palestras: 9

Informações:

Site: http://www.fee.tche.br/sitefee/pt/content/eventos/iv-seminario-de-avaliacao-de-politicas-publicas.php

Email: seminarioavaliacao@sefaz.rs.gov.br

Telefone: (51) 3214 5175 ou (51) 3214 5179

3

TEXTO DE ABERTURA

As demandas crescentes da sociedade, em situações de restrição orçamentária,

colocam o desafio de decidir onde e como melhor aplicar os recursos. Sendo o simples

corte linear uma lógica perversa, necessitam os gestores e formuladores de políticas,

de instrumentos precisos que embasem suas decisões alocativas. Sem eles, não se

vislumbrará, qual política e qual dispêndio trarão maior retorno à sociedade.

Portanto, avaliações realizadas através de uma metodologia precisa, e uma

adequada definição do público-alvo beneficiado, são o que determinará se realmente

estamos acertando na escolha das políticas publicas e melhor aplicando os recursos

disponíveis. Os resultados obtidos, mensurados com um bom sistema de indicadores, é

o que melhor deve monitorar o processo decisório, contribuindo para o

aperfeiçoamento da gestão pública, mediante formulações de recomendações de

melhoria.

É neste sentido que a Secretaria da Fazenda do Estado do Rio Grande do Sul

(SEFAZ), a Fundação de Economia e Estatística (FEE), a Secretaria de Planejamento,

Gestão e Participação Cidadã (SEPLAG) e o Tribunal de Contas do Estado do Rio Grande

do Sul (TCE-RS), realizam o IV Seminário de Avaliação de Políticas Públicas e Qualidade

do Gasto, nos dias 5 e 6 de dezembro de 2011.

4

PROGRAMAÇÃO

Segunda Temas Palestrantes

8:30 - 9:00 Credenciamento

9:00 - 10:00 Abertura: Secretaria da Fazenda, Secretaria do

Planejamento, Fundação de Economia e Estatística e Tribunal de Contas do Estado

Secretário SEFAZ, Secretário SEPLAG, Presidente FEE e

Presidente TCE

10:00 - 11:00 Monitoramento e Avaliação no mundo real: necessidades, dificuldades e potencialidades

Ariel Pares (Ministério do Meio Ambiente)

11:00 - 12:00 Instrumentos de Monitoramento e pesquisas de

avaliação no aprimoramento de programas sociais - A experiência da SAGI/MDS

Paulo de Martino Jannuzzi (Ministério do Desenvolvimento

Social e Combate à Fome)

12:00 - 14:00 Intervalo para almoço

14:00 - 15:00 Avaliação Ex-Ante: importâncias e

requisitos Ronaldo Coutinho Garcia (Instituto de

Pesquisa Econômica Aplicada)

15:00 - 16:00 Avaliação do Plano Plurianual:

Experiência Recente e Perspectivas Pedro Bertone Ataíde (Ministério do Planejamento, Orçamento e Gestão)

16:00 - 16:30 Coffee break

16:30 - 17:30 Desenho, tipos de políticas e a posição

ocupada pela avaliação Sonia Nahas de Carvalho (Fundação Sistema

Estadual de Análise de Dados - SP)

Terça Temas Palestrantes

9:30 - 10:30 Oferta, demanda e práticas recentes em M&A Marcia Joppert (Diretora-Geral da Agência Brasileira de Avaliação)

10:30 - 11:30 Eficiência e produtividade do setor público: o

caso da saúde Fabiana Rocha (Universidade de

São Paulo)

11:30 - 14:00 Intervalo para almoço

14:00 - 15:00 Análise do Investimento Público pelo

Tesouro Nacional Hailton Madureira de Almeida

(Secretaria do Tesouro Nacional)

15:00 - 16:00 Auditoria operacional: a quem interessa? Dagomar Henriques Lima (Tribunal de

Contas da União)

16:00 - 16:30 Mesa de Encerramento

16:30 - 17:30 Coquetel de Encerramento

5

PALESTRAS

Abertura

A abertura do evento contou com a presença dos líderes das instituições

responsáveis pela organização, o secretário da Fazenda do Estado do Rio Grande do

Sul (SEFAZ), Odir Alberto Pinheiro Tonollier, o presidente da Fundação de Economia e

Estatística (FEE), Adalmir Antonio Marquetti, o secretário de Planejamento, Gestão e

Participação Cidadã (SEPLAG), João Motta, e o Diretor Administrativo do Tribunal de

Contas do Estado do Rio Grande do Sul (TCE-RS), Tarcísio Francisco Dal Ri. Eles fizeram

a apresentação do tema Avaliação de Políticas Públicas e Qualidade do Gasto,

ressaltando sua importância e sua complexidade no âmbito específico das políticas

públicas.

Monitoramento e Avaliação no mundo real: necessidades, dificuldades e potencialidades

A primeira palestra foi proferida por Ariel Pares, do Ministério do Meio

Ambiente, que apresentou as principais questões envolvidas no contexto das

avaliações públicas no Brasil e no mundo. Ressaltou que são quatro os aspectos para

compreender os desafios do monitoramento e da qualidade do gasto: disciplina fiscal,

consolidação democrática, globalização e competitividade e sociedade da informação.

Quanto à experiência internacional comentou que houve forte incremento nos

últimos 20 anos, em vista das preocupações crescentes com a qualidade do gasto e a

produtividade do setor público. Em escala internacional, apontou o Canadá como

melhor referência em sistemas de Monitoramento e Avaliação (M&A), seguidos por

Austrália, Inglaterra, Chile e Espanha. Ele afirma que existem basicamente dois tipos de

diferentes de sistemas de avaliação: centralizado, caso do Brasil e que tem como bom

exemplo Chile; e descentralizado, que depende de rede de avaliadores externos

credenciados e mercado de avaliação forte, que é utilizado na Inglaterra. Sua análise

do caso brasileiro ofereceu perspectivas do ponto de vista da Oferta e da Demanda, e

mostrou os principais pontos de M&A dos últimos governos federais. Entre os desafios

para o desenvolvimento de tais práticas no Brasil, ressalta-se a escassez da prática de

tomada de decisão através de mecanismos especializados, permanecendo o caráter

discricionário e emergencial.

6

Instrumentos de Monitoramento e pesquisas de avaliação no aprimoramento de programas sociais - A experiência da SAGI/MDS

Em seguida, Paulo de Martino Jannuzzi, do Ministério do Desenvolvimento

Social e Combate à Fome, apresentou “Instrumentos de Monitoramento e pesquisas

de avaliação no aprimoramento de programas sociais - A experiência da SAGI/MDS”.

Ele destacou como obstáculos do avanço do Monitoramento e Avaliação no Brasil:

Ausência de cultura ou formação no assunto;

Resistência dos gestores à avaliação;

Confusão que é feita entre M&A e pesquisa acadêmica.

Também foram apontadas as principais finalidades de práticas de M&A:

Aprimoramento interno de programas;

Auxílio na gestão orçamentária;

Prestação de contas, para parlamentares e sociedade.

A abrangência da avaliação pode ser de três níveis:

Integralidade das ações do governo;

Apenas algumas áreas setoriais;

Conjunto seletivo de projetos prioritários.

Ele acredita que as avaliações devem ser ajustadas à maturidade, necessidades

e complexidade do programa, ressaltando que não existe um “padrão-ouro” de

técnicas avaliativas, mas sim uma gama eclética de metodologias.

Avaliação Ex-Ante: importâncias e requisitos

Ronaldo Coutinho Garcia, representante do Instituto de Pesquisa Econômica

Aplicada (IPEA), deu início às palestras do turno da tarde, discorrendo sobre avaliação

ex-ante no contexto do Plano Plurianual (PPA). O palestrante falou sobre conceituação

de qualidade do gasto, afirmando que a contenção de gastos fez com que a máquina

publica desaprendesse a gastar. Além disso, salientou que o PPA é uma programação

plurianual de despesa, que se orçamentalizou, em contradição a um princípio básico

do plano que é a seletividade, pois nenhum governo pode enfrentar todos os

problemas. Assim, o núcleo do PPA deveria ser o que o Governo se propõe a enfrentar,

e os demais, referente à manutenção das conquistas, deveriam estar em anexo.

7

Entre os aspectos abordados sobre avaliação ex-ante, foram destacados três

pontos principais:

A importância da avaliação;

Os requisitos para avaliação;

As possibilidades oferecidas para a gestão do PPA Federal.

Avaliação do Plano Plurianual: Experiência recente e perspectivas

Pedro Bertone Ataíde, do Ministério do Planejamento, Orçamento e Gestão,

deu seguimento ao tema do PPA, tratando sobre experiências recentes e perspectivas

da avaliação do Plano Plurianual. Ele cita as principais críticas dirigidas à avaliação de

políticas públicas em geral:

Burocracia;

Limite de uso prático de trabalhos acadêmicos na área;

Controle excessivo, com pouco resultado;

Resistência à responsabilização;

Divergência entre o tempo de avaliações e o das políticas;

Resultados da avaliação nem sempre contribuir com as metas;

Excesso de formalidade, que seriam um entrave para a utilidade das

avaliações.

O palestrante então detalha os PPAs executados a partir de 2000, suas

principais características e evoluções. Também é feita uma introdução ao PPA 2012-

2015, que está em apreciação pelo Congresso Nacional, quanto à sua estrutura e

conteúdo. Este PPA tem como uma das principais características o enxugamento de

programas, que teve seu número reduzido de 400 para 65 programas finalísticos,

dialogando com a estrutura de políticas públicas e expressam muito mais a

multisetorialidade.

Desenho de Políticas e Tipos de Avaliação

A palestrante Sonia Nahas de Carvalho, da Fundação Sistema Estadual de

Análise de Dados de São Paulo, apresentou “Desenho de Políticas e Tipos de

Avaliação”, onde foram discutidos os tópicos:

8

Agenda do governo;

Formação e gestão de políticas;

Tipologia, avaliação e processos de políticas públicas.

Ressaltou que entender políticas públicas pressupõe a noção de processo

requerendo revisões periódicas. A avaliação é parte do processo da política pública

ocorrendo ao longo dele. Assim, um dos principais insights de sua palestra é que a

avaliação não deve ser confundida com a etapa final do processo. Os agentes

continuamente interferem ao longo dos diversos estágios, representando um contínuo

de tomada de decisões. O ideal seria que a avaliação fosse feita sobre cada passo,

desde a formação da agenda, formulação, até a implementação das políticas e nos

impactos ou efeitos sociais decorrentes das ações públicas.

Oferta, demanda e práticas recentes em M&A

O segundo dia do evento iniciou com “Oferta, demanda e práticas recentes em

M&A”, palestra de Márcia Joppert, diretora geral da Agência Brasileira de Avaliação.

Ela apresentou os resultados de pesquisa efetuada sobre a oferta e demanda dos

serviços de Monitoramento e Avaliação do PPA União 2008/2011. A pesquisa englobou

diversos pontos, como:

Frequência;

Principais provedores, sendo universidades no setor público e

consultores individuais na esfera privada;

Temas;

Opinião sobre a qualidade, considerada em geral baixa;

Problemas metodológicos e técnicos mais recorrentes, como desenho

de projetos e busca por bons indicadores;

Grau de institucionalização, considerado inexistente, apesar de haver

tendência positiva.

A palestrante conclui que, mesmo com os avanços na área, ainda há pouca

demanda de M&A dos órgãos públicos, devido a fatores como a demora de

contratação em função de procedimentos burocráticos. Além disso, a oferta

acadêmica em M&A é escassa, com poucos cursos, e a qualidade de oferta foi

considerada regular. Além disso, existem déficits metodológicos e muitos problemas

técnicos a serem superados.

9

Algumas recomendações são listadas:

Maior número de literatura relacionada traduzida para o português;

Estimular pesquisas na área de M&A;

Criação de novos cursos;

Maior participação da sociedade;

Identificação de lideranças e formação de parcerias.

Eficiência e produtividade do setor público: o caso da saúde

A economista da Universidade de São Paulo Fabiana Rocha apresentou suas

pesquisas na área de saúde em “Eficiência e produtividade do setor público: o caso da

saúde”. O histórico brasileiro de financiamento no setor foi apresentado, e foi

ressaltado que o problema principal não é a falta de recursos, mas o seu amplo

desperdício, tornando de primeira ordem a necessidade de que todo o sistema

relacionado seja mais eficiente.

A importância da avaliação na área da saúde seria relacionada à mensuração do

desperdício, atendimento das demandas sem maior carga tributária, determinação das

fontes de ineficiência e aplicação de transferências de recursos para municípios mais

eficientes, através de prêmios para melhores desempenhos, por exemplo. A pesquisa

sobre a saúde feita pela palestrante usou como método a estimação de fronteiras de

produção, onde se estima a eficiência da prática efetiva em função de um nível ideal.

Seu trabalho conclui que os municípios pequenos foram os menos eficientes, devido

principalmente aos fatores de escala e demanda reduzida. Além disso, ela ressalta que

os bens e serviços públicos devem ser ofertados pelo nível de governo mais próximo

da população, pois está mais apto a responder aos incentivos de pressão da sociedade

e avaliar suas necessidades.

Análise Econômico-Fiscal de Projetos de Investimento Público

Hailton Madureira de Almeida, da Secretaria do Tesouro Nacional (STN),

ministrou a palestra “Análise Econômico-Fiscal de Projetos de Investimento Público”.

Ele ressaltou que o investimento é ideal para avaliação, pois é volátil, ao contrário de

outros custos. O PAC é mencionado como referência na gerência de investimentos.

Comentou que as diretrizes estratégicas da STN são criar condições para o equilíbrio

do resultado nominal e contribuir para aprimorar a qualidade do gasto público.

10

Auditoria operacional: a quem interessa?

“Auditoria operacional: a quem interessa?”, de Dagomar Henriques Lima, do

Tribunal de Contas da União, apresentou o status atual dessa natureza auditorial. Ele

ressalta que ela é regrada pela Constituição brasileira, e que vem passando por

mudanças devido à experiência internacional e novos termos. O caráter de atribuição

de responsabilidades do controle externo é importante, mas sua principal função seria

o aperfeiçoamento da gestão pública, além de estimular melhorias de desempenho e

desestimular não-conformidades. Entre os métodos de responsabilizar os agentes do

setor público estão modelos contratuais que premiem bons desempenhos ou modelos

administrativos, através de planos de metas a serem atingidas. Para ele, Auditoria

representa passos em direção a maior transparência, e não a punição, que só ocorre

em casos onde a lei é atingida. Entre as razões para a não consolidação da

responsabilização por desempenho estão:

Corrupção;

Influência do Poder Executivo sobre o Poder Legislativo;

Controle social fraco;

Ausência de previsão legal dos procedimentos;

Falta de cultura e de estrutura dos controles interno e externo.

Para atingir os objetivos da auditoria operacional, é importante que os

trabalhos executados sejam de qualidade e que se identifiquem os interessados, suas

necessidades, valores e expectativas. Ele cita como exemplo de sucesso a análise de

renda e outros indicativos correlacionados dos alunos do PROUNI, que obteve grande

repercussão na mídia e acarretou em mudanças legislativas concretas.

Mesa de Encerramento

Os participantes da mesa de encerramento formada por Ana Maria Severo,

SEFAZ, Álvaro Magalhães, SEPLAG, Renato Dal Maso, FEE, e Sandro Bergue, TCE-RS,

enalteceram a parceria institucional formada para a organização e realização do

Seminário. Parceria inédita que deve trazer frutos para o futuro, como

compartilhamento de trabalhos e conhecimento. Foram unânimes em já deixar uma

chamada para o V Seminário a ser realizado em 2012.

Por fim, agradeceram a comissão organizadora e, sobretudo, os participantes

do seminário, representantes dos mais diversos órgãos e entidades governamentais,

do controle social, além de pesquisadores e alunos de universidades.

11

AVALIAÇÃO DO EVENTO PELOS PARTICIPANTES

Atendimento das Expectativas

Item Superou Atendeu Não Atendeu Sem resposta

Palestras 32% 57% 3% 7%

Localização e instalações 49% 47% 0% 3%

Recep/Credenciamento 33% 64% 0% 3%

Organização 39% 56% 1% 4%

Divulgação 13% 82% 1% 3%

Inscrição 32% 62% 1% 5%

Evento - Geral 35% 52% 0% 13%

Divulgação – Como ficou sabendo do seminário

Canal Como ficou sabendo?

E-mail 47%

Internet 28%

Impressos 5%

Outros 11%

Sem resposta 8%

12

Secretaria da Fazenda do

Rio Grande do Sul

Andréa Silva da Cunha

Leonardo Maranhão Busatto

Leonidas Xausa Filho

Guilherme Petry

Sergio Ubirajara Amorim

Gabriele dos Anjos

Isabel Noemia Ruckert

Paulo Eduardo Panassol

Sandro Trescastro Bergue

EQUIPE

Alvaro Pontes de Magalhães Junior

Carla Giane Soares da Cunha

Carlos Eduardo Grings

Juliana Feliciati Hoffmann

Luciana Dal Forno Gianluppi