Sistemas de Monitoramento e Avaliação -...

27
Sistemas de Monitoramento e Avaliação: A Experiência do BNDES Seminário Internacional: Aperfeiçoando Políticas Públicas no Brasil a partir de Resultados: Desenvolvendo Competências e Sistemas de Monitoramento e Avaliação Cláudio Leal Superintendente da Área de Planejamento BNDES

Transcript of Sistemas de Monitoramento e Avaliação -...

Page 1: Sistemas de Monitoramento e Avaliação - C-MICROcmicro.fgv.br/sites/cmicro.fgv.br/files/arquivos/Claudio Leal.pdf · Auditoria operacional do TCU Primeiros Acordos de Cooperação

Sistemas de Monitoramento e Avaliação: A Experiência do BNDES

Seminário Internacional: Aperfeiçoando Políticas Públicas no Brasil a partir de Resultados:

Desenvolvendo Competências e Sistemas de Monitoramento e Avaliação

Cláudio Leal Superintendente da Área de Planejamento

BNDES

Page 2: Sistemas de Monitoramento e Avaliação - C-MICROcmicro.fgv.br/sites/cmicro.fgv.br/files/arquivos/Claudio Leal.pdf · Auditoria operacional do TCU Primeiros Acordos de Cooperação

Estrutura da apresentação

2

• O BNDES

• O Sistema de Monitoramento e Avaliação (SMA) do BNDES

• O Relatório de Efetividade

• Considerações finais

Page 3: Sistemas de Monitoramento e Avaliação - C-MICROcmicro.fgv.br/sites/cmicro.fgv.br/files/arquivos/Claudio Leal.pdf · Auditoria operacional do TCU Primeiros Acordos de Cooperação

Apoio Financeiro: amplo escopo para induzir investimentos e desenvolvimento inclusivo

Máquinas e Equipamentos

Capital de Giro e Microcrédito

Exportação e Inserção Internacional

Projetos de Investimento

Indústria e Infraestrutura

Inovação

Inclusão Social e Produtiva

Cartão BNDES

Apoio socioambiental,

cultural e esportivo

3

Page 4: Sistemas de Monitoramento e Avaliação - C-MICROcmicro.fgv.br/sites/cmicro.fgv.br/files/arquivos/Claudio Leal.pdf · Auditoria operacional do TCU Primeiros Acordos de Cooperação

Apoio a MPMEs: contribuição à inclusão produtiva

Desembolsos 2014 por porte das empresas e segmentos econômicos (R$ bilhões e %)

Exportação R$ 10,3 bi

5%

Adm Pública R$ 15,1 bi

8%

Infraestrutura R$ 42 bi

22%

MPMEs R$ 57,4 bi

48%

Grandes Empresas R$ 63,1 bi

52%

Indústria, Agropecuária,

Comércio e Serviços

R$ 120,5 bi 65%

MPMEs: relevantes para a geração de empregos

4

Page 5: Sistemas de Monitoramento e Avaliação - C-MICROcmicro.fgv.br/sites/cmicro.fgv.br/files/arquivos/Claudio Leal.pdf · Auditoria operacional do TCU Primeiros Acordos de Cooperação

Evolução do Monitoramento e Avaliação (M&A) no BNDES

Avaliações ex-ante (Quadros Lógicos)

Avaliação de impacto do Cartão BNDES

Unidade de M&A especializada

2010 2011 2012 2013 2014 2015

Início de preparo do Relatório de Efetividade

Aprofundamento de Acordos de Cooperação

Projeto Corporativo Efetividade

Auditoria operacional do TCU

Primeiros Acordos de Cooperação Técnica (avaliações externas)

Relatório de Efetividade

Transparência no site

Até 2009: impacto sobre emprego

Page 6: Sistemas de Monitoramento e Avaliação - C-MICROcmicro.fgv.br/sites/cmicro.fgv.br/files/arquivos/Claudio Leal.pdf · Auditoria operacional do TCU Primeiros Acordos de Cooperação

6

Objetivo do SMA do BNDES

Conjunto de atividades inerentes ao ciclo de gestão e produção das Políticas Públicas para...

Gerar conhecimentos sobre seus resultados (Aprendizado)

Orientar decisões sobre os rumos da atuação, mérito e relevância das políticas e programas (Aprendizado)

Prover informações sobre utilização de recursos públicos (Prestação de Contas)

Objetivo Final: Ações Mais Efetivas

Page 7: Sistemas de Monitoramento e Avaliação - C-MICROcmicro.fgv.br/sites/cmicro.fgv.br/files/arquivos/Claudio Leal.pdf · Auditoria operacional do TCU Primeiros Acordos de Cooperação

7

Compromisso Objetivos definidos

Ação/Produção Ações

desenvolvidas

Insumos Recursos alocados

Entregas Produtos e serviços

Efeitos Objetivos atingidos

Efetividade

Eficiência

Eficácia

Resultados +

Conceitos utilizados

Page 8: Sistemas de Monitoramento e Avaliação - C-MICROcmicro.fgv.br/sites/cmicro.fgv.br/files/arquivos/Claudio Leal.pdf · Auditoria operacional do TCU Primeiros Acordos de Cooperação

Monitoramento

Corporativo

Eficácia

Efetividade: indústria e

MPMEs

Instrumentos Financeiros

Programas

Fundos

Outros

Avaliação

Interna

AP

AO

AP +AO

Externa

Parceiros (via ACT)

Instituições contratadas

Mista

A estrutura do SMA

Ações de disseminação e utilização dos resultados das avaliações visando o aprendizado institucional.

Gestão do Conhecimento

Levantamento e análise sistemática de indicadores de eficácia e de

efetividade.

Estudos que visam a análise da extensão em que os objetivos da intervenção foram alcançados e

de suas causas.

Page 9: Sistemas de Monitoramento e Avaliação - C-MICROcmicro.fgv.br/sites/cmicro.fgv.br/files/arquivos/Claudio Leal.pdf · Auditoria operacional do TCU Primeiros Acordos de Cooperação

Relatório de Efetividade 2007-2014

- Cerca de 70 indicadores de efícácia

- 11 avaliações de efetividade

- 11 indicadores de efetividade

O BNDES e os Bancos de Desenvolvimento no

Mundo

O Sistema de M&A do BNDES

A Ação do BNDES: desempenho na

perspectiva interna

Eficácia: entregas imediatas das intervenções

Efetividade: efeitos alcançados pelas

intervenções

Page 10: Sistemas de Monitoramento e Avaliação - C-MICROcmicro.fgv.br/sites/cmicro.fgv.br/files/arquivos/Claudio Leal.pdf · Auditoria operacional do TCU Primeiros Acordos de Cooperação

Temas de M&A Priorizados

DSC4. Fomentar a inovação, a sustentabilidade socioambiental e o desenvolvimento regional

SF2. Fortalecer a estrutura patrimonial

SF3. Aperfeiçoar a gestão de riscos e retorno

PI1. Promover melhores práticas de gestão e integração corporativa

Desenvolvimento Sustentável e Competitivo

Aprendizado e Competências

Processos Internos

Sustentabilidade Financeira

SF1. Diversificar e integrar produtos financeiros

PI2. Fortalecer a imagem e a presença do BNDES perante seus principais interlocutores e a sociedade

em geral

DSC1. Expandir investimentos em infraestrutura

DSC2. Induzir o fortalecimento da competitividade das empresas

brasileiras

DSC3. Contribuir para a inclusão social e produtiva

Infraestrutura: energia, logística e urbana

Contribuição para o Desenvolvimento Produtivo

Formação de capacidades empresariais e

fortalecimento de estruturas de capital

Inclusão Social e Produtiva e Sustentabilidade

Mapa Estratégico Corporativo

AC1. Zelar pela qualidade do clima organizacional e pelo alinhamento

aos valores institucionais

AC2. Promover o desenvolvimento profissional e

pessoal dos empregados

AC3. Valorizar a gestão de pessoal com pactuação de resultado e

avaliação de desempenho

Page 11: Sistemas de Monitoramento e Avaliação - C-MICROcmicro.fgv.br/sites/cmicro.fgv.br/files/arquivos/Claudio Leal.pdf · Auditoria operacional do TCU Primeiros Acordos de Cooperação

11

O BNDES e os Bancos de Desenvolvimento no

Mundo

O Sistema de M&A do BNDES

A Ação do BNDES: desempenho na

perspectiva interna

Eficácia: entregas imediatas das intervenções

Efetividade: efeitos alcançados pelas

intervenções

Estrutura do Relatório

A Ação do BNDES: desempenho na

perspectiva interna

Page 12: Sistemas de Monitoramento e Avaliação - C-MICROcmicro.fgv.br/sites/cmicro.fgv.br/files/arquivos/Claudio Leal.pdf · Auditoria operacional do TCU Primeiros Acordos de Cooperação

Percentual de Empresas Apoiadas Aumentou em Todos os Portes, com Destaque para Micro e Pequenas

Page 13: Sistemas de Monitoramento e Avaliação - C-MICROcmicro.fgv.br/sites/cmicro.fgv.br/files/arquivos/Claudio Leal.pdf · Auditoria operacional do TCU Primeiros Acordos de Cooperação

13

O BNDES e os Bancos de Desenvolvimento no

Mundo

O Sistema de M&A do BNDES

A Ação do BNDES: desempenho na

perspectiva interna

Eficácia: Entregas Imediatas das Intervenções

Efetividade: efeitos alcançados pelas

intervenções

Eficácia: entregas imediatas das intervenções

Estrutura do Relatório

Page 14: Sistemas de Monitoramento e Avaliação - C-MICROcmicro.fgv.br/sites/cmicro.fgv.br/files/arquivos/Claudio Leal.pdf · Auditoria operacional do TCU Primeiros Acordos de Cooperação

Participações do BNDES em Infraestrutura

14

100%

91%

82%

71%

63%

63%

62%

58%

58%

56%

49%

39%

Hidrelétricas

Rodovias: concessão

Aeroportos

Portos

Eólicas

Transp. urbano sobre trilhos

PCHs

Ferrovias: vagões

Tratamento de Esgoto

Transmissão de energia elétrica

Ferrovias: extensão

Termelétricas 6.811 MW

1.711 KM

21.356 KM

12.348 MW

3.011 MW

1.892 MW

47,5 Milhões Passag.

3.440 Mil TEU

15.039 vagões

8.674 KM

152 KM

28.877 Litros/seg

Page 15: Sistemas de Monitoramento e Avaliação - C-MICROcmicro.fgv.br/sites/cmicro.fgv.br/files/arquivos/Claudio Leal.pdf · Auditoria operacional do TCU Primeiros Acordos de Cooperação

Participações do BNDES em Desenvolvimento Produtivo

91%

73%

57%

56%

49%

48%

46%

34%

22%

17%

15%

Celulose

Pneus

Moagem de cana-de-açúcar

Carros, ônibus e caminhões

Estações rádio base

Salas de cinema

Florestas plantadas

Terminais de regaseificação

Shopping centers

Condomínios logísticos

Armazenagem de grãos 4.162 mil ton

7.015 Mil

ton/ano

743.325 m²

1.242.898 m²

14 milhões m³/dia

1.304 mil hectares

323 unidades

16.674 unidades

727 mil unidades

139 milhões de ton

11.690 mil unidades

Page 16: Sistemas de Monitoramento e Avaliação - C-MICROcmicro.fgv.br/sites/cmicro.fgv.br/files/arquivos/Claudio Leal.pdf · Auditoria operacional do TCU Primeiros Acordos de Cooperação

16

Participações do BNDES em Inclusão Social e Sustentabilidade

60%

42%

15%

11%

4%

2%

Resíduos sólidos

Áreas indígenas na Amazônia (*)

Leitos não-SUS

Unidades de Conservação na Amazônia (*)

Ensino Infantil

Ensino Superior15.640 vagas

34.904 vagas

144.899 km²

2.931 leitos

582.265 km²

28.845 ton/dia

(*) Comparação feita com a área existente no fim do período.

Page 17: Sistemas de Monitoramento e Avaliação - C-MICROcmicro.fgv.br/sites/cmicro.fgv.br/files/arquivos/Claudio Leal.pdf · Auditoria operacional do TCU Primeiros Acordos de Cooperação

17

Participações do BNDES em Fortalecimento do Mercado de Capitais

88%

65%

60%

18%

15%

11%

3%

Bovespa Mais: nº de empresas

Subscrição de debêntures conversíveis: nº deoperações

Subscrição de debêntures conversíveis: valor

Operações de follow-on: nº de operações

IPO: nº de empresas

Operações de follow-on: valor

Fundos investidos (FIP e FMIEE): nº de fundos 24 fundos

R$ 25,7 bilhões

16 empresas

14 operações

R$ 5,2 bilhões

17 operações

7 empresas

Page 18: Sistemas de Monitoramento e Avaliação - C-MICROcmicro.fgv.br/sites/cmicro.fgv.br/files/arquivos/Claudio Leal.pdf · Auditoria operacional do TCU Primeiros Acordos de Cooperação

18

O BNDES e os Bancos de Desenvolvimento no

Mundo

O Sistema de M&A do BNDES

A Ação do BNDES: desempenho na

perspectiva interna

Eficácia: entregas imediatas das intervenções

Efetividade: Efeitos Alcançados pelas

intervenções

Efetividade: efeitos alcançados pelas

intervenções

Estrutura do Relatório

Page 19: Sistemas de Monitoramento e Avaliação - C-MICROcmicro.fgv.br/sites/cmicro.fgv.br/files/arquivos/Claudio Leal.pdf · Auditoria operacional do TCU Primeiros Acordos de Cooperação

Impactos de Hidrelétricas em Municípios Afetados

Quais os efeitos da construção de uma hidrelétrica sobre a atividade econômica dos municípios afetados? Método de controle sintético aplicado para cada município afetado por UHEs apoiadas pelo BNDES, em cada momento do ciclo de vida do projeto. Efeito sobre o PIB local de 10% no 2º ano após início da construção e se reduz até o 5º ano. A partir de então, aumenta novamente, chegando a quase 15% no 7º ano. Efeito no emprego ainda mais expressivo: média de crescimento de aproximadamente 30% no 1º ano.

Page 20: Sistemas de Monitoramento e Avaliação - C-MICROcmicro.fgv.br/sites/cmicro.fgv.br/files/arquivos/Claudio Leal.pdf · Auditoria operacional do TCU Primeiros Acordos de Cooperação

Investimentos em Hidrelétricas: Efeitos nos Municípios Afetados

-5%

0%

5%

10%

15%

20%

25%

30%

35%

-3 -2 -1 0 1 2 3 4 5 6 7

PIB Local Nº empregos formais

Anos a partir da construção (0 = ano de início da construção)

20

Impacto médio da construção de UHEs sobre os municípios afetados (%)

Page 21: Sistemas de Monitoramento e Avaliação - C-MICROcmicro.fgv.br/sites/cmicro.fgv.br/files/arquivos/Claudio Leal.pdf · Auditoria operacional do TCU Primeiros Acordos de Cooperação

Programa de Sustentação do Investimento (PSI)

Qual o impacto do PSI sobre o investimento das empresas industriais financiadas?

Resultados: impacto positivo e estatisticamente significante:

2009 – impacto sobre investimento: valor médio de R$ 352 mil por firma, ou acréscimo de 40% em relação ao que ocorreria na ausência do PSI;

2010 – impacto médio de R$ 272 mil por firma, ou acréscimo de 28% no investimento.

Page 22: Sistemas de Monitoramento e Avaliação - C-MICROcmicro.fgv.br/sites/cmicro.fgv.br/files/arquivos/Claudio Leal.pdf · Auditoria operacional do TCU Primeiros Acordos de Cooperação

Programa de Sustentação do Investimento (PSI)

1.229 1.262

877

990

0

200

400

600

800

1.000

1.200

1.400

2009 2010

Investimento médio adicionado pelo PSI Fase I em empresas industriais (em R$ mil)

Com o PSI (observado) Sem o PSI (estimado)Fontes: BNDES e PIA-Empresa (IBGE). Notas: estimativas realizadas usando os valores médios amostrais. Coeficientes estimados por Diferença-em-Diferenças com Matching .

Impactode 40%

Impactode 28%

Page 23: Sistemas de Monitoramento e Avaliação - C-MICROcmicro.fgv.br/sites/cmicro.fgv.br/files/arquivos/Claudio Leal.pdf · Auditoria operacional do TCU Primeiros Acordos de Cooperação

Cartão BNDES: Impacto sobre Emprego

Impacto é mais significativo para microempresas: 13%

5,04

5,77

6,60

5,25

6,02

2007 2009

Evolução do Número Médio de Empregados em Empresas que tiveram Cartão BNDES emitido em 2008

Empresas que não utilizaram o Cartão BNDES

Empresas que utilizaram o Cartão BNDES

Contrafactual estimado

Impacto de 9,6%

Page 24: Sistemas de Monitoramento e Avaliação - C-MICROcmicro.fgv.br/sites/cmicro.fgv.br/files/arquivos/Claudio Leal.pdf · Auditoria operacional do TCU Primeiros Acordos de Cooperação

Fundo Amazônia e Desenvolvimento Sustentável

Fundo Amazônia contribui para o desenvolvimento sustentável na Amazônia?

Avaliações a partir do Quadro Lógico:

Produção Sustentável – produção da extração vegetal: aumento de 50% entre 2009 e 2012 (quantum e valor);

Monitoramento e Controle – (i) postos avançados dos órgãos estaduais de meio ambiente: aumento de 19% entre 2009 e 2013; (ii) termos de descentralização celebrados com municípios: aumento de 500% entre 2009 e 2013; e (iii) autorizações ou licenças ambientais concedidas: aumento de 111% entre 2009 e 2013

Ordenamento Territorial – área com Zoneamento Ecológico-Econômico (ZEE): aumento de 109% entre 2009 e 2013;

Desenvolvimento científico e tecnológico – número de patentes solicitadas ou depositadas: aumento de 6,5% entre 2009 e 2012.

Page 25: Sistemas de Monitoramento e Avaliação - C-MICROcmicro.fgv.br/sites/cmicro.fgv.br/files/arquivos/Claudio Leal.pdf · Auditoria operacional do TCU Primeiros Acordos de Cooperação

Reflexões e Conclusões do Relatório

Efeitos positivos sobre investimento devido à atuação anticíclica no pós-crise

Relevância do apoio para infraestrutura: indicadores de eficácia e evidências de efeitos

MPMEs: ampliação do apoio e evidências de efeitos positivos em avaliações

Emprego: indicadores e evidências de impacto positivo em diversas avaliações

Page 26: Sistemas de Monitoramento e Avaliação - C-MICROcmicro.fgv.br/sites/cmicro.fgv.br/files/arquivos/Claudio Leal.pdf · Auditoria operacional do TCU Primeiros Acordos de Cooperação

Considerações finais

A difusão dessa cultura se deu pelo foco na efetividade das ações na concepção do Sistema, fundamental para que as atividades de M&A ganhassem escala e escopo internamente.

O SMA tem disseminado a cultura de contínuo aperfeiçoamento das políticas públicas, visando ações cada vez mais efetivas e a prestação de contas para a sociedade.

O SMA do BNDES tem tido um papel central na disseminação da cultura de formulação de políticas públicas baseadas em resultados dentro do Banco.