WWW.INSPER.EDU.BR

GESTÃO DE IMPACTO SOCIAL

Sérgio G. LazzariniProfessor Titular da Cátedra Chafi Haddad, Insper

Coordenador do Insper Metricis

1/6/2020

AGENDA

• Princípios de avaliação de impacto (ênfase em “adicionalidade”).

• Caso para discussão (Gera).

• Teoria de mudança e seleção de métricas.

• Formas de verificação de impacto.

• Avaliação de impacto como ferramenta de gestão.

UM EXEMPLO

http://www.latinamericanstudies.org/brazil/brazil-school.jpg

Computadores em escolas públicas

http://friendsofpimpollo.org/wp-content/uploads/2012/08/Computer-Students-2.jpg

Resultado (após intervenção):+2.7% ganho anual no desempenho dos alunos em testes padronizados de aprendizagem.

Suponha que, AO MESMO TEMPO, o governo tenha implantado um programa para dar bônus por desempenho aos professores e diretores dependendo do aprendizado dos alunos. Escolas similares sem o projeto de computadores aumentaram seu desempenho em +2.9%.

TEMOS QUE NOS PERGUNTAR:“O QUE TERIA ACONTECIDO À POPULAÇÃO-ALVO SEM O NOSSO PROJETO?”

Se tivéssemos uma máquina do tempo, poderíamos voltar no passado e medir a evolução nas comunidades sem o projeto...

O PRINCÍPIO DA ADICIONALIDADE

70

80

90

100

110

120

130

140

In

dic

ad

or e

sco

lhid

o

ex.:

Renda m

édia

mensal (R

$ p

er

capita)

Antes (t= 0) Início do Projeto Depois (t = 1)

Comunidade “Tratada” Comunidade “Controle”

Impacto

Cenário “contrafactual”

CASO: GERA VENTURE CAPITAL

• Fundo de investimento brasileiro com foco em educação.

• Investimentos visam atender um duplo objetivo de gerar impacto relevante na educação e obter retornos financeiros atrativos.

• Em 2013, adquiriu um conjunto de escolas na periferia do Rio.

(Estudo de caso disponível em https://www.insper.edu.br/wp-content/uploads/2018/09/GERA-Venture-Capital-Escalando-Oportunidades-Educacionais-Jovens-Baixa-Renda-parte-A-versao10-06-15.pdf)

AS ESCOLAS ADQUIRIDAS

EscolasLegenda:

Como avaliar o

impacto da

aquisição?

COMEÇANDO PELA TEORIA DE MUDANÇA

PROBLEMA

SOCIAL

TEORIA DE MUDANÇA, APLICADA

ATENÇÃO ESPECIAL PARA MÉTRICAS DE RESULTADO!

Características de métrica ideal:

1. Deve ter elevada relevância em termos de geração de impacto.

2. Deve ser passível de ação por parte do executor e investidores com vistas a atingir o resultado (em geral, resultados mais ligados às atividades).

3. Deve ser medida e verificada com relativa precisão.

4. Deve ter baixo custo de medição – considerando, inclusive, o custo de obter dados em “grupos de controle”.

PROPOSTA DE MEDIÇÃO

Escolas de comparação EscolasLegenda:

NO MOMENTO DO INVESTIMENTO...

70

80

90

100

No

ta p

adro

niz

ada

no

EN

EM

Aquisição

Alunos Gera

Δ Impacto

Aquisição da escola

Acompanha “x” anos antes Acompanha “x” anos depois

Alunos comparáveis em escolas privadas similares na mesma região

Os resultados a seguir correspondem

à medição inicial

FIZEMOS UM PAREAMENTO DE ALUNOS PARECIDOS EM ESCOLAS CONCORRENTES NO MESMO BAIRRO

Escolas de comparação EscolasLegenda:

RESULTADO DO PAREAMENTO: GERAL

-1,16-4,55 -5,45

-10,88

-60,00

-40,00

-20,00

0,00

20,00

40,00

60,00

Diferenças entre a nota do ENEM dos alunos da rede e de alunos similares (pareados) em escolas concorrentes

Todas as escolas

Ciências humanas Ciências da natureza Linguagem Redação

Ex: No momento da aquisição, alunos das escolas adquiridas

têm desempenho em linguagem 5.45 pontos inferior

ao dos alunos similares em escolas da concorrência

RESULTADO DO PAREAMENTO: SEPARADO POR REDE ADQUIRIDA

26,82 25,61

16,90

40,70

-28,77-24,23

-17,17

-45,25

-60,00

-40,00

-20,00

0,00

20,00

40,00

60,00

Diferenças entre a nota do ENEM dos alunos da rede e de alunos similares (pareados) em escolas concorrentes

Rede "X" Rede "Y"

Ciências humanas Ciências da natureza Linguagem Redação

Como usar esses

resultados para

fins gerenciais?

USO GERENCIAL DA ANÁLISE

26,82 25,61

16,90

40,70

-28,77-24,23

-17,17

-45,25

-60,00

-40,00

-20,00

0,00

20,00

40,00

60,00

Diferenças entre a nota do ENEM dos alunos da rede e de alunos similares (pareados) em escolas concorrentes

Rede "X" Rede "Y"

Ciências humanas Ciências da natureza Linguagem Redação

Pode-se estimular a transferência de boas

práticas de escolas que têm melhor desempenho

Meta gerencial: reduzir o gap com

escolas de comparação, com

remuneração atrelada ao desempenho

OUTRO CASO: PPP DA “ROTA LUND” (MG)

Fonte: Agência Minas. Disponível em:

http://www.agenciaminas.mg.gov.br/noticias/rota-das-grutas-peter-lund-e-uma-viagem-no-tempo/ Acessado em 26 de ago. 2013.

Estudo de caso disponível em https://www.insper.edu.br/wp-

content/uploads/2018/09/instituto-semeia-bases-investimento-imapcto-unidades-conservacao-brasileiras.pdf

Gruta de

MaquinéFonte:

Secretária de Turismo de

Minas Gerais. Sérgio

Mourão –Acervo Setur

MG

Gruta Rei do Mato

Fonte: Secretária de Turismo de

Minas Gerais. Acervo Setur MG

“MENU DE MÉTRICAS”

Métrica

promissora

para análise

de impacto

PPP DA ROTA TURÍSTICA “LUND”: PROPOSTA (INICIAL) DE REMUNERAÇÃO

Notas: Estimativa para uma visitação média de 249 mil visitantes.

A definição da Nota Final de Desempenho Social é resultante da avaliação sobre 18 indicadores de impacto em três grandes blocos: i) Manejo do Patrimônio Natural e Histórico Cultural; ii) Visitação; e iii) Relações com o entorno.

A Contraprestação Mensal (CP) é definida pela oferta realizada pelo concessionário em função da Nota Final de Desempenho; número de visitantes, ticket médio dos visitantes e deduções e compartilhamentos pré-estabelecidos pelo governo no edital.

Informações disponíveis em <http://www.ppp.mg.gov.br/projetos-ppp/projetos-em-elaboracao/rota-lund-1/aviso-de-consulta-publica-ppp-rota-lund>

(R$400.000)

(R$300.000)

(R$200.000)

(R$100.000)

R$0

R$100.000

R$200.000

0 0,1 0,2 0,3 0,4 0,5 0,6 0,7 0,8 0,9 1

Con

trap

resta

ção M

en

sal

Nota de Desempenho Socioambiental

CP Positiva (governo paga ao concessionário)

CP Negativa (concessionário paga ao governo)

EXERCÍCIO: QUE MÉTRICAS PODEM SER ESTABELECIDAS PARA PPP DE ILUMINAÇÃO PÚBLICA?

Pense em:• Métrica(s): indicador(es)

de impacto.• Forma de verificação de

adicionalidade.

DO ACOMPANHAMENTO DE INDICADORES ATÉ A ANÁLISE DE IMPACTO

Indicadores

de resultados

com medição

de impacto

Indicadores de resultados

(acompanhamento de KPIs

ao longo do tempo)

Indicadores operacionais

(execução de atividades ou

produtos)

SUGESTÃO: comece

aos poucos, iniciando

com a organização de

dados operacionais e

depois KPIs

Fonte: Insper Metricis. Guia de Avaliação de Impacto Socioambiental para Utilização em Negócios e Investimentos de Impacto: Guia Geral

com Foco em Verificação de Adicionalidiade. 2020.

NÍVEIS DE MEDIÇÃO DE IMPACTO

GUIA METRICIS:

https://www.insper.edu.br/wp-content/uploads/2020/05/Guia_Metricis_Portugues_4ed.pdf

OUTROS RECURSOS

BLOG “IMPACTO SOCIAL” NA EXAME

• Estudos e notícias sobre impacto social. https://exame.com/blog/impacto-social/

OFICINA DE IMPACTO

• Objetivo: Fomentar a prática de avaliação de impacto no Brasil por meio de troca de experiências e interações entre gestores e especialistas.

• Próxima reunião: 27/8/2020, das 9 às 12 h.

• Todos convidados! Possível também assistir remotamente. Interessados enviar e-mail para: Amanda Rufino Matriccianiamandarm@al.insper.edu.br

25

insper.edu.br/nucleo-medicao-investimentos-de-impacto