AADAPT Workshop Latin AmericaBrasilia, November 16-20, 2009

David EvansEconomista, Banco Mundial

1

Identificar o Verdadeiro Efeito de um Programa Separar o impacto do programa de outros

fatores>> Qual é o efeito causal de um programa?

Necessidade de descobrir o que teria ocorrido sem o programa Não se pode observar a mesma pessoa com e

sem o programa>> Conta com análise contrafatual (grupo de

controle)2

Uso de fertilizante

Alta produtividade

OUConhecimento

das tecnologias

(semear bem, plantar bem...)

Alta produtividade

Uso de fertilizante

Bom lucro

Difícil distinguir a causalidade da correlação na análise estatística dos dados existentes Independente da complexidade da estatística,

só mostra que A vai com B Difícil corrigir características não observadas,

como motivação / habilidade Motivação / habilidade podem ser os principais

fatores a serem corrigidos

4

Grupos de tratamento e de contrafatual tem características idénticas

Única razão pelas diferenças nos resultados é o tratamento

Com cada avaliação, nos perguntamos Os dois grupos tem características idénticas? Há alguma característica não idéntica que podria

explicar a diferença em resultados (que não seja o tratamento)?

Imaginamos o projeto de vales para fertilizante

Se damos vales a certos agricultores para seu milho

Observamos o milho antes

E depois de uma temporada

Nossas dos perguntas: Os dois grupos tem características

idénticas?▪ Quem é o grupo de controle aqui?

Há outros fatores que podem explicar a diferença nos resultados?▪ Sim!

▪ O tempo▪ Outros projetos do governo ou dos ONGs▪ Alguma aprendizagem

▪ Pode que sabemos ou que não sabemos

0

2

4

6

8

10

12

14

Before After

8

(+) Impacto do programa

(+) Impacto de outros fatores (externos)

Antes Depois

9

(+) Medida ENVIESADA do impacto do programa

Antes Depois

Identificamos agricultores carentes para um programa de vales para fertilizante

Comparamos aqueles agricultores com outros, não no programa

Grupo de Tratamento:

Grupo de Controle:

O projeto foi um desastre?

Os dois grupos tem características idénticas?

Há alguma característica não idéntica que podria explicar a diferença em resultados (que não seja o tratamento)?

(-) Outra Medida ENVIESADA do impacto do programa

E se os agricultores se inscrevem no projeto? (Ou seja: auto-seleção?)

• Os projetos tiveram início em determinado tempo e local por motivos particulares

• Os participantes podem selecionar os programas

• Os primeiros agricultores a adotarem uma nova tecnologia provavelmente serão muito diferentes dos agricultores médios; ao analisar sua produtividade, você terá uma impressão enganosa sobre os benefícios de uma nova tecnologia.

Avaliação retrospectiva de impacto: Ao coletar os dados depois do evento, você não

sabe como os participantes e não participantes podiam ser comparados antes do início do programa

É necessário tentar entender porquê o projeto foi implementado naquele local e naquele período, após o evento.

A avaliação prospectiva permite elaborar a avaliação para que responda à pergunta que você precisa responder

Permite a coleta dos dados necessários14

Decidimos quem participa de uma forma aleatória

Todos os participantes do estudo têm a mesma chance de estar no grupo de tratamento ou de comparação

Intencionalmente, os grupos de tratamento e de comparação têm as mesmas características (observadas e não observadas), na média A única diferença é o tratamento

Com grandes amostras, todas as características convergem para a média

Estimativas de impacto não enviesadas15

Sorteio (apenas alguns entram no programa)

Entrada gradual (todos entram eventualmente)

Variação no tratamento (cobertura integral, diferentes opções)

Desenho de incentivo (no caso de adesão parcial) Todos podem entrar, alguns são encorajados a fazê-lo

16

Sorteio Sorteio para receber informações de uma nova tecnologia

agrícola Entrada gradual randômica (até o final, todos

entram) Treinar alguns grupos de agricultores a cada ano

Variação no tratamento Alguns obtêm informações sobre novas sementes, outros têm

acesso a crédito, outros conseguem um lote demonstrativo em suas terras, etc.

Desenho de incentivo Alguns centros de apoio ao agricultor por bairro Alguns agricultores recebem um vale-passagem para

frequentar o centro17

Muitas vezes é a maneira mais justa para distribuir um programa Não se distribui por quem você conhece Se fica perto da sede do programa Entre o eligiveis: um sorteio da

oportunidade igual

Se há um grupo que realmente desejamos beneficiar: pode dar o beneficio preferencial Super carentes – automáticamente entram Carentes – sorteio Não carentes – automáticamente excluídos

Aviso: O resultado da avaliação sera para quem se fez o sorteio

Pergunta: É ética usar muitos recursos em expandir um programa sem bem saber se da os resultados desejados?

Se é perfeito: 100% dos escolhidos aleatoriamente participam e 100% dos não escolhidos não participam Efeito medido: o efeito a média pela população

Se não é: 80% dos escolhidos aleatoriamente participam e 25% dos não escholhidos sim participam Ainda bem Mas o efeito medido: Efeito para certa sub-

população

As limitações orçamentárias impedem a cobertura integral A distribuição aleatória (sorteio) é justa e

transparente Capacidade limitada de implementação

A introdução gradual oferece a todos a mesma chance de serem os primeiros

Inexistência de evidências sobre qual a melhor alternativa Distribuição aleatória para alternativas

com a mesma chance ex ante de sucesso

21

Adesão ao programa existente não é completa Fornecer informações ou incentivo para a

adesão de alguns Um novo programa piloto

Boa oportunidade de testar o desenho antes de expandi-lo

Mudanças operacionais em programas em andamento Boa oportunidade de testar as mudanças

antes de expandi-las

22

O tratamento já foi alocado e anunciadoe sem possibilidade de expansão do tratamento

O programa já acabou (retrospectiva) Já há adesão universal O programa é nacional e não excludente

Liberdade de imprensa...o(às vezes alguns componentes podem ser

randomizados) A amostra é muito pequena para ser

válida23

Individual Fazenda Associação de Agricultores Bloco de Irrigação

24

Nível da aldeia Associação de

mulheres Grupos jovens Nível da escola

Se um programa impactar todo um grupo, geralmente toda a comunidade é randomizada para tratamento ou comparação

Mais fácil obter amostras grandes o bastante se os indivíduos forem randomizados

Aleatorização individual Aleatorização dos grupos

A randomização em nível mais alto às vezes é necessária: Limitações políticas a tratamentos diferenciados na

comunidade Limitações práticas – confusão para uma pessoa

implementar diferentes versões Os efeitos sobre unidades vizinhas podem

demandar uma randomização em nível mais alto

Randomizar em nível de grupo requer muitos grupos por causa da correlação dentro da comunidade

26

27

Validade externa A amostra é representativa da população total Os resultados na amostra representam os

resultados na população Podemos aplicar as lições a toda a população

Validade interna O efeito estimado da intervenção ou do

programa sobre a população avaliada reflete o impacto real naquela população

Ou seja, os grupos de intervenção e de comparação são comparáveis

29

Randomização

Randomização

População AlvoPopulação Alvo

Amostras da População Nacional

Amostras da População Nacional

30

Estratificação

Randomização

População AlvoPopulação Alvo

Estrato do PopulaçãoEstrato do PopulaçãoAmostras do Estrato

da PopulaçãoAmostras do Estrato

da População

31

População Nacional População Nacional

Distribuição EnviesadaINÚTIL!

Distribuição EnviesadaINÚTIL!

Randomização

32

Distribuição Randômica

Amostra de Agricultores Comerciais

Impacto causal claro e precisoEm relação a outros métodos

Muito mais fácil de analisar Mais barato (tamanhos menores de

amostra) Mais fácil de explicar Mais convincente para os formuladores

de política Metodologicamente incontroverso

33

Cálculo incorreto da amostra Randomizar um distrito para tratamento e

outro para controle e calcular o tamanho da amostra sobre o número de pessoas que forem entrevistadas

Coleta de dados diferente no tratamento e no controle

Contagem dos que foram distribuídos para tratamento mas não aderiram ao programa como controle – não desfaça sua randomização!!!

34

35

Quem recebe divulgação tem maior chance de participar

Como quem recebe foi escolhido aleatoriamente, não há relação com observáveis / não observáveis Compare os resultados médios dos dois grupos:

com / sem divulgação Efeito da oferta do programa (Intenção de

Tratar) Efeito da intervenção (Tratamento Médio no

Tratado) ATT= efeito da oferta do programa / proporção

dos que aderiram

Alocado para tratamento

Alocado para controle

Diferença Impacto: efeito médio do tratamento sobre os tratados

Não-tratados

Tratados

Proporção tratada

100% 0% 100%Impacto da alocação

100%

Resultado médio

103 80 23Estimativa da intenção de tratar

23/100%=23Tratamento médio sobre os tratados

Incentivados Não incentivados

Diferença Impacto: efeito médio do tratamento sobre os que aderiram

Não tratados (não aderiram)

Tratados (aderiram)

Proporção tratada

70% 30% 40%Impacto do incentivo

100%

Resultado 100 92 8Estimativa da intenção de tratar

8/40%=20Tratamento médio sobre os que aderiram

RANDOMIZAÇÃO Alocados Não Alocados DiferençaTratamento médio sobre o Tratado

Não tem interesse 3 3 0  

Talvez tenha interesse 4 4 0  

Sempre interessado 3 3 0  

Impacto sobre os sem interesse 90 80 10  

Impacto sobre os talvez interessados 100 80 20  Impacto sobre os sempre interessados 120 80 40  

  103 80 23 23

INCENTIVO RANDÔMICO Incentivados Não incentivados Diferença

Tratamento Médio sobre os que Aderiram

Não tem interesse 3 3 0  

Talvez tenha interesse 4 4 0  

Sempre interessado 3 3 0  

Impacto sobre os sem interesse 80 80 0  

Impacto sobre os talvez interessados 100 80 20  Impacto sobre os sempre interessados 120 120 0  

  100 92 8 20