AADAPT Workshop Latin AmericaBrasilia, November 16-20, 2009
David EvansEconomista, Banco Mundial
1
Identificar o Verdadeiro Efeito de um Programa Separar o impacto do programa de outros
fatores>> Qual é o efeito causal de um programa?
Necessidade de descobrir o que teria ocorrido sem o programa Não se pode observar a mesma pessoa com e
sem o programa>> Conta com análise contrafatual (grupo de
controle)2
Uso de fertilizante
Alta produtividade
OUConhecimento
das tecnologias
(semear bem, plantar bem...)
Alta produtividade
Uso de fertilizante
Bom lucro
Difícil distinguir a causalidade da correlação na análise estatística dos dados existentes Independente da complexidade da estatística,
só mostra que A vai com B Difícil corrigir características não observadas,
como motivação / habilidade Motivação / habilidade podem ser os principais
fatores a serem corrigidos
4
Grupos de tratamento e de contrafatual tem características idénticas
Única razão pelas diferenças nos resultados é o tratamento
Com cada avaliação, nos perguntamos Os dois grupos tem características idénticas? Há alguma característica não idéntica que podria
explicar a diferença em resultados (que não seja o tratamento)?
Imaginamos o projeto de vales para fertilizante
Se damos vales a certos agricultores para seu milho
Observamos o milho antes
E depois de uma temporada
Nossas dos perguntas: Os dois grupos tem características
idénticas?▪ Quem é o grupo de controle aqui?
Há outros fatores que podem explicar a diferença nos resultados?▪ Sim!
▪ O tempo▪ Outros projetos do governo ou dos ONGs▪ Alguma aprendizagem
▪ Pode que sabemos ou que não sabemos
0
2
4
6
8
10
12
14
Before After
8
(+) Impacto do programa
(+) Impacto de outros fatores (externos)
Antes Depois
9
(+) Medida ENVIESADA do impacto do programa
Antes Depois
Identificamos agricultores carentes para um programa de vales para fertilizante
Comparamos aqueles agricultores com outros, não no programa
Grupo de Tratamento:
Grupo de Controle:
O projeto foi um desastre?
Os dois grupos tem características idénticas?
Há alguma característica não idéntica que podria explicar a diferença em resultados (que não seja o tratamento)?
(-) Outra Medida ENVIESADA do impacto do programa
E se os agricultores se inscrevem no projeto? (Ou seja: auto-seleção?)
• Os projetos tiveram início em determinado tempo e local por motivos particulares
• Os participantes podem selecionar os programas
• Os primeiros agricultores a adotarem uma nova tecnologia provavelmente serão muito diferentes dos agricultores médios; ao analisar sua produtividade, você terá uma impressão enganosa sobre os benefícios de uma nova tecnologia.
Avaliação retrospectiva de impacto: Ao coletar os dados depois do evento, você não
sabe como os participantes e não participantes podiam ser comparados antes do início do programa
É necessário tentar entender porquê o projeto foi implementado naquele local e naquele período, após o evento.
A avaliação prospectiva permite elaborar a avaliação para que responda à pergunta que você precisa responder
Permite a coleta dos dados necessários14
Decidimos quem participa de uma forma aleatória
Todos os participantes do estudo têm a mesma chance de estar no grupo de tratamento ou de comparação
Intencionalmente, os grupos de tratamento e de comparação têm as mesmas características (observadas e não observadas), na média A única diferença é o tratamento
Com grandes amostras, todas as características convergem para a média
Estimativas de impacto não enviesadas15
Sorteio (apenas alguns entram no programa)
Entrada gradual (todos entram eventualmente)
Variação no tratamento (cobertura integral, diferentes opções)
Desenho de incentivo (no caso de adesão parcial) Todos podem entrar, alguns são encorajados a fazê-lo
16
Sorteio Sorteio para receber informações de uma nova tecnologia
agrícola Entrada gradual randômica (até o final, todos
entram) Treinar alguns grupos de agricultores a cada ano
Variação no tratamento Alguns obtêm informações sobre novas sementes, outros têm
acesso a crédito, outros conseguem um lote demonstrativo em suas terras, etc.
Desenho de incentivo Alguns centros de apoio ao agricultor por bairro Alguns agricultores recebem um vale-passagem para
frequentar o centro17
Muitas vezes é a maneira mais justa para distribuir um programa Não se distribui por quem você conhece Se fica perto da sede do programa Entre o eligiveis: um sorteio da
oportunidade igual
Se há um grupo que realmente desejamos beneficiar: pode dar o beneficio preferencial Super carentes – automáticamente entram Carentes – sorteio Não carentes – automáticamente excluídos
Aviso: O resultado da avaliação sera para quem se fez o sorteio
Pergunta: É ética usar muitos recursos em expandir um programa sem bem saber se da os resultados desejados?
Se é perfeito: 100% dos escolhidos aleatoriamente participam e 100% dos não escolhidos não participam Efeito medido: o efeito a média pela população
Se não é: 80% dos escolhidos aleatoriamente participam e 25% dos não escholhidos sim participam Ainda bem Mas o efeito medido: Efeito para certa sub-
população
As limitações orçamentárias impedem a cobertura integral A distribuição aleatória (sorteio) é justa e
transparente Capacidade limitada de implementação
A introdução gradual oferece a todos a mesma chance de serem os primeiros
Inexistência de evidências sobre qual a melhor alternativa Distribuição aleatória para alternativas
com a mesma chance ex ante de sucesso
21
Adesão ao programa existente não é completa Fornecer informações ou incentivo para a
adesão de alguns Um novo programa piloto
Boa oportunidade de testar o desenho antes de expandi-lo
Mudanças operacionais em programas em andamento Boa oportunidade de testar as mudanças
antes de expandi-las
22
O tratamento já foi alocado e anunciadoe sem possibilidade de expansão do tratamento
O programa já acabou (retrospectiva) Já há adesão universal O programa é nacional e não excludente
Liberdade de imprensa...o(às vezes alguns componentes podem ser
randomizados) A amostra é muito pequena para ser
válida23
Individual Fazenda Associação de Agricultores Bloco de Irrigação
24
Nível da aldeia Associação de
mulheres Grupos jovens Nível da escola
Se um programa impactar todo um grupo, geralmente toda a comunidade é randomizada para tratamento ou comparação
Mais fácil obter amostras grandes o bastante se os indivíduos forem randomizados
Aleatorização individual Aleatorização dos grupos
A randomização em nível mais alto às vezes é necessária: Limitações políticas a tratamentos diferenciados na
comunidade Limitações práticas – confusão para uma pessoa
implementar diferentes versões Os efeitos sobre unidades vizinhas podem
demandar uma randomização em nível mais alto
Randomizar em nível de grupo requer muitos grupos por causa da correlação dentro da comunidade
26
27
Validade externa A amostra é representativa da população total Os resultados na amostra representam os
resultados na população Podemos aplicar as lições a toda a população
Validade interna O efeito estimado da intervenção ou do
programa sobre a população avaliada reflete o impacto real naquela população
Ou seja, os grupos de intervenção e de comparação são comparáveis
29
Randomização
Randomização
População AlvoPopulação Alvo
Amostras da População Nacional
Amostras da População Nacional
30
Estratificação
Randomização
População AlvoPopulação Alvo
Estrato do PopulaçãoEstrato do PopulaçãoAmostras do Estrato
da PopulaçãoAmostras do Estrato
da População
31
População Nacional População Nacional
Distribuição EnviesadaINÚTIL!
Distribuição EnviesadaINÚTIL!
Randomização
32
Distribuição Randômica
Amostra de Agricultores Comerciais
Impacto causal claro e precisoEm relação a outros métodos
Muito mais fácil de analisar Mais barato (tamanhos menores de
amostra) Mais fácil de explicar Mais convincente para os formuladores
de política Metodologicamente incontroverso
33
Cálculo incorreto da amostra Randomizar um distrito para tratamento e
outro para controle e calcular o tamanho da amostra sobre o número de pessoas que forem entrevistadas
Coleta de dados diferente no tratamento e no controle
Contagem dos que foram distribuídos para tratamento mas não aderiram ao programa como controle – não desfaça sua randomização!!!
34
35
Quem recebe divulgação tem maior chance de participar
Como quem recebe foi escolhido aleatoriamente, não há relação com observáveis / não observáveis Compare os resultados médios dos dois grupos:
com / sem divulgação Efeito da oferta do programa (Intenção de
Tratar) Efeito da intervenção (Tratamento Médio no
Tratado) ATT= efeito da oferta do programa / proporção
dos que aderiram
Alocado para tratamento
Alocado para controle
Diferença Impacto: efeito médio do tratamento sobre os tratados
Não-tratados
Tratados
Proporção tratada
100% 0% 100%Impacto da alocação
100%
Resultado médio
103 80 23Estimativa da intenção de tratar
23/100%=23Tratamento médio sobre os tratados
Incentivados Não incentivados
Diferença Impacto: efeito médio do tratamento sobre os que aderiram
Não tratados (não aderiram)
Tratados (aderiram)
Proporção tratada
70% 30% 40%Impacto do incentivo
100%
Resultado 100 92 8Estimativa da intenção de tratar
8/40%=20Tratamento médio sobre os que aderiram
RANDOMIZAÇÃO Alocados Não Alocados DiferençaTratamento médio sobre o Tratado
Não tem interesse 3 3 0
Talvez tenha interesse 4 4 0
Sempre interessado 3 3 0
Impacto sobre os sem interesse 90 80 10
Impacto sobre os talvez interessados 100 80 20 Impacto sobre os sempre interessados 120 80 40
103 80 23 23
INCENTIVO RANDÔMICO Incentivados Não incentivados Diferença
Tratamento Médio sobre os que Aderiram
Não tem interesse 3 3 0
Talvez tenha interesse 4 4 0
Sempre interessado 3 3 0
Impacto sobre os sem interesse 80 80 0
Impacto sobre os talvez interessados 100 80 20 Impacto sobre os sempre interessados 120 120 0
100 92 8 20