Post on 18-Jan-2019
Métodos Não-ExperimentaisCaio Piza - DIME22/06/2015ieConnect Impact Evaluation WorkshopRio de Janeiro, BrazilJune 22-25, 2015
Tudo o que você gostaria de saber sobremétodos não-experimentais, mas tinhavergonha de perguntar…
Em 1 hora!
Qual o Desafio de Qualquer AI?
• Obter um bom contrafactual para identificar o efeitocausal de uma intervenção comparando
5
O queaconteceu
O que teria ocorrido se o programa não
existisse?Com
Problema fundamental de inferência causal
6
Contrafactual: Intuição
Grupos de tratamento (T) e controle (C)
• Características observáveis e não-observáveisidênticas, na média.
• A diferença entre as variáveis (indicadores) de resultado dos grupos de T e C é exclusivamentedevida à intervenção (ou tratamento)
Ferramentas para obter o contrafactual
7
Não é umaboa
estratégia
• Antes– Depois
• Participantes – Não-Participantes
Boas estratégiasdesde que
algumashipóteses
sejamobservadas
• Diferença-em-diferenças
• Regressão descontínua
Efeito causal • Experimentos – Randomized Control Trials
Ferramentas para obter o contrafactual
8
Não é uma boa estratégia
• Antes– Depois
• Participantes – Não-Participantes
Boas estratégiasdesde que
algumashipóteses
sejamobservadas
• Diferença-em-diferenças
• Regressão descontínua
Efeito causal• Experimentos – Randomized
Control Trials
9
Análise do Contrafactual…
• Método experimental: Compara grupos que, namédia, são idênticos
• Métodos não-experimentais: Compara grupos, na média, similares
Estudo de caso:Subsídio para uso do transporte público (bilhete único)
• Problema: População de baixa renda e desempregadaque mora na área periférica do município do RJ
• Política pública: subsidiar o transporte público para taispessoas por tempo determinado para procurarememprego no centro da cidade
• Subsídio: 25% de desconto no bilhete
• Público-alvo: 1000 famílias
• Variável de resultado: taxa de emprego entre o público-alvo do programa
10
Como avaliar esse programa?Participantes – Não-Participantes
• As 1000 famílias são convidadas a participar de um evento promovido pela prefeitura no começo do mês• O bilhete subsidiado foi oferecido a todas as
1000 famílias desempregadas• No final do mês 403 usaram o bilhete único e
597 não usaram• Como medir o efeito da política?• Comparar a taxa de emprego entre os usuários
(403) do bilhete único e o não-usuários
11
Participantes – Não-Participantes
12
Método Tratamento Comparação Diferença Efeito em %
Participantes VS. Não-participantes 64% 55% 9 pp. 9/55 = 16.4%
Problema: Viés de Seleção. Por que apenas 403 usaram?- São as que tem melhores qualificações, maior mercado experiência no mercado de
trabalho etc. (essas características são observáveis)- Famílias mais motivadas, mais bem informadas etc. (essas características são não-
observáveis)
Avaliação de Impacto• Obtém a média da variável de resultado ao longo do
tempo para os grupos de T e comparação
• Compara• O que aconteceu com
• O que teria acontecido na ausência do programa(contractual)
• Identifica o efeito causal• Controlando por todos demais fatores que mudam no
tempo
15
Métodos Não-Experimentais
• 1. Pareamento
• 2. Diferença-em-diferenças (DD)
• 3. Regressão descontínua
16
Métodos Não-Experimentais
• 1. Pareamento
• 2. Diferença-em-diferenças (DD)
• 3. Regressão descontínua
17
1. Pareamento (matching)
18
• Intuição do método de pareamento?1. O programa foca um grupo-alvo com certas características
observáveis ((e.g. famílias desempregadas que moram naperiferia)
2. O pesquisador CONHECE as características das famílias queas tornam elegíveis para entrar no programa
3. Famílias com características observáveis similares àquelasque decidem participar deveriam ser um bom grupo de comparação
4. Na prática gera-se um indicador (escore de propensão --propensity score) que sintetiza um conjunto de características num indicador e parea-se T e C com ‘mesmos’ valores do indicador
1. Pareamento
19
• Na maioria dos casos não há pares para todos!
• Exemplo
Indicador
Não-participantesParticipantes
Suportecomum
Participantes – Não-Participantes Pareados
20
Método Tratamento Comparação Diferença Efeito em %
Participantes VS. Não-participantes 62% 57% 5 pp. 5/57 = 8.8%
Problema: Viés de Seleção. Por que apenas 403 usaram?- São as que tem melhores qualificações, maior mercado experiência no mercado de
trabalho etc. (essas características são observáveis) – Isso eliminamos com o pareamento!
- Famílias mais motivadas, mais bem informadas etc. (essas características são não-observáveis)
2. Diferença-em-Diferenças
• Plano: combinar a dimensão temporal da análiseantes-e-depois com a decisão de participação(participantes vs. não-participantes)
• (Sob algumas hipótese) este método resolve:• Efeito do tempo: outras coisas podem ter ocorrido e
afetado o programa ao longo do tempo
• Viés de seleção: não sabemos porque alguns participarame outros não, mas essa decisão depende de característicasque não variam no tempo
21
2. Antes-e-Depois
22
MétodoTratados(depois)
Comparação(antes)
Diferença Efeito em %
Antes-e-Depois 64% 61% 3 pp. 3/61 =4.9%
Problema: Efeito do tempo. Outras coisas podem ter acontecidonesse período.- A economia pode ter crescido, outras programas de crédito subsidiado
foram criados etc.
Começodo mês
Final do mês
2007 2008
participants
Pdepois -Pantes= 3 pp.
61%
64%
23
Impacto = (Pdepois - Pantes) = 64 – 61 = + 3 pp.
Antes-e-Depois
%
2007 2008
participants
non-participants
Pdepois-Pantes= 3 pp.
24
NPdepois-NPantes= 1pp.
Impact = (Pdepois-Pantes) -(NPdepois-NPantes)
= 3pp – 1pp = + 2pp
Antes-e-Depois + Não-Participantes: Diferença-em-Diferenças
%
61%
64%
54%
55%
Você também pode usar uma tabela…
Taxa de lucro
Antes Depois Diferença(Antes-Depois)
Participantes (P) 61% 64% 3 pp
Não-participantes (NP) 54% 55% 1 pp
Diferença (P-NP) 7 pp 9 pp 2 pp
25
Você também pode usar uma tabela…
Taxa de lucro
Antes Depois Diferença(Antes-Depois)
Participantes (P) 61% 64% 3 pp
Não-participantes (NP) 54% 55% 1 pp
Diferença (P-NP) 7 pp 9 pp 2 pp
26
Você também pode usar uma tabela…
Taxa de lucro
Antes Depois Diferença(Antes-Depois)
Participantes (P) 61% 64% 3 pp
Não-participantes (NP) 54% 55% 1 pp
Diferença (P-NP) 7 pp 9 pp 2 pp
27
Conclusão
• O bilhete único ajudou algumas famílias desempregadas a encontrarem empregro.
• A hipótese de tendência comum é plausível?
Use dados históricos se possível… combine osmétodos de DD com pareamento!
2006 2007 2008
participants
non-participants
%
Passos importantes para o pareamento…
33
Source: Caliendro, 2008: 33
Não se desespere! Há uma forma de se evitar tudoisso!
Métodos Não-Experimentais
• 1. Diferença-em-diferenças (DD)
• 2. DD com pareamento
• 3. Regressão descontínua (RDD)
34
Como avaliar esse programa?Regressão Descontínua
Plano: subsídios oferecidos a famílias desempregadas com rendafamiliar per capita
• Todas as 1000 famílias demonstraram interesse em receber o bilhete único, mas apenas as com renda familiar per capita até 200 reais mês reberão o bilhete
• Público-alvo: famílias com renda < = 200
• Idéia: comparar taxa de emprego das famílias com rendafamiliar per capita pouco abaixo de 200 (elegíveis aoprograma de crédito subsidiado) com famílias com renda per capita pouco acima de 200 (não-elegíveis ao programa)
35
RDD – Após a IntervençãoRDD identifica o efeito médio local para o grupo ao redor da linha de corte
Efeito do tratamento
65%
60%
55%
50%
Taxa de Emprego – em %
RDD
38
Método Tratamento Comparação Diferença
Regressão Descontínua 55% 57.5% 2.5 pp
Importante: O impacto é válido apenas para aqueles indivíduosque estão próximos à linha de corteEsse é um grupo interessante para o seu programa?
• Método poderoso se houver:• Uma variável ou indicador contínuo que define
eligibilidade• Uma linha de corte (cut-off) claramente definido e não
manipulável• Quanto maior a adesão melhor!
Resumo dos efeitos obtidos com diferentesmétodos
39
Método Tratamento Comparação DiferençaEfeito em
%
Participantes - Não-participantes
64% 55% 9 pp 16.4%
Pareamento 62% 57% 5 pp 8.8%
Diferença-em-diferenças 64% 62% 2 pp 3.7%
Regressão Descontínua 57.5% 55% 2.5 pp 4.5%