METÓDOS EXPERIMENTAIS PARTE 1 -...

METÓDOS EXPERIMENTAISPARTE 1

Seminário de Avaliação de ImpactoLuanda, Angola

Novembro 19 – 20, 2015

Referência

Versão em Espanhol & Versãoem Francês

e também disponível emPortuguese.

Download gratuito: www.worldbank.org/ieinpractice

http://runningres.com

http://www.worldbank.org/ieinpractice

http://runningres.com/

Avaliação de Impacto – Roteiro

Estrutura Lógica

Medindo Impacto

Plano Operacional

Recursos

Como o programafunciona na teoria

Metódos para identificarimpacto

Nosso Objetivo

Estimar o efeito causal (impacto) do programa (P) sobre um resultado (Y).

P = Programa ou Tratamento

Y = Indicador, Medida de Sucesso

YT = Resultado com o programa

YC = Resultado sem o programa (controlo)

Impacto= YT- YC

Exemplo: CCT Progresa

Programa nacional de combate a pobreza no México

Transferência de renda condicionada aocomparecimento a escola e sistema de saúde

Público-alvo

•Eligibilidade baseada no índice de pobreza

Tempo:

• Iniciado em 1997

• Extendido ate 5 milhões

de beneficiarios em 2004

Qual é o Impacto da….

…transferência de rendacondicionada…

… no consumo da família

(P)

(Y)

Pergunta do Estudo

Desafio – Não contrafactual

Impacto= YT- YC

Nós não observamos o que poderia teracontecido aos alunos se eles não tivessemrecebido nenhuma renda (o contrafactual)?

CONTRAFACTUAL PERFEITO

CLONE

Experimento Perfeito

Primeiro, identifique os beneficiários-alvo…

Experimento Perfeito - Clones

… e então clone os beneficiários-alvo


Distribua renda condicionada a um grupo de clones


… e compare o consumo medio dos dois grupos algum tempo depois

• Porque as pessoas que receberam renda são exatamente as mesmas que não a receberam, podemos atribuir aoprograma a diferença do consumo entre os dois grupos

CONTRAFACTUAIS RUINS

Antes & Depois

Comparando inscritos e não inscritos

Caso 1: Antes & Depois

Y

Tempot=1997 t=1998

$35

ESTIMATIVA DO IMPACTO =A-B= $35

B

A

233

268

(1) Observe somente osbeneficiários

(2) Duasobservações de tempo: Consumo em 1997Consumo em1998.


Observação: Se o efeito é estatísticamente significativo a 1% do nível de significância, rotulamos a estimativa do impacto com 2 estrelas (**).

Consumo (Y)

Consumo depois do início do programa(tratamento) 268.7

Consumo antes do início do programa(grupo de controlo (contrafactual)) 233.4

Estimativa do Impacto 35.3***

Estimativa do Impacto no Consumo (Y)

Regressão Linear 35.27**

Regressão Linear Multivariada 34.28**

Y

TempoT=0 T=1

α = $35

B

A

233

268

CrescimentoEconomico:o Impacto Real=A-Co A-B Impacto

superestimadoC ?

D ?

Impacto?

Impacto?Recessão Economica:o Impacto Real=A-Do A-B Impacto

subestimado

Caso 1: Problema: não sabemos o quepoderia ter acontecido sem o programa

Caso 2: Algumas pessoas se inscrevem, outras não

Inelegíveis(Não-Pobre)

Elegíveis(Pobre = Populalação-alvo)

Não Inscritos

Inscritos

Caso 2: Algumas pessoas se inscrevem, outras não

GRUPO DE TRATAMENTO GRUPO DE CONTROLO

Caso 2: Inscricao selectiva

E se aqueles que escolheram não se inscrever são diferentes?


E, se não podemos observar (controlar) estas diferenças…


E, se estas diferenças influenciarem os resultados?

Os fatores que determinam a inscrição são correlacionadoscom o consumo?

Caso 2: Algumas pessoas se inscrevem, outrasnão

Consumo (Y)

Consumo com o programa(inscritos - tratamento)

268

Consumo sem o programa(não inscritos - controle)

290

Estimativa do Impacto -22**

Estimativa do Impacto no Consumo(Y)

Regressão Linear -22**

Regressão Linear Multivariada

-4.15


Recomendação de Política do Progresa?

Impacto no Consumo (Y)




Caso 2: Inscritos & Não Inscritos


Regressão Linear Multivariada -4.15


Lembre-se…

ComparaçãoAntes-e-Depois

Problema: outros fatores importantestambém mudam aolongo do tempo.

Compare os que se inscreveram com os que não

Problema: Inscricaoselectiva. O inscritopode ser diferente, e não observamos estasdiferenças.

Ambos os grupos de comparação podem levar a estimativas enviesadas no impacto do programa.

CONTRAFACTUAL BOM

ALOCAÇÃO ALEATÓRIA

Alocação aleatória: criando grupossimilares

Com uma grande amostra, dois grupos tem característicasmuito similares EM MÉDIA

Validade Externa e Interna

Amostra Aleatória

AlocaçãoAleatória

População-alvo

Validade Externa Validade Interna

Amostra Aleatória NÃO é o mesmo queAlocação Aleatória!

Não ParticipantesParticipantes

A extração de uma amostra aleatória de dois grupos não os tornacomparáveis.

Caso 3: Alocação Aleatória na Progresa

Como sabemos se temos bons“clones” do grupo de tratamento?

Na ausência da Progresa, tratamentoe comparação devem ser idênticos

Vamos comparar suas caracteristicasna origem da intervencao (t=0)

Caso 3: Características balanceadas na origem

Alocação Aleatória

Tratamento Comparação teste T

Consumo($ mensal per capita)

233.4 233.47 -0.39

Idade do chefe da família(anos)

41.6 42.3 -1.2

Idade do Cônjuge(anos)

36.8 36.8 -0.38

Educação do chefe da família(anos)

2.9 2.8 2.16**

Educação do Cônjuge(anos)

2.7 2.6 0.006

Observação: Se o efeito é estatísticamente significativo a 1% do nívelde significância, rotulamos a estimativa do impacto com 2 estrelas(**).


Tratamento Comparação teste T

Chefe da família é do sexo feminino=1

0.07 0.07 -0.66

Indígena=1 0.42 0.42 -0.21

Número de membros do domicílio

5.7 5.7 1.21

Banheiro=1 0.57 0.56 1.04

Hectares de Terra 1.67 1.71 -1.35

Distância do Hospital (km)

109 106 1.02


Case 3: Características balanceadas na origem

… criar o contrafactual correto

Y

t=1997 t=1998

B

A

233

268

239

ImpactoVerdadeiro

Medida do Impacto=A-B= $29

Caso 3: Alocação Aleatória

Grupo de Tratamento

(aleatoriamenteescolhido)

Contrafactual(aleatoriamenteescolhido para Comparação)

Impacto

Origem (t=0) Consumo(Y) 233.47 233.40 0.07

Fase posterior (t=1) Consumo (Y) 268.75 239.5 29.25**

Estimativa do Impacto no Consumo(Y)


Regressão Linear Multivariada

29.75**


Recomendação de Política do Progresa?


Impacto do Progresa no Consumo (Y)



Caso 2: Inscrito & NãoInscrito


Regressão Linear Multivariada -4.15

Case 3: AlocaçãoAleatória


RANDOMIZAÇÃO NA PRÁTICA

EXEMPLO DO PROGRESA

Programa Opera na Comunidade

Randomização na Comunidade

506 comunidades

320 tratamento

186 controlo

Assignação aleatória de comunidades para receber o programa

Programa foi aleatóriamente introduzido

TempoDurantee

Antes

período de avaliação

Depois

Lembre-se


Na Alocação Aleatória, amostrassuficientemente grandes, produzemdois grupos estatísticamenteequivalentes.

Nós identificamos o perfeito clone!

Teste Surpresa!

Qual é o problema quando comparamosaqueles que se increveram com aqueles que

escolheram não se inscrever? A. Aqueles que não se inscreveram

podem ser muito diferentesdaqueles que se inscreveram, e as diferencas podem estarcorrelacionadas com osresultados do programa.

B. Aqueles que não se increveramtambém irão querer receber o programa.

C. Aqueles que não se inscreverampodem ser muito diferentes dos que se inscreveram, mas as diferencas NÃO estãocorrelacionadas com osresultados do programa.

Those n

ot enro

lled co

uld...

Those n

ot enro

lled w

ill al..

Those n

ot enro

lled co

uld...

0% 0%0%

Aqueles não inscritos podem…Aqueles não inscritos irão…Aqueles não inscritos podem…

Qual é o maior problema em fazer umacomparação antes-e-depois?

A. Tamanho da amostra pode nãoser grande o suficiente

B. Qualquer diferença do resultadoque observamos no antes-e-depois pode ser devido a outros fatores que mudaram com o tempo.

C. Você pode não encontrar as pessoas pesquisadas no começo.

Sample

size

mig

ht not b

e...

Any diff

erence

we o

bser..

You mig

ht not f

ind th

e ...

0% 0%0%

Tamanho da amostra pode…Qualquer diferença observada…Você pode não encontrar…

O que é contrafactual?

A. Um argumento

B. É o que teria acontecido se o programa não tivesse ocorrido.

C. Um tipo de vacina.

D. Contrário aos fatos.

An arg

ument

It is

what w

ould h

ave h

...

A type o

f vac

cinatio

n.

Contrary

to th

e fact

s

0% 0%0%0%

Um argumentoÉ o que teria acontecido…Um tipo de vacina.Contrário aos fatos

Por que a randomização pode criar um contrafactual correto?

A. É justo porque todos tem uma change igual de receber o programa.

B. Clona cada pessoa.

C. Aqueles que receberam o programa são, em média, os mesmos que nãoreceberam o programa.

It is

fair

because

everyon...

It clo

nes each

pers

on.

Those w

ho rece

ive th

e p...

0% 0%0%

É justo porque todos…Clona cada pessoa.Aqueles que receberam…

Obrigado!

METÓDOS EXPERIMENTAIS PARTE 1 -...

Documents

Transcript of METÓDOS EXPERIMENTAIS PARTE 1 -...