Aproveitar Descontinuidades

22
Global Workshop on Development Impact Evaluation in Finance and Private Sector Rio de Janeiro, June 6-10, 2011 Aproveitar Descontinuidades Francisco Campos Africa Region Gender Practice

description

Francisco Campos Africa Region Gender Practice. Aproveitar Descontinuidades. Introdução. Como é que avaliamos intervenções Quando não existe alocação aleatória a grupos de tratamento e de comparação? Quando não se pode manipular o processo de seleção? Caso geral - PowerPoint PPT Presentation

Transcript of Aproveitar Descontinuidades

Page 1: Aproveitar Descontinuidades

Global Workshop onDevelopment Impact Evaluation

in Finance and Private SectorRio de Janeiro, June 6-10, 2011

Aproveitar Descontinuidades

Francisco CamposAfrica Region Gender Practice

Page 2: Aproveitar Descontinuidades

2

Introdução

Como é que avaliamos intervenções Quando não existe alocação aleatória a grupos de tratamento e de

comparação?

Quando não se pode manipular o processo de seleção?

Caso geral Pessoas, lares, municípios ou outras entidades são expostos ou

não a um “tratamento” ou “política” Dois grupos não são comparáveis por causa do processo de

seleção Exemplo: Clientes de micro-crédito e indivíduos que não são

clientes de micro-crédito

Quando a seleção aleatória não é possível, como é que podemos utilizar as características do programa para “medir” o seu impacto?

Resposta: métodos quasi-experimentais Exemplo: Modelos de Regressão Descontínua (MDRs)

Page 3: Aproveitar Descontinuidades

Nome horrível… mas um primo muito mais próximo das experiências com seleção aleatória do que os outros concorrentes

Importante elemento do kit de ferramentas para research• Data do início da década de 60• Entrou em hibernação por algum tempo• Retomado no novo milénio

Modelos de Regressão Descontínua

3

Page 4: Aproveitar Descontinuidades

4

Exemplo de MRD (1)

Lei: Idade mínima para beber nos EUA é 21 o consumo de alcóol é ilegal para pessoas com menos de 21 anos.

Análise: Pessoas com 20 anos, 11 meses e 29 dias Pessoas com 21 anos

Mas não necessariamente diferentes (probabilidade de irem a festas, obediência, probabilidade de terem comportamentos de risco, etc)

Tratadas na lei de uma forma diferente por uma restrição arbitrária (idade)

Page 5: Aproveitar Descontinuidades

5

De facto: Esta lei aloca pessoas a grupos de tratamento e comparação

Grupo de tratamento: Pessoas com idades entre 20 anos e 11 meses e 20 anos, 11 meses e 29 dias Grupo de controle: Pessoas que tenham acabado de fazer 21 anos e que já podem beber legalmente. Ambos os grupos devem ser semelhantes em termos de características observáveis e não observáveis que afectam os resultados de interesse (taxas de mortalidade)

Desta forma, é possivel isolar o efeito de causalidade do consumo de alcóol nas taxas de mortalidade de adultos jovens

Exemplo de MRD (2)

Page 6: Aproveitar Descontinuidades

6

Exemplo de MRD (3)

Proporção de dias em que (1) bebe ou (2) bebe em grandes quantidades

Tratamento causa ummenor consumo de alcóol

Page 7: Aproveitar Descontinuidades

7

Exemplo de MRD (4)

Taxas de mortalidade por idade

Aumento do consumo de alcóol causa taxas de mortalidade mais elevadas por volta dos 21 anosMortalidade

geral

Mortalidade associada a acidentes, consumo de alcóol ou de drogas

Restante mortalidade

Page 8: Aproveitar Descontinuidades

8

A Lógica dos MRD

• Alocação ao grupo de tratamento depende de uma pontuação ou de um ranking contínuo (ex.: Idade, vendas, resultado num exame, índice de pobreza)• Potenciais beneficiários são ordenados pela pontuação• Limite ou cut-off (ponto de corte) para ser “elegível”

definido claramente ex-ante• Cut-off determina alocação a grupos de tratamento e

de comparação

• Alocação geralmente resulta de decisões administrativas, onde• a participação é limitada devido a restrições

orçamentais• regras claras e não arbitrárias são utilizadas para a

participação no programa

Page 9: Aproveitar Descontinuidades

9

Exemplo (2): Subsídios (Matching Grants)

• Governo oferece subsídios via matching grants a PMEs formais

• Eligibilidade para receber estes subsídios baseada nas vendas do ano anterior:

• Se as vendas foram superiores a $5,000, a empresa recebe a oferta do subsídio

• Se as vendas foram inferiores a $5,000, a empresa não pode beneficiar do subsídio

• Se as vendas foram divulgadas antes do anúncio da medida• não é possível manipular as vendas reportadas no ano

anterior• fácil de medir as vendas e garantir a utilização da regra

• MRD compara empresas mesmo acima de $5,000 (por exemplo $5,001) com empresas apenas abaixo de $5,000 (por exemplo $4,999)

• Outro exemplo: pontuação de crédito (credit score)

Page 10: Aproveitar Descontinuidades

10

Exemplo: MRD difuso (fuzzy design)

• O que acontece se nem todas as empresas com menos de $5000 aderem ao programa?• Falta de conhecimento da existência do programa

(não sabiam que o programa tinha sido introduzido)

• Só as empresas interessadas aderem• Ambos implicam que haja uma seleção (empresas

que aderem ao programa podem ser diferentes daquelas que não aderem em várias dimensões)

• MAS: A percentagem de participantes altera-se descontinuadamente na fronteira (no ponto de corte), de zero para menos de 100%• Denominado MRD difuso

Page 11: Aproveitar Descontinuidades

11

0.2

5.5

.75

1

tre

atm

en

t pro

bab

ility

assignment variable

Sharp Design for Voucher receipt

0.2

5.5

.75

1

assignment variable

Fuzzy Design for Voucher receipt

Probabilidade de Participação: Regra estanque e regra difusa

100%

0%

75%

0%

Regra estanque de recebimento do subsídio Regra difusa de recebimento do subsídio

Page 12: Aproveitar Descontinuidades

12

DescontinuidadesEstanques e Difusas

Descontinuidade Estanque A descontinuidade determina, com precisão, a condição de tratamento

▪ Todas as pessoas com 21 ou mais anos, consomem bebidas alcóolicas e mais ninguem o faz

▪ Todas as empresas com mais de $5,000 em vendas recebe subsídios e empresas menores não o fazem

Descontinuidade Difusa A percentagem de participantes muda de forma descontínua no cut-off, mas não de zero para 100% (ou de 100% para 0%)

▪ Algumas pessoas mais novas que 21 consomem bebidas alcóolicas e algumas com mais de 21 não consomem bebidas alcóolicas

▪ Regra determina eligibilidade, mas entre as empresas com mais de $5,000 em vendas, há apenas adesão parcial.

Page 13: Aproveitar Descontinuidades

13

Validade Interna

Ideia geral: Se o ponto de corte (cut-off) é arbitrário, as

pessoas exactamente à esquerda e à direita desse ponto devem ser semelhantes

Diferenças nos resultados podem ser atribuídos à política

Principal condição Nada mais acontece: na ausência da política,

não observaríamos a discontinuidade nos resultados à volta deste limite em particular

Pode não ser o caso se▪ Regra do uso de capacete para motorizadas também se

aplica aos 21 anos▪ Outra medida oferece equipamento a empresas com

vendas superiores a $5,000

Page 14: Aproveitar Descontinuidades

14

Perfil do Resultado Antes e Depois da Intervenção

outc

om

e

assignment variable

Baseline

assignment variable

Follow-up

Page 15: Aproveitar Descontinuidades

15

Perfil do Resultado Antes e Depois da Intervenção

outc

om

e

assignment variable

Baseline

assignment variable

Follow-up

Forma diferente

Page 16: Aproveitar Descontinuidades

16

Validade Externa

Serão os resultados generalizáveis para além destes dois grupos que estamos a comparar?

Contrafatual em MRD Indivíduos marginalmente excluídos dos benefícios Exemplos: pessoas com menos de 21 mas com mais

de 20 anos e 10 meses; empresas com vendas superiores a $5,000 mas menos que $5,500.

As conclusões de causalidade são limitadas às pessoas, lares, municípios, no cut-off O impacto estimado é para individuos marginalmente

ou por pouco elegíveis para participarem no programa A extrapolação além deste ponto supõe premissas

adicionais, geralmente não garantidas (ou diversos cut-offs)

Modelos difusos aumentam o problema

Page 17: Aproveitar Descontinuidades

17

Análise Gráficao

utc

om

e

assignment variable

Page 18: Aproveitar Descontinuidades

18

Implementação de MRD: Detalhes

Maiores vantagens dos MRD Transparência Possibilidade de ilustrar a situação atraves do uso de

gráficos

Maiores desvantagens dos MRD Necessário que haja muitas observações à volta do cut-

off Todas as observações longe da fronteira devem ter

menos importância Porque?

▪ Apenas perto do cut-off, podemos assumir que é por acaso que as pessoas estão à esquerda ou à direita

▪ Por exemplo uma empresa com vendas anuais de $5,000 versus uma com $100,000

▪ Ou uma pessoa com 16 anos versus outra com 25

Page 19: Aproveitar Descontinuidades

19

Levantar as metas

Experiências naturais são eventos “naturais” que aproximam as propriedades de uma experiência

MRDs partilham as mesmas propriedades de uma experiência localmente no ponto de corte (cut-off)

Estas descontinuidades do “mundo real” são uma mina de ouro para aqueles que estão “à procura” de experiências naturais

Page 20: Aproveitar Descontinuidades

20

Em conclusão

MRD são intrumentos úteis para identificar o efeito de causalidade Vantagens

▪ MRD partilham as mesmas propriedades de uma experiência no local do ponto de corte (cut-off)

▪ Podem ser utilizados para avaliar intervenções ex-post tratando os pontos de corte como “experiências naturais” (com propriedades próximas de uma experiência mas não são designados como tal)

Desvantagens▪ Os efeitos estimados do programa são apenas representativos das

pessoas/empresas perto do ponto de corte

▪ MRDs necessitam de amostras muito grandes

▪ Pessoas/empresas podem ajustar o seu comportamento em anos subsequente em resposta ao limite▪ Exemplo: Deixar de reportar vendas abaixo de $5,000

Page 21: Aproveitar Descontinuidades

21

Em conclusão

Pode ser usado para desenhar uma avaliação quando a seleção aleatória não for possível O design aplica-se a todos os programas

avaliados por médias Diversos pontos de corte para melhorar a

validade externa

Pode ser usado para avaliar intervenções ex-post usando as descontinuidades como “experiências naturais”.

Page 22: Aproveitar Descontinuidades

Obrigado

Agradecemos o apoio financeiro de: Bank Netherlands Partnership Program (BNPP), Bovespa, CVM, Gender Action Plan (GAP), Belgium & Luxemburg Poverty Reduction Partnerships (BPRP/LPRP), Knowledge for Change Program (KCP), Russia Financial Literacy and Education Trust Fund (RTF), and the Trust Fund for Environmentally &

Socially Sustainable Development (TFESSD)