(Nome professor)(Universidade)Abdul Latif Jameel Poverty Action Lab

www.povertyactionlab.org

Como aleatorizar?

• Restrições do mundo real e alguns exemplos bem sucedidos

• Unidade e método de aleatorização

• Variações em análises tratamento‐controle simples

Resumo da apresentação

• Na primeira aula desta manhã vimos por quealeatorizar traz grandes vantagens.

• Agora veremos como fazê‐lo. Tanto do ponto de vistaoperativo, como do mecanismo em si.

• Antes de fazer isto, vamos ver a distinção entreamostra aleatória e tratamento aleatório.

Como aleatorizar: estratégias

Amostragem aleatória vs. Alocação aleatória

Amostra aleatória para representar a população

Alocaraleatoriamente para tratamentoe controle para evitar viés de seleção

Amostragem aleatória vs. Alocação aleatória

• Normalmente a primeira reação ao propor a aleatorização é aresistência por razões “éticas” ou políticas.

• Na maior parte dos casos aleatorizar é mais justo do que outrametodologia de seleção, e não é tão complicado quanto sepensa.

1. Em projetos‐piloto: antes de implementar um programa agrande escala, é comum fazer um piloto. Para poder avaliá‐lobem, convém escolher aleatoriamente as unidades onde seráimplementado.– O Programa Oportunidades, antes de ser expandido a dezenas de

milhares de localizações, foi implementado em mais de 200 localizaçõespiloto selecionadas aleatoriamente, deixando mais de 200 comocontrole. Ao provar que funcionava, foi expandido. Este é um fator quecontribui para a continuidade do programa.

Como aleatorizar: estratégias

2. Método de excesso de demanda: se houver mais demanda doque se pode atender, necessariamente teremos que deixaralguns de fora. Escolher aleatoriamente quem entra ‐além deser transparente e justo‐ nos permite ter um grupo decontrole.– Na Colômbia foi implementado um sistema de Vouchers para escolas.

Como havia excesso de demanda por escolas, foi escolhido por sorteioqual aluno entrava ou não.

3. Aleatorização no ponto de corte: Consiste em deixar entrarpessoas que ficaram de fora por pouco. Isto tem a vantagemde só mudar um pouco o método de seleção na margem.– Karlan e Zinman fizeram empréstimos de modo aleatório a pessoas que

tinham sido rejeitadas mas estavam perto do ponto de corte do banco.Isto permitiu medir se a política do banco era rígida demais.

Como aleatorizar: estratégias

4. Ordem de implementação aleatório: consiste emimplementar o programa para diferentes unidades emdiferentes momentos, porém a ordem é aleatória.– Em um projeto de desparasitação de crianças nas escolas, 75 escolas

foram escolhidas para reciber medicamentos, no entanto 25 entraramno 1º ano, 25 no 2º e as restantes no 3º.

5. Aleatorização por subgrupos: Um exemplo explica melhor:– No programa de Balsakhi, em algumas escolas as crianças do 3º ano

tiveram tutor, e em outras, as do 4º ano. O ano a escolher em cadaescola foi determinado de forma aleatória.

– Desta forma todas as escolas foram atendidas ao mesmo tempo.

Como aleatorizar: estratégias

6. Desenho de convite aleatório: consiste em aleatorizar quemrecebe promoção/convite especial para receber o tratamento(não é a mesma coisa que aleatorizar o tratamento).– Pode‐se dizer que este método é menos intervencionista, porque não

proíbe ninguém de entrar no programa e também não obriga ninguém autilizá‐lo.

– No entanto possui algumas desvantagens: o que se estuda não é em si oefeito do programa senão o efeito do programa induzido pelo convite.

– Pode‐se estimar o efeito do programa naqueles que foram convencidospelo convite, e não na população em geral.

– Se o efeito do convite é baixo, são necessárias amostras muito grandes.

Como aleatorizar: estratégias

• É importante notar que as conclusões são estritamenteválidas só para a população que foi aleatorizada.Dependendo do contexto pode‐se ou não generalizar oresultado fora da amostra.

• Por isso, para obter resultados para a população elegível,algumas avaliações fazem alocação aleatória para as pessoasque já passaram pelos critérios de seleção e pelos filtros doprograma.

• Se a pregunta é: como o programa afetaria os que não sãoelegíveis ‐ por exemplo, porque querem modificar aelegibilidade ‐ então a avaliação deverá ser realizada sobreesta população

A população a ser estudada

• Depois de decidir a estratégia de aleatorização (acabamos dever 6) e a unidade de aleatorização (que ainda vamos ver), omecanismo é muito fácil.

• Se você tem uma lista em Excel ou Stata ou outro programa,onde cada linha corresponde a uma unidade: ex. uma escola,uma pessoa, um município, uma sucursal, etc.

• Em excel, digite “=RAND()” e isso genera um número entre 0 e1. Em Stata, digite =uniform().

• Se você quer selecionar ½ da amostra, crie uma variável queseja=1 se a variável random é < 0.5.

Como aleatorizar: mecanismo

• Caso não seja possível ter uma lista, podemos usar outrosmétodos menos rigorosos como:– Tirar papéis de uma cesta– Usar a primeira letra do nome– First‐come‐first served

Note que isto pode trazer problemas:Exemplos?

• Sempre verifique que o resultado final pareça aleatório (ex.:testes de médias ou de distribuições entre os grupos). Se nãofor assim então volte a alocar aleatoriamente.

Como aleatorizar: mecanismo

Unidade de aleatorização: individual?

Unidade de aleatorização: individual?

Unidade de aleatorização: unidades agrupadas?

“Grupos de pessoas”: estudo aleatório em unidades agrupadas

Unidade de aleatorização: classe?

Unidade de aleatorização: classe?

Unidade de aleatorização: escola?

Unidade de aleatorização: escola?

• Em que nível aleatorizamos: aluno, sala, ano escolar, escola,município? Depende de várias coisas:

1. Restrições institucionais: pode ser percibido como injustoque um aluno tenha livros escolares grátis e o aluno do ladonão, por isso podemos preferir por exemplo o nível escola.Pode ser também que pela forma de operar seja mais fácilaleatorizar por área.

2. Restrições de contágio/contaminação: usando o exemploanterior podemos não querer fazê‐lo a nível de aluno, porquepoderia compartir o livro com o vizinho, contaminando ocontrole.

3. Em que nível é implementado o programa na vida real.•19

Unidade de aleatorização

• Se esperamos que o efeito total se reflita em unidadesgrandes, deveríamos aleatorizar a este nível de unidadesgrandes.

– Por exemplo, um programa de apoio a provedores ajuda váriasempresas de uma localidade, portanto seria necessario aleatorizarlocalidades .

– Desta forma não somente evitamos o problema de contaminação,mas também o estudamos.

• Às vezes por razões operativas ou políticas temos quealeatorizar em níveis maiores.

– Por exemplo: se em um programa de empréstimo tratarem algumaspessoas de forma diferente, outros poderão se incomodar.

•20

Unidade de aleatorização

• Observem que às vezes usar unidades de aleatorizaçãomaiores (i.e. mais agregadas) significa precisar de amostras debeneficiários maiores dentro dessas unidades.

• Isso acontece porque as pessoas tendem a se comportar deforma parecida ao seu grupo, ou porque são afetados pelasmesmas coisas, ou porque há imitação.

– Se isso é verdade, significa que as observações não sãoindependentes. Afinal, se todos são clones uns dos outros efazem exatamente a mesma coisa, possuir informação de cadapessoa no grupo equivale a ter informação sobre uma sópessoa.

•21

Unidade de aleatorização

• Às vezes a questão central é decidir entre as diferentes intervenções possíveis

• Você pode aleatorizar estes programas

• Isto nos ensina sobre o benefício de alguma intervenção particular?

• Existe um grupo de controle? •Cómo aleatorizar, Parte I -

22

Tratamentos múltiplos

Tratamento 1Tratamento 2Tratamento 3

Tratamentos múltiplos

• Testa combinações de diferentes componentes deum tratamento

• Testa se esses diferentes componentes sãosubstitutos ou complementos

• Qual é a combinação mais econômica?

• Vantagem: situação onde todos ganham pode ser útilpara responder perguntas além do simples“impacto”!

Interação de tratamento

• Algumas escolas recebem  tratamento completo– Todas as crianças recebem pílulas

• Algumas escolas recebem tratamento parcial– 50% das crianças recebem pílulas

• Em outros experimentos: mudar o preço que é cobrado por um bem ou serviço

Variando intensidade no tratamento

• Objetivo: equilibrar a amostra quando tiver uma amostra pequena

• O que é? – dividir a amostra em diferentes subgrupos– selecionar o tratamento e controle dentro de cada subgrupo

• Vantagem: garantir que haja unidades de tratamento e controle para subpopulações de interesse. Aumentar o poder estatístico.

Estratificação

• Estratificar em variáveis que poderiam ter um impacto importante na variável de resultado (com um pouco de intuição)

• Estratificar em subgrupos que interessam particularmente (onde o impacto do programa poderia ser diferente)

• A estratificação é mais importante quando as bases de dados são pequenas, porque garante que você tenha tratamento e controle em cada estrato. 

•27

Quando estratificar

Perguntas, Comentários, Dúvidas

povertyactionlab.org

(Nome professor)(Universidade)Abdul Latif Jameel Poverty Action Lab