Non-Experimental Methods. Objetivo: Isolar o efeito das nossas intervenções sobre os resultados de...
Transcript of Non-Experimental Methods. Objetivo: Isolar o efeito das nossas intervenções sobre os resultados de...
![Page 1: Non-Experimental Methods. Objetivo: Isolar o efeito das nossas intervenções sobre os resultados de interesse Utilizar métodos de avaliação rigorosos.](https://reader035.fdocumentos.com/reader035/viewer/2022070311/552fc145497959413d8e090c/html5/thumbnails/1.jpg)
Non-Experimental Methods
![Page 2: Non-Experimental Methods. Objetivo: Isolar o efeito das nossas intervenções sobre os resultados de interesse Utilizar métodos de avaliação rigorosos.](https://reader035.fdocumentos.com/reader035/viewer/2022070311/552fc145497959413d8e090c/html5/thumbnails/2.jpg)
Objetivo: Isolar o efeito das nossas intervenções sobre os resultados de interesse
Utilizar métodos de avaliação rigorosos para responder às nossas questões inicialmente propostas
Randomização (seleção aleatória) dos participantes no tratamento é o método “padrão de ouro” (simples, preciso, barato)
E se não pudermos mesmo utilizar este método?
➤ Quando faça sentido, utilizar métodos não-experimentais
![Page 3: Non-Experimental Methods. Objetivo: Isolar o efeito das nossas intervenções sobre os resultados de interesse Utilizar métodos de avaliação rigorosos.](https://reader035.fdocumentos.com/reader035/viewer/2022070311/552fc145497959413d8e090c/html5/thumbnails/3.jpg)
Conseguimos encontrar um contrafatual plausível? Experiência natural?
Métodos não-experimentais estão associados a um conjunto de premissas Quanto maior o número de premissas, menos
válida será a medida do efeito de causalidade É importante questionar as nossas premissas
▪ Utilize o senso-comum!
![Page 4: Non-Experimental Methods. Objetivo: Isolar o efeito das nossas intervenções sobre os resultados de interesse Utilizar métodos de avaliação rigorosos.](https://reader035.fdocumentos.com/reader035/viewer/2022070311/552fc145497959413d8e090c/html5/thumbnails/4.jpg)
Objetivo Principal▪ Aumentar a produtividade e vendas da
empresa Intervenção
▪ Distribuição de subsídios▪ Seleção de participantes não-aleatória
Grupo alvo▪ PMEs entre 1 e 10 empregados
Principal indicador▪ Vendas
4
![Page 5: Non-Experimental Methods. Objetivo: Isolar o efeito das nossas intervenções sobre os resultados de interesse Utilizar métodos de avaliação rigorosos.](https://reader035.fdocumentos.com/reader035/viewer/2022070311/552fc145497959413d8e090c/html5/thumbnails/5.jpg)
5
(+) Impacto do programa
(+) Impacto de fatores externos
![Page 6: Non-Experimental Methods. Objetivo: Isolar o efeito das nossas intervenções sobre os resultados de interesse Utilizar métodos de avaliação rigorosos.](https://reader035.fdocumentos.com/reader035/viewer/2022070311/552fc145497959413d8e090c/html5/thumbnails/6.jpg)
6
(+) Medida ENVIESADA do impacto do programa
“Antes-e-Depois” não gera resultadosem que possamos acreditar!
![Page 7: Non-Experimental Methods. Objetivo: Isolar o efeito das nossas intervenções sobre os resultados de interesse Utilizar métodos de avaliação rigorosos.](https://reader035.fdocumentos.com/reader035/viewer/2022070311/552fc145497959413d8e090c/html5/thumbnails/7.jpg)
7
Diferençafinal (« depois ») entreparticipantes e não participantes
Diferençainicial (« antes ») entreparticipantes e não participantes
>> Qual é o impacto da nossa intervenção?
![Page 8: Non-Experimental Methods. Objetivo: Isolar o efeito das nossas intervenções sobre os resultados de interesse Utilizar métodos de avaliação rigorosos.](https://reader035.fdocumentos.com/reader035/viewer/2022070311/552fc145497959413d8e090c/html5/thumbnails/8.jpg)
Contrafatual:
2 opções que significam o mesmo
1. Vendas de não participantes depois da intervenção, expurgando as diferenças “anteriores” entre participantes e não participantes (a diferença inicial entre os dois grupos)
2. Vendas dos participantes antes da intervenção, expurgando a variação entre “antes/depois”para os não participantes (os fatores externos)
1 e 2 são equivalentes
8
![Page 9: Non-Experimental Methods. Objetivo: Isolar o efeito das nossas intervenções sobre os resultados de interesse Utilizar métodos de avaliação rigorosos.](https://reader035.fdocumentos.com/reader035/viewer/2022070311/552fc145497959413d8e090c/html5/thumbnails/9.jpg)
Premissa subjacente:Sem o programa, as vendas dos
participantes e dos não participantes evoluíriam da mesma forma (com a mesma tendência)
>> Gráfico intuitivo a caminho....
![Page 10: Non-Experimental Methods. Objetivo: Isolar o efeito das nossas intervenções sobre os resultados de interesse Utilizar métodos de avaliação rigorosos.](https://reader035.fdocumentos.com/reader035/viewer/2022070311/552fc145497959413d8e090c/html5/thumbnails/10.jpg)
10
![Page 11: Non-Experimental Methods. Objetivo: Isolar o efeito das nossas intervenções sobre os resultados de interesse Utilizar métodos de avaliação rigorosos.](https://reader035.fdocumentos.com/reader035/viewer/2022070311/552fc145497959413d8e090c/html5/thumbnails/11.jpg)
11
![Page 12: Non-Experimental Methods. Objetivo: Isolar o efeito das nossas intervenções sobre os resultados de interesse Utilizar métodos de avaliação rigorosos.](https://reader035.fdocumentos.com/reader035/viewer/2022070311/552fc145497959413d8e090c/html5/thumbnails/12.jpg)
12
NP2008-NP2007=0.8
NP2008-NP2007=0.8
Impacto = (P2008-P2007) -(NP2008-NP2007)
= 0.6 – 0.8 = -0.2
Impacto = (P2008-P2007) -(NP2008-NP2007)
= 0.6 – 0.8 = -0.2
P2008-P2007=0.6
P2008-P2007=0.6
![Page 13: Non-Experimental Methods. Objetivo: Isolar o efeito das nossas intervenções sobre os resultados de interesse Utilizar métodos de avaliação rigorosos.](https://reader035.fdocumentos.com/reader035/viewer/2022070311/552fc145497959413d8e090c/html5/thumbnails/13.jpg)
13
P-NP2008=0.5P-NP2008=0.5
Impacto = (P-NP)2008-(P-NP)2007
= 0.5 - 0.7 = -0.2Impacto = (P-NP)2008-(P-NP)2007
= 0.5 - 0.7 = -0.2
P-NP2007=0.7P-NP2007=0.7
![Page 14: Non-Experimental Methods. Objetivo: Isolar o efeito das nossas intervenções sobre os resultados de interesse Utilizar métodos de avaliação rigorosos.](https://reader035.fdocumentos.com/reader035/viewer/2022070311/552fc145497959413d8e090c/html5/thumbnails/14.jpg)
Impacto=-0.2Impacto=-0.2
![Page 15: Non-Experimental Methods. Objetivo: Isolar o efeito das nossas intervenções sobre os resultados de interesse Utilizar métodos de avaliação rigorosos.](https://reader035.fdocumentos.com/reader035/viewer/2022070311/552fc145497959413d8e090c/html5/thumbnails/15.jpg)
Impacto negativo: Muito contra-intuitivo: O aumento do
financiamento não devería reduzir as vendas, a partir do momento em que os fatores externos sejam tidos em conta!
Presumir a mesma tendência é muito forte Os 2 grupos estavam em 2007 a produzir a
níveis muito diferentes Questione a presunção de mesma tendência!
Sempre que possível, teste a presunção de mesma tendência com dados de anos anteriores
![Page 16: Non-Experimental Methods. Objetivo: Isolar o efeito das nossas intervenções sobre os resultados de interesse Utilizar métodos de avaliação rigorosos.](https://reader035.fdocumentos.com/reader035/viewer/2022070311/552fc145497959413d8e090c/html5/thumbnails/16.jpg)
Rejeitamos a presunção contrafatual de mesma tendência!
![Page 17: Non-Experimental Methods. Objetivo: Isolar o efeito das nossas intervenções sobre os resultados de interesse Utilizar métodos de avaliação rigorosos.](https://reader035.fdocumentos.com/reader035/viewer/2022070311/552fc145497959413d8e090c/html5/thumbnails/17.jpg)
17
![Page 18: Non-Experimental Methods. Objetivo: Isolar o efeito das nossas intervenções sobre os resultados de interesse Utilizar métodos de avaliação rigorosos.](https://reader035.fdocumentos.com/reader035/viewer/2022070311/552fc145497959413d8e090c/html5/thumbnails/18.jpg)
18
NP08-NP07=0.2NP08-NP07=0.2
Impact0 = (P2008-P2007) -(NP2008-NP2007)
= 0.6 – 0.2 = + 0.4
Impact0 = (P2008-P2007) -(NP2008-NP2007)
= 0.6 – 0.2 = + 0.4
![Page 19: Non-Experimental Methods. Objetivo: Isolar o efeito das nossas intervenções sobre os resultados de interesse Utilizar métodos de avaliação rigorosos.](https://reader035.fdocumentos.com/reader035/viewer/2022070311/552fc145497959413d8e090c/html5/thumbnails/19.jpg)
Impacto = +0.4Impacto = +0.4
![Page 20: Non-Experimental Methods. Objetivo: Isolar o efeito das nossas intervenções sobre os resultados de interesse Utilizar métodos de avaliação rigorosos.](https://reader035.fdocumentos.com/reader035/viewer/2022070311/552fc145497959413d8e090c/html5/thumbnails/20.jpg)
Impacto Positivo: Mais intuitivo
Sera que presumir a mesma tendência é razoável? ➤Ainda precisamos de questionar a
presunção contrafatual de mesma tendência!➤Utilizemos dados de anos anteriores
![Page 21: Non-Experimental Methods. Objetivo: Isolar o efeito das nossas intervenções sobre os resultados de interesse Utilizar métodos de avaliação rigorosos.](https://reader035.fdocumentos.com/reader035/viewer/2022070311/552fc145497959413d8e090c/html5/thumbnails/21.jpg)
Parece razoável aceitar a presunção contrafatual de mesma tendência!
![Page 22: Non-Experimental Methods. Objetivo: Isolar o efeito das nossas intervenções sobre os resultados de interesse Utilizar métodos de avaliação rigorosos.](https://reader035.fdocumentos.com/reader035/viewer/2022070311/552fc145497959413d8e090c/html5/thumbnails/22.jpg)
Assumir a mesma tendência é normalmente problemático Quando não existem dados para testar a
mesma tendência histórica E mesmo se as tendências forem
semelhantes no ano anterior…▪ Foram as tendências sempre semelhantes (ou
tivemos sorte)?▪ Mais importante, serão essas tendências
sempre semelhantes?▪ Exemplo: Outro projeto intervem nas nossas
empresas não participantes…
![Page 23: Non-Experimental Methods. Objetivo: Isolar o efeito das nossas intervenções sobre os resultados de interesse Utilizar métodos de avaliação rigorosos.](https://reader035.fdocumentos.com/reader035/viewer/2022070311/552fc145497959413d8e090c/html5/thumbnails/23.jpg)
Que fazemos então? >> Temos de ser descritivos! Verificar as semelhanças em características
observáveis▪ Se não são semelhantes ao nível das
características observáveis, é provavel que as tendências sejam diferentes de uma forma imprevisível
>> No entanto, não conseguimos verificar o que não conseguimos ver…E as características não observáveis podem ser mais importantes que as observáveis (capacidade, motivação, paciência, etc)
![Page 24: Non-Experimental Methods. Objetivo: Isolar o efeito das nossas intervenções sobre os resultados de interesse Utilizar métodos de avaliação rigorosos.](https://reader035.fdocumentos.com/reader035/viewer/2022070311/552fc145497959413d8e090c/html5/thumbnails/24.jpg)
24
![Page 25: Non-Experimental Methods. Objetivo: Isolar o efeito das nossas intervenções sobre os resultados de interesse Utilizar métodos de avaliação rigorosos.](https://reader035.fdocumentos.com/reader035/viewer/2022070311/552fc145497959413d8e090c/html5/thumbnails/25.jpg)
Premissas subjacentes
Não há diferenças entre os participantes e não participantes em termos de características não observáveis
E/OU
Características não observáveis não afetam a selecção para o tratamento nem o resultado de interesse
![Page 26: Non-Experimental Methods. Objetivo: Isolar o efeito das nossas intervenções sobre os resultados de interesse Utilizar métodos de avaliação rigorosos.](https://reader035.fdocumentos.com/reader035/viewer/2022070311/552fc145497959413d8e090c/html5/thumbnails/26.jpg)
Criar um grupo de controle através da identificação de sub-grupos (de um ou mais) com características observáveis semelhantes aos participantes Temos de escolher com cuidado as
variáveis para agrupar os participantes com o grupo de controle
De forma a que fiquemos apenas com▪ Grupo de tratamento: Participantes que
conseguiram obter um par▪ Grupo de controle: não-participantes parecidos
com os participantes >> Em resultado deste processo, eliminamos uma
parte do nosso grupo de tratamento!
![Page 27: Non-Experimental Methods. Objetivo: Isolar o efeito das nossas intervenções sobre os resultados de interesse Utilizar métodos de avaliação rigorosos.](https://reader035.fdocumentos.com/reader035/viewer/2022070311/552fc145497959413d8e090c/html5/thumbnails/27.jpg)
Na maior parte dos casos, não conseguimos encontrar pares para todos os participantes
Precisamos de perceber quem fica de fora
Exemplo
Pontuação
não-participantesParticipantes
Partecombinada
Riqueza
Parte do grupode tratamento excluída
![Page 28: Non-Experimental Methods. Objetivo: Isolar o efeito das nossas intervenções sobre os resultados de interesse Utilizar métodos de avaliação rigorosos.](https://reader035.fdocumentos.com/reader035/viewer/2022070311/552fc145497959413d8e090c/html5/thumbnails/28.jpg)
Vantagens do metodo de combinação: Não precisa de randomização
28
![Page 29: Non-Experimental Methods. Objetivo: Isolar o efeito das nossas intervenções sobre os resultados de interesse Utilizar métodos de avaliação rigorosos.](https://reader035.fdocumentos.com/reader035/viewer/2022070311/552fc145497959413d8e090c/html5/thumbnails/29.jpg)
Desvantagens: A premissa subjacente ao contrafatual não é
plausível em todos os contextos, dificil de testar▪ Utilize o senso comum
Necessita dados de muita qualidade▪ Necessário controlar todos os fatores que influenciam o
a alocação ao programa / resultado em análise Necessita amostras de tamanho
suficientemente grande para gerar o grupo de comparação
não se consegue sempre encontrar pares para todos...
29
![Page 30: Non-Experimental Methods. Objetivo: Isolar o efeito das nossas intervenções sobre os resultados de interesse Utilizar métodos de avaliação rigorosos.](https://reader035.fdocumentos.com/reader035/viewer/2022070311/552fc145497959413d8e090c/html5/thumbnails/30.jpg)
A randomização requer premissas mínimas e gera estimativas intuitivas (médias das amostras!)
Métodos não experimentais requerem premissas que devem ser cuidadosamente avaliadas Mais intensivo em termos de dados Nem sempre testavel
Seja criativo: Misture-e-combine os métodos! Responda as perguntas relevantes com os métodos
apropriados30