SESSÃO 6

UTILIZANDO MÉTODOS MISTOS PARA REFORÇAR CADA ESTÁGIO DA AVALIAÇÃO

MICHAEL BAMBERGER E

THOMAZ CHIANCA

Avaliações baseadas em Métodos Mistos: Oportunidades e Desafios

IV Seminário Nacional da Rede Brasileira de Monitoramento e Avaliação

Rio de Janeiro, Agosto 13 2012

Resumo da Sessão2

1. Utilizando métodos mistos para fortalecer os desenhos convencionais de avaliação de impacto

2. Utilizando métodos mistos no estágio do desenho da avaliação

3. Desenhos de amostras com métodos mistos4. Abordagens de métodos mistos para coleta

de dados5. Interpretação e análise de dados com

métodos mistos6. Disseminação e relatórios utilizando

métodos mistos

1. Utilizando métodos mistos para fortalecer os desenhos convencionais de avaliação de impacto

3

Fortalecendo desenhos de avaliação

A. Reforçando a validade da construçãoB. Contextualizando a avaliaçãoC. Análise do processo de implementação do

projetoD. Aumentar a flexibilidade do desenho da

avaliaçã0E. Reforçar a estrutura da amostragemF. Prazo para avaliar os impactosG. Melhorar a combinação do grupo de controle

Reforçando a coleta de dados4

A. Reconstruir a linha de baseB. Melhorar a validade dos indicadoresC. Entrevistar grupos difíceis de alcançarD. Informações sobre tópicos sensíveisE. Atenção para regras contextuaisF. A possível perda do grupo de controle

Reforçando análise e utilização dos resultados de avaliação

5

A. Evitar longos atrasos em produzir recomendações e achados úteis

B. Melhores estimativas de não observáveisC. Reforçar a generalização para outras

configurações

2. Desenhos de avaliação baseados em métodos mistos

6

Integrar estruturas teóricas QUANT e QUALCombinar geração de hipóteses dedutivas

(QUANT) e indutivas (QUAL)Papel importante para modelos de teorias de

programa

7

Desenho [Formulação

E Justificativa]

EntradasProcesso de

Implementação[Atividades]

Entregas

Resultados[Desejado

e Não desejado]

Impactos[Desejado

e Não desejado]

Sustentabilidade

Contexto econômico no qual o projeto

opera

Ambiente e contexto político no qual o

projeto opera

Contexto institucional e operacional

Características culturais e socioeconômicas das populações afetadas

Um modelo lógico básico [Apostila 7-1]

Ambiente físico

Anos

Construir pressupostos

testáveis entre cada

etapa

A A AAA

Construir pressupostos testáveis sobre como os fatores contextuais afetam a implementação e os resultados

8

Mulheres têm acesso limitado para oportunidades econômicasdevido à falta de acesso a crédito e outros recursos produtivose ao controle social

Projeto oferece crédito, assistência

técnica e formação de grupo

Mulheres criamnegócios

Mulheres não criamnegócios

Uso para doteMulher paga

as dívidasMarido se apropria do

lucro

Geram lucros

Melhoria do bem-estarDoméstico no curto prazo

Lucro re-investido

Negócio sustentado

Empresa entra em falência

Limitações detempo

Falta de demanda

Pressões sociais

Falta de recursos produtivos

Melhoria permanenteno bem-estar doméstico

Melhoria dahabitação

Nutrição, saúde,vestuário

Melhoria da educaçãoespecialmente para

garotas

Melhorias econômicas

Modelo da Cadeia de Resultados para o Programa de Desenvolvimento de Pequenas Empresas de Mulheres [Apostila 7-2]

Resultados positivos

Resultados

negativos

3. Desenhos de amostras utilizando métodos mistos [Apostila 7-3]

9

Estratégias básicas de MM Amostragem proposital e aleatória

Amostragem utilizando métodos mistos em paralelo

Amostragem MM sequencialAmostragem MM multi-níveis

Amostragem agrupada Amostragem separa unidades de análise

utilizando uma estrutura de amostragem mestre para assegurar a comparabilidade

4. Abordagens de métodos mistos para coleta de dados

10

Combinar todos os métodos de coleta de dados QUANT e QUAL

Métodos MM usados normalmente Observação Fontes secundárias e medidas discretas

Grupos focaisMétodos de discussão e participativos e PRAIntegrar entrevistas em profundidade e pesquisas

estruturadas

5. Abordagens do método misto para interpretação e análise de dados [Apostila 7-4]

11

Análise de dados MM paraleloConversão da análise de dados MMAnálise de dados MM sequencialAnálise de dados MM multi-nívelAplicar aspectos de estrutura analítica de

uma tradição com outra tradição

Utilizando métodos mistos para reforçar a interpretação dos achados

12

Análise estatística frequentemente inclui achados não esperados ou interessantes que podem não ser explicados por meio da estatística. Visitas rápidas de acompanhamento podem ajudar a explicar os achados.

Interpretando os achados13

Uma pesquisa QUANT de gerenciamento de água comunitário na Indonésia descobriu que com apenas uma exceção todo o fornecimento de água da vila era gerenciado por mulheres

Visitas de acompanhamento descobriram que uma única uma mulher gerenciou um negócio agrícola muito rentável – dessa forma, os homens estavam dispostos a gerenciar a água para permitir que as mulheres tivessem tempo para produzir e vender a produção diária

Fonte: Brown (2000)

14

Coleta de dados

QUANTDados sobre a

renda e despesas coletados

da pesquisa domiciliar

Análise de dados QUANT: Calculando média, distribuições

de frequência e desvio padrão de renda e despesas

Análise de dados QUAL

Revisão das notas das entrevistas e de observação. Análise utilizando método

comparativo constante

Coleta de dados QUAL

Sub-amostra de famílias

entrevistadas selecionadas. Entrevistas,

informantes chave e observação. Notas

detalhadas, entrevistas gravadas

e fotos.

PROCESSO DE TRIANGULAÇÃO

Descobertas comparadas,

reconciliadas e integradas. Quando

diferentes estimativas são

obtidas, todos os dados são revisados para entender por que as diferenças

ocorrem. Se necessário, as equipes podem retornar para o

campo para investigar mais.

Possível retorno para o campo

Validando achados por meio da triangulação

6. Relatórios e disseminação15

Relatórios muitas vezes são dirigidos a públicos mais abrangentes

Ir além de longos relatórios escritos e apresentações em PowerPoint Envolver os beneficiários nas apresentações Incluir visitas ao projeto nas apresentações

Estruturar a narrativa em torno da teoria de mudança

Uso de apresentação audiovisual Vídeos, fotos

Incluir estudos de casoMétodos de apresentação sensíveis culturalmente

Dança, teatro, narração de histórias

Relatórios de resultado colaborativos (Apostila 7-6)

16

Definição do escopo

Processo de

entrevista

Coleta de dados

Integração e análise de dados

Painel de resultado

s

Workshop de Cúpula

ÍndiceInstâncias

de mudança significativa

Implicações

Gráfico de

resultados

Descrição do Programa e sua lóigica