SESSÃO 3

ESTUDOS DE CASO ILUSTRANDO O USO DOS

MÉTODOS MISTOS

MICHAEL BAMBERGER E

THOMAZ CHIANCA

IV Seminário Nacional da Rede Brasileira de Monitoramento e Avaliação

Rio de Janeiro, Agosto 13 2012

Avaliações baseadas em Métodos Mistos: Oportunidades e Desafios

2

Resumo da Sessão

1. Avaliar a eficácia do Programa de Reforma Gram Panchayat na Índia: um desenho de métodos mistos mais complexo e caro

2. Avaliar os impactos do projeto Heifer International: uma abordagem mais simples e mais econômica para avaliar grandes projetos sendo implementados em diversos locais diferentes

3

Caso 1. Avaliando o Programa de Reforma Gram Panchayat na Índia [Apostila 6-1]

Finalidade do programa Descentralizar o poder para governos locais eleitos

democraticamente (gram panchayats – GP) Aumentar o envolvimento de mulheres e castas

marginalizadas Criar “espaço deliberativo” através de reuniões

realizadas duas vezes ao ano para discutir programas anti-pobreza e outros programas importantes

Aumentar a efetividade da utilização de fundos por meio de maior participação da comunidade

4

Finalidade da avaliação

Avaliar a efetividade do programa em Kerala, um dos estados socialmente mais progressivos

Comparar o resultado com a vizinha Karnataka, que possui desenvolvimento social bem mais baixo, para avaliar o quanto o modelo pode ser replicado.

5

O “tratamento” do programa O “tratamento” sendo avaliado é um programa de

treinamento de 2 semanas para cidadãos sobre planejamento participativo e tomada de decisão

Locais para receber o “tratamento” e ser parte do grupo “controle” aleatoriamente selecionados

Uma reunião é realizada após 2 semanas para finalizar prioridades e discutir com representantes do governo local

Um acordo de implementação é assinado nos locais onde os financiamentos estão comprometidos e suporte técnico é fornecido

Os GPs são monitorados com visitas de 2 dias por mês para assegurar que o programa está no caminho certo

6

Desenho da avaliação baseada em métodos mistos

Pesquisa de linha de base em 200 vilas selecionadas aleatoriamente para tratamento e controle Qualidade e quantidade de bens públicos Casta Desigualdade na propriedade da terra Entrevistas em profundidade com políticos e oficiais

locais das vilas20 famílias selecionadas aleatoriamente de

cada vila para o questionário sobre o situação socioeconômica, preferências por bens públicos, participação política e redes sociais

7

Pesquisa com as mesmas vilas e famílias foi realizada novamente com os mesmos instrumentos. Este aspecto possibilita um estudo experimental (com

distribuição aleatória) dos efeitos do programa de “tratamento”

8

Análise do processo de implementação do projeto Um subconjunto de 5 GPs de tratamento e controle foi

selecionado a partir da amostra de pesquisa quantitativa Investigadores qualitativos visitaram cada GP por 1-2 dias a

cada semana durante o período de 2 anos para observar: Dinâmica política e social Corrupção Mudança econômica Filiação a redes

O estudo qualitativo fornece uma verificação independente nas estimativas de pesquisa quantitativa relativas a mudanças/impactos Também fornece informações mais profundas para

complementar e ilustrar os achados da pesquisa

9

Quant Qual Quant Qual Quant

Seleção de GPs com

distribuição aleatória

para projeto e controle

Pesquisa exploratória sobre posse

de terra, propriedade

de bens públicos,

participação e redes sociais

Pesquisa de linha de

base antes do

programa de

treinamento

• Programa de treinamento e acordo de financiamento/suporte técnico com conselhos locais• Monitoramento mensal para assegurar que está no caminho certo

Análise do processo

em profundidad

e em 5 projetos e 5

vilas de controle

durante o período de

2 anos

Estudo de linha de

base repetido

após 2 anos

Desenho de avaliação baseada em métodos mistos: Avaliando a Efetividade do Programa de Reforma Gram Panchayat para Promover Descentralização Democrática na Índia

O “tratamento

”

Triangulação para comparar estimativas QUANT e QUAL das mudanças/impactos

10

Caso 2: Avaliando os impactos do trabalho da Heifer International em 23 países [Apostila 6-

2]

Propósito dos projetos Heifer

Os desafios da avaliação

Avaliar o impacto de projetos complexos e multifacetados visando a redução de pobreza, desenvolvimento rural, e proteção do meio ambiente apoiados pela Heifer em diversos países.

Inexistência de linha de baseOrçamento limitadoPouco tempo

11

Perguntas avaliativas

Impactos: Pobreza Meio-ambiente Empoderamento da comunidade Equidade de gênero

Relevância da estratégia em relação às necessidades

Eficácia (resultados vs. objetivos)

Eficiência (resultados vs. recursos/custos/cronograma)

Sustentabilidade dos resultados positivos

12

13

O Modelo de Pegadas da Heifer

Sobre o solo

No solo

Abaixo do solo

Impacto atribuído à Heifer:

15

Quant

Quant

Amostra aleatória simples para

selecionar famílias a serem

entrevistadas

Atribuição de escore para cada

indicador e critério baseado nas rubricas e

informações QUAL & QUANT (linha de base reconstruída

& situação corrente)

Qual

Explicações para as principais conclusões e

recomendações

Estratégias quantitativas e qualitativasAmostragem

Análise de dados

Coleta de dados

Qual

Amostra com propósito de

projetos a serem visitados em cada

paísLista de checagem sobre situação da residência, uso da

terra, condições dos animais, etc.

Encontro aberto com membros da

comunidade

Quant + Qual

Entrevistas com líderes

comunitários, ONGs & funcionários do

governo

Entrevistas com participantes & não-

participantes

Overall All Value Groups

Value-Group 6: Systems and Policy Improvements

Value-Group 5: Empowerment of Family and Community

Value-Group 4: Education for a Just and Sustainable World

Value-Group 3: Environment Care and Management

Value-Group 2: Livestock Care and Management

Value-Group 1: Meeting Basic Needs

0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%

Baseline Heifer Contribution Remaining Need

Exemplo de gráfico representando impacto16

Apoio para uso dos resultados da avaliação

Reunião para discutir achados iniciais antes de sair do país

Discussão do relatório preliminar antes de enviá-lo

Apoio após o envio do relatório para entendimento e uso dos resultados (email e telefone/skype)

17