“A avaliação para aprendizagem como intervenção de uma ONG”

Sessão temática: "Avaliação na perspectiva de diferentes tipos de organização do setor sem fins lucrativos"

Martina Rillo OteroMadelene Barbosa

Campinas, Setembro de 2013

Avaliação

• Transdisciplina:– Serve a outras diversas disciplinas

– Se caracteriza como uma disciplina específica

• Definição abrangente. “Avaliação é o processo de determinação do mérito, valor e relevância e o produto desse processo”

• Muitas abordagens.

• Linguagem, conceitos diversos e não unificados.

Como escolher uma abordagem? Como se situar no “todo”?

Objetivos

A melhor abordagem é aquela que responde às necessidades do contexto!

Apresentar a abordagem de avaliação do Instituto Fonte

• Evidenciando suas relações com as necessidades que busca responder

• Com a expectativa que um caso específico possa contribuir de estímulo para que cada um perceba, compreenda e possa rever a sua própria prática e visão de avaliação.

MissãoSomos uma organização da sociedade civil brasileira que facilita processos de desenvolvimento social, ajuda indivíduos a compreenderem e aprofundarem sua atuação e apoia a sustentabilidade de comunidades, grupos e iniciativas sociais.

Desenvolvimento organizacional Avaliação Sistematização

Planejamento estratégico Coaching de lideranças

Governança institucional Mediação de conflito

Gestão de iniciativas sociais

3) Publicações

1) Programas e projetos

2) Consultoria de processos

PúblicoIndivíduos, grupos e organizações que atuam com desenvolvimento social

Meios

E o que é necessário no campo social?

• Fortalecer a gestão

– Construir iniciativas claras em relação às suas intenções, estratégias...

– ... Que consigam enxergar com clareza suas consequências, resultados, impactos no mundo.

• Apropriação

– Se uma pessoa trabalha com desenvolvimento social, ela mesma deve ser capaz de se perceber “em desenvolvimento” e atuar sobre ele.

Como responder a essas necessidades através de uma prática avaliativa?

Processo avaliação

ContextualizaçãoContextualização

Construção do foco

da avaliação

Construção do foco

da avaliação

InvestigaçãoInvestigação

Análise e discussão

das informações

Análise e discussão

das informações

Exemplo: Avaliação de um projeto

• Instituto Sou da Paz– Políticas públicas de segurança e prevenção da violência.

Mobilização da sociedade e do Estado. Implementação e difusão

de práticas inovadoras.

• Plano de Controle de Armas da Cidade de São Paulo– melhorar a gestão do controle de armas e munições no

município de São Paulo

– qualidade e da transparência das informações sobre o controle de armas e munições

– redução de estoques de armas de fogo e munições.

Para contribuir com a redução das armas em circulação e da taxa de homicídios em São Paulo

Plano de Controle de Armas da Cidade de São Paulo

• Comitê de Controle de Armas e Desarmamento” e o “grupo de sensibilização

– Representantes de diferentes órgãos e instituições, do setor público e 3º setor

– Troca de informações e ações conjuntas para melhorar o controle de armas, etc.

• Grupo de sensibilização

– Ações de comunicação e sensibilização em territórios específicos

Projeto inovador: instauração de diálogo interinstitucional e intersetorial em prol da segurança pública.

ISDP: mobilizador, secretaria executiva

Contextualização da avaliação• Contexto

– Final de um ciclo de financiamento da participação do ISDP

– Troca de gestão municipal

• Propósitos (acordados entre as partes)– Identificar resultados alcançados no controle de armas e

munições e em novos processos na gestão pública.

– Identificar aprendizagens e recomendações dos envolvidos.

• Desafios– Não referências para comparação – alinhamento expectativas

– Necessidade de escuta aprofundada dos participantes para captar suas percepções e suas aprendizagens

• Construção da “linha do tempo” do projeto com a equipe e membros que participaram da sua idealização.

Construção do foco da avaliação

• Construção com a equipe das perguntas de avaliação– Qual foi o impacto da experiência do Plano para os indivíduos que participaram e as

instituições e órgãos envolvidos?

– Quais as lições aprendidas sobre mobilização?

– Qual a percepção dos participantes sobre o papel desempenhado pelo ISDP e da Secretaria de Segurança Urbana?

– Que resultados conseguimos observar no controle de armas no Município de São Paulo?

– Que condições são necessárias para que o Plano se mantenha existindo? O que pode mantê-lo na agenda das instituições?

• Definição de critérios também com a equipe

• Partilha de responsabilidades (contatos, dados secundários)

• Acordo sobre os métodos de investigação com a equipe

Investigação

• Entrevistas em profundidade

– percepção de resultados no controle de armas e desarmamento

– mudanças em procedimentos dos órgãos envolvidos

– leituras sobre o papel e o funcionamento do grupo

• Participação das instituições e órgãos

• Análise de dados secundários

– Armas e munições entregues, armas e munições apreendidas, armas e munições destruídas.

– GCM, Exército Brasileiro, MJ, SSP, Coordenadoria de Análise e Planejamento-SSP

Análise e discussão dos dados

• Análise preliminar sob responsabilidade do IF– Análise qualitativa: temas centrais e conteúdos emergentes

relacionados às perguntas de avaliação. Pontos de consenso e dissenso

– Análise dados secundários: exploratória e descritiva.

– Relação entre as informações (por exemplo: o grande envolvimento da Guarda Civil metropolitana, reconhecido por diversos entrevistados e evidenciado também pelo aumento no número de armas recolhidas em campanhas pela Guarda)

• Apresentação e aprofundamento equipe

• Apresentação e aprofundamento Comitê + nova gestão

Recontextualização...

• Construção de recomendações pelo grupo para o fortalecimento da iniciativa

• Identificação de pontos a serem melhorados

• O Comitê de Controle de Armas e Desarmamento foi assumido pela nova gestão municipal.

• Encerramento de uma etapa de apoio para a participação protagônica do ISDP, mas não saída do Comitê

Princípios de atuação

• Primeiro princípio. O exercício de avaliar acontece em espaços outros além da avaliação propriamente dita e faz parte da prática de qualquer organização.– Uma nova empreitada será melhor sucedida se

dialogar com essa cultura pré-existente.

• Segundo princípio. Processos de tomada de decisão institucional acontecem a partir de outras fontes que não apenas a avaliação.

– Para serem relevantes, avaliações devem ter espaços de interlocução com esses espaços “políticos”, de influência.

ContextualizaçãoContextualização

Construção do foco da

avaliação

Construção do foco da

avaliação

Investigação

Investigação

Análise e discussão

das

informaçõe

s

Análise e discussão

das

informaçõe

s

Princípios de atuação

• Terceiro princípio. Toda avaliação é uma demanda, um pedido. Esta é a oportunidade de desenvolvimento. Essa demanda ou pedido podem ser expressos em perguntas de avaliação sobre processo ou resultados.

– A importância das perguntas está em reconhecerem e expressarem os interesses da avaliação, além dos acordos em relação ao seu direcionamento (“pra onde vamos olhar” e “para onde” não vamos).

ContextualizaçãoContextualização

Construção do foco

da avaliação

Construção do foco

da avaliação

InvestigaçãoInvestigação

Análise e discussão das

informações

Análise e discussão das

informações

Princípios de atuação

• Quarto princípio. Durante a etapa de investigação, supomos que a realidade é complexa e multideterminada, de forma que os métodos escolhidos devem lidar e expressar essa complexidade. – Escolha de desenhos investigativos que permitam

uma diversidade de olhares e compreensões e a construção de diferentes tipos de narrativas sobre o objeto que está sendo investigado.

ContextualizaçãoContextualização

Construção do foco da

avaliação

Construção do foco da

avaliação

InvestigaçãoInvestigação

Análise e discussão

das

informações

Análise e discussão

das

informações

Princípios de atuação

• Quinto princípio. Resultados “acontecem” durante todo o percurso da avaliação e não apenas na sua finalização, ou na entrega do relatório. Resultado da avaliação é toda consequência do processo.

– Como todo o percurso é uma oportunidade de desenvolvimento, acreditamos em processos participativos.

ContextualizaçãoContextualização

Construção do foco da

avaliação

Construção do foco da

avaliação

InvestigaçãoInvestigação

Análise e discussão

das informações

Análise e discussão

das informações

Princípios de atuação

• Sexto princípio. A promoção mudanças e aprendizagens na organização e nos indivíduos envolvidos é o objetivo central da avaliação. Avaliação é para apoiar desenvolvimento.

– “Avaliação é menos uma ciência social aplicada e mais uma pedagogia a partir da qual o avaliador ajuda a equipe do projeto (practitioners) a entender os tipos de decisões avaliativas que eles enfrentam e a aperfeiçoar sua habilidade de decidir de forma adequada” (Schwandt, 2005).

– Avaliação serve para desenvovler o olhar e o pensar avaliativo…

– uma avaliação, além de determinar o mérito e valor de algo, também deve buscar contribuir para a transformação das condições sociais na prática (Mertens 2013).

ContextualizaçãoContextualização

Construção do

foco da avaliação

Construção do

foco da avaliação

InvestigaçãoInvestigação

Análise e discussão

das informações

Análise e discussão

das informações

Obrigada!

www.institutofonte.org.br

www.institutofonte.org.br/projeto-avaliacao

martina@institutofonte.org.br

madelene@institutofonte.org.br.