Projeto Fortalecer Tecendo Resultados (e avaliando impactos) na Rede
60
1
-
Upload
fundacao-abrinq -
Category
Documents
-
view
219 -
download
3
description
A publicação traz a sistematização das experiências das oficinas sobre Monitoramento e Avaliação de Processos, Resultados e Impactos oferecidas a organizações sociais da Rede Nossas Crianças e organizações indicadas pela GE Foundation, patrocinadora do Projeto
Transcript of Projeto Fortalecer Tecendo Resultados (e avaliando impactos) na Rede
1
2
3
PROJETOFORTALECERTecendo resultados (e avaliando impactos) na Rede
4
Conselheiro Honorário: Fernando Henrique Cardoso
Conselho de AdministraçãoPresidente: Synésio Batista da CostaVice-Presidente: Carlos Antonio TilkianSecretária: Regina Helena Scripilliti Velloso
Membros: Albert Alcouloumbre Júnior, Antônio Carlos Ronca, Antonio Delfim Netto, Beatriz Sverner, Bento José Gonçalves Alcoforado, Boris Tabacof, Daniel Trevisan, David John Currer Morley, Eduardo José Bernini, Fernando Machado Terni, João Nagano Júnior, José Carlos Grubisich, José Eduardo Planas Pañella, José Roberto Nicolau, Lourival Kiçula, Maria Ignês R. de Souza Bierrenbach, Nelson Fazenda, Oscar Pilnik, Paulo Saab, Roberto Oliveira de Lima, Therezinha Fram e Vitor Gonçalo Seravalli
Conselho FiscalMembros: Audir Queixa Giovanni, Charles Kapaz, Geraldo Zinato, João Carlos Ebert, Márcio Ponzini e Mauro Antonio Ré
Conselho ConsultivoPresidente: Jorge BroideVice-presidente: Miriam Debieux Rosa Membros: Antônio Carlos Gomes da Costa, Araceli Martins Elman, Dalmo de Abreu Dallari, Edda Bomtempo, Geraldo Di Giovanni, Isa Guará, João Benedicto de Azevedo Marques, Lélio Bentes Corrêa, Leoberto Narciso Brancher, Lídia Izecson de Carvalho, Magnólia Gripp Bastos, Mara Cardeal, Maria Cecília C. Aranha Lima, Maria Cecília Ziliotto, Maria de Lourdes Trassi Teixeira, Maria Machado Malta Campos, Marlova Jovchelovitch Noleto, Melanie Farkas, Munir Cury, Norma Jorge Kyriakos, Oris de Oliveira, Percival Caropreso, Rachel Gevertz, Rosa Lúcia Moyses, Rubens Naves, Silvia Gomara Daffre, Tatiana Belinky e Vital Didonet
Secretaria ExecutivaGerente de Desenvolvimento de Programas: Denise Maria CesarioGerente de Desenvolvimento Institucional: Victor Alcântara da GraçaEquipe: Andreza Adami, Fernanda de Matos Casqueira, Hellen Ferreira Barbosa, Lívia Ache Nolla, Michelly Lima Antunes, Moacir Merlucci, Renata Alencar Viola, Renata Santiago Gonçalves Pessoa, Renato Alves, Tatiana de Jesus Pardo, Tatiana M. Viana da Silva
Assessoria de MarketingCoordenadora: Sílvia Troncon RosaEquipe: Ana Claudia Pereira, Besaliel Salvino de Souza, Camila Cristina Conti, Cris-tiane Rodrigues, Felipe Martins Dantas Pereira, Fernanda Pereira Bochembuzo, Gláucia Buscariolo, Hélio José Perazzolo, Ivone Aparecida da Silva, Jacqueline Rezende Queiroz, Kátia Gama do Nascimento, Marina Biagioli Manoel, Milene de Oliveira Sousa Silva, Renan dos Santos Gomes, Tatiana Cristina Molini, Tatiana Pereira Rodrigues
Núcleo de Tecnologia da InformaçãoEquipe: Bruno Gouveia Schoola, Daniela Maria Fonseca, Danieli Giovanini do Carmo Leite, Diego Azevedo do Nascimento, Fabiana de Lima Loures, Janaine Aparecida Ferreira de Sá, Vânia Ferreira Silva Santos
Núcleo Administrativo-FinanceiroEquipe: Alain Joseph Moujaes, Alice Sampietri Creoruska, André Luiz de Araújo, Fernanda de Fátima da Silva, Gisele Correa, Luis Enrique Tavares Júnior, Maria do Carmo Neves dos Reis, Maria Dolores de Oliveira, Paulo Rogério Pires, Shirlen Aparecida de Lima
ÁREASDireito à EducaçãoCoordenadora: Roseni Aparecida dos Santos ReigotaEquipe: Amélia Isabeth Bampi Paines, Arlete Felício Graciano Fernandes, Gregório dos Reis Filho, Hérica Aires do Prado, Nelma dos Santos Silva, Priscila Silva dos Santos, Renata Sanches Martinelli Direito à Proteção EspecialCoordenadora: Daniela Resende FlorioEquipe: Andréia Lavelli, Márcia Cristina Pereira da Silva Thomazinho, Marília Correia dos Santos, Marisa Cedro de Oliveira, Pablo FinottiDireito à Proteção IntegralCoordenadora: Andrea Santoro Silveira Equipe: Bárbara Accioly Cotrin de Carvalho, Daniela Queiroz Lino, Domiciano de Souza, Elaine Cristina Rodrigues Barros, Gerson Lopes Alves, Letícia Souto Maior, Lilyan Regina Somazz Reis Amorim, Regilene Caiafá de Melo Nunes
PRODUÇÃO
Este texto foi elaborado a partir das apresentações realizadas pelos palestrantes Carlos Cesar Gaiardo, José Cláudio Barros e Andréia Saul. Foi baseado também no material didático distribuído, na memória das oficinas, na produção coletiva dos participantes, bem como na transcrição de todos os vídeos que registraram os encontros. Além da bibliografia citada, a sistematizadora, Mónica Galiano, contribuiu com textos de sua autoria que ampliam a abrangência dos conceitos e conferem unidade ao tema.
Coordenação do Projeto Fortalecer: Daniela Resende Florio Equipe do Projeto Fortalecer: Andréia Lavelli, Gregório dos Reis Filho, Márcia Cristina P. S. Thomazinho Texto e Sistematização: Mónica Beatriz GalianoEdição: pris_hlodan mídia impressaRevisão de texto: pris_hlodan mídia impressaFotografia: Arquivo Projeto Fortalecer, Pedro Rubens e Jhone P. SilvaProjeto Gráfico e Finalização: Priscila HlodanImpressão: Ricargraf Gráfica e Editora Ltda
5
Atualmente não podemos falar de organizações sociais sem pensar em sustentabilidade institucional. É cada vez mais necessário tratar os processos administrativos e a governança das instituições tal como de uma empresa privada, salvas as devidas diferenças, é claro. É preciso estabelecer metas, planejar, ter foco nos resultados e no fortalecimento institucional, ou seja, profissionalizar o terceiro setor brasileiro – que representa 5% do PIB do país.
Preocupada em fortalecer institucionalmente as organizações sociais, a Fundação Abrinq, em seus 19 anos de atuação, sempre previu atividades de formação em todos os seus programas e projetos. Em um deles, no Programa Nossas Crianças mobilizamos pessoas e empresas para a melhoria da qualidade de vida de crianças e adolescentes, através do sistema de adoção financeira e do fortalecimento de uma rede de organizações, a “Rede Nossas Crianças”.
A Rede foi criada em 1999 com a missão de mobilizar, articular e capacitar organizações sociais de atendimento direto a crianças e adolescentes para que influenciem as políticas nas áreas da infância, adolescência e juventude, e tenham uma ação transformadora da situação de vulnerabilidade social desta população.
Em 2008, a Fundação começou a desenvolver atividades de formação com algumas organizações da Rede, por meio do Projeto Fortalecer – Tecendo Resultados na Rede, que realizamos em parceria com a GE Foundation.
O objetivo do projeto é fortalecer essas organizações e ampliar o conhecimento dos profissionais que atuam nelas. Isso significa incentivar a atuação em parceria e aumentar o conhecimento que elas têm sobre monitoramento e avaliação, afinal juntas as organizações passam a ter mais poder para reivindicar a execução de políticas públicas por meio de ações de advocacy, além de fortalecer seu posicionamento frente ao setor privado.
Esperamos que as organizações envolvidas estejam mais conscientes da importância de se monitorar e avaliar suas ações e tenham adquirido conhecimento acerca de novas ferramentas e técnicas para o planejamento, execução e avaliação de suas atuações. É importante também que elas incorporem em suas práticas gerenciais as novas ferramentas e técnicas apreendidas, sejam capazes de promover alterações assertivas em seus planos de ação, sejam capazes de gerir e destinar estes recursos de modo mais eficiente e eficaz e de comunicar com maior clareza o impacto de suas ações à sociedade.
Após um ano de intenso trabalho temos em mãos esta sistematização que reúne os conhecimentos aplicados nas oficinas de capacitação para que outras organizações possam ter acesso às experiências e aprendizagens.
Queremos que esta publicação motive um grande número de organizações a reverem os seus processos, para se profissionalizarem e, dessa forma, ajudarem o maior número possível de crianças, adolescentes e famílias que precisam.
Synésio Batista da Costa
Carta do Presidente
6
7
Participantes
Introdução
O Projeto Fortalecer
As oficinas
Avaliação:
Conceitos
Impactos, resultados e processos
Indicadores
Quais foram as aprendizagens?
Bibliografia citada e/ou recomendada
Anexos
8
9
10
15
29
43
49
51
3738
30
8
Organizações Participantes:Ação Comunitária Cantinho FelizAção Comunitária Paroquial Jardim ColonialAssoc. Beneditina de Educação e Assist. Social - Lar Madre BeneditaAssociação Comunitária Jd. Nazaré II Associação Cultural Pró-MoratoAssociação das Mulheres pela EducaçãoAssociação de Pais e Amigos dos Excepcionais - APAE DiademaAssociação Educacional e Assistencial Casa do ZezinhoAssociação Evangélica Beneficente - AEB ImigrantesAssociação Filantrópica Criança FelizAssociação Grupo Gusmão dos SantosAssociação Moradores de Zona Norte - Creche Raio de SolAssociação PoiesisAssociação Projeto Quero-QueroAssociação Sócio Educacional Integrando Vida e Ação - SEIVACasa das Crianças Caminho FelizCasa Jose ColtroCentro de Apoio Ação e Transformação “OIAEU”Centro de Assistência e Promoção Social Nosso Lar - CENLEP Centro de Orientação ao Adolescente de Campinas - COMECCentro Social de Parelheiros - Creche São NorbertoCírculo de Trabalhadores Cristãos de Vila PrudenteColméia Instituição a Serviço da Juventude Comunidade Educacional de Base Sítio PinheirinhoCreche Baroneza de LimeiraFirmacasa - Creche Irma RuthGotas de Flor com AmorInmed BrasilInstituto Fernand BraudelJunior AchievmentLar Espírita Bezerra de MenezesLar Irmã CelesteMinistério Evangélico SheknahMovimento Renovador Paulo VINúcleo Batuíra Serv. Prom. Da FamíliaProjeto Gente Nova - PROGENProjeto Sol Pró-Viver Obras Sociais e EducacionaisServiço Promocional N.Sra. Aparecida - Creche As PastorinhasServiço Social Bom Jesus
Padrinhos GE Volunteers:André RodriguesAndré TeixeiraCarina PolazzoCarlos SouzaCarolina FerreiraChristian CeteraClarissa MarcondesDaniel ToledoÉrika SoaresFabiana PerezFernanda FernandesFernanda JorgeFernanda VarejãoJosé BarioniJosie JardimKarina BorgesKarla CheliLuis OharaMarcos LealMariana CostaMarina FranceschinelliMeire NakanoRafael GonsalesRaphael PintoReinaldo SilvaRita PradoTania MijasTatiana CamposThiago ToledoThomas KissValéria Lazzari Comitê Executivo:Andréia LavelliCharles Arrais Rodrigues FilhoIdália da Cruz PereiraMárcia Cristina P. S. ThomazinhoMarina FranceschinelliReinaldo Silva Patrocinador Máster: GE Foundation
Participantes
9
Quando agimos organizadamente na comunidade, por meio dos mais variados projetos de desenvolvimento e transformação, a certa altura nos vemos assaltados por inúmeras perguntas: Para quê fazemos isto? Estamos fazendo as coisas da melhor maneira? Poderíamos fazer melhor se mudássemos alguma estratégia? E que importância tem tudo isto para quem está compartilhando, conosco, os resultados?
Se você precisar de respostas para estas perguntas, ou quiser dividir as reflexões com os colegas da sua instituição, conheça então a experiência da Fundação Abrinq pelos Direitos da Criança e do Adolescente com o Projeto Fortalecer, apoiado pela GE Foundation.
Foram quatro oficinas durante um ano, sobre Monitoramento e Avaliação de Processos, Resultados e Impactos, cuja realização e aprendizagens estão sendo disseminadas através desta publicação.
Você poderá aprender com os conteúdos explorados nas oficinas, se aprofundar em alguns conceitos e descobrir outros, perceber a importância da avaliação como processo contínuo de aperfeiçoamento e transformação. Também poderá entender a dinâmica dos encontros, o que deu bom resultado, e o que poderá ser melhorado caso você queira repetir o processo e repassar estas vivências para um grupo de colegas, núcleos ou filiais de sua instituição.
Esta publicação é o resultado da sistematização de todo esse esforço. Mas, o que significa sistematizar a experiência?1 Sistematização não é uma ferramenta, um método ou uma receita, mas, sim, uma proposta de conhecimento. “Sistematizar é mais que ordenar, classificar, colocar os dados em ordem. Sistematizar é viver um conjunto de experiências e tirar aprendizagens delas” define Oscar Jara, da Costa Rica, coordenador da Rede Latino-Americana de Sistematização.
Para conseguir sistematizar aprendizagens, do ponto de vista metodológico, é necessário reconstruir o processo vivido. “Esta reconstrução consiste em analisar e interpretar criticamente as ações vividas para poder extrair suas aprendizagens e comunicá-Ias. Por conta disso, é preciso que haja registros dessas ações. Se contarmos apenas com nossa memória, muita coisa se perde”.
Introdução
A sistematização de experiências serve para produzir um novo conhecimento, objetivar o que foi vivido, colocar em ordem os conhecimentos desordenados e as percepções dispersas, criar espaços para compartilhar e confrontar as interpretações dos sujeitos que vivenciam as ações, contribuir para enriquecer as teorias e melhorar as experiências, e, principalmente, para identificar tensões, mudanças, tomar decisões. Sobretudo, serve-nos de base para avaliar.
É que avaliar é intrínseco ao desenvolvimento, seja de um projeto, uma ação, uma atividade, uma estratégia, um plano de ação, um orçamento, um plano de governo, um projeto de país. Porque, simplificando...como sabemos se o que fazemos está dando resultado? Esperamos que esta publicação motive você a pensar em avaliação de uma forma renovada e sem preconceitos.
1. Comentários extraídos das palestras proferidas no 2° Encontro de Avaliação, Sistematização e Disseminação organizado pela Fundação Abrinq pelos Direitos da Criança e do Adolescente em São Paulo, em setembro de 2003.
10
11
Nesta seção você encontrará detalhes sobre o Projeto Fortalecer: seu propósito, estratégias, seu desenvolvimento por meio das oficinas e as aprendizagens obtidas.
O Projeto Fortalecer
12
A profissionalização das organizações da sociedade civil é considerada necessária por quase todas as lideranças que atuam no terceiro setor e, por esse motivo, têm surgido várias iniciativas visando ao fortalecimento institucional por meio de programas de capacitação. Hoje existem cursos em diferentes universidades e outras instituições, que também realizam capacitação em gestão para as Organizações da Sociedade Civil - OSCs.
A Fundação Abrinq também se preocupa com isso há bastante tempo. A maioria dos seus programas prevê atividades de capacitação e um deles é o Programa Nossas Crianças - PNC. Implantado em 1993, o programa mobiliza pessoas e empresas para a melhoria da qualidade de vida de crianças e adolescentes, por meio do sistema de adoção financeira e do fortalecimento de uma rede de organizações, a “Rede Nossas Crianças”. O PNC possibilita parcerias entre a sociedade civil mobilizada e organizações sociais que executam programas de proteção e socioeducativos.
Em 1996 e 1997, o Programa Nossas Crianças, preocupado com a sustentabilidade dos projetos conveniados ao final do apoio financeiro, investiu na melhoria da qualidade dos serviços prestados pelas organizações conveniadas. Foram oferecidos, a essas instituições, cursos de capacitação, tanto no que concerne às propostas pedagógicas, como no plano gerencial. No total, passaram pelos cursos, em várias etapas, cerca de 300 educadores e 220 gestores, de pelo menos 50 organizações diferentes. Além do fortalecimento individual, outro resultado foi alcançado com o processo desenvolvido: a compreensão de que a proximidade das organizações as fortalece e cria possibilidades para a continuidade do processo de crescimento iniciado. Assim, em 1999, após o término dos convênios com as organizações, surge a Rede Nossas Crianças2.
Entre 2001 e 2003, o Programa Nossas Crianças realizou um amplo processo de desenvolvimento da Rede Nossas Crianças, que foi denominado Projeto Tear. Este projeto objetivou a capacitação de lideranças para focalizarem suas ações em rede, promovendo o fortalecimento das organizações sociais nos diversos aspectos da gestão, bem como das ações das lideranças locais, objetivando o desenvolvimento de políticas públicas na área da criança e do adolescente. Em torno de 200 pessoas foram capacitadas pelo Tear.
Os eixos de ação foram traçados e, desde então, a Rede tem os seguintes objetivos:
Promover ação política junto aos conselhos, fóruns da infância e adolescência e órgãos públicos, auxiliando na formação de opinião e formulação/implementação de políticas públicas;
Articular parcerias entre as instituições e empresas, financiadores, prestadores de serviços e voluntários;
Contribuir para o fortalecimento institucional das organizações parceiras.
Hoje, a Rede está em 18 municípios da Região Metropolitana de São Paulo, além de Campinas, Santos, São Vicente e Guarujá, e também em municípios dos Estados da Bahia, Ceará, Minas Gerais, Paraíba e Distrito Federal, tendo membros presentes em alguns Conselhos Municipais de Defesa dos Direitos da Criança e do Adolescente - CMDCAs.
Mas, para que todo o potencial de transformação representado pelas 153 organizações se tornasse real, ainda era preciso que as instituições soubessem desenhar e aplicar um plano de monitoramento e avaliação dos processos, resultados e impactos dos planos anuais e dos projetos desenvolvidos.
Por isso, contando com o apoio da GE Foundation, entidade filantrópica dedicada ao desenvolvimento e suporte de programas sócio-educacionais em todo mundo, com o objetivo de educar os cidadãos e a força de trabalho do futuro apoiando projetos em comunidades, escolas e universidades, a Fundação Abrinq colocou em prática o Projeto Fortalecer – Tecendo Resultados na Rede, cujo objetivo geral é:Fortalecer organizações sociais para que, em rede, possam promover a defesa dos direitos e o exercício da cidadania da criança e do adolescente de modo mais efetivo.
“O projeto tem duas estratégias, uma é aplicar técnicas e ferramentas novas para o processo de monitoramento e avaliação dos resultados dos projetos desenvolvidos pelas organizações sociais, que estão tentando cada vez mais aprimorar o desenvolvimento das atividades, como também, subsidiar as organizações sociais com novas técnicas e ferramentas pra que elas possam então medir os seus resultados de forma bastante qualificada, garantindo então um processo de eficiência e eficácia.A outra estratégia é que os profissionais da GE também serão apoio destas organizações que participam do projeto. Temos 40 organizações participando do projeto e os voluntários da GE realizarão uma mentoria junto a estas organizações verificando a aplicabilidade destas ferramentas e técnicas que apreenderão no desenvolvimento das oficinas do projeto e também participarão de um mapeamento das necessidades que as organizações sociais tem e a partir daí tentarão desenvolver em conjunto com as organizações atividades contemplando as necessidades das mesmas.É um projeto que traz de fato o envolvimento dos profissionais da GE junto ao desenvolvimento do projeto. É uma relação de parceria e este é um processo que todo mundo ganha e há uma troca onde cada um aporta o seu conhecimento e capacidade em prol da qualificação do atendimento das organizações sociais.”
Denise Maria CesarioGerente de Desenvolvimento de Programas
2. A Rede Nossas Crianças é formada por organizações sociais que são ou foram conveniadas ao Programa Nossas Crianças da Fundação Abrinq.
13
Aproveitando os conhecimentos ministrados pelos palestrantes, a equipe do projeto também revisou sua proposta, readequando os objetivos específicos e reagrupando os resultados esperados para poder monitorar e avaliar suas conquistas, como segue:
Objetivo específico 1: Ampliar o conhecimento dos profissionais das organizações da Rede Nossas Crianças e de organizações indicadas pela GE em técnicas de monitoramento e avaliação; Resultados Esperados “...que as organizações...”
Estejam mais conscientes da importância do monitoramento e avaliação de suas ações.
Adquiram conhecimento acerca de novas ferramentas e técnicas para o planejamento, execução e avaliação de sua atuação;
Incorporem em suas práticas gerenciais as novas ferramentas e técnicas apreendidas.
Sejam capazes de promover alterações assertivas em seus planos de ação para corrigir rumos, atingir seus objetivos e verificar os impactos alcançados;
Sejam capazes de gerir e destinar estes recursos de modo mais eficiente e eficaz;
Sejam capazes de comunicar, com maior clareza, o impacto de suas ações à sociedade.
Objetivo específico 2:Fortalecer a atuação estratégica da Rede Nossas Crianças nos seus quatro eixos: desenvolvimento institucional, ação política, articulação de parcerias e comunicação.Resultado esperado:
Que sejam capazes de aumentar, diversificar e fortalecer as parcerias com atores dos diferentes setores.
Objetivo específico 3: Possibilitar a uma ampla gama de outras organizações interessadas no acesso ao conhecimento construído sobre monitoramento e avaliação.Para atingir os objetivos, foram usadas as seguintes estratégias ao longo do ano:Estratégia de Capacitação:
Três oficinas de Aprofundamento em Monitoramento e Avaliação e uma oficina final de Revisão de Conteúdos.
Apoio técnico às organizações participantes do projeto.Estratégia de Articulação:
Encontros mensais da Rede Nossas Crianças, com convite para participação das organizações indicadas pela GE.Estratégia de Disseminação:
Sistematização dos encontros e elaboração da presente publicação, em versões digital e impressa.
Evento de exposição de resultados do projeto, com lançamento da publicação.
Desenvolvimento do projetoPara a realização do Fortalecer, foram constituídos um Comitê Executivo - com responsabilidades bem definidas -, e o grupo de organizações que participariam do projeto. Um grupo de funcionários voluntários da GE Foundation se prontificou a atuar como ‘padrinhos’ das organizações participantes, auxiliando-as no diagnóstico de suas necessidades e no acompanhamento dos planos de avaliação que elas realizariam como resultado da aprendizagem.
Após a definição dos temas a abordar, foram inicialmente planejadas três oficinas, sobre Avaliação de Processos, Avaliação de Resultados e Avaliação de Impactos. Os três palestrantes/facilitadores, especialistas nos respectivos temas, desenvolveram os encontros com dois dias de duração e realizados com intervalos de dois ou três meses entre si, começando em março de 2008 e terminando em setembro de 2008. Após avaliação interna, ficou decidido que, para reforçar os conteúdos, seria necessária uma última oficina de Revisão, que aconteceu em março de 2009.
Ao longo do ano, a Fundação Abrinq monitorou as etapas do projeto, interagindo com as instituições para dirimir dúvidas e acompanhar os trabalhos de implantação das novas metodologias. No capítulo Oficinas, os conteúdos apresentados e a produção dos participantes serão detalhados e ilustrados por alguns dos slides utilizados pelos palestrantes.
Um dos “padrinhos” da GE descreve sua relação com a organização que acompanha e acompanhou durante o projeto: “Meu relacionamento com a CJC, já vem desde Fevereiro de 2004. O que percebo através dos anos é uma evolução, porém ainda tímida em termos de planejamento e desenvolvimento de projetos para sustentabilidade a médio e longo prazos. Esta percepção, é reforçada pelo meu envolvimento com outras organizações, que vivenciam o mesmo drama, constantemente. Isto é, pensar nas “necessidades do dia seguinte” em função dos compromissos assumidos e recursos escassos. Porém, este projeto trouxe uma grande contribuição para repensar este conceito. Consegui observar avanços nestes pontos ressaltados anteriormente. Os tópicos abordados durante as oficinas foram significativos e complementares. Pelo menos dois projetos que acompanhei de perto foram formatados com fundamentos e ensinamentos oriundos dos workshops compartilhados. Finalizando, estou muito satisfeito com os resultados deste projeto em relação aos conhecimentos absorvidos e já aplicados.Os resultados não são imediatos, principalmente influenciados pela conjuntura atual de retrações de muitos incentivos e diminuição de recursos de muitos apoiadores. Mas até neste contexto, o Projeto Fortalecer fez jus ao nome, pois trouxe à tona a necessidade de aplicar de maneira sistemática e urgente os conceitos apresentados. Outra grande oportunidade foi o conhecimento e troca de práticas através da “rede de relacionamento”, que sem dúvida é um diferencial.”
14
A GE Foundation apoiou o projeto da Fundação Abrinq, que envolveu 30 instituições da Rede Nossas Crianças e mais 10 indicadas pela GE. Participaram das oficinas representantes destas 40 instituições.
Reinaldo Silva, Gerente de Qualidade América Latina da GE Healthcare e Presidente do Conselho da GE Volunteers São Paulo, descreve o Projeto Fortalecer: “Ousadia é a palavra para registrar este projeto. O desafio de integrar voluntários com as 40 organizações participantes foi significativo. Alguns voluntários se envolveram mais e outros, em função de suas atividades profissionais, nem tanto. Mas, sementes foram plantadas e brevemente os frutos começarão a aparecer. Em termos de parceria, foi também uma grande oportunidade para a GE conhecer novos mecanismos e pensar em modelos de projetos e parcerias complementares, junto a Fundação Abrinq. Pode parecer um paradoxo, mas o encerramento deste projeto é o marco de um novo ciclo.”
Os palestrantes/facilitadores convidados são especialistas em sua área de atuação: Carlos Gaiardo, José Cláudio Barros e Andréia Saul. Da última oficina também participou Mónica Beatriz Galiano, a sistematizadora desta publicação, contribuindo com conteúdos sobre o contexto geral da avaliação e as novas metodologias.
A metodologia utilizada pelos facilitadores constituiu-se de explanações - apoiadas por slides e anotações em flip-chart -, apresentações de vídeos, registro das intervenções junto com respostas do público, trabalhos em grupos com discussões e apresentações em plenário, leitura de contos, e representações teatrais e dinâmicas de integração e relaxamento. Seguem os tópicos tratados, a produção dos grupos nas suas reflexões, e os depoimentos espontâneos dos participantes.
Entenda, nas próprias palavras dos participantes, a importância deste projeto para as instituições:1. “Estas oficinas me levaram a refletir sobre a necessidade de iniciar e fortalecer uma cultura avaliativa em toda a instituição. Sabemos que isto se dará em longo prazo e será passível de atualização permanente (atualização como transformação e não somente como acréscimo).”
2. “As oficinas foram um conjunto de diferentes aprendizagens, somadas a um grande desafio: tornar a cultura de avaliação uma prática no cotidiano das organizações. O maior impacto foi o de repassar uma ideia nova como esta para uma diretoria de conceitos ´antigos´.”
3. “Todos nós já sabíamos da importância da avaliação, o que já fazíamos, mas as oficinas trouxeram outras reflexões sobre os registros, e informações sobre como aproveitá-los depois. Às vezes a avaliação era até feita, mas não aproveitada da maneira mais adequada.”
4. “Com as oficinas do Fortalecer, pude aprimorar meu olhar sobre a prática e a importância de se avaliar. A partir destas oficinas tenho desenvolvido um olhar mais crítico sobre o que espero de um projeto.”
José Cláudio Barros
Carlos Gaiardo
Andrea Saul
Mónica Beatriz Galiano
15
Nesta seção você conhecerá os conteúdos discutidos, as opiniões e expectativas dos participantes, parte da produção intelectual realizada durante os encontros, os aprendizados do grupo e as nossas sugestões para melhorar os processos para outras oficinas no futuro.
As oficinas
16
Antes de começar as oficinas, os participantes foram convidados a relatar suas dificuldades com relação ao conceito e prática da avaliação. Veja algumas declarações:
“Falta internalizar a importância da avaliação. Como é difícil avaliar! “ “Falta de compromisso no processo de avaliação. Até que ponto ela está
presente no cotidiano?” “Cumprir as etapas que a gente planeja. Qual é o momento certo de
fazer as avaliações?” “Resistência dos profissionais. ´Só faço minha função, não vou além´.
Resistência à mudança, quanto maior é a mudança, mais desconforto ela gera.”
“A gente perde oportunidades por falta de cultura de avaliação.”
Todos os presentes tinham clareza dos desafios que enfrentariam na sua instituição com relação à avaliação. E também traziam dúvidas. Entre elas:
Como construir, legitimar um sistema de avaliação da instituição? Como mensurar os indicadores? O que desperta o espírito do jovem empreendedor? Como se cria um
indicador para isso? Como avaliar o desempenho do voluntário na organização?
ExpectativasOs participantes chegaram com muito entusiasmo e várias expectativas. “Queremos...
Discutir o sentido da avaliação: por que fazemos? Ter embasamento para a construção de instrumental, em especial,
qualitativo. Saber utilizar os resultados obtidos: o que vamos fazer com esse resultado? Encontrar formas de melhorar os processos e resultados nas organizações
sociais. Entender avaliação como possibilidade de crescimento e de ajuste. Exercitar o processo de construção de indicadores. Ter parâmetros para constituir avaliações nas organizações sociais. Construir indicadores pensando os projetos e a instituição (“quando a gente
faz avaliação de projetos, está também cutucando a gestão, e às vezes isso é difícil de aceitar...”)
Adquirir conhecimentos para superar os desafios. Colocar na prática a teoria adquirida: o empregado “multitarefa” costuma
não ter tempo nem apoio para realizar a avaliação”.
O que deu certo?O fortalecimento das capacidades dos participantes e a internalização dos conceitos aprendidos nas suas instituições podem ser comprovados pelos resultados atingidos e verificados pelos seguintes indicadores: Em que medida as organizações incorporaram as discussões e práticas de avaliação no seu dia-a-dia? E no seu planejamento?
Veja o que disseram os participantes: “Estamos implantando muitas melhorias, elaborando o Manual de
Procedimentos da organização, sistematizando as práticas.” “Passamos a sensibilizar as pessoas. Ainda avaliamos só um projeto, mas
estamos ampliando o olhar para contemplar toda a instituição.” “Voltamos a revisar a missão e a visão, verificando mais de perto se os
coordenadores estão atentos a essas dimensões em todos seus projetos.” “Assumimos a necessidade de formação e formamos um grupo de
discussão.” “Estamos fazendo planos de estratégia e planos de ação.”
“Em geral, a gente só olha para os produtos dos projetos, e não para os efeitos. Eu quero avançar para além dos produtos”.
17
Além dos resultados em termos práticos, o impacto das oficinas em mudanças de atitude, pensamento, comportamento e hábitos dos participantes pode se verificar pelos comentários espontâneos ouvidos:
“Saio diferente de volta para a instituição. Já sou um mosaico, cheio de coisas. A troca nos grupos foi muito forte.”
“O impacto das oficinas na minha vida foi significativo, na medida em que repensei meu dia-a-dia, como poderia atingir meus objetivos, o que pretendo na minha função, na minha carreira. Abriu para muitas reflexões e mudanças.”
“Abriu minha visão pessoal, acredito que melhorou meu desempenho profissional.”
“Vejo os projetos de forma mais crítica e questiono a realidade.” “Este trabalho despertou em mim a consciência da necessidade de avaliar,
não para apontar erros e falhas, mas, principalmente, para tomar decisões e corrigir rumos.”
Com relação ainda aos impactos das oficinas, foram relatados dois casos por pessoas da GE Foundation e da Fundação Abrinq:
Uma instituição da Rede Nossas Crianças apresentou um projeto na área da cultura a um grande financiador e foi aprovado. “Sessenta por cento do êxito se deve à participação nas oficinas do Projeto Fortalecer: conseguimos elaborar um projeto muito bem feito”, disse um membro da instituição.
Um voluntário da GE Foundation recebeu um projeto de uma instituição que ele apoia há tempos, e disse que a proposta - escrita depois da participação nas oficinas - estava muito bem elaborada, objetiva e consistente, melhor que os projetos que faziam até então.
O que poderia ser melhorado?As discussões sobre produto, projeto, objetivo, resultado, impacto sempre resultam algo confuso. As pessoas usam as palavras como sinônimos umas das outras e o entendimento fica prejudicado.
Sugestão: fazer um glossário técnico no começo da oficina e se comprometer a usar os termos exatamente como foram definidos. Isso ajuda na fixação dos conceitos.
18
Oficina sobre PROCESSOSOs conceitos e práticas sobre este tema são muito mais utilizados nas empresas lucrativas, especialmente as de produção, e não tanto nas organizações sociais, portanto as apresentações trouxeram certas dificuldades de compreensão para os participantes.
Conceitos abordadosO paradigma da sociedade atual se baseia na amplitude das informações, na velocidade das mudanças, no domínio do conhecimento e na acelerada evolução tecnológica.
Neste contexto, o que é um processo? É uma série ou conjunto de atividades sequenciais. Os seus componentes são as entradas (atividades) e as saídas (resultados) com determinadas especificações.
Quando o processo está registrado, ele serve para controle ou gerenciamento do projeto. Mas, para isso, precisa haver disciplina: tem que acontecer todo dia da mesma forma, não pode ter variações. A menos que apareçam outras variáveis no contexto: neste caso, esses conhecimentos novos poderão ser incorporados para mudar o processo a partir desse momento.
Os processos são agrupados nas principais cadeias de valor, facilitando sua compreensão pelas pessoas e ressaltando a importância de integração entre as áreas.
Processos Estratégicos Processos ligados à definição de estratégias e à estruturação da organização para atuar em seus processos primários, de forma que ela esteja preparada e focada para atingir os seus objetivos.
Processos PrimáriosProcessos do dia-a-dia da organização, de integração com a sociedade, e que definem a finalidade da organização, devendo ser prioritários quanto à sua gestão.
Processos de ApoioProcessos que visam apoiar os demais processos da organização, planejando e provendo recursos para que eles possam ser realizados de maneira adequada e geridos de forma a atingir os resultados.
Avaliação de processo - também denominada de monitoramento, é realizada durante a execução do projeto. Tem como função questionar em que medida as atividades realizadas correspondem ao planejado, identificando pontos fortes e vulneráveis do projeto, suas oportunidades e necessidades de ajustes.
Como vimos, precisamos ter no início do projeto: Um diagnóstico inicial consistente; Objetivos específicos e atividades correspondentes bem definidas; Resultados e impactos esperados claros; Indicadores coerentes; Estratégias e instrumental de avaliação de processo bem desenhados; Ferramentas de registro e espaço para reflexão do projeto
previamente definidos.
Em projetos sociais, temos sempre uma primeira decisão a tomar: Qual dos processos vamos monitorar? E que critérios vamos usar?
E depois: Onde estão inseridos, distribuídos e agrupados estes processos, para
poder medi-los?
Alguns lembretes: As organizações têm que ser flexíveis, só assim vão ter sucesso. Portanto
é imprescindível desenvolver processos que garantam mobilidade e adaptabilidade.
Processos de apoio nunca devem onerar os processos primários, que são essenciais, porque estes são os que sustentam o valor do que entregamos ao público.
Encontrar a proporção de valor de cada processo.
No decorrer do processo, os registros são fundamentais para refletir sobre a prática, gerar aprendizados e acompanhar, não apenas os indicadores, mas toda a caminhada do projeto.
Componentes de um processo
Entradas (especificações) Saídas (especificações)
Cont
rolar
ProprietárioParâmetros de qualidadeIndicadores de desempenhoObjetivo(s)
Atividades
RecursosRegrasVia
biliza
r
19
Produção das instituições após as oficinas, avaliadas pelo consultorO consultor orienta as organizações no sentido de que, ao elaborarem seus planos de ação, aumentem o detalhamento das informações, pois percebe-se um excesso de síntese - o que é natural no início de processos de aprendizagem com esse tema.
Veja a seguir alguns bons exemplos de plano de avaliação de processos:
Conscientizar a organização para a importância da realização de atividades como a visão do cliente, independente das áreas envolvidas
Visão por áreas
Visão por processos
Resultados:Visão processual e não funcional, eliminando os silos organizacionais;Mitigação de duplicidades e retrabalho nos processos;Estrutura adequada para atender as metas da organização;Responsabilidades e relacionamentos claros entre as áreas;Integração e sinergia na criação de valor.
“Mudança em geral “mexe”; preciso rever minhas ações como pessoa e cidadã e repassar as ideias com segurança, para que a equipe com quem trabalho possa visualizar e colocar em prática o entendimento que tive.”
20
Asso
ciaçã
o Ben
editi
na de
Educ
ação
e As
sistê
ncia
Socia
l
Re
spon
sáve
l Pl
ano d
e Açã
o
Ir. Pe
rpét
ua d
a Cru
z Sch
eleg
er /
Fabi
ana d
e Sou
za
Resu
ltado
s esp
erad
os
Im
plant
ação
do Pr
ojeto
Forta
lecer
na en
tidad
e - Ve
rifica
ção d
a vali
daçã
o da m
issão
- Co
nstru
ção d
a visã
o
Ob
jetivo
De
finir q
uais
são o
s pró
ximos
passo
s a pa
rtir d
a prim
eira o
ficina
Plano
(s) de
ação
que
influe
ncia(
m) o
objet
ivo ac
ima
Reun
iões/
Refle
xões
em eq
uipe
C
ritér
io(s)
de co
nclus
ão
M
eta(
s)
Ela
bora
ção d
e rela
tório
Lev
anta
rmos
o pr
oces
so an
tes d
a pró
xima o
ficina
Si
tuaç
ão
Com
o ser
á fei
to?
Onde
?
Pr
azo
Orç
amen
to
Res
pons
ável
Apo
io re
quer
ido
Iníci
o
Fim
Val
or
Que
m?
O q
ue
In
ício
F
im
Cp Cp Cp Ea Agp
Agp
Agp
Agp
Agp
Agp
Agp
Agp
Reun
ião co
m a
equip
e ges
tora
para
apres
enta
r o Pr
ojeto
Forta
lecer
Reun
ião co
m a
Man
tene
dora
ABEA
S Re
união
com
a eq
uipe g
esto
ra le
itura
e as
sinat
ura d
o te
rmo d
e com
prom
isso
Orga
nizaç
ão do
plan
o de a
ção p
ara i
mpla
ntaç
ão do
Proje
to
Pesq
uisa c
om os
colab
orad
ores
Sond
agem
sobr
e o qu
e ent
ende
m so
bre a
nossa
miss
ão
Refle
xão c
om a
equip
e ges
tora
- Qu
al a n
ossa
visã
o?Re
flexã
o com
a eq
uipe g
esto
ra
O qu
e ent
ende
mos
sobr
e Pro
cesso
s/Pro
jetos
/Pro
gram
as?
Reun
ião co
m a
equip
e ges
tora
para
faze
rmos
leva
ntam
ento
dos
proc
esso
s que
reali
zam
os
Reun
ião co
m os
colab
orad
ores
para
socia
lizar
o Pr
ojeto
Forta
lecer
e f
orta
lecer
nossa
miss
ão e
visão
Re
flexã
o com
os co
labor
ador
es
O qu
e ent
ende
mos
sobr
e Pro
cesso
s/Pro
jetos
/ Pro
gram
as?
Reun
ião co
m a
equip
e de c
olabo
rado
res p
ara
fazer
mos
leva
ntam
ento
dos p
roce
ssos q
ue re
aliza
mos
Re
união
com
a eq
uipe g
esto
ra pa
ra de
finirm
os qu
ais
proc
esso
s mon
itora
rem
os
LMB
Sede
LM
B
LMB
LMB
LMB
LMB
LMB
LMB
LMB
LMB
LMB
09/0
5/08
26/0
5/08
12/0
5/08
18.05
.0826
.05.08
29.05
.0811
.06.08
12.06
.08
08.07
.08
08.08
.08
08.08
.08
13.08
.08
09.05
.0830
.05.08
12.05
.08
26.05
.0830
.05.08
29.05
.0811
.06.08
12.06
.08
08.07
.08
08.08
.08
08.08
.08
13.08
.08
Fabia
naIrm
ã Per
pétu
aIrm
ã Per
pétu
a
Fabia
na/Ir
mã P
erpé
tua
Fabia
na
Fabia
naAs
sesso
r ext
erno
Fabia
na
Equip
e Ges
tora
Equip
e Ges
tora
Equip
e Ges
tora
Fabia
na
Padr
inho
Asse
ssoria
para
refle
rtirm
os so
bre o
s te
rmos
Proc
esso
, Pro
jetos
e Pr
ogra
ma
11/0
6/09
11/0
6/09
TO
TAL >
> 1
670,0
0
AgP
Ag
uard
ando
iníci
o no p
razo
EP
Em
exec
ução
no pr
azo
CP
Co
ncluí
do no
Praz
o Ag
A
Agua
rdan
do in
ício e
m at
raso
EA
Em
exec
ução
atra
sado
CA
Conc
luído
em At
raso
Gesto
ra
Pat
rocin
ador
Fin
ance
iro
60,00
20
,00
50,00
80,00
85
,00
35,00
10
0,00
100
,00
230,0
0
430
,00
430,0
0
50,00
Asso
ciaçã
o Ben
editi
na de
Educ
ação
e As
sistê
ncia
Socia
lPe
rpét
ua da
Cruz
Sche
leger
21
CP CP
CP CP CP EP AgP
AgP
AgP
Form
ulaçã
o do r
elató
rio pa
ra re
união
com
a dir
eção
Re
união
com
a dir
eção
para
verifi
caçã
o das
infor
maç
ões
Estu
do do
s doc
umen
tos e
nviad
os pe
la
Fund
ação
Abrin
q Re
união
com
a eq
uipe a
dmini
strat
iva pa
ra es
colh
a de
um pr
oces
so a
ser m
onito
rado
Le
vant
amen
to de
proc
esso
s M
onito
ram
ento
da ro
tina d
e tra
balh
o Re
união
gera
l (ap
rese
ntaç
ão do
map
eam
ento
, m
elhor
ias e
alinh
amen
tos)
Perío
do de
impla
ntaç
ão e
acom
panh
amen
to
(per
íodo p
iloto
/exp
erim
enta
l) Le
vant
amen
to do
s res
ultad
os do
s pro
cesso
s im
plant
ados
Casa
do Ze
zinho
Casa
do Ze
zinho
Casa
do Ze
zinho
Casa
do Ze
zinho
Casa
do Ze
zinho
Casa
do Ze
zinho
Casa
do Ze
zinho
Casa
do Ze
zinho
Casa
do Ze
zinho
05/0
5/08
12/0
5/08
09/0
5/08
13/0
5/08
14/0
5/08
19/0
5/08
02/0
6/08
09/0
6/08
30/0
6/08
09/0
5/08
12/0
5/08
15/0
5/08
13/0
5/08
16/0
5/08
30/0
5/08
06/0
6/08
27/0
6/08
12/0
7/08
Gisle
neGi
slene
Corin
a
Corin
a
Corin
a / G
islen
eCo
rina
Corin
a
Corin
a
Corin
a
Equip
e adm
inistr
ativa
Equip
e adm
inistr
ativa
Equip
e adm
inistr
ativa
/ ped
agóg
icaEq
uipe a
dmini
strati
va / p
edag
ógica
Equip
e adm
inistr
ativa
/ ped
agóg
ica
Equip
e adm
inistr
ativa
Mat
erial
do cu
rsoRe
latóri
o e m
ateria
l do c
urso
Relat
ório e
mate
rial d
o cur
so
Relat
ório
Relat
ório
diário
05/0
5/08
12/0
5/08
13/0
5/08
14/0
5/08
19/0
5/08
02/0
6/08
09/0
6/08
30/0
6/08
09/0
5/08
12/0
5/08
13/0
5/08
15/0
5/08
30/0
5/08
06/0
6/08
27/0
6/08
12/0
7/08
TOTA
L >>
AgP
Ag
uard
ando
iníci
o no p
razo
EP
Em
exec
ução
no pr
azo
CP
Co
ncluí
do no
Praz
o Ag
A
Agua
rdan
do in
ício e
m at
raso
EA
Em
exec
ução
atra
sado
CA
Conc
luído
em At
raso
Gesto
r
P
atro
cinad
or
Finan
ceiro
Asso
ciaçã
o Edu
cacio
nal e
Assi
stenc
ial Ca
sa do
Zezin
ho
Re
spon
sáve
l Pl
ano d
e Açã
o
Gi
slene
Pire
s Re
sulta
dos e
sper
ados
Mon
itora
men
to do
s pro
cesso
s ins
talad
os
Ob
jetivo
Id
entifi
car o
s pró
ximos
passo
s a pa
rtir d
a prim
eira o
ficina
Plano
(s) de
ação
que
influe
ncia(
m) o
objet
ivo ac
ima
Reun
iões /
Relat
órios
/ En
cont
ros
C
ritér
io(s)
de co
nclus
ão
Met
a(s)
Elabo
raçã
o de r
elató
rio
Le
vant
arm
os o
proc
esso
ante
s da p
róxim
a ofic
ina
Situ
ação
C
omo s
erá f
eito
?
O
nde?
Pr
azo
Orç
amen
to
Res
pons
ável
Apo
io re
quer
ido
Iníci
o
Fim
Val
or
Qu
em?
O q
ue
In
ício
Fi
m
22
Oficina sobre RESULTADOSConceito de domínio comum, não é necessária muita explicação sobre o que é um resultado. Ele é quem nos dá a concretude para o objetivo traçado e nos projeta o que vai acontecer no futuro.
Naturalmente há resultados para todos os gostos: temos os resultados de ações e atividades, os resultados de estratégias, os resultados de processos. Esta oficina orientou sobre o que devemos levar em consideração para a avaliação de nosso projeto.
“Consequência, efeito, seguimento”, diz o Dicionário Aurélio Básico da Língua Portuguesa. Já o Dicionário Houaiss o define como: “O que resulta, o que é a consequência, o efeito de uma ação, de um princípio; qualquer espécie de resolução sobre algum assunto”.
É crucial determinar, no começo do planejamento e depois de formulados os objetivos, qual é o resultado esperado para cada um deles. Esta é a chave de um projeto com altas chances de sucesso. Porque, se não soubermos o que queremos alcançar, como saberemos que caminho tomar e que ações realizar?
Grandes ideias naufragam quando não se tem clareza sobre os resultados que se espera atingir. No plano da avaliação, eles são FUNDAMENTAIS para poder desenvolver os indicadores correspondentes. Portanto, o primeiro passo é: definir que resultados que esperamos do nosso projeto.
Lembrando:Resultados de Produto: demonstram que uma atividade foi realizada. Comprova que a ação prevista foi realizada. O registro destes resultados é a base fundamental para o monitoramento. Exemplo de pergunta que indica um resultado de produto: Os cursos foram ministrados?
Resultados de Efeito: demonstra que a atividade surtiu o efeito esperado. Exemplos de perguntas que indicam resultados de efeito: Todos os participantes inscritos terminaram o curso? Os participantes concluíram o curso sabendo mais alguma coisa? Planejar com cuidado os elementos de verificação destes resultados de efeitos, pois eles sustentam o monitoramento e dão subsídios para a avaliação de impacto.
Resultados de Impacto: demonstram que o efeito impactou em mudanças duradouras e significativas no participante, na comunidade, no grupo, na sociedade, enfim, no público pretendido. É um tipo de resultado para a qual o projeto contribuiu. Exemplo de pergunta que indica um resultado de impacto: Melhorou o nível de vida dos alunos, ao alcançar melhores empregos?
Na avaliação de projetos sociais não estamos muito acostumados a dividir os resultados nestas categorias. Ou, então, embora o façamos de vez em quando, não os consideramos de forma sistêmica, tentando compreender a relação entre eles e construindo, assim, um arcabouço lógico.
Acreditamos que facilitamos muito o entendimento se usarmos a seguinte regra: MONITORAMOS os resultados de produto e efeito, e AVALIAMOS os resultados de impacto. Desse modo podemos ter um plano de avaliação consistente e orgânico, porém simples de entender, de formular e de registrar. E, logicamente, mais fácil de implementar, de refletir sobre os resultados, de aproveitar as conclusões e de corrigir os rumos.
Tipos de resultados
Produto
Demonstra que uma atividade foi realizada.
Ex.: De 35 inscritos, 25 concluíram o curso, sendo 10 homens e 15 mulheres.
Efeito
Demonstra que a atividade surtiu efeito esperado.
Ex.: Dos 25 concluintes, 55% dominam plenamente softwares ensinados e possuem capacidade de produzir um site.
Impacto
Demonstra que o efeito impactou em mudanças duradouras e significativas.
Ex.: Dos 25 concluintes do ano passado, 10 aumentaram sua renda mensal em mais de 20% com serviços de design gráfico.
Plano de avaliação
a) Monitoramento
Atividades /produtos
Efeito
O que fiz e como fiz? Eficácia e eficiênciada implementação
O que aconteceu? Dados numéricos e qualitativos
Registros
Processo
Resultados
b) Avaliação
Mudanças nos diversos atores
O que mudou? Melhoria desde a ótica dos beneficiários
Indicadores
Impacto
23
Produção dos gruposExercício sobre resultados de produtos, de efeitos e de impacto
Sobre um projeto de capacitação profissional e primeiro emprego, em que um grupo apresentou os resultados de efeito e de impacto abaixo, avançando na formulação de indicadores:Resultado de efeito: 90% dos jovens são absorvidos no projeto Aprendiz. Indicadores:
Número de jovens que concluíram a primeira fase e foram inseridos nas empresas como aprendizes;
Número de jovens que permanecem no projeto Aprendiz até o final; Valorização do empregador em relação ao desempenho do aprendiz.
(Cumprir o que foi combinado, respeitar o horário/teto do aprendiz, faz rodízio entre vários setores...).Resultado de impacto: 70% dos jovens são efetivados nas empresas em que estão como aprendizes. Indicadores:
Número de jovens efetivados; Número de jovens que permanecem no mercado de trabalho formal
(Número de jovens em formação continuada: quem continua estudando, curso de especialização, faculdade, etc.
Sobre um projeto de erradicação do trabalho infantil:Resultado de efeito: Parcerias com as escolasIndicadores:
Presença da escola nos eventos da instituição; Contato da escola para saber sobre situações com o aluno; Melhoria de notas e frequência da criança na escola.
Resultado de impacto: Redução do trabalho infantilIndicadores:
Melhor rendimento escolar; Permanência da criança na escola e na ONG; Participação nas atividades extracurriculares.
Sobre um projeto de meio ambiente envolvendo 45 famílias do entorno da escola, realizado por conta da presença de roedores por causa de lixo mal acondicionado.Produtos:
Total de atividades feitas; Profissionais envolvidos capacitados; Responsáveis que participaram das ações; Educação de crianças e pais; Envolvimento de todos.
Efeitos: Sensibilização dos envolvidos; Percepção de si mesmo como agente ativo; Mudança comportamental; Comunidade sensibilizada e fazendo alguma coisa concreta.
Indicadores Número de pais que participam das reuniões; Número de famílias que acondicionam o lixo de forma correta; Total de atividades realizadas pelas famílias para combater os roedores.
Impacto: A região ficou mais limpa, sumiram os roedores; Diminuiu o número de pessoas infectadas por doenças provocadas
por roedores; Os espaços públicos para brincadeiras foram recuperados, e não há mais
medo de contaminação.Indicadores:
Mobilização da comunidade para exigir do poder público que haja desratizações e número de desratizações realizadas;
Número de recipientes de coleta instalados ou espalhados; Diminuição de focos (terrenos baldios).
“As oficinas inicialmente me deram muito medo: o de não conseguir passar para a instituição tudo da maneira correta para que eles entendam”.
24
Oficina sobre IMPACTOS
Na terceira oficina do Projeto Fortalecer, os participantes puderam refletirsobre as mudanças e benefícios durante ou depois do seu envolvimento com os projetos desenvolvidos em suas organizações.
Segundo o Dicionário Houaiss da Língua Portuguesa, impacto é “impressão ou efeito muito fortes deixados por certa ação ou acontecimento”.
Uma definição de Roche, 2000 , apresenta o impacto como “a relação dos resultados alcançados e efeitos produzidos com mudanças duradouras ou significativas – positivas ou negativas, planejadas ou não – nas vidas das pessoas e ocasionadas por determinada ação ou série de ações”.
As mudanças podem ser verificadas por meio de: Novos conhecimentos adquiridos; Habilidades melhoradas; Valores ou atitudes mudados para melhor; Conduta modificada; Condições de vida melhoradas; Status alterado; Tomadas de decisão e políticas renovadas.
Devemos ter em mente que a avaliação de impacto tem como base, além da análise sistemática, um julgamento sobre qual é a mudança considerada significativa para cada ator envolvido no processo. “Onde queremos chegar? Que tipo de mudanças são essas para as quais queremos contribuir?”. Sem respostas para estas perguntas, não temos como medir o impacto.
Tomando como exemplos: um programa de orientação de saúde desperta na população mobilizações para a reivindicação e negociação, junto à prefeitura, de obras de saneamento básico na comunidade; o trabalho junto a um grupo portador de deficiência anima-os a se organizarem e provoca mudanças no comportamento da comunidade em relação a eles; os resultados positivos de um programa de capacitação de empreendedores fazem com que o seu modelo seja adotado e reproduzido em outros locais.
Quando iniciarmos o desenho do impacto que pretendemos, em geral devemos ajustar os nossos objetivos para que sejam:Precisos:Quem se beneficiará com o projeto?Qual benefício terão? Qual é o impacto que se deseja alcançar?Realistas:Há recursos disponíveis para lograr os objetivos?É possível alcançar os objetivos dentro do horizonte do projeto?Mensuráveis:Existem instrumentos que permitam medir o alcance dos objetivos estabelecidos?Complementares:Trabalhar os objetivos em conjunto permite diminuir custos ou aumentar seu impacto?
Desta forma, o conjunto todo de variáveis do nosso projeto formará um sistema orgânico, sem contradições: bons objetivos, resultados esperados bem definidos, formas de registro para monitorar as atividades, indicadores bem construídos, coleta de informação e análise cuidadosas.
Porém, não devemos atribuir outras características ao impacto, nem usá-lo para outras finalidades. Ele deve servir apenas para explicar que tudo o que fizemos resultou numa determinada mudança.
Medir o impacto: NÃO...nos mostrará se este era o impacto certo que precisávamos medir; NÃO...provará estatisticamente que esse projeto causou esse impacto; NÃO...explicará por que estes resultados foram alcançados; NÃO...nos dirá que mudanças devemos fazer no projeto.
Isto será conseguido somente com a análise dos dados e a reflexão sobre os rumos a tomar.
Avaliar todas as mudanças (positivas ou negativas), inclusive as não planejadas e esperadas, contribui para ter uma visão mais ampliada do impacto - já que este pode afetar também outras pessoas, que não apenas os sujeitos de ação do projeto.
Impacto é a mudança que queremos que aconteça como resultado de nosso projeto.
“O impacto é a essência. Aquela mudança que fica após.”
Lembrar sempre que essas mudanças em geral não são lineares e que o contexto local e as políticas econômicas e sociais podem interferir nelas.
25
Produção dos gruposExercício sobre resultados de produtos, de efeitos e de impacto
Exercício sobre o vídeo do Instituto Sou da PazUm dos objetivos específicos deste projeto era “Mobilizar os jovens para o processo de revitalização da praça”. Os participantes, divididos em seis grupos, discutiram a diferença entre os resultados imediatos e as mudanças geradas nos diferentes públicos depois do projeto. Eles foram solicitados a identificar, pelo menos, TRÊS RESULTADOS e, pelo menos, TRÊS MUDANÇAS/IMPACTOS.
Veja a seguir a síntese da apresentação dos grupos:
ProdutosPráticas culturais e esportivas
Valorização das habilidades da comunidadeEnvolvimento e participação da comunidade
Construção e reforma da praçaMobilização da comunidade
Capacitação dos jovensUtilização dos espaços públicos
Melhoria da autoestima da comunidadeAdesão, envolvimento e participação dos jovens em todas as etapas
Mudanças (impactos)Aumento da autoestima, melhoria na qualidade de vida, mudanças de comportamentos.Redução do índice de violência e mudança/construção de valores.Apropriação dos espaços públicos, estímulo aos cuidados com o meio ambiente e redução do impacto ambiental, pertencimento e apropriação dos espaços.Reconhecimento dos papéis/empoderamento.Conscientização da comunidade no exercício de sua cidadania e na melhoria de sua qualidade de vida.Espaços de cultura, esporte e lazer.Jovens multiplicadores dos valores do projeto e criação de lideranças multiplicadoras.Fortalecimento dos vínculos pessoais e comunitários.
Exercício sobre indicadoresA construção dos indicadores foi declarada pelos participantes como uma atividade difícil, então a palestrante Andréia Saul apresentou uma forma para construí-los por meio de pistas. A pista é tudo aquilo que conseguimos perceber no dia-a-dia, no concreto, que nos leva ao alcance dos objetivos. Um exemplo: para “estimular a coordenação motora das crianças”, algumas pistas seriam: Crianças pintando desenhos em espaços demarcados, e caindo menos nos jogos e brincadeiras.
Para a revisão sobre os indicadores, foi sugerido partir do objetivo específico: “mobilizar os jovens para o processo de revitalização da praça”. Levantadas as seguintes pistas:
Jovem que traz outro jovem; Participação com prazer e entusiasmo; Jovem discute o projeto; Jovem está sempre sorrindo; Jovem chega no horário; Jovens diminuíram as brigas; Jovem discute o projeto; Jovens falando do projeto para outros jovens e outros
atores (garoto propaganda).
“Pistas: tiram o duplo sentido que pode haver em qualquer palavra. Elas são o pé no chão, muito concretas, não suscitam dúvidas.”
26
OBJETIVOS ESPECÍFICOS
Mobilizar os jovenspara o processo derevitalização dapraça
PISTAS
• Jovens apresentando o projeto paraparceiros;• Jovens tendo conhecimento doprojeto como um todo;• Participação e envolvimento dafamília no projeto;• Jovens trazendo a família para oprojeto;• Jovens trazendo outros jovens;• Jovens mais comunicativos;• Jovens sendo voluntários;• Jovens convidando e sensibilizandopessoas da comunidade paraparticipar da revitalização da praça;• Jovens propondo novas atividades eprojetos;• Jovens participando em atividadesextras;• Jovens praticando esporte na praça;• Jovens limpando a praça;• Jovens mapeando outros espaçospúblicos existentes na comunidade;• Jovens divulgando o projeto para acomunidade;• Jovens planejando atividades juntocom a comunidade;• Jovens divulgando a idéia nasescolas;• Jovens se prontificando a fazertarefas além do combinado;• Jovens pontuais com oscompromissos do projeto;• Jovens executando tarefas após o horário;• Jovens requerendo outras melhoriaspara a comunidade;• Jovens participando de outros grupos.
INDICADORES DE RESULTADOS
• Grau de envolvimento dos jovens;• Grau de envolvimento dacomunidade nos eventos da praça;• Jovens capacitados para novasatividades;• Grau de comprometimento dosjovens com o projeto;• Número de jovens que participaramda revitalização da praça;• Grau de articulação dos jovens;• Jovens comprometidos com amanutenção e limpeza da praça;• Jovens promovendo eventos napraça;• Novas ações realizadas na praça.
INDICADORES DE IMPACTOS
• Grau de melhoria de outros espaçospúblicos da comunidade;• Novos espaços revitalizados pelosjovens;• Inserção de comércio no entorno dapraça;• Grau de liderança dos jovens emoutras ações da comunidade;• Nível de atuação da comunidade emnovas ações.
Síntese do trabalho em grupos:Construção de Indicadores
27
Resumindo, para realizar uma avaliação bem-sucedida, é necessário:1) Elaborar o plano de avaliação;2) Realizar os alinhamentos iniciais;3) Formar equipe responsável pela avaliação;4) Revisar o contexto, os objetivos do projeto e os indicadores;5) Pesquisar e coletar os dados;6) Analisar e interpretar as informações recolhidas;7) Disseminar os resultados da avaliação.
É muito importante realizar uma oficina, encontro ou reunião prévia com todos os envolvidos para alinhar as expectativas e os conceitos (o que é avaliação, o que são objetivos, mudanças, impactos, etc.) e definir o foco (áreas e tipos de impacto a avaliar). Esse alinhamento inicial é fundamental para o sucesso da avaliação.
Por outro lado, o retorno da informação analisada é fundamental para que avaliação seja valorizada e tenha sentido para os participantes. E não esqueça de celebrar resultados sempre!!!
“Depois, com essas pistas, é mais fácil formular o indicador. E transformar qualitativos em quantitativos, fazendo a porcentagem de ocorrências de determinada mudança”.
Os participantes da oficina, em grupos, pensaram em estratégias para fazer esse alinhamento: “Faremos reunião com diretores, gestores, coordenadores e representantes dos projetos; comunicação mais ampla entre e dentro dos projetos; apresentar conteúdo das oficinas; com os gestores e coordenadores, discutir e alinhar os conceitos de avaliação; sensibilizar a diretoria sobre a importância de se avaliar, reuniões com escuta; orientação sobre o processo de avaliação; alinhar a missão com as ações; considerar as expectativas do público atendido e da ONG; mobilização, cronograma, definição de papéis de todos, dinâmica para discussão da missão, capacitação compartilhando os conteúdos do que aprendemos, convocar a diretoria para fazer parte, supervisão técnica; reuniões com educadores, educandos e comunidade; reunião com o meu suplente para organizar as ideias, repassar os conteúdos e depois alinhar a sensibilização com a diretoria.”
Na discussão sobre formar uma equipe de avaliação, surgiram as seguintes respostas: “Ficamos em dúvida se tínhamos que convidar os jovens atendidos e a diretoria; definir o perfil dos membros (no coletivo); identificar quem vai compor a equipe; definir as atribuições de cada membro; seria uma equipe coordenadora, dividida por segmentos: os colaboradores, os atendidos e se possível, os parceiros; divisão de tarefas, aproveitando habilidades; devolutiva da avaliação para todos; comissões com representantes diversos, com grupo gestor, capacitação; comissão determinada pela diretoria ou de acordo com a disponibilidade das pessoas ou por representação”.
28
29
Nesta seção você encontrará os conceitos que foram apresentados, analisados e discutidos nas oficinas. Eles estão agrupados segundo uma lógica adequada à leitura e foram ampliados com outras referências teóricas de vários autores brasileiros e internacionais.
Avaliação
30
“A avaliação é um ônibus cheio de passageiros, onde o condutor deve arrumar os defeitos do motor sem deter o carro, e com todos os passageiros dentro”, diz Paulo Motta, professor da Escola Brasileira de Administração Pública. Trata-se de um processo organizativo para melhorar as atividades ainda em marcha e auxiliar no planejamento, na programação e nas futuras tomadas de decisões.
Avaliar é uma atividade programada de reflexão sobre a ação baseada em procedimentos sistemáticos de coleta, análise e interpretação de informações, com a finalidade de: 1) emitir juízos de valor sobre as atividades, resultados e impactos das ações, projetos e programas, e 2) formular recomendações para ajustar a ação no presente e melhorar as ações futuras.
Para o Novo Dicionário Aurélio de Língua Portuguesa, avaliar é “determinar a valia ou valor de determinado objeto” e, segundo a Organização das Nações Unidas, “avaliação é um processo orientado a determinar sistemática e objetivamente a pertinência, eficiência, eficácia e impacto de todas as atividades, à luz de seus objetivos”.
Tecnologia que transforma a reflexão em um novo conhecimento, ela nos permite um contínuo fluxo de inovações nos modos de fazer e de aprender sobre a ação social.
O planejamento e a avaliaçãoO processo de avaliação é como uma imagem no espelho do processo de planejamento: enquanto o planejamento olha para frente, estabelecendo previsões nos cenários possíveis, a avaliação enfatiza o olhar para trás, buscando aprender com o que foi feito.
Há um momento em que o planejamento e a avaliação têm um ponto de encontro: as recomendações para uma ação futura.
As resistênciasNem sempre os esforços de reflexão sobre a ação são bem aceitos por todos por igual. A resistência à avaliação, assim como as dificuldades para incorporar as recomendações avaliativas na gestão, são questões que têm a ver com o fenômeno mais geral da resistência à mudança.
Existe uma tensão entre a propensão à mudança e os impulsos para manter a estabilidade das coisas: o primeiro satisfaz as necessidades humanas de criatividade e de enfrentamento de desafios, testando as próprias forças; o segundo favorece a ideia de pertencer, de segurança e de continuidade.
O próprio processo avaliativo implica transformação, já que se espera que os resultados que ele gera ofereçam elementos para modificar a estratégia ou a metodologia de intervenção utilizada.
O processo do pensamento avaliativo3
Não basta apenas reconhecer e usar bem os resultados que uma avaliação revela: precisamos aproveitar o processo de pensamento que a avaliação requer, ou seja, a aprendizagem que ela proporciona, sobretudo quanto ao estilo de pensamento.
Na última década, tem se dado cada vez mais ênfase ao processo avaliativo em si, o que se diferencia da simples avaliação dos resultados. Mudaremos pensamentos e condutas, procedimentos e práticas do projeto ou da instituição por meio da aprendizagem ocorrida durante o processo de avaliação.
O desenvolvimento de pensamento avaliativo pode nos levar a um efeito mais duradouro do que os simples resultados específicos. Aprender a pensar avaliativamente pode ter um impacto contínuo nas organizações, contribuindo, inclusive, para a qualidade do diálogo nas comunidades e também para deliberações com relação a políticas públicas.
Quem se engaja numa avaliação, desenvolve a capacidade de interpretar evidências, extrair conclusões e fazer juízos de valor. Não é suficiente termos apenas informações confiáveis e precisas. Precisamos saber como usar a informação, isto é, comparar as evidências, enxergar as contradições e inconsistências, articular valores e examinar pressupostos.
3. Ideias extraídas de artigo de Michael Quinn Patton, da Universidade de Minneapoilis, Minessota, EUA.
31
A filósofa alemã Hannah Arendt dirigiu especial atenção ao pensamento crítico como fundamento da democracia. Tendo escapado do totalitarismo de Hitler, ela dedicou a maior parte de sua vida para estudar como o totalitarismo se constroi e se sustenta pela mentira e o controle do pensamento. Para resistir aos esforços dos poderosos no sentido de controlar as mentes, ela acreditava que as pessoas precisavam praticar o pensamento. Neste sentido, ela desenvolveu oito exercícios em pensamento político. Seus exercícios não contém indicações sobre o que pensar, mas, sobretudo, sobre o processo crítico do pensamento. Ela achava importante ajudar as pessoas a pensar conceitualmente, para “descobrir as reais origens dos conceitos, destilando deles seu espírito”. Para ela, palavras como liberdade e justiça, autoridade e razão, responsabilidade e virtude, poder e glória haviam tristemente se evaporado e perdido sentido no linguajar dos políticos, “deixando para trás conchas vazias”. Desde este ponto de vista poderíamos também considerar que toda avaliação é uma oportunidade para que todos os envolvidos pratiquem o pensar criticamente, oferecendo assim uma oportunidade para fortalecer a democracia local e nacionalmente.
Para quê serve a avaliação?O papel da avaliação nos projetos sociais é gerar reflexões e análises. As tomadas de decisão se originam desse processo de ação - reflexão - reação, criando-se, desta forma, um ambiente de aprendizagem contínua. Portanto, a avaliação pode ser sempre utilizada como uma ferramenta para melhorar a prática social.
Avaliar para quê? Para... estabelecer o grau de pertinência, idoneidade, efetividade/
eficácia e eficiência/rendimento de um programa, projeto ou serviço; Para... determinar as razões dos êxitos e fracassos; Para... facilitar o processo de tomada de decisões para melhorar e/ou
modificar o programa ou projeto; Para... analisar outros objetivos que poderiam ser alcançados.
Não temos um bom conceito histórico da avaliação, vendo-a como um processo burocrático de fiscalização e controle. É comum se ouvir: “...são muitos formulários, temos que preencher mil coisas, ninguém lê, e o projeto terminou, já começou outro e ninguém levou em consideração o que foi aprendido antes”.
Porém, relembremos sua importância: Produz um nível de exposição que requer maturidade. Exposição porque
outros tomam ciência se estamos ou não tendo resultados. É sinal de maturidade institucional, porque se entende essa exposição como algo relevante.
Identifica o nexo entre resultados, estratégias e objetivos. Quando avaliamos, o fazemos em relação a onde queremos chegar, ao alcance dos objetivos. Devemos nos perguntar: Esta atividade está contribuindo para esses resultados? Com frequência avaliamos as atividades pelas atividades em si, esquecendo de avaliar onde queremos chegar?
É um instrumento de gestão. A avaliação só tem sentido para tomada de decisão. Diferente das empresas, os contextos sociais são muito dinâmicos, tudo muda muito rapidamente. Jovens em situação de risco à violência ou envolvimento com drogas, por exemplo, precisam de respostas muito rápidas, e temos que mudar constantemente as estratégias, o tipo de ação e a metodologia de trabalho.
Produz conhecimento. Permite conhecer melhor: Onde atuamos? Que contexto é este? O que estamos fazendo? Como funciona a lógica da nossa equipe? Permite compreender melhor a nossa prática, testar metodologias, com quem estamos trabalhando.
“O impacto das oficinas na minha vida foi significativo, na medida em que repensei meu dia-a-dia, como poderia atingir meus objetivos, o que pretendo na minha função, na minha carreira. Abriu para muitas reflexões e mudanças.”
32
Os dez mitos sobre avaliaçãoMas, se a avaliação está no dia-a-dia das pessoas e das organizações, por que esta palavra ainda gera desconforto? Com certeza, velhos paradigmas ainda persistem:
Existe um temor de que resultados pouco satisfatórios tragam consequências negativas aos envolvidos, tais como a perda do trabalho e/ou do financiamento;
É imposta como uma ‘tarefa’ tediosa que toma muito tempo, e não como uma ferramenta;
Seus resultados poucas vezes são incorporados no planejamento e na tomada de decisão da organização;
É complexa e onerosa financeiramente; Os resultados do programa/projeto em questão não são quantificáveis,
portanto a avaliação não se aplica: “...se não é estatisticamente mensurável, então não é passível de avaliação”.
Revisemos alguns destes mitos: Mito # 1A avaliação é algo científico, e deve ser feita somente por especialistas.Falso: a avaliação é sistemática e pode ser feita por qualquer pessoa.
Mito # 2Planos de avaliação precisam que você avalie todas as ações.Falso: numa situação ideal, você teria todo o tempo e o dinheiro necessários para avaliar tudo. No mundo real, precisamos escolher. Então, considere as seguintes questões: •Qualéoresultadomaisimportanteparaoseugrupo?Eparaa comunidade? •Quantaspessoascadaprojetoestáimpactando? •Quantotempo,talentoerecursospodemserdesperdiçadossenão avaliarmos esta ação? •Aavaliação,emsi,traráaprendizagensvaliosasquepoderemosusar em projetos futuros?
Mito # 3Dados quantitativos são melhores do que dados qualitativos.Falso: enquanto os dados quantitativos são uma parte importante da avaliação, alguns tipos de informação são melhor divulgados por meio de dados qualitativos. É melhor usar os dois tipos, eles são complementares. Números são objetivos, e dados de entrevistas, grupos focais e observações críticas ajudam a captar a “história”, que é a melhor descrição dos benefícios conseguidos.
Mito # 4 Uma vez que os modelos de avaliação são quantitativos, a avaliação é objetiva. Falso: os modelos são quantitativos, mas os dados de entrada deixam margem suficiente para julgamentos subjetivos.
Mito # 5 Uma boa avaliação oferece uma estimativa precisa de valor. Falso: por mais minuciosa e detalhada que for a avaliação, haverá incertezas, pois os números estão distorcidos pelas pressuposições que fazemos do futuro.
Mito # 6Um plano de avaliação deve ser perfeito para ser efetivo.Falso: não se preocupem com a perfeição. É muito mais importante fazer as coisas sistematicamente e com consistência do que esperar até que o último detalhe esteja pronto.Façam um desenho de avaliação flexível, que permita mudanças se os objetivos da ação mudarem com o tempo, ou se a avaliação assinalar uma nova direção para as perguntas.
Mito # 7 Uma avaliação bem feita é eterna. Falso: o valor obtido em qualquer técnica de previsão depende das informações coletadas no momento. A descoberta de novas informações pode alterar significativamente a previsão. Esse fato é um dos motivos pelo qual a organização deve constantemente monitorar seu ambiente, para saber se houve alguma ruptura nas informações ou hipóteses do modelo adotado.
Mito # 8Devemos analisar somente as conquistas, para assegurar avaliações positivas.Falso: uma avaliação efetiva deve avaliar os aspectos positivos e os negativos. Aprende-se muito entendendo as falhas e as oportunidades perdidas, e esse entendimento iluminará e melhorará novas ações. Isto não significa que devemos focalizar somente os aspectos negativos.
Mito # 9Os dados obtidos na coleta não servem mais, após o término da avaliação.Falso: os dados são o fundamento de toda avaliação. Guarde-os! Podem voltar a ser de utilidade outra vez conforme o projeto avança. Podem nos dar informações preciosas mais tarde, poupando tempo e recursos quando o tema surgir novamente.
Conceitos
33
Mito # 10O produto da avaliação (ou seja, o valor) é o que importa; o processo de avaliação não importa. Falso: o processo de avaliação ajuda o administrador a conhecer o ambiente, entender as variáveis e os riscos de confiar cegamente na projeção.
Para conhecer alguns métodos de avaliação4
Métodos de avaliação rápidosOs métodos de avaliação rápidos são uma via de baixo custo para recolher opiniões e feedback dos beneficiários e outros interessados. Eles permitem responder às necessidades de informações dos responsáveis pela tomada de decisões. Alguns exemplos: entrevista com informadores-chave; discussão em grupo com um interesse comum; entrevista com um grupo comunitário; observação direta; mini-levantamento
Para quais finalidades podem ser usados? Prestar informação rápida para a tomada de decisões da gestão,
especialmente em nível de projeto ou de programa; Fornecer um entendimento qualitativo das alterações socioeconômicas
complexas, situações sociais altamente interdependentes, ou valores, motivações e reações das pessoas;
Fornecer o contexto e interpretação para os dados quantitativos recolhidos por métodos mais formais.
Vantagens: Baixo custo; Pode ser efetuado rapidamente;
Proporciona flexibilidade para explorar novas ideias.Desvantagens:
As conclusões normalmente dizem respeito a comunidades ou localidades específicas, sendo assim difícil generalizar as conclusões;
Menos válido, fiável e credível dos que os levantamentos formais.
Métodos participativosOs métodos participativos oferecem uma participação ativa na tomada de decisões a todos os que tenham um interesse num projeto, programa ou estratégia. Eles provocam um sentimento de controle sobre os resultados.
Para quais finalidades podem ser usados? Conhecer as condições locais, bem como as perspectivas e as prioridades
de suas populações, buscando conceber intervenções mais satisfatórias e sustentáveis;
Identificar e resolver problemas durante a execução do projeto; Avaliar um projeto, programa ou política; Fornecer conhecimento e qualificações para atribuir poder à população pobre.
Vantagens: Examina questões relevantes mediante a participação dos atores principais no
processo de concepção; Estabelece parcerias e controle local dos projetos; Aumenta o conhecimento local, a capacidade de gestão e as qualificações de
seus atores; Fornece informação pontual e fiável para a tomada de decisões da gestão.
Desvantagens: Às vezes são considerados menos objetivos; Morosos se os principais intervenientes não estiverem envolvidos de uma
forma significativa; Potencialidade para o domínio e uso indevido por parte de alguns
intervenientes, com o objetivo de maximizarem os seus próprios interesses.
Exemplos: 1. Análise das partes interessadas. É o ponto de partida da maioria dos exercícios participativos e avaliações sociais. Ela é usada para desenvolver um entendimento das relações de poder, influência e interesses das várias pessoas envolvidas numa atividade e para determinar quem deve participar, e quando. 2. Avaliação rural de caráter participativo. É uma abordagem de planejamento que se centra na partilha de conhecimentos entre as populações locais, urbanas e rurais, além daqueles que são “estranhos” à comunidade. Permite aos gestores do desenvolvimento e à população local avaliarem e planejarem intervenções apropriadas de uma forma colaborativa, recorrendo frequentemente a técnicas visuais para que as pessoas analfabetas possam participar. 3. Avaliação dos beneficiários. Implica uma consulta sistemática com os
“Primeiro, veio um desânimo diante do desafio. Segundo, um desejo de me aprofundar, de construir instrumental para depois desencadear mudanças valiosas que terão impacto na sociedade”.
4. Conforme definidos em: MONITORIZAÇÃO & AVALIAÇÃO: Algumas Ferramentas, Métodos e Abordagens. The International Bank for Reconstruction and Development/THE WORLD BANK, Washington, 2004. www.worldbank.org/oed/ecd
34
beneficiários do projeto e outros interessados, com vista a identificar e conceber iniciativas de desenvolvimento, apontar entraves à participação, e fornecer feedback para melhorar os serviços e atividades. 4. Monitoramento e avaliação de caráter participativo. Envolve os atores em diferentes níveis, trabalhando em conjunto para identificar problemas, recolher e analisar informações, e produzir recomendações. O modelo lógico e a hipótese de mudançaTodo programa social está baseado na hipótese da mudança, o fundamento teórico sobre “como” e “porque” o programa vai funcionar e dar resultado. A teoria pode ser explícita, ou estar implícita. Ela conecta o que está acontecendo no projeto (as atividades) com o objetivo geral do mesmo.
Um “modelo lógico” ou “marco lógico” (logframe, de logical framework) é uma fotografia da estrutura do projeto - uma representação gráfica simplificada da hipótese de mudança. Ele mostra as relações entre o que se coloca no projeto (inputs ou insumos ou recursos), o que o projeto faz (atividades e produtos), e que resultados, em termos de impacto, ele produz. São hipóteses de causa-efeito: “Se esta atividade acontecer, e se produzir os produtos ou resultados esperados, teremos atingido este objetivo”, etc.
Para quais finalidades pode ser usado? Melhorar a qualidade dos modelos de projetos e programas, ao exigir a
especificação de objetivos claros, o uso de indicadores de desempenho e uma avaliação dos riscos;
Resumir a concepção de atividades complexas; Apoiar a preparação de planos operacionais pormenorizados; Fornecer uma base objetiva para análise, monitoramento e avaliação
da atividade.
Vantagens: Assegurar que os responsáveis pela tomada de decisões façam perguntas
fundamentais e analisem os pressupostos e os riscos; Envolver as partes interessadas no processo de planejamento e de
monitoramento; Quando utilizada com dinamismo, é um instrumento de gestão eficaz
para orientar a execução, monitoramento e avaliação.Desvantagens:
Se for utilizada com muita rigidez, impede a criatividade e a inovação;
Se não for atualizada durante a execução, pode se tornar num instrumento estático, que não reflete as condições em fase de mutação;
Formação profissional e acompanhamento subsequente são, muitas vezes, necessários.
Avaliação baseada na teoriaA avaliação baseada na teoria tem muitas semelhanças com a abordagem do marco lógico, mas permite uma compreensão muito mais profunda do mecanismo de um programa ou atividade: a “teoria do programa” ou “lógica do programa”. Em particular, este tipo de avaliação não precisa assumir uma simples relação linear de causa a efeito.
Por exemplo, o sucesso de um programa governamental para melhorar os níveis de alfabetização por meio do aumento do número de professores pode depender de muitos fatores. Entre outros, a existência ou não de salas de aulas e livros escolares; as prováveis reações dos pais, diretores das escolas e alunos; as qualificações e o entusiasmo dos professores; os distritos em que se localizam os professores adicionais; o financiamento governamental, etc.
Ao traçar os fatores determinantes ou causais considerados importantes para o sucesso, e o modo como podem atuar entre si, é possível decidir quais passos precisam ser monitorados à medida que o programa se desenvolve, para avaliar como se comportam na realidade. Assim, permite-se que os fatores críticos para o êxito sejam identificados. E, quando os dados demonstrarem que estes fatores não foram alcançados, é razoável concluir que o programa tem uma menor probabilidade de atingir seus objetivos.
Para quais finalidades pode ser usado? Projetar a concepção de atividades complexas; Melhorar o planejamento e gestão.
Vantagens: Oferece uma informação precoce sobre o que está ou não funcionando, e
por qual motivo; Permite uma correção imediata dos problemas, assim que eles surgem; Contribui para a identificação dos efeitos colaterais do programa, que não
estavam claros; Ajuda a atribuir o grau de prioridade às questões que devem ser
investigadas com mais profundidade, utilizando, por exemplo, o recolhimento mais focalizado de dados ou técnicas de monitoramento e avaliação mais sofisticadas;
35
Proporciona uma base para avaliar os impactos prováveis dos programas.Desvantagens:
Pode se tornar excessivamente complexa se lidar com uma grande escala de atividades ou, então, com uma lista exaustiva de fatores e pressupostos.
Avaliação do impactoA avaliação do impacto é a identificação sistemática dos efeitos – positivos ou negativos, intencionais ou não - causados por uma determinada atividade de um programa ou projeto, nos lares, instituições e ambientes. No campo social, a avaliação do impacto ajuda a compreender melhor em que medida as atividades atingem o público alvo e a amplitude dos seus efeitos no bem-estar das pessoas.
As avaliações de impacto podem ir desde levantamentos de amostragens de larga escala, em que se comparam populações e grupos de controle “antes e depois” (e, eventualmente, em várias ocasiões durante a intervenção do programa), até avaliações rápidas de pequena escala ou apreciações participativas. Nestas últimas, as estimativas do impacto são obtidas pela combinação das informações obtidas por meio das entrevistas com os grupos e informadores essenciais, dos estudos de casos e dos dados secundários existentes.
Para quais finalidades pode ser usada? Medir os resultados e impactos de uma atividade e saber distingui-los da
influência de outros fatores externos; Ajudar a esclarecer se os custos de uma atividade se justificam; Informar decisões quanto à expansão, modificação ou eliminação de
projetos, programas ou políticas; Colher ensinamentos para melhorar a concepção e gestão de
atividades futuras; Comparar a eficácia de intervenções alternativas; Aumentar o grau de responsabilização pelos resultados.
Vantagens: Fornece estimativas da magnitude dos resultados e impactos para os
diferentes grupos demográficos, regiões ou ao longo do tempo; Oferece respostas a algumas das questões mais centrais do
desenvolvimento: Em que medida estamos fazendo a diferença? Quais são os resultados na comunidade ? Como podemos fazer melhor?
A análise sistemática e o rigor podem dar aos gestores e aos responsáveis pela adoção de políticas uma maior confiança na tomada de decisões.Desvantagens:
Algumas abordagens são muito caras e morosas, embora também se usem metodologias mais rápidas e econômicas;
Pouca utilidade quando os decisores precisam de informações rápidas; Dificuldades em identificar medidas compensatórias adequadas.
Outcome mapping ou mapeamento de impactosA estratégia “mapeamento de impactos” focaliza um único tipo específico de resultados: mudanças no comportamento. Definimos o impacto como mudanças no comportamento, nos relacionamentos, nas atividades ou ações das pessoas, dos grupos e das organizações com as quais um projeto trabalha diretamente .
Focalizando as mudanças no comportamento, esta abordagem explicita algo já bem aceito desde há muito tempo: os projetos mais bem-sucedidos são aqueles que transferem paulatinamente o poder e a responsabilidade aos próprios participantes.
Usando este método, um programa passa a não focalizar seus impactos no desenvolvimento local, mas, sim, sua contribuição para conseguir os resultados previstos. A complexidade do processo de desenvolvimento torna muito difícil medir os impactos num prazo curto, e estes raramente são alcançados por um único ator. E priorizar somente a medição de indicadores de longo prazo pode não trazer o feedback e demais informações necessárias para corrigir e melhorar os rumos do projeto.
Usando o mapeamento de impactos, um projeto não está reivindicando a obtenção de impactos de desenvolvimento de longo prazo, e a relação não é necessariamente de causa e efeito. Os impactos podem ser vinculados logicamente às atividades do projeto, mesmo que eles não tenham sido necessariamente causados por elas.
Esta mudança de foco altera significativamente a maneira de o projeto entender seus objetivos e mensurar seu desempenho e resultados. Estabelece-se a visão da melhoria humana, social e ambiental para a qual o processo deseja contribuir, e, então, focaliza-se o monitoramento e avaliação em fatores e atores dentro da esfera de influência direta desse programa.
As contribuições do programa ao desenvolvimento são planejadas e medidas com base na sua influência sobre os parceiros com quem está trabalhando para produzir mudanças. Em sua essência, o desenvolvimento é conseguido “por e para” pessoas. Este é o conceito central do mapeamento de impactos.
36
O mapeamento de impactos não diminui a importância das mudanças na situação (como “água mais limpa” ou “economia mais forte”), mas argumenta que, para cada mudança de situação, existem mudanças correlativas no comportamento das pessoas.
Por exemplo, o objetivo de um projeto pode ser facilitar o acesso das comunidades à água potável, com a instalação de filtros de purificação nas casas. Tradicionalmente, o método de avaliação dos resultados deste projeto seria contar o número de filtros instalados e medir as mudanças no nível de elementos contaminantes na água antes e depois das instalações. O foco na mudança de comportamento começa, porém, da premissa que a água não permanece limpa sem que as pessoas sejam capazes de manter sua qualidade no tempo.
Portanto, o impacto do projeto é avaliado em termos de: se aqueles responsáveis pela pureza da água nas comunidades não somente têm, mas usam as ferramentas apropriadas; se foram adquiridos conhecimentos e habilidades para monitorar os níveis de contaminantes; se foi preciso mudar os filtros ou chamar especialistas quando preciso.
Esta metodologia permite que os projetos comunitários planejem e meçam as habilidades que eles estão fortalecendo nas pessoas, nos grupos e nas organizações que - em última instância - serão as responsáveis pela
melhoria do bem-estar de sua comunidade. Não pretende substituir as formas mais tradicionais da avaliação, mas complementá-las focalizando especificamente as mudanças de comportamento relacionadas com os resultados.
Avaliação construtivistaEgon G. Guba e Yvonna S. Lincoln, Os autores do livro Avaliação da Quarta Geração, argumentam em http://www.wmich.edu/evalctr/checklists/constructivisteval.htm#2 que a primeira geração de avaliação focalizava as medições; a segunda, a descrição; e a terceira, o julgamento.} Os estudiosos apresentam agora uma quarta, baseada na negociação (hermenêutica/dialética).
Esta quarta geração é chamada de avaliação construtivista. Os autores acreditam que esta abordagem minimiza os maiores problemas das outras três: uma tendência para o gerenciamento, ou seja, uma abordagem que favorecia o ponto de vista do cliente ou do financiador, e que protegia o coordenador (mas que, às vezes, era injusta, pois mantinha as relações de poder e não se preocupava em ouvir todas as partes interessadas); a falha de não considerar conjuntos múltiplos de valores; e um compromisso demasiadamente forte com o paradigma científico (positivista) da pesquisa.
A avaliação construtivista está baseada nos pressupostos do paradigma construtivista, que se apoia no relativismo e que leva ao subjetivismo - o que, por sua vez, acredita que a “realidade” e a “verdade” dependem somente do conjunto de informações e do grau de sofisticação acessível aos indivíduos e grupos interessados. O método básico é a hermenêutica, quando todos os envolvidos declaram suas convicções, elas são analisadas e dissecadas para que se encontre o sentido de cada uma, e depois são confrontadas, comparadas e contrastadas em encontros de discussão (dialética). Este método se aplica tanto para dados quantitativos como qualitativos.
A avaliação construtivista não é um sistema fácil. Muitas vezes, promove confrontos e cria adversários. Precisa de um facilitador/avaliador muito treinado. Mas, desde o ponto de vista do valor da avaliação, parece ser o melhor caminho para conseguir soluções viáveis para reclamações e preocupações do - grupo resultando em construções fortemente apropriadas por todos que parecem servir, funcionar, ser relevantes e altamente flexíveis.
“No primeiro momento ficamos meio perdidos. Hoje conseguimos perceber os passos dados e quanto ainda precisamos caminhar”.
37
Medindo o impactoA questão essencial é “Que diferença fez o nosso trabalho?”.
Podemos perguntar a quem realiza o trabalho: “O que mudou nas vidas das pessoas como resultado da sua ação na comunidade?”.
Podemos perguntar àqueles indivíduos específicos com os quais o projeto ou a instituição trabalhou: “O que há de diferente nas suas vidas ou nas vidas das pessoas que foram atendidas pelo projeto/pela instituição?”.
Ou podemos perguntar a uma organização, um bairro, uma comunidade inteira: “O que mudou como resultado das atividades do projeto ouda instituição?”.
Medindo os resultadosA forma mais direta de medir resultados é achar alguma coisa para contar e chegar a um número. Na clássica pergunta: “Estamos batendo as asas ou estamos voando?”, medir os resultados pode significar responder cada uma dessas perguntas, ou as duas, dependendo do que tenhamos escolhido contar. Se decidirmos medir resultados do trabalho que fizemos, geralmente estamos medindo “o bater das asas”, ou seja, o esforço que realizamos. Um assessor de imprensa, por exemplo, pode contar quantos kits com materiais e releases enviou ou quantas entrevistas agendou. Se estamos recrutando voluntários, podemos contar quantos contatos fizemos com prováveis candidatos, quantos folhetos distribuímos, etc.
As medidas “do voo” são a forma em que completamos a frase: “Como resultado de nosso trabalho....”. Para o assessor de imprensa, os resultados podem ser os centímetros de coluna que foram publicados ou o número de menções nos jornais televisivos, etc. Para quem recruta voluntários, pode ser o número de pessoas que realmente se inscreveram e realizaram ações, ou o número total de horas voluntárias em determinado período.
Comparando o desempenho, olhando para o processoAqui a questão é: “Estamos fazendo as coisas certas?” ou “Estamos fazendo as coisas da maneira certa?” ou “Estamos usando os recursos da melhor maneira possível?”.
Quando olhamos para o desempenho, nos concentramos especialmente no processo de nosso trabalho e na qualidade deste processo. Embora não pareça, qualidade pode ser definida por medidas quantitativas muito objetivas - mas também pode ser definida pelas percepções das pessoas engajadas no projeto e/ou afetadas pelo processo do trabalho. Fazer as perguntas certas, ouvir as respostas, extrair lições para aprender com as respostas e usar estas lições para melhorar nosso desempenho são a essência da avaliação de desempenho.
Impactos, resultados e processos5
5. Baseado em artigo de Mónica Galiano e Kenn Allen, autores da ferramenta “Indicadores de desempenho para programas de voluntariado de alto nível”
38
Indicadores são atos, representações, eventos ou outros fenômenos que demonstram o desempenho esperado ou a ser atingido por um projeto. Eles indicam o que medir e observar para comprovar que os resultados foram atingidos, seja no nível das atividades, do objetivo específico ou do objetivo geral.
Seguem abaixo algumas definições de indicadores feitas por diferentes agências sociais, agências financiadoras, consultores e autores da área:
Indicadores
O resultado previsto, quando ocorre, se parece com o quê? Que “cara” ele tem? Como vamos saber que ocorreu? O que podemos ver?
“Um conjunto de variáveis que aferem características quantitativas e qualitativas, consideradas significativas no desenvolvimento de um plano, definidoras de seu contexto de atuação e de seus resultados.” (CER/CMI , 1995). “Uma variável cujo objetivo é medir a transformação num fenômeno ou processo.” (USAID - United States Agency for International Development). “Sinais ou evidências que nos permitem verificar em que medida o fenômeno observado está sofrendo variações a partir da intervenção realizada.” (WWF - World Wildlife Foundation , 2000). “Instrumento de medição usado para indicar mudanças na realidade social que nos interessa. Ele é uma ‘régua’ ou um padrão que nos ajuda a medir, avaliar ou demonstrar variações em alguma dimensão da realidade relevante para os objetivos de um determinado projeto. [...] São parâmetros objetivos e mensuráveis utilizados para operacionalizar conceitos.” (Armani, 2000). “Uma marca. O indicador pode ser comparado a uma placa que indica se estamos na estrada certa, quanto caminho já percorremos e quanto ainda temos a percorrer para chegarmos ao nosso destino ou objetivo.” (Feursteins, 1990). “Parâmetros qualificados e/ou quantificados que servem para detalhar em que medida os objetivos de projeto foram alcançados, dentro de um prazo delimitado de tempo e numa localidade específica. Como o próprio nome sugere, são uma espécie de “marca” ou sinalizador, que busca expressar algum aspecto da realidade sob uma forma que possamos observá-lo ou mensurá-lo.” (Valarelli, 1999). “Uma evidência concreta e observável do que se obteve, das modificações efetuadas e das metas e objetivos atingidos. Em outros termos, os indicadores constituem medidas utilizadas para dar respostas às perguntas da avaliação. (Dursch, 1989, citado em Jordão, 1994).
É fácil perceber que o conjunto de afirmações ressalta que os indicadores se referem ao modo como uma pessoa cria instrumentos ou formas de selecionar aspectos de processos de uma determinada realidade ou situação, com a finalidade de entendê-la e explicá-la. Os indicadores também proporcionam subsídios para intervir ou dialogar com outros sujeitos sobre tal realidade ou situação estudada.
Longe de buscar uma definição-síntese, o que interessa é perceber que, subjacente às definições de indicadores, existe a referência a um conjunto de relações que lhe conferem características e finalidades.
“Este trabalho despertou em mim a consciência da necessidade de avaliar, não para apontar erros e falhas, mas principalmente para tomar decisões e corrigir rumos”.
39
Indicadores respondem à pergunta: “Como saberemos se...?”Citamos, a seguir, as ideias de Domingos Armani, expressas em seu livro Como Elaborar Projetos Sociais.
Poderíamos pensar que indicadores são, ao mesmo tempo: Instrumentos de medição, na medida em que são utilizados para captar
aspectos dos fenômenos e processos da realidade social, cuja totalidade é impossível apreender;
Resultantes de múltiplas mediações, na medida em que este ato de observação e análise por parte de um sujeito - a escolha dos processos de observar, dos instrumentos que tornam isto possível, a interpretação e o uso das informações - estão determinados pelas formas com que este sujeito percebe a realidade; pelos seus códigos de valores; pelas intenções que tem (e que precedem a utilização de indicadores); e pela interação político-comunicativa com outros sujeitos (a qual antecede ou resulta destes processos de observação, interpretação, diálogo e intervenção sobre o real).
As mudanças pretendidas se expressam em conceitos, como participação, cidadania, organização, promoção de direitos, autoestima, empregabilidade, etc. Mas conceitos não podem ser medidos diretamente. Precisamos um entendimento claro sobre os conceitos, definindo-os bem concretamente. Podemos dizer também que indicadores são parâmetros objetivos e mensuráveis utilizados para operacionalizar conceitos. Diferentes conceitos vão levar a diferentes formas de medição. No processo de transformar conceitos em indicadores, é necessário identificar as dimensões fundamentais (variáveis ou pistas) e criar a forma mais apropriada de medir suas variações.
Precisamos de um número mínimo de indicadores para medir o êxito do projeto - sua existência demonstrará que atingimos os objetivos. São úteis para a etapa de planejamento do projeto porque evitam erros conceituais e clarificam os objetivos, além de acrescentar profundidade e dimensão à formulação do propósito ou objetivo geral. São indispensáveis para a avaliação, porque sem eles não se pode comparar o que foi programado com o que foi obtido.
Os indicadores devem também ser relevantes, medindo o que queremos atingir, o que é importante, e o que pode ser atribuído exclusivamente ao projeto. E o mais importante: devem ser objetivamente verificáveis.
Tipos de indicadores
Um artigo de Leandro Lamas Valarelli publicado em www.rits.org.br, em julho de 1999, explicita muito bem todos estes conceitos:
“Na medicina, por exemplo, a temperatura corporal é uma das muitas variáveis para avaliar se uma pessoa está doente ou não. Uma temperatura acima do normal – a febre – não é a própria doença, mas mostra que o organismo está combatendo uma infecção. A partir da variável temperatura, construiu-se o indicador: uma escala que mede sua variação, na qual a temperatura de 36,5 graus Celsius é considerada a normal, quando medida por um período de três minutos. Acima disso, considera-se que a pessoa está com febre em graus progressivos. Assim, a doença é o estado ou situação que pretendemos avaliar; a temperatura é a variável utilizada; a escala em graus Celsius, que define o que é normal e o que é febre, é o indicador; e o termômetro é o instrumento ou meio de verificação”.
Em se tratando de projetos sociais, lidamos com realidades complexas nas quais muitos fatores e sujeitos intervém e moldam as relações e processos. Um objeto baseia-se na intenção de atuar nesta complexidade, perseguindo objetivos de mudança numa situação considerada como problema ou necessidade. Com suas atividades, relacionando-se com a ação dos demais sujeitos na sociedade, pretende produzir resultados que, no conjunto, contribuam para modificar aquela situação. Por isso, os resultados de um projeto social nunca são certezas, mas investimentos, apostas na possibilidade de alcançá-los. Não havendo certezas, é preciso construir meios de verificação que auxiliem na percepção do rumo das mudanças possíveis.
Lembremos: Indicadores são evidências das mudanças ocorridas, mas não são as mudanças, nem são suas causas. Eles são sintomas, como a febre (variável), medida pela temperatura do corpo (indicador), por meio do termômetro (meio de verificação). Indicam, portanto, a doença, mas não são sua causa, e muito menos a doença em si.
EFICIÊNCIA
Produto/Efeito
Resultados compensam esforço.Análise custo x benefício
EFICÁCIA
Efeito
Resultados esperados foram atingidos
EFETIVIDADE
Impacto
Ação possui impacto na comunidade
40
O que são e para que servemEm projetos sociais, indicadores são parâmetros qualificados e/ou quantificados que servem para detalhar em que medida os objetivos de um projeto foram alcançados, dentro de um prazo delimitado de tempo e numa localidade específica. Como o próprio nome sugere, são uma espécie de “marca” ou sinalizador que busca expressar algum aspecto da realidade de forma que possamos observá-lo ou mensurá-lo. A primeira decorrência desta afirmação é, justamente, que eles indicam, mas não são a própria realidade. Baseiam-se na identificação de uma variável, ou seja, de algum aspecto que varia.
Tipos e características de indicadores Os indicadores podem ser utilizados para medir ou revelar aspectos relacionados a diversos planos da vida social: individual e familiar, coletivo e associativo, das relações sociais, políticas, econômicas e culturais da sociedade. Podem, por exemplo, medir a disponibilidade de bens, serviços e conhecimentos, e o acesso que determinados grupos têm a eles; a relevância que possuem na vida das pessoas e instituições; a qualidade e o grau de utilização de algo. Além disso, podem também captar processos, em termos de intensidade e sentido de mudanças.
Dizemos, então, que os indicadores referem-se a aspectos tangíveis e intangíveis da realidade. Os tangíveis são aqueles facilmente observáveis e aferíveis quantitativa ou qualitativamente, como renda, escolaridade, saúde, organização, gestão, conhecimentos, habilidades, formas de participação, legislação, direitos legais, divulgação, oferta, etc. Já os intangíveis são aqueles sobre os quais só podemos captar parcial e indiretamente algumas manifestações: consciência social, autoestima, valores, atitudes, estilos de comportamento, capacidade empreendedora, liderança, poder, cidadania, entre outros. Como são dimensões complexas da realidade, processos não-lineares ou progressivos, demandam um conjunto de indicadores que apreendam algumas de suas manifestações indiretas, “cercando” a complexidade do que pretendemos observar.
Na construção de indicadores, devemos considerar a diferença e a coerência que guardam entre si, a variável a observar, o indicador utilizado e o meio ou fonte de verificação. É comum, neste processo, que tomemos uns pelos outros.
Se pretendemos avaliar as mudanças na qualidade de vida de um grupo, gerada pelo nosso projeto, podemos escolher uma ou muitas variáveis dentre diversas possibilidades: renda familiar, posse de bens materiais, condições de moradia, saúde, escolaridade, etc. Após escolher a variável renda familiar, inicia-se o trabalho de construção do indicador.
Alem disso, os indicadores podem ser quantitativos ou qualitativos. Quantitativos quando procuram focar processos satisfatoriamente traduzíveis em termos numéricos, tais como valores absolutos, médias, porcentagens, proporções etc. Qualitativos quando relacionados a processos nos quais é preferível utilizar referências de grandeza, intensidade ou estado, tais como forte/fraco, amplo/restrito, frágil/estruturado, ágil/lento, satisfatório/insatisfatório, e assim por diante.
Eficiência, eficácia e efetividadeA escolha dos indicadores em um projeto também ocorre em função dos ângulos que se quer avaliar: sua eficiência, eficácia e sua efetividade.
Eficiência. Diz respeito à boa utilização dos recursos (financeiros, materiais e humanos) em relação às atividades e resultados atingidos. Por exemplo, atividades planejadas x realizadas, custo total x pessoas atingidas, quantidade de cursos x pessoas capacitadas.
Eficácia. Observa se as ações do projeto permitiram alcançar os resultados previstos. Um programa de capacitação permitiu aos seus participantes adquirir novas habilidades e conhecimentos? A criação de uma cooperativa realmente implicou em melhorias na produção e comercialização de produtos?
Efetividade. Examina em que medida os resultados do projeto, em termos de benefícios ou mudanças gerados, estão incorporados de modo permanente à realidade da população atingida. Por exemplo, se um grupo mantém novos comportamentos e atitudes, ou se a assessoria a um grupo permitiu que ele se mantenha por iniciativa e motivação próprias.
41
Características de um bom sistema de indicadoresUm bom sistema de indicadores para monitoramento e avaliação de resultados apresenta as seguintes características:
É coerente com o que as organizações deve considerar sobre os objetivos e as dimensões de seu projeto;
Resulta da negociação transparente e não impositiva dos diferentes interesses e expectativas;
Considera as particularidades do contexto e foi desenvolvido a partir de um bom conhecimento da realidade na qual o projeto vai intervir;
Capta os efeitos atribuíveis às ações, serviços e produtos gerados pelo próprio projeto;
São bem definidos, precisos e representativos dos aspectos importantes da estratégia do projeto, sem ter a pretensão de dar conta da totalidade;
Está orientado para o aprendizado, estimulando novas reflexões; Prevê e especifica os meios de verificação que serão utilizados, bem
como os responsáveis pela coleta de informação, pela análise e tomada de decisões;
É simples, sem ser simplista, capaz de ser compreendido por todos, e não apenas por especialistas;
É viável do ponto de vista operacional e financeiro; Fornece informações relevantes e em quantidade que permite a análise e
a tomada de decisão; Aproveita as fontes confiáveis de informação existentes, poupando
recursos, tempo e energia do projeto.
Um bom indicador... Deve medir o que é importante (e não aspectos secundários); Deve ser evidente. Deve estar tão estreitamente relacionado ao que
estamos tentando medir, ao ponto de nos dar a certeza de que nosso projeto foi um fator importante nos resultados observados;
Deve ser especificado quanto à quantidade, qualidade e tempo (QQT). Se um destes três fatores não estiver presente, não teremos objetividade para medir o êxito;
Deve ser independente. Os indicadores de um nível determinado não podem ser usados para demonstrar conquistas de um nível superior;
Deve incluir alvos precisos: Quantificados: “Quanto?” Qualificados: “O que/ quem em particular?” Programados: “Quando? Até que data?”
Não esquecer que os indicadores provam o alcance dos objetivos, sempre que estejam baseados em dados confiáveis. As fontes de evidência e a informação disponível devem ser acessíveis e fáceis de coletar (bons questionários ou planilhas claras e fáceis de preencher), e os responsáveis pela coleta devem ser definidos e treinados (professores, agentes comunitários, auxiliares administrativos, etc.).
“Abriu minha visão pessoal, e acredito que melhorou meu desempenho profissional.”
42
43
Nesta seção você encontrará um resumo dos conceitos trabalhados em forma de dicas, cuidados necessários ao começar o trabalho, recomendações, e algumas ferramentas que você poderá aplicar na sua organização ou com a sua equipe de projeto. Também poderá
usar estas informações junto a audiências mais amplas, caso queira ministrar estas oficinas para outras pessoas, departamentos, filiais ou núcleos de sua rede profissional ampliada.
Quais foram as aprendizagens?
44
O plano de avaliaçãoÉ o plano que permite conseguir a informação necessária e, assim, entender a diferença que o projeto está fazendo, ou seja, a extensão do alcance dos objetivos.
DICA: Ao elaborar o plano de avaliação, considerar: A forma em que os “achados” serão usados; As perguntas que serão feitas; As fontes de informação necessárias; Os métodos de coleta de dados; Os responsáveis pela avaliação; O período que será avaliado; O esforço necessário.
O grande desafio é fazer com que os “achados” da avaliação sejam efetivamente utilizados. Então, as primeiras perguntas-chave são: “Quem vai usar o que descobrimos? Para quê? Como? E quando?”.Depois, devemos responder o seguinte checklist:
Checklist: Os 10 princípios de uma boa avaliaçãoAntes de começar, pergunte-se:1. Para quê queremos avaliar?2. Quem vai querer saber da avaliação?3. E o que queremos avaliar?4. Que tipo de informação relevante vamos coletar?5. Como vamos verificá-la? E registrá-la?6. Quanto esforço isso vai nos custar? 7. Esse esforço (tempos, custos, etc.) compensa?8. Como analisaremos a informação para transformá-la em novo conhecimento?9. A quem vamos apresentá-la?10. Ela será usada para tomar decisões e planejar mudanças?
É importante que a avaliação não seja realizada apenas quando algo deu “errado”, mas que seja um processo contínuo, realizado sempre de forma positiva, transparente e em clima de segurança. Ela deve fazer parte da cultura organizacional, por auxiliar nas tomadas de decisões que beneficiam a organização e outros atores envolvidos nas suas ações e projetos.
Lembre-se que a avaliação: Deve ocorrer em um ambiente onde as pessoas podem examinar algo que
não deu certo, sem medo de consequências negativas; É uma valiosa ferramenta para ajudar a organização a caminhar em
direção a sua missão e visão; É um processo, ou seja, uma ação contínua e integrada às atividades do
dia-a-dia da organização; Favorece a aprendizagem organizacional – um caminho que determina o
desenvolvimento e as mudanças de direção, facilitando a busca da eficiência e eficácia;
É trabalho de todos da organização, que devem levantar informações e se perguntar: “O que e como podemos fazer melhor?”.
Quem faz a avaliação?É essencial que a avaliação entre na cultura organizacional, portanto, a participação e envolvimento de todos nos processos avaliativos é fundamental.
Geralmente as avaliações de processo são feitas pela própria equipe, já as de resultados e impactos contam com avaliadores/as externos/as - essa combinação ou avaliação ‘mista’ parece ser efetiva na maioria dos casos;
Contar com um avaliador externo em algum momento pode servir para ter um “olhar de fora” e levantar questões que podem passar despercebidas no cotidiano do projeto. Porém, é fundamental que esse avaliador tenha conhecimento na área do projeto e se proponha a entendê-lo bem, além disso, que utilize métodos participativos (ouvir toda a equipe e demais envolvidos no projeto, participar de oficinas, etc.).
“Vejo os projetos de forma mais crítica e questiono a realidade. Na instituição ainda persiste uma confusão em relação ao que se faz e como se faz”.
45
Os métodos de coleta de informações
a) Análise de documentosUm passo importante na coleta de informações é buscar os registros que já existem sobre o objeto a ser avaliado, tais como relatórios anuais, fichas de inscrição, cartas e memorando, atas, listas de presença, fichas de saúde, dados populacionais, material de divulgação, etc. A análise de documentos é importante para estabelecer o diagnóstico inicial e construir o histórico do projeto.Trate todos os documentos como confidenciais, principalmente os relacionados aos recursos humanos da organização.
b) ObservaçãoPermite conhecer e entender melhor como o projeto está afetando seu sujeito de ação e como este público reage a isto. A observação pressupõe olhar de fora do processo em desenvolvimento. O observador deve conhecer bem a situação a ser observada, deve estar sempre atento, ser imparcial, saber olhar e escutar e registrar tudo com disciplina.
Ficha de observação É um instrumental qualitativo; Conceitos devem ser profundamente refletidos e alinhados
com observadores; Deve ter poucas questões e estar focado; Deve ser aplicada de forma natural e que não interfira no decorrer da
atividade onde comportamento/desempenho é observado.
Meios de Verificação Análise de documentos; Ficha de observação (roteiro com pontos a serem observados); Formulários (o próprio entrevistado preenche); Questionário (preenchido pelo pesquisador); Grupo focal; Avaliação oral (registro).
c) Formulários, questionários e entrevistasSão ferramentas importantes na coleta de informações, e podem ser usados para avaliar atitudes, comportamentos, além de dados sobre condições de vida, como moradia, renda familiar, escolaridade, etc., entre outros.
Os questionários podem ser abertos ou fechados, respondidos individualmente ou por um grupo de pessoas, na presença ou ausência da equipe de avaliação e/ou avaliador externo.As entrevistas também podem ser individuais ou em grupo, mas sempre realizadas pela equipe de avaliação e/ou o avaliador externo.
Formulários e questionários Importância dos dados de perfil (sexo, idade, cor auto declarada,
escolaridade, ocupação, etc.); Importância da clareza e objetividade das questões; Linguagem adequada ao público; Cuidado com questões indutivas ; Importância de pré-teste.
DICA: Os questionários e entrevistas devem utilizar sempre uma linguagem apropriada para cada público, evitar o uso de palavras que possam ter duplo sentido, e ser o mais imparcial possível para não induzir as respostas.
46
d) Grupo focalEntrevistas estruturadas em grupo, mediadas pelo avaliador, na qual se provoca a discussão aprofundada de alguns aspectos do programa/projeto. Teremos assim dados qualitativos que nos mostrarão as razões de determinadas condutas ou situações. Por exemplo, saberemos por que a pessoa não se sente bem fazendo alguma coisa e, compreendendo esse problema, pensaremos na melhor a solução. “O que levaria a pessoa a sentir-se de determinada maneira? O que faria mudar sua postura?”.
Grupo focal Técnica de avaliação qualitativa com questões em torno de foco preciso; Permite compreender e aprofundar a opinião de um determinado grupo; Deve ter entre 6 e 8 pessoas sentadas em círculo; Participantes, preferencialmente, devem ter características comuns,
conforme foco da pesquisa; Ambiente deve ser confortável e silencioso; Facilitador deve deixar grupo à vontade e estar muito bem familiarizado
com o roteiro de questões e foco da discussão; Pode utilizar fotos, vídeos, dinâmicas, etc. para aquecer grupo com
cuidado para não induzir as respostas; Gravar depoimentos; Ter ficha de registro para anotar ordem dos depoimentos e questões para
destaque; Todos com crachás visíveis para serem sempre chamados pelos nomes.
e) Avaliação oralSão ideais para o trabalho com grupos que tenham dificuldade de escrita, ou, ainda, para aquecer o grupo antes do preenchimento das fichas de avaliação.
Avaliação oral Com grupos com dificuldade de escrita; Para aquecer grupo antes de preenchimento de fichas de avaliação; Pode utilizar fotos, vídeos, dinâmicas, etc.; Pode utilizar esquema de cores; Importante registrar questões comuns em tarjetas ou flip-chart; Estimular reflexões tanto sobre o que mais chamou a atenção quanto
sobre o que poderia ter sido melhor.
f) Registro fotográficoServe para registrar o “antes e o depois”, especialmente em situações concretas, visíveis, materiais. É importante instrumento para verificação do andamento de alguns trabalhos.
Organizar as informações e analisar os dados contribui para verificar onde o projeto está indo bem e onde pode melhorar, ou seja, onde causou mudanças e onde precisa investir mais.
Com os dados quantitativos, é possível fazer uma análise estatística. Já com os dados qualitativos, é possível conhecer com mais detalhes a realidade, analisando palavras, frases, atitudes, entre outros.
Os resultados obtidos jogam luz ao objeto avaliado e respaldam as decisões tomadas acerca dele. Por exemplo: “Estas mudanças geraram melhorias nas suas vidas? De que forma? Se não, por que? “.
A importância da qualidade dos registrosA sistematização serve para produzir um novo conhecimento. Relembrando palavras de Oscar Jara, “...a reconstrução das experiências consiste em analisar e interpretar criticamente as ações vividas, para poder extrair suas aprendizagens e comunicá-Ias. Por conta disso, é preciso que haja registros dessas ações. Se contarmos apenas com nossa memória, muita coisa se perde”.
Sobre os registros de experiências: Registros de experiências, sejam eles escritos, gravados ou filmados
(textos, áudios ou vídeos), são parte do processo de monitoramento; Eles devem servir a um propósito: reviver o acontecido e aprender; ou
permitir, a quem não esteve presente, uma experiência o mais próxima possível da realidade do acontecido;
Não devem ser tratados como um apêndice, como se ninguém mais do que o autor fosse vê-los depois;
Devem poder ser lidos, ouvidos ou vistos com espírito crítico. Para isso, precisam ser inteligíveis;
Para ser útil, o registro deve ter sido planejado com antecedência. Não basta colocar uma câmera ou um gravador ligado e captar tudo, sem o propósito de produzir uma obra que tenha significado em si mesma.
47
Cada filme é um produto que deve se sustentar sozinho: deve ser agradável de ver e deve mostrar o que aconteceu de maneira fidedigna;
Ao registrar um seminário ou oficina, a preocupação maior é tornar os conteúdos apresentados inteligíveis para o espectador que não participou do evento. Portanto: O volume da voz registrada deve ser alto e sempre constante; As intervenções do público devem ser SEMPRE registradas com microfone. (para a sistematização de um processo de capacitação, é importantíssimo poder analisar as reações do público); Quando o palestrante se refere a um slide, deve-se filmá-lo em boa resolução e deixá-lo um tempo suficiente na tela em primeiro plano, para que o espectador possa ler, entender e tomar notas; Na edição, cortar todos os trechos com defeitos técnicos; De preferência, cortar todos os comentários irrelevantes, como quando o palestrante combina com a audiência o horário de coffee-break, almoço, etc. Os cortes não podem ser feitos de forma brusca: cada novo trecho, tema ou assunto deve ter um letreiro que indique qual é o tema a ser apresentado e a data em que foi gravado.
Quem encomenda a filmagem, neste caso, o coordenador do projeto, precisa orientar as pessoas que vão filmar sobre o resultado pretendido. E estes, por sua vez, precisam informar, a quem vai editar as imagens, quais foram os componentes mais importantes do registro. Uma solução possível para todos estes problemas é um planejamento antecipado e em conjunto entre o coordenador, o palestrante e os câmeras ou diretor dos vídeos.
Para finalizar, evite os seguintes erros: Avaliar muitos indicadores, sem estabelecer a prioridade e a hierarquia; Avaliar para controlar (controle das metas em vez de enfoque na
melhoria); Avaliar para cortar custos, em vez de melhorar o desempenho e
a qualidade; Avaliar o previsto com o realizado (controle de prazo/cronograma de
produção); Avaliar para descobrir erros (com objetivo de punir); Avaliar sem enfoque nas satisfações das pessoas (com foco principal no
produto ou no processo); Avaliar sem considerar o progresso ou melhoria, de forma sistemática
e integrada; Avaliar dados incorretos e/ou ignorar os dados fundamentais.
Esperamos que este material seja útil para seus contínuos esforços em prol de um mundo melhor para nossas crianças e adolescentes.
48
49
Bibliografia citada e recomendada
50
ALLEN, K. e GALIANO, M. Indicadores de Desempenho para Programas de Voluntariado Empresarial de Alto Nível. Ferramenta online, Versão 4.0. São Paulo, 2008.
ARMANI, Domingos. Como elaborar projetos sociais? Tomo Editorial (Coleção Amencar). Porto Alegre, 2003.
CAMPÊLO, A. F. Avaliação de programas sociais em ONGs: Discutindo aspectos conceituais e levantando algumas orientações metodológicas sobre avaliação de impacto. Artigo publicado em www.rits.org.br. São Paulo, março de 2007.
CARVALHO, Maria do Carmo Brant. Avaliação participativa: uma escolha metodológica. In: RICO, Elizabeth M. et al. (Org.). Avaliação de políticas sociais: uma questão em debate (Editora Cortez, 3ª edição). São Paulo, 2001.
CORVINGTON, P. Transformando a Avaliação para Criar a Mudança Social. Entrevista publicada na revista Philanthropy News Digest, em abril de 2005.
COSTA REIS, L.G. Avaliação de projetos como instrumento de gestão. Artigo publicado em www.rits.org.br. São Paulo, novembro de 1999.
MEIRELLES, M.C. Conhecimento e prática social: a contribuição de sistematização de experiências. Dissertação de mestrado. Pontifícia Universidade Católica. São Paulo, 2007.
PATTON, M.Q. Da construção do pensamento avaliativo. Artigo publicado no The Canadian Journal of Program Evaluation - Canadian Evaluation Society. Canadá, 1999.
ROCHE, C. Avaliação de impacto dos trabalhos de ONGs: aprendendo a valorizar as mudanças. Editora Cortez, ABONG e Oxfam. São Paulo, 2000.
THE INTERNATIONAL BANK FOR RECONSTRUCTION AND DEVELOPMENT - THE WORLD BANK. Monitorização & Avaliação: Algumas Ferramentas, Métodos e Abordagens. Em www.worldbank.org/oed/ecd. Washington, 2004.
TORO, B. Reedição, diálogo e disseminação de saberes. In: Seminário internacional sobre avaliação, sistematização e disseminação de projetos sociais – Fundação Abrinq. São Paulo, 2002.
WORTHEN, B.R.; SANDERS, J.R. & FITZPATRICK, J.L. Avaliação de Programas Sociais. Instituto Fonte e Editora Gente. São Paulo, 2004.
VALARELLI, L.L. Indicadores de projetos sociais. Publicado em www.rits.org.br. São Paulo, julho de 1999.
51
Anexos
52
Resp
onsá
vel
Plan
o de A
ção
Re
sulta
dos e
sper
ados
Mon
itora
men
to do
s pro
cesso
s ins
talad
os
Ob
jetivo
Id
entifi
car o
s pró
ximos
passo
s a pa
rtir d
a 1ª O
ficina
Plano
(s) de
ação
que
influe
ncia(
m) o
objet
ivo ac
ima
Reun
iões /
Relat
órios
/ En
cont
ros
C
ritér
io(s)
de co
nclus
ão
Met
a(s)
Elabo
raçã
o de r
elató
rio
Le
vant
arm
os o
proc
esso
ante
s da p
róxim
a ofic
ina
Situ
ação
C
omo s
erá f
eito
?
O
nde?
Pr
azo
Orç
amen
to
Res
pons
ável
Apo
io re
quer
ido
Iníci
o
Fim
Val
or
Qu
em?
O q
ue
In
ício
Fi
m
TOTA
L >>
AgP
Ag
uard
ando
iníci
o no p
razo
EP
Em
exec
ução
no pr
azo
CP
Co
ncluí
do no
Praz
o Ag
A
Agua
rdan
do in
ício e
m at
raso
EA
Em
exec
ução
atra
sado
CA
Conc
luído
em At
raso
Gesto
r
P
atro
cinad
or
Finan
ceiro
53 Obje
tivo
Indi
cado
r de
dese
mpe
nho
Unid
ade d
e m
edid
aPe
riodi
cidad
eM
ês e
valo
r de
refe
rênc
iade
z/07
nov/
07ou
t/07
set/0
7ag
o/07
jul/0
7jun
/07
mai/
07ab
r/07
mar
/07
fev/0
7jan
/07
Desc
rição
Reali
zado
Met
aVa
riaçã
oRe
aliza
doM
eta
Varia
ção
Reali
zado
Met
aVa
riaçã
oRe
aliza
doM
eta
Varia
ção
Reali
zado
Met
aVa
riaçã
oRe
aliza
doM
eta
Varia
ção
Reali
zado
Met
aVa
riaçã
oRe
aliza
doM
eta
Varia
ção
Reali
zado
Met
aVa
riaçã
oRe
aliza
doM
eta
Varia
ção
Reali
zado
Met
aVa
riaçã
oRe
aliza
doM
eta
Varia
ção
Obse
rvaç
ões
Mod
elo M
apa E
stra
tégi
co e
Pain
és d
e Ind
icado
res -
Ofic
ina d
e Mon
itora
men
to eA
valia
ção d
e Pro
cess
os
54
Comunidade EducadoraEscola, Juventude e Comunidade na construção do Desenvolvimento Local e Sustentável
Ficha de registro das atividades de incentivo à leitura
Dia: ____/____/2008 Turno: Manhã Tarde Noite
Nome completo dos Mediadores e instituição de cada um________________________________________________________________________________________________________________________________________________________________________________________________
Local da atividade (instituição e comunidade):____________________________________________________________________
Tipo de público :______________________________________________________________________________________
Se a mediação for com turma de alunos, informe o número da turma:______________________________________________________
Contagem aproximada de participantes:________________________________________________________________________
Média de idade:
crianças até 6 anos
crianças entre 7 e 14 anos
adolescentes entre 15 e 17 anos
jovens entre 18 e 25 anos
adultos acima dos 26 anos
Descrição das atividades realizadas:________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________
Relacione abaixo as obras lidasTítulo da Obra Autor Marque X para as Marque M quando lida por mediador obras lidas a pedido ou P por alguém do público
_______________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________
Observações sobre a receptividade e participação do público nas atividades ________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________
Observações e sugestões para outras atividades________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________
Instrumental concebido pela CARE Internacional Brasil
55Instrumental concebido pela CARE Internacional Brasil
Comunidade Educadora - Formação de Mediadores de Leitura
Ficha de avaliaçãoData: ____/____/______
1. Dados para construção de perfil Nome (apenas se quiser se identificar): ________________________________________________________________________Idade: __________________ Sexo: Feminino Masculino Instituição: _____________________________________
2. Participante na condição de: aluno (a) de escola bolsista do projeto educador(a) de creche/escola técnico(a)/educador(a) de ONG outro(a) qual:
3. Como avalia o espaço onde foi realizado o encontro (salas, banheiros, refeitório)? superou expectativas razoável satisfatório insatisfatório
Comentário: ________________________________________________________________________________________
4. Como avalia a alimentação (café da manhã, almoço e lanche)? superou expectativas razoável satisfatória insatisfatória
Comentário: ________________________________________________________________________________________
5. Como avalia a metodologia do encontro (atividades e dinâmicas realizadas)? superou expectativas razoável satisfatória insatisfatória
Comentário: ________________________________________________________________________________________
6. Dentro da programação houve alguma atividade que foi mais enriquecedora para você? sim não
Se sim, qual e por quê?: _________________________________________________________________________________________________________________________________________________________________________________
7. Dentro da programação houve alguma atividade pouco produtiva ou desnecessária? sim não
Se sim, qual e por quê?: _________________________________________________________________________________________________________________________________________________________________________________
8. Considera que o encontro atingiu o objetivo de capacitar os jovens para realizarem rodas de leitura nas suas escolas/organizações? Você se sente capacitado? sim em parte não
Comentário: ________________________________________________________________________________________
9. Como avalia cada conteúdo dado neste encontro de formação? Superou expectativas Satisfatório Razoável InsatisfatórioA história da escrita (Ingrid e Kleber) Papel e postura do mediador (Kenner) Estratégias de Leitura (Kenner e Nilcinéia) Roda de Leitura (Indaiara , Dariel, Thaís, Laio e Kenner) Acervo (Ingrid)
10. Quais sugestões possui para os encontros de formação continuada?________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________
11. Que outros comentários gostaria de fazer sobre este encontro de formação inicial ou sobre o projeto como um todo?________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________
56
Matriz Avaliativa
Resultados Esperados Indicadores Meios de Verificação Público / fonte Quando (data) Responsável Preparação necessária
________________________________________________________________________________________________
________________________________________________________________________________________________
________________________________________________________________________________________________
________________________________________________________________________________________________
Oficina II: Avaliação de Resultados
57
58
59
60
Av Santo Amaro, 1386 Vila Nova Conceição
04506-001 - São Paulo/SPwww.fundabrinq.org.br
55 11 3848 8799
