AVALIAÇÃO DE AVALIAÇÃO DE PROGRAMAS E PROGRAMAS E

PROJETOS SOCIAIS PROJETOS SOCIAIS

Elisabete Queiroga ( e.queiroga@yahoo.com.br)

AVALIAÇÃO Quando se pensa em Avaliação, para onde vai o Quando se pensa em Avaliação, para onde vai o

seu pensamento ?? seu pensamento ?? Qual a imagem que possui sobre esse tema?Qual a imagem que possui sobre esse tema? Imposta como tarefa,

e não como ferramenta

Toma tempo e é tediosa

É complexa e onerosa financeiramente e deve

ser feita por especialistas externos

Gera temor de que os resultados pouco satisfatórios tragam consequências negativas,

perda do trabalho, recursos, credibilidade, etc

Seus resultados poucas vezes são incorporados no

planejamento e na tomada de decisões da organização;

Em temos de resultados quantidade é mais importante

Que qualidade

Toma tempo do “trabalho real”representando um luxo

Controle

O s resultados importantes não os quantificáveis,

logo a avaliação não se aplicaSe não é “estatisticamente mensurável”

não é passível de avaliação.

AVALIAÇÃO Quando se pensa em Avaliação, para onde vai o Quando se pensa em Avaliação, para onde vai o

seu pensamento ?? seu pensamento ?? Qual a imagem que possui sobre esse tema?Qual a imagem que possui sobre esse tema?

AprendizagemAprendizagem

Valioso instrumento no alcance da Missão

Não é um evento, mas um processo,não é externa, é uma ação

contínua e integrada às atividades do cotidiano.

Relaciona os financiadores, parceiros, executorese beneficiários, no sentido de se procurar estratégias e

caminhos para solucionar problemas, aprender e prepararnovas possibilidades de ação.

Possibilita avaliar tanto a eficácia interna como os

resultados externos.

Gera aprendizagem organizacional – caminho

Que determina o desenvolvimento

e as mudanças de direção, facilitando

a busca da eficiência eeficácia e da efetividade.

Viabiliza uma relaçãocooperativa durante o

processo. É trabalho de todos.

É um processo de Desenvolvimento e nãoSimples elaboração de

Relatórios.

Não gera “medo”de “correr riscos”.

AVALIAÇÃO Quando se pensa em Avaliação, para onde vai o Quando se pensa em Avaliação, para onde vai o

seu pensamento ?? seu pensamento ?? Qual a imagem que possui sobre esse tema?Qual a imagem que possui sobre esse tema?

AprendizagemAprendizagem

O que e como podemosfazer melhor?

Clareza do esforço para ampliar a interação e aprimoramentogeram resultados positivospara todos os envolvidos

O tempo e os recursos são empregados para assegurar um ambiente de contínua transformação

Possibilita transparência

Os instrumentos e as metodologias

são acessíveis para qualquer tamanho

e tipo de organização, programa ou projeto.Podem ser simples,

não onerosos e adaptáveis

a diferentes realidades e necessidades.

Gera responsabilidades Compartilhadas.

Fortalece e capacita para tomada de decisão

Possibilita feedback

AVALIAÇÃOAVALIAÇÃO A Avaliação é um tema extenso com diferentes abordagens,

principalmente quando vinculada ao campo social.

Tem sua missão definida pelo compromisso de enriquecer e realimentar ações buscando aferir resultados e

impactos na alteração da qualidade de vida da população beneficiária.

Para que a Avaliação se torne um instrumento efetivo de uma Gestão Social comprometida com a cidadania, é necessário dissipar a visão tradicional de concebê-la

na ótica do Controle, como medida somente de verificação de desvio entre o esperado e o realizado, uma fiscalização exercida sobre pessoas ou órgãos

responsáveis pela execução de um programa ou projeto para cumprir normas estabelecidas.

AVALIAÇÃOAVALIAÇÃO A perspectiva contemporânea exige que a Avaliação seja (re) conceituada para além de uma dimensão apenas técnica, para

incorporar uma dimensão política, tomada em função de interesses públicos.

O paradigma atual da Avaliação referencia sua importância pela possibilidade de:

• “Accountability”, ou seja, capacidade de prestação de contas, responsabilização social como dever ético;• Dar transparência às ações e democratizar as relações entre organizações, políticas, programas, projetos e população;• Ser estratégica para acompanhar e realimentar decisões e opções políticas e programáticas;• Potencializar aprendizagem e qualificação;• Qualificar e aperfeiçoar o desempenho;• Auxiliar tomada de decisões;• Ser imprescindível para captação de recursos e possibilitar sustentabilidade.

A Avaliação deve ser instigadora, realimentando o avanço no plano da Missão Institucional, no plano dos

Processos e Estratégias utilizadas, no plano dos Serviços e Produtos ofertados e no plano dos Resultados

e Impactos desejados .

( Brant Carvalho, 1997)

A Avaliação enquanto processo social é caracterizada por sua transdisciplinaridade, ou multidisciplinaridade,

recaindo sua utilização em vários campos da ação humana. ( Barreira, 2002)

AVALIAÇÃO AVALIAÇÃO

AVALIAÇÃOAVALIAÇÃO

“A aprendizagem no contexto organizacional ou em outros sistemas sociais só é possível através de um processo

contínuo de ação e reflexão.

A reflexão ocupa um papel fundamental: provocar mudanças nas ações dos indivíduos.

Este é especificamente o papel da avaliação: construir momentos reflexivos que permitam aos indivíduos

a análise da realidade e dos fatos, para daí direcionarem suas ações, aprendendo pela experiência”.

(Chianca, Marino e Schiesari 2001):“

AVALIAÇÃOAVALIAÇÃO Chianca (2001), o ponto de partida para o entendimento da Avaliação está em sua capacidade de se referenciar como

base para processos de aprendizagem.

“A coleta sistemática de informações sobre as ações, as características e os resultados de uma Política, um

Programa e a identificação, esclarecimento e aplicação de critérios, passíveis de serem defendidos

publicamente, para determinar o valor (mérito e relevância), a qualidade, utilidade, efetividade ou

importância do programa sendo avaliado em relação aos critérios estabelecidos, gerando

recomendações para melhorias e as informações para prestar contas aos públicos interno e externo

do trabalho desenvolvido”.

AVALIAÇÃOAVALIAÇÃO Para Silva e Brandão (2003), pode-se entender avaliação

como a elaboração, negociação e aplicação de critérios explícitos de análise, em um exercício metodológico

cuidadoso e preciso, com vistas a conhecer, medir, determinar ou julgar o contexto, mérito, valor ou estado

de um determinado objeto, a fim de estimular e facilitar processos de aprendizagem e de desenvolvimento

de pessoas e organizações. A idéia central é que os processos avaliativos ajudem os

envolvidos a encontrar seus próprios caminhos de aprendizagem e desenvolvimento, e que ampliem o nível de

consciência dos empreendedores sociais.

Para cumprir estes objetivos, o papel da avaliação precisa transcender a fiscalização ou controle, abrangendo

uma intensa reflexão que deve ser feita com todos os envolvidos no processo.

OBJETIVOS DA AVALIAÇÃOOBJETIVOS DA AVALIAÇÃO

OBJETIVOS GERAL :OBJETIVOS GERAL :Conhecer, através de comprovação objetiva e sistemática,

a execução / andamento de uma política, programa, projeto,

Verificando se os objetivos e metas estão sendo alcançados e se a problemática está sendo modificada.

OBJETIVOS ESPECÍFICOSOBJETIVOS ESPECÍFICOS:► Estabelecer o grau de pertinência, idoneidade / eficácia

e eficiência / rendimento de um programa, projeto ou serviço;

► Determinar as razões dos êxitos e fracassos;► Facilitar o processo de tomada de decisões para melhorar e/ou modificar o programa ou projeto;► Analisar outros objetivos que podem ser alcançados.

OBJETIVOS DA AVALIAÇÃOOBJETIVOS DA AVALIAÇÃO CIENTÍFICOS :CIENTÍFICOS : ampliar conhecimentos e produzir novos conhecimentos;POLÍTICOS :POLÍTICOS : identificar dimensões estratégicas para ação política;OPERATIVOS :OPERATIVOS : conhecer para intervir nas políticas e/ou programas e projetos semelhantes.

Essa concepção contém os seguintes componentes interligados :• Coleta sistemática de informações relevantes;• Garantia do uso dos resultados da avaliação por meio de geração de recomendações para aperfeiçoamento e informações para prestar contas às pessoas e instituições;• Determinação e aplicação de parâmetros para dimensionar valor, qualidade, utilidade, efetividade e importância;

EFICIÊNCIA EFICIÊNCIA – é o resultado da comparação entre as realizações e os resultados com os recursos utilizados

para atingi-los.

Estabelece a correlação entre os efeitos dos programas (benefícios) e os esforços (custos) empreendidos para obtê-los. Relaciona os custos e recursos empregados buscando aferir a otimização ou desperdício dos insumos

utilizados na obtenção dos resultados;

EFICÁCIA EFICÁCIA – é o resultado obtido da comparação entre as realizações e os resultados reais com os objetivos

que foram estabelecidos.

Busca adequação da ação para alcance dos objetivos (gerais e específicos) e das metas previstas no planejamento,

estabelecendo as razões de êxitos e/ou fracassos. (Eficácia Funcional, Administrativa e Contábil);

EFETIVIDADE EFETIVIDADE – é a realização da ação adequada para transformar a situação existente e deve estabelece o

impacto da ação na população alvo. A efetividade objetiva é o critério de aferição da mudança quantitativa entre o antes

e o depois da execução do programa / projeto.

SUBJETIVA – é o critério da avaliação das mudanças comportamentais nas crenças e valores da população alvo.

SUBSTANTIVA – é o critério da avaliação das mudanças qualitativas significativas e duradouras nas condições

sociais de vida dos beneficiários .

FUNÇÃO DA AVALIAÇÃOFUNÇÃO DA AVALIAÇÃO

Que programas /projetos estão funcionando com êxito ?

Quais os custos e quais os benefícios que cada programa/projeto traz para o público

que atende ?

Há momentos etapas do programa/projeto que contribuem mais do que outras?

Que alterações precisam ser feitas para melhorar o programa/projeto?

Buscar respostas para

essas perguntas é a principal FUNÇÃO DA FUNÇÃO DA AVALIAÇÃOAVALIAÇÃO

A AVALIAÇÃOAVALIAÇÃO é um instrumento estratégico instrumento estratégico de Gestãode Gestão pois os gestores precisam estar providos

de informações estratégicas para que sejam tomadas decisões de forma esclarecida e inteligente.

A Função principal da AvaliaçãoFunção principal da Avaliação está em gerar informações relevantes que ajudem

à tomada de decisões para melhorar os programas /projetos existentes e para orientar o desenvolvimento de futuros

programas e projetos.

PRINCÍPIOS DA AVALIAÇÃOPRINCÍPIOS DA AVALIAÇÃO

Os princípios orientadores, dentro de uma referência técnica e ética, estão compromissados com a garantia de que os

resultados provenientes da Avaliação sejam da maior qualidade possível.

Existem um conjunto de princípios que foram desenvolvidos por um comitê de 16 associações profissionais, publicados

em 1981 e revisados em 1994 que foram aceitos por importantes organizações internacionais.

Segundo o Joint Committee, a qualidade de um processo avaliativo pode ser aferida através da observação

de quatro atributos : UTILIDADE, VIABILIDADE, UTILIDADE, VIABILIDADE, PROPRIEDADE E PRECISÃOPROPRIEDADE E PRECISÃO.

1º UTILIDADEUTILIDADE – servem para assegurar que a avaliação estará voltada para responder às necessidades de informação das pessoas e instituições interessadas ou afetadas pelo programa/projeto. São 7 (sete): Identificação dos Interessados ( envolvimento); Credibilidade do Avaliador; Seleção de Informações ( relevantes e amplas); Identificação de valores (critérios explícitos); Clareza dos relatórios; Disseminação e rapidez na produção de relatórios; Impacto da Avaliação.

PRINCÍPIOS DA AVALIAÇÃOPRINCÍPIOS DA AVALIAÇÃO

2º VIABILIDADEVIABILIDADE – visam assegurar que a avaliação será feita de maneira realista, prudente, diplomática e moderada. Procedimentos Práticos – interferência mínima nas atividades ; Viabilidade Política – análise de possíveis conflitos e formas de intervenção; Custo-Efetividade – produzir informações relevantes de modo a justificar os custos.

3º PROPRIEDADE PROPRIEDADE -- visam assegurar que a avaliação seja conduzida dentro de normas legais e éticas. Orientação para o serviço – para ajudar os organizações a atender e responder eficazmente às necessidades ; Acordos formais - o que, como, quem, quando fazer a atividade de avaliação, com registro formal; Direitos Individuais – respeito e zelo pelos envolvidos; Relações Humanas – respeito à dignidade e valor das pessoas; Completa e Justa- no registro dos pontos positivos e limitações com valorização dos sucessos e correção das falhas; Disseminação dos Resultados – acesso aos resultados em sua totalidade por todos os interessados; Conflitos de Interesse - tratamento aberto e honesto para não comprometer o processo; Responsabilidade Fiscal – alocação de desembolso dos recursos de forma adequada, prudente e eticamente responsável- transparência.

4º PRECISÃO -PRECISÃO - visam assegurar que a avaliação irá revelar e produzir informações tecnicamente adequadas sobre o mérito e relevância do programa/projeto avaliado. Documentação do programa / projeto – clareza e precisão para identificação fácil ; Análise do Contexto – descrita com detalhamento; Descrição de propósitos e procedimentos – monitoramento para fácil exame; Fontes de informação confiáveis - descritas em detalhes; Informações válidas – para assegurar interpretação válida e útil; Informações confiáveis ; Informação sistemática – revisão sistemática e correção dos erros; Análise de informação quantitativas – apropriadas para responder às perguntas formuladas; Análise de informação qualitativas - apropriadas para responder às perguntas formuladas; Conclusões justificáveis - para que possam ser analisadas pelos principais interessados / afetados; Imparcialidade de relatórios – incluir métodos que previnam distorções por opiniões e vieses pessoais; Meta Avaliação - o desenvolvimento e possível impacto da avaliação para o programa/projeto deverão ser avaliados utilizando os princípios descritos, a fim de garantir que o processo seja desenvolvido de forma adequada.

TIPOS DE AVALIAÇÃOTIPOS DE AVALIAÇÃO

MARCO ZERO MARCO ZERO

É 1ª ação avaliatória, preliminar, “ex-ante”, de contexto - (diagnóstico inicial – olhar crítico e compartilhado que garantirá uma visão comum sobre determinada realidade),deve ocorrer antes de se desencadearem as primeiras atividades do projeto.

Serve para determinar a pertinência, viabilidade e eficácia potencial para a tomada de decisão sobre a possibilidade de se elaborar e pôr em movimento um programa, projeto ou atividade. Deve-se levar em conta a coerência entre as soluções propostas e a realidade que se pretende alterar;

Deve orientar o planejamento das ações futuras e servir de parâmetro para as outras fases da avaliação;

AVALIAÇÃO DE PROCESSO AVALIAÇÃO DE PROCESSO OU FORMATIVA OU FORMATIVA

• Após o planejamento, na implementação da ações - “durante”, compreende além do MONITORAMENTO MONITORAMENTO

contínuo das atividades, a reflexão frequente sobre as dinâmicas interna e externa da equipe responsável, isto é, as relações entre os membros da equipe e sua interação com o público-alvo;

• Fornece informações acerca do andamento da execução com o objetivo de estabelecer até que ponto a proposta inicial está sendo cumprida;

• Não se trata de controle operacional, permite fazer um juízo sobre os pressupostos e decidir sobre o

enfrentamento das dificuldades e barreiras encontradas, se os objetivos operacionais devem ser reformulados ou mantidos.

AVALIAÇÃO DE PROCESSO OU FORMATIVA AVALIAÇÃO DE PROCESSO OU FORMATIVA POSSIBILIDADES :POSSIBILIDADES : Avaliação de cobertura - até que ponto o público beneficiário

está sendo atingido (até que ponto conhece o projeto, se há barreiras ou se o projeto é acessível, se é aceito pela população) e até que ponto a área de atuação é coberta.

Avaliação da implementação - julga se os instrumentos planejados para a implementação são necessários, suficientes, idôneos (no sentido de ter capacidade de cumprir as metas estabelecidas), potentes e eficazes.

Avaliação do ambiente organizacional - se a organização responsável pelo projeto, em seus aspectos internos, favorece ou dificulta seu andamento.

Avaliação do rendimento pessoal, onde importa considerar se os indivíduos envolvidos na implementação possuem habilidades e atitudes que favoreçam o desempenho das tarefas, se são capazes de aplicar seus conhecimentos e de sistematizar a própria experiência, assim como de organizar o trabalho e solucionar problemas concretos.

AVALIAÇÃO DE RESULTADO OU SOMATIVA AVALIAÇÃO DE RESULTADO OU SOMATIVA

AVALIAÇÃO DE EFEITOAVALIAÇÃO DE EFEITO

Na fase intermediária, ou próxima do final – “ex-post” , está voltada para os resultados, analisa os benefícios proporcionados aos participantes (público alvo, parceiros, equipe responsável, etc) durante e após a implementação.

Requer indicadores definidos, isto é, critérios norteadores do sucesso do projeto.

• É fundamental que todos que participaram, direta ou indiretamente, sejam ouvidos e que a metodologia utilize parâmetros quantitativos e qualitativos de resultados.

AVALIAÇÃO DE RESULTADO OU SOMATIVA AVALIAÇÃO DE RESULTADO OU SOMATIVA

AVALIAÇÃO DE IMPACTO AVALIAÇÃO DE IMPACTO Segundo Marino (1998) a chamada Avaliação de Impacto se

configura como “o efeito final ou impacto de um projeto deve ser examinado após tempo decorrido do período de

implementação das ações”(Marino,1998:23).

Os indicadores de resultados devem ser comparados àqueles iniciais, observados no Marco Zero, pois para se avaliar um

projeto ou programa social, deve-se fazer um esforço, desde o planejamento inicial das atividades, para identificar e

desenvolver indicadores de resultados do projeto.

Segundo Valarelli (1999), “em projetos sociais, indicadores são parâmetros qualificados e/ou quantificados que servem

para detalhar em que medida os objetivos de um projeto foram alcançados, dentro de um prazo delimitado de tempo e

numa localidade específica”.

ABORDAGENSABORDAGENS

1. VOLTADA PARA OBJETIVOS – visa julgar em que medida os objetivos e metas determinados foram alcançados.

O objeto da avaliação é variável (atividade, reunião de equipe ou complexa, plano estratégico).

As informações geradas devem servir para reformular os objetivos da atividade enfocada, a atividade em si ou ainda os instrumentos e métodos utilizados para determinar o quanto os objetivos estabelecidos foram atingidos.

2. ORIENTADA PARA A TOMADA DE DECISÕES - voltada para a identificação das necessidades de informação de gestores /gerentes que tomam as decisões relativas aos programas projetos ou à organização. O principal modelo é o CIPP – Contexto, Input (recursos), Processo e Produto.

CIPP Contexto – determinação dos problemas existentes

que precisam ser resolvidos a fim de orientar os objetivos e prioridades dos programas/projetos;

Input – determinação dos recursos disponíveis e do plano mais adequado para conduzir a intervenção, contribuindo para o desenho das estratégias do programa/projeto;

Processo – determinação do grau de sucesso da implementação das ações e identificação dos principais obstáculos ao desenvolvimento do programa/projeto para possibilitar o aperfeiçoamento do trabalho;

Produto – identificação dos resultados alcançados e definição sobre o futuro do programa/projeto. Possibilitando o julgamento sobre os avanços produzidos .

3. VOLADA DA PARA CONSUMIDORES - visa produzir informações úteis sobre “produtos existentes” que ajudem a potenciais “consumidores” no momento de escolher qual produto atende melhor suas necessidades.

Para as organizações do 3º Setor, workshops, treinamentos em serviço, cursos de capacitação, programas de computador, procedimentos / formulários para avaliação pessoal, materiais educativos na mídia e serviços de consultoria especializados são exemplos de produtos, atividades/serviços que podem ser consumidos por essas organizações.

Tem por pano de fundo a pergunta : O que é essencial saber sobre um produto para poder decidir sobre sua adoção?

ABORDAGENSABORDAGENS

4. BASEADA EM OPINIÕES DE ESPECIALISTAS – tem por base a aplicação de conhecimentos técnico-profissionais por especialistas no julgamento da qualidade de um projeto, programa, serviço, produto ou atividade.

5. BASEADA EM OPINIÕES CONTRÁRIAS - possui estratégias previamente planejadas que possibilitam o desenvolvimento de pontos de vista opostos por diferentes avaliadores sobre o objetivo avaliado e sobre o processo avaliativo no geral.

Estabelece evidências e visões positivas assim como revela pontos de vista opostos, apontando as deficiências encontradas no objeto avaliado ou no processo avaliativo.

6. BASEADA NA PARTICIPAÇÃO - envolve ativamente as pessoas que são interessadas ou afetadas

diretamente pelo programa/projeto avaliado.

Influenciam no foco da avaliação, no tipo de dados a serem coletados e dos critérios e valores a serem utilizados na formação de juízo de valor sobre o objeto avaliado.

Procura ser mais holística do que as mais clássicas, reconhecendo a importância e incluindo a complexidade do contexto e das pessoas no planejamento e execução de processos avaliativos.

Busca desenvolver comunicação com os diferentes públicos interessados pelo resultado da avaliação, usando linguagem adequada , métodos qualitativos .

PLANEJANDO A AVALIAÇÃOPLANEJANDO A AVALIAÇÃO1. Decisão sobre o Foco

1. VIABILIDADE, FOCO E TIPO DE AVALIAÇÃO• Por que iniciar um processo de avaliação?

• Quem vai usar as informações resultantes da avaliação?

• O que você está interessado em avaliar o processo, os

resultados, os impactos ?

• Como as conclusões serão utilizadas?

• Qual será o papel dos envolvidos ?

• Existem recursos para a avaliação?

• Como será o cronograma ?

• Será necessário um avaliador externo ?

• O que deseja que seja incluso no relatório final?

PLANEJANDO A AVALIAÇÃOPLANEJANDO A AVALIAÇÃOTIPO DE AVALIAÇÃO PERGUNTAS ORIENTADORASTIPO DE AVALIAÇÃO PERGUNTAS ORIENTADORAS :

MARCO MARCO ZERO ZERO

Quais são os indicadores do local ( natalidade,mortalidade, escolaridade, trabalho e renda, etc)onde se quer atuar?Quais são os indicadores específicos( Educação – evasão ; trabalho – falta de qualificação; Renda – exclusão do consumo; Vulnerabilidade –Pobreza, DQ, drogas, etc; saúde – DSTs, desnutri- ção, etc ?Por quais problemas passam hoje?Quem sofre com esses problemas ? Onde vive as pessoas-alvo? ( comunidade, territó-Rio, região, município, etc )Qual o quadro geral da situação?

PLANEJANDO A AVALIAÇÃOPLANEJANDO A AVALIAÇÃO

TIPO DE AVALIAÇÃO PERGUNTAS ORIENTADORAS : TIPO DE AVALIAÇÃO PERGUNTAS ORIENTADORAS :

PROCESSOPROCESSO

Como todos os participantes estão percebendo oPrograma / projeto?

Quais os pontos fortes e fracos das atividades do cotidiano?

Como o processo de implementação pode ser aperfeiçoado?

Qual a ordem da dificuldade? teórica, metodológica,Pessoal, recursos?

PLANEJANDO A AVALIAÇÃOPLANEJANDO A AVALIAÇÃO

TIPO DE AVALIAÇÃO PERGUNTAS ORIENTADORAS : TIPO DE AVALIAÇÃO PERGUNTAS ORIENTADORAS :

RESULTADOSRESULTADOS

Os resultados previamente estabelecidos estão sendo cumpridos?

Quais efeitos os programa / projeto tem sobre os envolvidos ?

Quais são os indicadores de resultados qualitativos e quantitativos?

TIPO DE AVALIAÇÃO SOLICITANTE MOTIVO

ATORESENVOLVIDOS

NA REALIZAÇÃO

PAPEL DO AVALIADOR

MARCO ZERO

EX ANTE

Própria Equipe

Conhecer as necessidades do público alvo e o contexto social onde o

Projeto vai atuar.

Interno – Staff da própria

Equipe do Projeto

Aprofundar conhecimento

sobre a problemática tratada pelo

Projeto.

PROCESSO

FORMATIVADURANTE

Própria Equipe

Financiadores

Descobrir o que funciona, o que não, e melhorar o processo de

implantação. Avalia a influência das condições e processos de

trabalho, dos atores envolvidos, dos dispositivos de participação e

decisão, dos processos gerenciais, organizacionais e institucionais na

produção e execução dos serviços/ações.

EX: Os recursos e as atividades estão organizadas de forma a alcançar os

objetivos ? São suficientes quali-quantitativamente ?

Pessoa ou Equipe do próprio

Projeto, contando com eventual ajuda

de um especialista.

Facilitar o processo e assegurar a melhoria do

Projeto

RESULTADOS

EFEITOS

Própria Equipe

Financiadores

Descobrir se as atividades desenvolvidas ou o projeto como um todo realmente provocou mudanças na vida do público-alvo. EX: Grau e cobertura; eficácia dos resultados; aceitabilidade ; acessibilidade etc. Também, a relação entre recursos

empregados e efeitos obtidos . Rendimento.

Pessoa ou Equipe do

próprio Projeto, contando com eventual ajuda

de um especialista.

Dependendo da complexidade, um avaliador

externo é recomendado.

Facilitar a definição de

indicadores de resultados junto à Equipe do pp

Projeto, interessados e público-alvo.

TIPO DEAVALIAÇÃO

SOLICITANTE MOTIVO ATORES ENVOLVIDOS NA

REALIZAÇÃO

PAPEL DO AVALIADOR

IMPACTOSOMATIVA

PrópriaEquipe

FinanciadoresAgências

GovernamentaisTomadores de

Decisão( Gestão

Estratégica e Tática )

Descobrir sucessos e /ou insucessos do Projeto na

realidade em queele se propôs.

EX: Elevação de índices , níveis de renda e

atividade econômica local;Redução dos índices /

incidência;Participação comunitária, Fortalecimento da Rede

protetiva local; implantação de políticas, programas

intersetoriais; implicações ecológicas; educação

ambiental; etc

Avaliador ExternoEquipe formada

para tal finalidade;

Julgar o mérito dos efeitos do

Projeto

CUSTO BENEFÍCIO

SOCIAL

PrópriaEquipe

FinanciadoresAgências

GovernamentaisTomadores de

Decisão( Especialmente

os responsáveis por

políticas públicas )

Verificar os indicadores financeiros relacionados ao benefício social do Projeto

EX: Análise do custo-benefício expressos em termos

monetários eAnálise de custo-efetividade :

custo expresso em termos monetários e efetividade em

indicadores reais de resultado.

Avaliador Externo

Fazer auditoria dos dados

financeiros e relacioná-los

com os resultados

sociais do Projeto.

PLANEJANDO A AVALIAÇÃO

2. IDENTIFICAÇÃO DOS INTERESSADOS INTERESSADOS PRINCIPAIS - MARCO ZERO

As pessoas, os grupos ou as instituições que têm interesse ou são diretamente afetados pelo programa / projeto ou pela avaliação que se pretende implementar. Público - Alvo ; Agentes Sociais relevantes ( ex: líderes formais ou informais e as famílias, etc)

INTERESSADOS PRINCIPAIS - PROCESSO

• O Conteúdo : conceitos, objetivos e visões que orientam a concepção do projeto;

• A Interação : relações humanas internas e externas ( especialmente com o público-alvo );• Os procedimentos : o método e a técnica adotada na execução das ações.

PLANEJANDO A AVALIAÇÃO

2. IDENTIFICAÇÃO DOS INTERESSADOS

INTERESSADOS PRINCIPAIS - RESULTADOS

• Todos os envolvidos : ( ex. crianças, famílias, os representantes da comunidade, a própria instituição responsável pelo projeto, parceiros e as instituições financiadoras ).

PLANEJANDO A AVALIAÇÃO

QUEM DEVE CONDUZIR A AVALIAÇÃO ?

• AVALIADORES EXTERNOS - menos parciais em seus julgamentos; credibilidade, especialistas por demandas específicas, dirigem um “novo olhar” facilita e enriquece a coleta de dados mais controversos/conflituosos menos pressão em caso de resultados pouco populares.

• AVALIADORES INTERNOS - maior conhecimento sobre o modelo e história do projeto; profundidade quanto aos interesses e preocupações dos interessados; conhecem a dinâmica dos processos decisórios e identifica as pessoas chave; continua na organização podendo seguir esforços; maior rapidez na avaliação; capacidades e limitações bem conhecidas.

MATRIZ AVALIATIVA - Roteiro1. PERGUNTA AVALIATIVA2. INDICADORES3. FONTES DE INFORMAÇÃO4. MÉTODOS PARA COLETA DE DADOS5. PROCEDIMENTOS PARA COLETA DE DADOS

(AMOSTRA, ESTRATÉGIAS, CRONOGRAMA )

6. MÉTODOS PARA ANÁLISE DE DADOS

7. ESTRATÉGIAS DE INTERPRETAÇÃO

8. PROCEDIMENTOS PARA DIVULGAÇÃO DOS RESULTADOS ( PÚBLICOS , CONTEÚDO, FORMATO E CRONOGRAMA ).

9. ORÇAMENTO

MATRIZ PARA SELEÇÃO DAS PERGUNTAS1ª FASE1ª FASE - - DIVERGENTEDIVERGENTE - é elaborada uma lista de “todas” ou de “muitas” perguntas consideradas importantes para quem está solicitando a Avaliação, para quem está financiando, para quem trabalha no projeto, para quem é atendido e suas respectivas famílias, para lideranças locais onde o projeto é desenvolvido , e outros. INSTRUMENTOSINSTRUMENTOS :: reuniões de grupo, entrevistas Individuais e até conversas informais são abordagens mais indicadas para se chegar a essa ampla lista de perguntas. 2ª FASE2ª FASE - - CONVERGENTECONVERGENTE - é o esforço para selecionar dessa grande lista as perguntas que deverão ser efetivamente respondidas pela Avaliação.CRITÉRIOS : CRITÉRIOS : • Grau de importância da pergunta para os interessados;• Possibilidade de reduzir dúvidas existentes ou produzir informações novas, não disponíveis no momento;• Oportunidade de produzir informações relevantes, que podem influenciar decisões;• Foco em aspectos críticos – referência de longo prazo;• Influência no alcance e nos objetivos da Avaliação ;• Viabilidade no tempo e com os recursos financeiros, humanos e metodológicos disponíveis.

MATRIZ PARA SELEÇÃO DAS PERGUNTAS

CRITÉRIOSPerguntas Avaliativas

Fase Divergente 1 2 3 4 5 6 N

A pergunta é relevante para os interessados?Contribui para diminuir dúvidas e trata de informações que não estão disponíveis? Possibilita gerar informações que facilitam tomada de decisões operacionais de política?Está centrada em elementos críticos e de interesse constante e não passageiros? Os objetivos ou a amplitude seriam comprometidos sem ela?É possível responder a esta pergunta com os recursos financeiro e de pessoal disponíveis?É possível responder esta pergunta com os métodos e as tecnologias disponíveis?É possível responder a esta pergunta dentro do tempo que se dispõe?RESULTADO FINAL ( somatório de respostas positivas )

2. IDENTIFICAÇÃO DOS INDICADORES Ao serem selecionadas as perguntas, faz-se necessário em seguida pensar em respondê-las. Identificar as informações

para se chegar às respostas e que estratégias são as mais adequadas para se coletar as informações

Os INDICADORES são referências que ajudam a responder às Perguntas Avaliativas. São elementos concretos que indicam

a medida de sucesso ou fracasso em relação aos resultados esperados. São observáveis na realidade, vão orientar os métodos da

coleta de informações.ROTEIRO PARA PRIORIZAÇÃO DOS INDICADORES

♦ O indicador proposto é suficientemente representativo intenções propostas nos objetivos do projeto ?

♦ Referem-se à mudanças que têm perspectiva de permanência a longo prazo?♦ O indicador é aceito por ampla gama de especialistas internos e externos ?♦ O indicador é compreensível para os não especialistas ? ♦ O custo para coletar as informações é compatível com os recursos disponíveis ?

TIPOS DE INDICADORES :

QUANTITATIVOS: medir “o que aconteceu” (deve mostrar a extensão da questão objeto da avaliação e as

características da população alvo).

QUALITATIVOS: analisar “como e porque aconteceu” ( deve explorar um problema e suas possíveis soluções).

QUALIDADE DOS INDICADORES :

Simplicidade, Confiabilidade, Validade, Verificabilidade , Disponibilidade / Acessibilidade, Robutez, Sinteticidade

Discriminatoriedade, Cobertura.

ETAPAS DO PROJETO INDICADORES DO PROJETO7. Avaliação de Resultados do Projeto

7. Usuários com novas percepções, mais autoconfiantes e com auto estima elevada.

6. Avaliação do comportamento e atitudes dos profissionais

6. Profissionais oferecendo maior diversidade de atividades e abertos a escolhas de atividades pelos usuários.

5. Avaliação dos conhecimentos adquiridos

5. Profissionais demonstrando novos conhecimentos adquiridos.

4. Avaliação do grau de satisfação dos participantes

4. Satisfação dos participantes quanto as atividades expressa em questionários preenchidos ao final das atividades.

3. Avaliação da participação (numérica e de envolvimento) dos participantes

3. Percentual de participação nas atividades e registros de observação quanto ao grau de participação.

2. Implementação das Atividades previstas

2. Cumprimento das atividades previstas no projeto, bem como atividades não previstas realizadas.

1. Recursos físicos, financeiros, pessoas e conhecimento disponibilizados

1. Grau de disponibilização e uso de recursos físicos, financeiros, pessoas e conhecimentos disponibilizados.

OBJETIVO PERGUNTA AVALIATIVA

INDICADOR ( ES )

Avaliar o Resultado do Projeto X.

“ Cultura em Foco”

A cultura como instrumento para formação integral

das novas gerações.

Trabalha com jovens no horário alternado à escola com ações na área de cultura e arte

como apoio á escolarização.

EX:

1ª Qual é o percentual de promoção de séries

das crianças envolvidas no

Projeto ?

2ª Em que medida as crianças apresentam

mudanças sócio-culturais e

comportamentais relacionadas à

convivência na escola e no contexto

familiar ?

Trata de informações quantitativas , sem alto grau de dificuldade para seu desdobramento em Indicadores Aprovação escolar; Evasão escolar. Exige um esforço maior e devem ser propostos por educadores e outros especialistas da área envolvidos no Projeto. Retoma os dados do MARCO ZERO para identificar os comportamentos que eram alvo de determinadas questões e devem ser modificados com a intervenção do Projeto Gosto pela leitura e pela escrita; Domínio da linguagem oral; Capacidade de resolver problemas no cotidiano; Capacidade de adotar regras de conduta; Capacidade de ouvir o outro; Capacidade de lidar com diferenças; Capacidade para participar de atividades em grupo; Incorporação e hábitos culturais; Afetividade junto à família; Auto estima; Sociabilidade.

OBJETIVO

PERGUNTA AVALIATIVA

INDICADOR ( ES )RESULTADO IMPACTO

Avaliar o Resultado e o Impacto do

Projeto X.

EX:

Quais os Efeitos e Impactos do

Projeto X implantado

em 10 comunidades da Zona Norte da

Cidade do RJ para atender jovens evadidos do ensino fundamental,

sem atividade laboral e sem qualificação

profissional durante o período 1999/2002

?

Conclusão do ensino fundamental; Capacitação para o mundo do trabalho; Empregabilidade; Elevação da renda familiar; Acesso aos bens e à rede de Serviços Locais; Ressignificação das relações afetivo-familiares e comunitárias; Mudança de hábitos e padrões de risco; Outras formas de inclusão e conquistas evidenciadas.

Elevação dos índices de escolarização; Elevação dos níveis de renda e maior atividade econômica local; Redução dos índices de mortes por causas externas ( violentas ); Redução dos índices de incidência/reincidência de jovens envolvidos em conflitos com a lei; Participação comunitária; Fortalecimento da rede protetiva local; Implantação de políticas/programas intersetoriais voltados para jovens; Implicações ecológicas; Educação ambiental.

PERGUNTA AVALIATIVA

INDICADOR ( ES )

Programa

Inter Ação

Objetivo

Ampliar as oportunidades de inclusão

social de crianças e

adolescentes que vivem em situação de

risco na cidade do RJ.

1ª Em que medida o Projeto está conseguindo contribuir para o desenvolvimento físico adequado das crianças e adolescentes atendidos ?

Existência de estratégia adequada para acompanhamento periódico da curva de crescimento (peso e altura) ; Percentual de crianças e adolescentes na faixa normal da curva de crescimento; Existência de estratégias adequadas para atendimento especial face a problemas de crescimento e/ou nutrição; Percentual com problemas de crescimento que estão recebendo atendimento especializado.

2ª Em que medida o Projeto contribui

para o desenvolvimento

cognitivo e de habilidades e competências

necessárias para o sucesso das crianças na

escola e na vida ?

Desenvolvimento do gosto pela leitura, pela escrita e domínio da língua oral; Desenvolvimento de raciocínio lógico e capacidade resolutiva para o cotidiano; Desenvolvimento de regras de conduta, habilidades para trabalhar diferenças, ouvir o outro , trabalhar em grupo e criatividade; Evolução das notas escolares, percentual de aprovação, de matriculados na escola e de evasão escolar.

3. SELEÇÃO DAS FONTES DE INFORMAÇÃO

Continuando o processo para responder às PERGUNTAS AVALIATIVAS, é o momento de se determinarem quais as

FONTES que poderão oferecer as INFORMAÇÕES necessárias sobre os INDICADORES.

Deve-se tomar cuidado com a tendência de achar que sempre é necessário coletar novas informações.

MUITAS VEZES JÁ EXISTEM ( documentos oficiais do projeto, fichas individuais, etc ) e só PRECISAM SER ORGANIZADAS .

É preciso IDENTIFICAR ONDE será possível CONSEGUIR AS INFORMAÇÕES e/ou QUEM PODERÁ FORNECÊ-LAS, para seguir no processo de seleção dos métodos e

instrumentos mais adequados.

FONTES Fontes PRIMÁRIAS : • Todo material que não recebeu uma tratamento analítico ( proveniente dos sistema de informação e registro convencional e cotidiano da organização – contábil, financeiro, gerencial, fiscal, registros de produção e serviços prestados, comercialização, administração de pessoal, registros de clientes, etc;)• Todo o material recolhido pela própria ou por outras pesquisas – entrevistas e observações; material oriundo da documentação formal e informal – referente à constituição e manutenção da organização

RECURSOS• Registros e bancos de dados estatísticos produzidos por organizações públicas e privadas- IBGE, FGV, DIEESE, IDH, IPEA, etc;Material e documentos de comunicação de massa ( jornais, revistas, etc).• Material e os documentação pessoal cartas, diários, biografias, fotos, etc

Fontes SECUNDÁRIAS : São aquelas que passaram por alguma forma de elaboração analítica.

São constituídos principalmente por livros, teses, dissertações, monografias e artigos científicos, técnicos e profissionais, na forma de papel ou em meio de registro computacional.

RECURSOS

Os recursos secundários convencionais são: Bibliotecas, Institutos de Pesquisa e Formação, Bancos de Dados e a Internet.

4. SELEÇÃO DE MÉTODOS E INSTRUMENTOS

4.1 DADOS COLETADOS DE PESSOAS IDENTIFICADAS COMO FONTES DE INFORMAÇÃO - Questionários, Entrevistas , Grupo Foco , Testes ,Simulação / Debates Exemplo de trabalho realizado ( redação, Desenhos )

4.2 DADOS COLETADOS POR MEIO DE OBSERVADOR INDEPENDENTE - Relatórios narrativo-descritivos, Roteiros de Observação

4.3 DADOS COLETADOS ATRAVÉS DE APARATOS TECNOLÓGICOS - Gravação de áudio, Gravações de vídeo, Séries de fotografias; Outros aparelhos automáticos

4.4 DADOS COLETADOS A PARTIR DE INFORMAÇÕES EXISTENTES - Revisão de documentos públicos ( relatórios governamentais, publicações, etc )

Revisão de documentos institucionais ( projeto original, relatórios anuais, fichas, atas, publicações.

MÉTODO PROPÓSITO VANTAGENS DESAFIOS

Questionários

Adquirir de modo mais rápido e fácil grande

quantidade de informações

É anônimo; tem custo baixo; administra grande quantidade de pessoas; adquire grande quantidade de dados.

Pode não levar a uma avaliação cuidadosa; formulários podem influenciar respostas; é impessoal.

Entrevistas

Entender de forma completa impressões,

experiências.

Informação de maior abrangência; desenvolve relação com o sujeito respondente se tornando flexível com este.

Pode ocupar muito tempo; pode ser de difícil análise e comparação; pode ter custo alto; o entrevistador pode influenciar as respostas.

Grupo Foco

Explora uma questão a fundo, reações, experiências, sugestões,

reclamações comuns; é útil na avaliação.

É um método rápido; é eficiente para grande gama de informações em menos tempo; pode se ter como informação fundamental no programa,projeto.

Pode ser de difícil análise ; precisa de um facilitador ; pode ser de difícil programação.

Observação

Colher a informação mais precisa em

relação ao programa ou projeto operando em

relação aos processos.

Percepção de como as situações estão ocorrendo realmente; pode se adaptar a diferentes eventos.

Pode ser muito complexo; pode colocar as observações por categorias; pode influenciar o comportamento dos participantes; pode ter alto custo.

MÉTODO PROPÓSITO VANTAGENS DESAFIOS

Estudo de Caso

Entender de forma mais completa ou

descrever as experiências dos

sujeitos respondentes; administrar a

comparação através dos casos.

Descreve de forma mais completa a

experiência do sujeito em relação ao

programa/ projeto, seus processos e

resultados; pode fazer a replicagem do

programa/ projeto de melhor forma.

Pode consumir muito tempo para levantar, organizar e descrever informações; pode ter maior profundidade na informação levantada,

em função ao seu tamanho.

Revisão de Documentos

Possibilita ter uma impressão de como

está o programa/projeto

sem interrompê-lo, revisando a

aplicação dos recursos e rotinas

em geral.

Adquire informações exclusivas e históricas;

não interrompe as ações; informação já existente; tem pouca

influência sobre a informação.

Ocupa muito tempo; a informação pode estar

incompleta; se ter clareza sobre o que se está buscando; não é flexível, se restringe

aos dados existentes.

Tipo de

Avaliação

Pergunta Avaliativa

Indica-dores

Fontes de

Informa-ção

Métodos de Coleta de Dados

Procedimentos para Coleta de Dados

Amostra Estratégia Cronograma

Avalia o RESULTADO do Projeto “Educação

pelo Esporte”

1ª Qual é o percentual

de promoção de séries

das crianças

envolvidas no projeto?

2ª Em que medida as crianças e adolescen-tes apresen-tam mudanças comporta-mentais relaciona-das à convivên-cia na escola e no contexto sócio-familiar?

Aprovação EscolarEvasão escolar

Gosto pela leitura e escrita;

Domínio da linguagem

oral;Capacida-

de de adotar

regras de conduta, ouvir o

outro, lidar com

diferenças e

participar de

atividades em grupo;Afetivida-de junto à

família;Auto

estima;Sociabilida

- de.

Documentos escolares ( oletins, relatórios, etc )

Crianças e adolescentes

Famílias

Educado- res

Parceiros

Financia-dores

Revisão e análise dos Documen-tos

Entrevis-tas e Observa-ções

Grupo Focal

Questioná rios

Entrevista

Entrevista

Universo 100 usuários e suas famíliasAmostra = 80

Universo 15Amostra=9

Universo 2Amostra 2

Universo2Amostra = 2Total da Amostra da Avaliação Universo Total = 119Amostra Total = 93

Contato com os

Diretores de Escola e solicitação

dos documento

s

Elaboração dos roteiros instrumen-

tosTreinament

o dos responsávei

s pela avaliação

Organização do

processo de coleta e

organização

Dos dados.

( tabulação, transcriçõe

s, etc)

Revisão dos Documentos dezembro e janeiro

Organização dos Instrumen-tos e procedimen-tos de coleta de dados :

Fevereiro

Coleta de dados

março

Métodos para Análise de

Dados

Estratégias para Interpretação

Procedimentos para Divulgação dos Resultados

Públicos Conteúdo Formato Cronograma

Análise de documentos :

estatística descritiva e Comparativa

entre as crianças e

adolescentes usuárias do projeto e de

fora dele;Análise de

Conteúdo dos relatórios dos instrumentos de coleta de

dados;Síntese dos principais

temas identificados.

Pelo menos 75% tiveram melhoria no desempenho e nas notas, passando às

séries subsequentes?Todas as crianças permaneceram na

escola ?Pelo menos 75% apresentaram

melhoria/ evolução nos interesses de leitura e escrita, capacidade de

raciocínio lógico, criatividade e

trabalho grupal? Houve melhorias nas

relações e comportamento

adotando regras de conduta e aceitando

diferenças?Houve melhoria nas

relações afetivo-familiares ?Houve elevação da auto

estima e Sociabilidade?

Equipe de Coordenação

e todos os envolvidos no Projeto Conselho Diretor da Agência

FinanciadoraParceiros

Diretores e Professores das Escolas Familiares Público em

geral

Ajudar a responde-

ras Perguntas Avaliati-

vas Identifi-car quais aspectos precisam

ser aperfei-çoados

visando a qualida-de do projeto e possibili-

dade de ampliação,

replica-ção e

desdobra-mentos

Relatório Técnico

Relatório Executivo para os

Diretores e ProfessoresReunião com os familiaresComunica-

ção à imprensa

para divulgação

para o público em

geralElaboração de Artigos,

etcApresenta-

ção em Fóruns,

Seminários, etc

Reuniões para

discussão dos resultados da Análise : abrilEntrega dos Relatórios:

maio