Avaliação de Projetos

A porta da verdade estava aberta,Mas só deixava passar

Meia pessoa de cada vez.Assim não era possível atingir toda a verdade,

Porque a meia pessoa que entravaSó trazia o perfil de meia verdade,

E a sua segunda metadeVoltava igualmente com meios perfis

E os meios perfis não coincidiam verdade...Arrebentaram a porta.Derrubaram a porta,

Chegaram ao lugar luminosoOnde a verdade esplendia seus fogos.

Era dividida em metadesDiferentes uma da outra.Chegou-se a discutir qual

a metade mais bela.Nenhuma das duas era totalmente bela

E carecia optar.Cada um optou conforme

Seu capricho, sua ilusão, sua miopia.

A Verdade (Carlos Drummond de Andrade)

“Cada individuo percebe o mundo de acordo com seu contexto familiar, cultural, educacional e temporal, determinado por suas relações com o ambiente.”

AVALIAÇÃO

• Ao ouvirmos falar de avaliação o que nos vem a mente?

CONCEITO GERAL

Avaliação é um processo de aprendizagem sistemático e intencional que um indivíduo, grupo ou organização se propõe a percorrer para aprofundar a sua compreensão sobre determinada intervenção social, por meio da elaboração e aplicação de critérios explícitos de investigação e análise, em um exercício compreensivo, prudente e confiável, com vistas a conhecer e julgar o mérito, a relevância e a qualidade de processos e resultados. A avaliação leva à ampliação de consciência sobre determinado programa ou projeto, o que possibilita que escolhas e decisões maduras possam ser feitas.

Rogério Silva, Daniel Brandão e Thomaz Chianca

“A aprendizagem do adulto no contexto organizacional ou em outros sistemas sociais só é possível através de um processo contínuo de ação e reflexão. A reflexão ocupa um papel fundamental: provocar mudanças nas ações dos indivíduos. Este é especificamente o papel da avaliação: construir momentos reflexivos que permitam aos indivíduos a análise da realidade e dos fatos, para daí direcionarem suas ações, aprendendo pela experiência”.

Chianca, Marino e Schiesari (2001)

AVALIAÇÃO AÇÃO E REFLEXÃO

FORMAS DE ENTENDER

• Sob a ótica de si mesma – julgando se inocente ou culpada pelos preconceitos e visões geradas a partir da sua aplicação;

• Sob a ótica do conhecimento - para viabilizar o trabalho das pessoas que praticam a avaliação: concepções, critérios, estratégias, formas de análise e instrumentos;

• Sob a ótica da importância- na perspectiva da abordagem construtivista da educação

AVALIAÇÃO

O processo de avaliação é a etapa fundamental para que as pessoas e organizações façam escolhas conscientes a respeito dos esforços e investimentos que desejam alocar nos processos avaliativos.

A atribuição de sentido é um processo reflexivo e político. A construção do sentido no processo de avaliação permite ao grupo discutir, compreender sua intencionalidade, dimensionar sua grandeza e limitar sua atmosfera de expectativas e alinhar seus conceitos.

Rogério Renato Silva e Daniel Brandão(2003)

PARA QUE AVALIAR?

Avaliação é um procedimento que envolve diferentes aspectos, de acordo com o

objeto a ser considerado (produtos, serviços, programas, projetos, pessoas etc). Por isso é

preciso:

ETAPAS DA AÇÃO

1. Definir o foco ou focos (OBJETO)2. Reconhecer o ambiente

(CONTEXTUALIZAÇÃO)3. Definir objetivos e utilidade (FINALIDADE)4. Definir a fundamentação (PERSPECTIVA)5. Definir atores sociais (FONTES DE DADOS)6. Construção da avaliação (INSTRUMENTO)7. Planejar aplicação (OPERACIONALIZAÇÃO)8. Construir indicadores (REFERENCIAL)9. Utilização dos resultados (OBJETIVO)10.Divulgar os resultados (COMUNICAÇÃO)

1.º PASSODEFINIR O OBJETO DA

AVALIAÇÃO• Vai medir dados para a empresa?

• Vai medir dados para a escola?

• Vai medir as diretrizes políticas?

• Vai medir a efetividade para a melhoria da

qualidade da educação?

• Vai medir o impacto social sobre a comunidade

escolar?

• Vai buscar resultados Gerais?

• Vai abranger todos os aspectos?

Contexto Político (na empresa)

Analisar o contexto político no qual a avaliação será efetuada. Afinal, todos os programas educacionais são propostos, debatidos, provocados e financiados por meio de processos e decisões políticas. Avaliar, portanto, é um ato político com implicações práticas.Contexto Ambiental (na escola)• Que tipo de gestão é adotada pela escola?• Qual o seu projeto político-pedagógico?• A escola é municipal, estadual, particular?• Quais as características da região onde está? • Quais as características predominantes no corpo docente e no corpo discente?

2.º PASSOCONTEXTUALIZAÇÃO

• Alimentarão tomadas de decisão na empresa?

• Servirão para garantir legitimidade ao projeto?

• Servirão para garantir apoio e patrocínio?

• Alimentarão mudanças estratégicas no projeto?

• Alimentarão redefinições nos processos?

• Vão ser usados para ampliar ou cessar parcerias?

• Servirão para rever objetivos do projeto?

• Servirão para rever suas propostas e atividades?

3.º PASSOA FINALIDADE DA AVALIAÇÃO

Reconhecer, definir e considerar para quê e para quem servirão

os resultados obtidos:

É considerado fonte de informação todo ator social, evento ou objeto por meio dos quais será possível verificar um indicador de interesse. Os atores sociais legítimos para definirem indicadores sobre determinada realidade são aqueles que convivem com esta realidade.No caso de projetos de Jornal Educação, as fontes ou atores sociais podem ser: Na escola: especialistas, professores, alunos, familiares, gestores do projeto, etc. Na empresa: diretores e integrantes dos setores envolvidos com o projeto.

4.º PASSODEFINIÇÃO DAS FONTES

É na fase subseqüente a identificação das finalidades da avaliação que devem ser

definidas as fontes de coleta de informação.

Tradicional

Mede a eficácia, e se refere à contribuição dos resultados obtidos para o alcance dos objetivos globais da escola.

• Analisa se o conhecimento foi transmitido pelo professor e absorvido pelo aluno• Verifica se o currículo/trabalho obedece aos objetivos definidos na regulamentação geral• Avalia se as aulas/atividades são avaliadas como boas• Verifica se há disciplina na classe, grupo, ou equipe

5.º PASSOPERSPECTIVA DA AVALIAÇÃO

Tecnicista

Mede a eficiência, e se refere à otimização dos recursos para a obtenção dos resultados.

• Avalia os ganhos obtidos entre a entrada do aluno e sua saída do sistema de ensino;• Avalia se os objetivos educacionais

estabelecidos têm condições de ser operacionalizados;

• Avalia ser os conteúdos estão estruturados de acordo com os objetivos;• Avalia se os meios utilizados são variados e incluem novidades tecnológicas;

5.º PASSOPERSPECTIVA DA AVALIAÇÃO

Construtivista

Mede a efetividade, e se refere à relação entre os resultados alcançados e os objetivos propostos ao longo do tempo.

• Verifica como os processos de raciocínio então sendo estimulados e desenvolvidos;

• Avalia os processos existentes;

• Identifica erros e acertos com o objetivo de reorientar as ações;

• Valoriza novas formas de aprender;

5.º PASSOPERSPECTIVA DA AVALIAÇÃO

6.º PASSOESCOLHA DO INSTRUMENTO

• Testes

• Provas

• Questionários

• Mapas Conceituais

• Observação

• Auto-avaliação

• Dramatização

• Pesquisas

• Debates

• Relatórios

Instrumento ou ferramenta deve ser entendido como o meio facilitador de uma prática que permite apreender as coisas e

agir sobre elas. Portanto, deve-se conhecer a aplicação de cada um para poder fazer a

melhor escolha.

A importância da pergunta avaliativa

• A construção o instrumento avaliativo exige do avaliador habilidades para mediar conflitos e negociar interesses e oferecer ao projeto ou a organização uma excelente oportunidade de afinar idéias e olhares sobre a sua pratica por isso a elaboração das questões deve envolver os principais envolvidos na avaliação, sendo feita através de um processo participativo.

• É preciso lembrar sempre que não existe uma boa avaliação sem uma boa pergunta. Com tudo uma boa pergunta não garante uma boa avaliação.

6.º PASSOCONSTRUÇÃO DO

INSTRUMENTO

Exemplos: O projeto tem contribuído na formação de novos leitores? Em que disciplina o jornal é mais utilizado como recurso pedagógico auxiliar?

6.º PASSOIDÉIAS DE INSTRUMENTOS

A) auto-avaliação – Relato de experiênciasB) questionário e Pesquisa – estabelecendo três

tipos de critérios ou focos:Questões de fato – perguntas que levam a respostas afirmativas, evidentes, aceitas até pelos críticos. Têm função quantitativa.Questões de valor – Perguntas sobre processos e operações. O que é bom ou mau. Aceito ou recusado. Funciona ou não funciona.Têm função qualitativaQuestões conceituais – Perguntas sobre a natureza das idéias e conceitos defendidos pelo projeto.Têm função reflexiva

6.º PASSOQUANDO USAR OS

INSTRUMENTOSAntes da implementação do Projeto

Momento em que se faz a coleta de dados e informações com a finalidade de se levantar as possibilidades de ação, de forma a contribuir para enriquecer a proposta e detectar condições existentes para o desenvolvimento do Projeto.Durante o desenvolvimento do ProjetoAcompanhamento sistemático do desenvolvimento das atividades, constatação de dificuldades e atuação voltada à correção e ajustes necessários, no próprio curso do processo de execução.

Após a conclusão de etapas do ProjetoMomento de verificar se o projeto atingiu os objetivos pretendidos ou não; perceber o mérito, a relevância e o impacto das ações desenvolvidas; destacar as ameaças e potencialidades; produzindo assim os elementos necessários para se estabelecer um juízo de valor acerca do trabalho feito.

Estudo da viabilidade • Quanto custará?• Quem deve conduzir o processo?• Quem vai aplicar a avaliação?• Como selecionar os avaliadores?• Qual será o universo pesquisado?• Quando deve ser aplicada a avaliação?• Qual será o cronograma de aplicação? • Quando fazer a análise dos dados?• Temos condições de fazer a análise dos dados?• Teremos que contratar alguém para tabular?

7.º PASSOPLANEJAMENTO

OPERACIONAL

• Indicadores são referências precisas, construídas a partir de um recorte da realidade, que garantem análise comparativa de determinado tema ou objeto.

• A possibilidade de mensurar o antes e projetar o

depois é definida pela construção de uma seqüência seriada de indicadores sobre o mesmo tema e objeto, num mesmo recorte.

8.º PASSOCONSTRUÇÃO DE

INDICADORESA construção de indicadores exige análise das informações. Caminhos qualitativos e quantitativos serão úteis e devem atuar de forma complementar para possibilitar uma melhor leitura dos dados obtidos. Dados quantitativos: pedem estatísticas.Dados qualitativos: exigem abordagens distintas, como análise temática dos discursos que é a técnica mais utilizada.

9.º PASSOUTILIZAÇÃO DOS

RESULTADOSAnálise que envolve o manuseio e

interpretação dos indicadores quantitativos, dados qualitativos obtidos pela avaliação

(agrupamento de respostas em categorias, análises de campo), com o objetivo de

identificar:

• Pontos fortes e pontos fracos do projeto

• Riscos e oportunidades para a empresa, para a escola, para o projeto

A comunicação é a etapa que encerra os dez passos metodológicos da avaliação e que, muitas

vezes, encerra o processo como um todo.

10.º PASSOCOMUNICAÇÃO DOS

RESULTADOS

O relatório de avaliação contempla: • resumo; • introdução; • descrição do foco da avaliação; • metodologia; • resultados; • conclusões e recomendações;

A divulgação dos resultados pode ser formal, no padrão de relatório desejado por concursos e financiadores, contemplando o registro detalhado de todas as etapas. Mas também deve servir para abastecer a mídia, dando visibilidade e mostrando a importância do projeto.

• Aspectos políticos e éticos: não se deve permitir que valores individuais e interesses influenciem a avaliação;• Coleta de dados: testar os instrumentos de coleta, capacitar profissionais envolvidos, copiar os dados coletados, checar dados anotados. Focar a simplicidade, buscar sempre incluir mais de uma fonte de informação e método de coleta de dados no estudo, procurar combinar métodos qualitativos e quantitativos. • Métodos: identificar o que mais interessa, mas procurar utilizar combinações. Exemplo:questionário+observação+entrevista.

DICAS IMPORTANTESNA EXECUÇÃO DA AVALIAÇÃO

ESTUDO DE CASO A busca de sentido para a

Avaliação

• Caso 1: O programa jornal e educação do jornal B é desenvolvido em parceria com a empresa jornalística e prefeituras e atua em vários municípios.O objetivo do programa é contribuir na formação da cidadania e estimular o prazer pela leitura. O projeto tem duração mínima de seis meses.

• Convidamos a equipe 1 para desenvolver uma avaliação do referido projeto. A equipe terá que simular um esboço da ação na prática e apresentar.

• Caso 2: O programa jornal e educação do jornal B é desenvolvido em parceria com a empresa jornalística e prefeituras e atua em vários municípios.O objetivo do programa para a empresa é aumento na circulação, visibilidade e sustentabilidade. Objetivo do programa junto às instituições de ensino contribuir na formação da cidadania e estimular o prazer pela leitura.

• Equipe 2: Realizar discurssão tendo em vista a existência de diferentes desejos em relação ao processo de avaliação. A equipe terá que simular um esboço da ação na prática e apresentar.

ESTUDO DE CASO A busca de sentido para a

Avaliação

• ARMANI, DOMINGOS. Como elaborar projetos? – Guia Prático para Elaboração e Gestão de Projetos Sociais . Porto Alegre: 2001.• ÁVILA, C.M. de Gestão de Projetos Sociais. São Paulo: AAPCS, 3ª ed. rev., 2001.• CHIANCA, THOMAZ.; MARINO, EDUARDO.; SCHIESARI, LAURA. Desenvolvendo a cultura de avaliação em organizações da sociedade civil. Coleção Gestão e Sustentabilidade. São Paulo: I - Fonte/Editora Global; 2001.• MARINO, EDUARDO. Manual de Avaliação de Projetos Sociais São Paulo: IAS – Pedagogia Social, 1a edição, 1998.• SILVA, Rogério.Renato.; BRANDÃO, Daniel Os quatro elementos da avaliação. Fonte Instituto para oDesenvolvimento Social. Disponível em www.fonte.org.br•V ALARELLI, L. Indicadores de resultados de projetos sociais. In: Apoio à Gestão”. Rio de Janeiro; site da RITS; 1999.

REFERÊNCIAS BIBLIOGRÁFICAS