AVALIAÇÃOAVALIAÇÃO

Conceitos, Conceitos, Gerações Gerações

e e Princípios Princípios

Aula 1. 2 e 3

AVALIAÇÃO Quando se pensa em Avaliação, Quando se pensa em Avaliação, para onde vai o para onde vai o

seu pensamento ??seu pensamento ??Qual a imagem possui sobre esse tema??Qual a imagem possui sobre esse tema??

AVALIAÇÃO Quando se pensa em Avaliação, para onde vai o Quando se pensa em Avaliação, para onde vai o

seu pensamento ?? seu pensamento ?? Qual a imagem possui sobre esse tema?Qual a imagem possui sobre esse tema?

Imposta como tarefa, e não como ferramenta.

Toma tempo e é tediosa.

É complexa e onerosa financeiramente e deve ser feita por especialistas externos.

Gera temor de que os resultados pouco satisfatórios tragam consequências negativas,

perda do trabalho, recursos, credibilidade, etc.

Seus resultados poucas vezes são incorporados no

planejamento e na tomada de decisões da organização.

Em temos de resultados quantidade é mais

importante que qualidade.

Toma tempo do “trabalho real”representando um luxo, preciosismo.

ControleO s resultados importantes

são os quantificáveis, logo a avaliação não se aplica

Se não é “estatisticamente mensurável” não é passível de avaliação.

AVALIAÇÃO

Quando se pensa em Avaliação,Quando se pensa em Avaliação,para onde vai o seu pensamento ??para onde vai o seu pensamento ??

Qual a imagem possui sobre esse tema?Qual a imagem possui sobre esse tema?

AVALIAÇÃO Quando se pensa em Avaliação, para onde vai Quando se pensa em Avaliação, para onde vai

o seu pensamento ? o seu pensamento ?Qual a imagem possui sobre esse tema?Qual a imagem possui sobre esse tema?

O que e como podemosfazer melhorar?

Clareza do esforço para ampliar a

interação e aprimoramento

geram resultados positivos

para todos os envolvidos

O tempo e os recursos são empregados para assegurar um ambiente de contínua transformação

Possibilita transparência

Os instrumentos e as metodologias

são acessíveis para qualquer tamanho

e tipo de organização, programa ou projeto.Podem ser simples,

não onerosos e adaptáveis

a diferentes realidades e necessidades. Gera responsabilidades

Compartilhadas.

Fortalece e capacita para tomada de decisão

Possibilita Feedback

APRENDIZAGEM APRENDIZAGEM

Viabiliza uma relaçãocooperativa durante o

processo. É trabalho de todos.

Não é um evento, mas um processo,não é externa, é uma ação

contínua e integrada às atividades do cotidiano.

Relaciona os financiadores, parceiros, executores

e beneficiários, no sentido de se procurar estratégias e

caminhos para solucionar problemas, aprender

e prepara novas

possibilidades de ação.

Valioso instrumento no alcance da Missão

Possibilita avaliar tanto a eficácia interna como os

resultados externos.

AVALIAÇÃO dentro da perspectiva de

APRENDIZAGEM deve ser geradora de conhecimentos

e práticas responsivas, éticas e emancipatórias

que incidam no desenvolvimento de pessoas,

organizações e sociedade.

AVALIAÇÃOAVALIAÇÃO

“A aprendizagem no contexto organizacional ou em outros sistemas sociais só é possível

através de um processo contínuo de ação e reflexão.

A reflexão ocupa um papel fundamental: provocar mudanças nas ações dos indivíduos.

Este é especificamente o papel da Avaliação: construir momentos reflexivos que permitam aos indivíduos a análise da realidade e dos

fatos, para daí direcionarem suas ações, aprendendo pela experiência”.

(Chianca, Marino e Schiesari ,2001)

AVALIAÇÃO A capacidade “examinar e julgar, determinar valor” remonta aos primórdios da

humanidade, se constituindo como uma forma básica de comportamento humano. Assim, a Avaliação pode ser:

INFORMAL, realizada sempre que uma pessoa opta e faz escolhas baseadas em percepções extremamente subjetivas entre as várias

alternativas existentes sem antes, ter coletado evidência formal do mérito relativo dessas alternativas.

Utiliza a experiência, o instinto, a generalização e o raciocínio como base para o julgamento e decisões, influenciando os resultados.

AVALIAÇÃO FORMAL, completa,estruturada e pública, as opções se baseiam

em esforços sistemáticos para definir critérios explícitos e obter informações acuradas sobre as alternativas ( possibilitando com isso, a determinação do valor e mérito real das alternativas.

Comporta uma gama de definições, possibilidades de significados e interpretações, constituindo um grande desafio

para teóricos e profissionais.

“Avaliação é identificação,

esclarecimento e aplicação de critérios

defensáveis para determinar o valor ou mérito, a qualidade,a

utilidade,a eficácia

ou a importância do objeto avaliado

em relação a esses critérios”.

(Worthen,2004)

“ Não existe uma definição certa e única para

Avaliação. Aceitamos as definições de Avaliação

como construções intelectuais, cuja

correspondência com a ‘realidade’ não é, nem pode se, uma questão” (Cuba e Lincoln-1989)

AVALIAÇÃO

Vinculada ao campo social, a Avaliação, dentre as várias definições conhecidas, é a determinação do valor ou mérito de um objeto de avaliação.

Busca aferir o grau de eficiência, eficácia e efetividade.

Enquanto instrumento de Gestão Social deve contribuir na tomada de decisões e ações no campo da política social,

assumindo compromisso com a cidadania.

Articula uma dimensão técnica e política visando gerar impactos tangíveis (observáveis e aferíveis quantitativa e qualitativamente) e intangíveis (captados em manifestações da consciência

social).

AVALIAÇÃOAVALIAÇÃO

Para Silva e Brandão (2003), pode-se entender Avaliação como a elaboração, negociação e aplicação de critérios explícitos de análise, em um exercício metodológico cuidadoso e preciso,

com vistas a conhecer, medir, determinar ou julgar o contexto, mérito, valor ou estado de um determinado objeto, a fim de estimular e facilitar processos de aprendizagem e de desenvolvimento

de pessoas e organizações.

A idéia central é que os processos avaliativos ajudem os envolvidos a encontrar seus próprios caminhos de aprendizagem e

desenvolvimento, e que ampliem o nível de consciência dos empreendedores e organizações sociais.

Para cumprir estes objetivos, o papel da avaliação precisa transcender a fiscalização ou controle, abrangendo uma intensa

reflexão que deve ser feita com todos os envolvidos no processo.

MEDIÇÃOMEDIÇÃO

NEGOCIAÇÃO NEGOCIAÇÃO JULGAMENTOJULGAMENTO

DESCRIÇÃODESCRIÇÃO

AVALIAÇÃO : GERAÇÕES

AVALIAÇÃO é um termo que comporta uma gama de possibilidades, significados, e interpretações. No entanto,

segundo Cuba e Lincoln (1989) a trajetória e amadurecimento do campo avaliatório pode ser dimensionada em

QUATRO GERAÇÕES.

“ esforço no desenvolvimento de testes utilizados no ambiente escolar e que foram

posteriormente utilizados para fins militares e empresariais “( Marino,2003).

O foco estava no indivíduo e o papel do

avaliador era essencialmente técnico dentro de uma perspectiva CLASSIFICATÓRIA.

1ª GERAÇÃO MEDIÇÃO ( 1910-1930)

Ex: Os testes realizados na França por Alfred Binet, por orientação do

Ministério da Educação para desenvolver um método que

excluísse do ambiente escolar, crianças com retardamento das

consideradas normais visando não comprometer a aprendizagem.

Binet cunhou a expressão “idade

mental” conferindo um “quociente de

inteligência – QI”. Revisado e normatizado por Luois

Terman em 1916, passou a ser referência para sistemas

educacionais de vários países.

O desenvolvimento de testes para medir e classificar,

ganham espaço no setor empresarial, militar, etc.

1ª GERAÇÃO MEDIÇÃO ( 1910-1930)

“ caracterizada pela descrição de padrões e pontos fracos e fortes em

relação a certos objetivos declarados” (Cuba e Lincoln,1989).

O foco estava nas intenções ou resultados esperados da

aprendizagem e o papel do avaliador de descrever os padrões, pontos fortes e fracos, em que medida os

objetivos da intervenção social realizada foram alcançados.

A medição não mais era sinônimo de avaliação, mas um dos instrumentos

que ela poderia utilizar.

2ª GERAÇÃO DESCRIÇÃO ( OBJETIVOS ) ( 1930-1950)

2ª GERAÇÃO DESCRIÇÃO ( 1930-1950)

Ex: No pós guerra o investimento em políticas,

serviços e programas sociais fez com que a Avaliação se

tornasse um campo específico de estudo com

ênfase nos métodos quantitativos para apreender

a realidade social e compreender em que medida os objetivos da intervenção

social foram alcançados. Referenciou as exigências

das agências financiadoras, de governos no

enfrentamento das questões sociais, etc

O apelo ao julgamento referencia um novo conjunto de modelos com foco na tomada de decisão. Se postula a necessidade de aferir eficiência, eficácia

e efetividade e não mero controle de gastos e cumprimento de condições dos financiadores.

3ª GERAÇÃO JULGAMENTO ( 1960-1950)

“ esforços visando chegar a um julgamento, a um veredicto no qual o avaliador assume o papel de juiz, mantendo as já estabelecidas

funções técnica e descritiva. (Cuba e Lincoln,1989).

Mérito (é a qualidade no alcance dos propósitos sociais)

Relevância (é fruto do mérito, é a satisfação das necessidades

de seus destinatários e do contexto social).

3ª GERAÇÃO JULGAMENTO ( 1960-1980)

Ex: Está sendo válido o programa do ponto de vista das necessidades sociais? Os

resultados, as alterações são aquilo mesmo de que necessitavam? ou seja, ele tem

impacto no contexto social?

4ª GERAÇÃO CONSTRUTIVA RESPONSIVANEGOCIAÇÃO ( 1990- )

“ ...carrega as características de trabalhar com paradigmas

interpretativos ou hermenêuticos” (Furtado, 2001).

Manifesta o potencial para práticas participativas, pactua com os interessados ( stakeholders)

critérios, processos e desempenho. Se constitui a partir das fragilidades

das gerações anteriores.

Na quarta geração se explicita a dimensão política articulada à dimensão técnica da

Avaliação. Visa alterar comportamentos ou desempenhos, oferecer informações para

decisões políticas. Tem foco nos resultados e impactos tendo por critérios eficiência, eficácia e efetividade. É considerada numa perspectiva de

cidadania, podendo se constituir em instrumento para controle social.

4ª GERAÇÃO RESPONSIVA ( 1990 - )

Ex: Como as políticas e/ou programas se desenvolvem? O que fazem e o que é suposto fazerem? Para quem se destinam?

Em que extensão? Que efeitos desejados e não desejados, previstos, não previstos ? A que custo?

Se constitui a partir das fragilidades das gerações anteriores sendo as principais:

• Tendência ao gerencialismo - o foco, escolha de estratégias metodológicas, leitura dos resultados e/ou julgamento do mérito é definido pelos gerentes. Práticas não participativas e pouco democráticas;

• Falha em conseguir acomodar pluralismo de valores - inconsistência do processo de avaliação em reunir, reconhecer, considerar e incorporar um conjunto diversificado de valores;

• Compromisso excessivo com o paradigma científico de investigação, tendendo a desconsiderar o contexto em que as coisas estão e onde elas se dão. Utilização de métodos quantitativos na apreensão da realidade.

4ª GERAÇÃO RESPONSIVA ( 1990 - )

PRINCÍPIOS DA AVALIAÇÃOPRINCÍPIOS DA AVALIAÇÃO

A busca pela definição de padrões de excelência para Avaliação levou os estudiosos da área a agrupar

critérios em quatro categorias.

Os princípios orientadores, dentro de uma referência técnica e ética, estão compromissados com a garantia de que os resultados provenientes da Avaliação sejam da maior qualidade possível.

O conjunto de princípios que foram desenvolvidos por um comitê de 16 associações profissionais, publicados em 1981 e revisados em 1994 que foram

aceitos por importantes organizações internacionais.

Segundo o Joint Committee, a qualidade de um processo avaliativo pode ser aferida através da observação de quatro atributos de Utilidade,

Viabilidade, Propriedade e Precisão. UTILIDADE, UTILIDADE,

VIABILIDADE, VIABILIDADE, ÉTICAÉTICA

PRECISÃOPRECISÃO.

1º UTILIDADEUTILIDADE – significa que a avaliação jamais deverá ser realizada se não for para ser útil . Deve assegurar que estará voltada para responder às necessidades de informação das pessoas e instituições interessadas ou afetadas pelo programa/projeto.

PRINCÍPIOS DA AVALIAÇÃOPRINCÍPIOS DA AVALIAÇÃO

São 7 (sete):

Identificação dos Interessados ( envolvimento); Credibilidade do Avaliador; Seleção de Informações ( relevantes e amplas); Identificação de valores (critérios explícitos); Clareza dos relatórios; Disseminação e rapidez na produção de relatórios; Impacto da Avaliação

2º VIABILIDADEVIABILIDADE – deverá além de útil, ser conduzida de forma a assegurar que a avaliação será feita de maneira realista, prudente, diplomática e moderada, considerando:

Procedimentos Práticos – interferência mínima nas atividades; Viabilidade Política – análise de possíveis conflitos e formas de intervenção; Custo-Efetividade – produzir informações relevantes de modo a justificar os custos.

3º ÉTICA (PROPRIEDADE)-PROPRIEDADE)- visam assegurar que a avaliação seja conduzida dentro de normas legais e éticas.

Orientação para o serviço – para ajudar os organizações a atender e responder eficazmente às necessidades ;

Acordos formais - o que, como, quem, quando fazer a atividade de avaliação, com registro formal;

Direitos Individuais – respeito e zelo pelos envolvidos;

Relações Humanas – respeito à dignidade e valor das pessoas;

Completa e Justa- no registro dos pontos positivos e limitações com valorização dos sucessos e correção das falhas;

Disseminação dos Resultados – acesso aos resultados em sua totalidade por todos os interessados;

Conflitos de Interesse - tratamento aberto e honesto para não comprometer o processo;

Responsabilidade Fiscal – alocação de desembolso dos recursos de forma adequada, prudente e eticamente responsável- transparência.

4º PRECISÃOPRECISÃO - - visa assegurar que a avaliação além de útil, viável, e ética possa seja técnica, revelando e produzindo informações tecnicamente adequadas sobre o mérito e relevância do programa/projeto avaliado.

Documentação do programa / projeto - clareza e precisão para identificação fácil ; Análise do Contexto – descrita com detalhamento; Descrição de propósitos e procedimentos – monitoramento para fácil exame; Fontes de informação confiáveis - descritas em detalhes; Informações válidas – para assegurar interpretação válida e útil; Informações confiáveis ; Informação sistemática – revisão sistemática e correção dos erros; Análise de informação quantitativas - apropriadas para responder às perguntas formuladas; Análise de informação qualitativas - apropriadas para responder às perguntas perguntas formuladas; Conclusões justificáveis - para que possam ser analisadas pelos principais interessados / afetados; Imparcialidade de relatórios - incluir métodos que previnam distorções por opiniões e vieses pessoais; Meta Avaliação - o desenvolvimento e possível impacto da avaliação para o programa/projeto deverão ser avaliados utilizando os princípios descritos, a fim de garantir que o processo seja desenvolvido de forma adequada.

AVALIAÇÃO é um elemento chave de todo o processo de ensinar e aprender.