Definir métodos de avaliação e investigação

As questões relacionadas com métodos são sempre muito frequentes. Por favor, na medida em que for passando pela apresentação, anote suas dúvidas, questões e comentários.

• Pense: Qual a relação entre avaliação e método?– ... – Provavelmente você pensou algo como:

“ué, avaliação precisa de um método de coleta de dados, análise, essas coisas”.

– Neste módulo vamos aprofundar essa relação e compreender que avaliação envolve método em outro sentido também...

O que é método?“O modo pelo qual se constrói conhecimento para poder responder a uma necessidade, a uma questão”.

•Como assim?•Sempre é possível responder uma mesma indagação de diferentes formas.•Ao escolher ou construir um método, se assume:

– O que é conhecimento válido? – Como se constrói conhecimento

válido?– Basicamente: como responder a uma

pergunta de forma considerada válida?

Historicamente, diferentes critérios foram sendo

construídos para dizer o que é conhecimento válido ou

verdadeiro:Conhecimento válido é aquele em que a maioria concorda...

Conhecimento válido é aquele que mostra ser “eficiente” (prever e

controlar o fenômeno)Conhecimento válido é

aquele que enuncia experiências com as quais

nos reconhecemos

Quando tomamos decisões sobre métodos numa avaliação?

Considerando as seguintes etapas de avaliaçāo, em quais temos decisões sobre método?

1.Construção de acordos para iniciar uma avaliação2.Construção do foco da avaliação (perguntas, critérios, indicadores, etc).3.Realização da investigação4.Análise e discussão dos achados5.Encaminhamentos

?

De modo geral, podemos pensar em dois lugares ou momentos em que discutimos método numa avaliação:•Primeiro momento: ao definir “a cara” da avaliação como um todo – na construção dos acordos básicos sobre como ela vai funcionar (método ou abordagem da avaliação), e,•Segundo momento: no momento da definição da investigação propriamente dita (método da investigação).

Quando tomamos decisões sobre métodos numa avaliação?

Primeiro momento: Para definir o método ou a abordagem da avaliação

• Qual o contexto e o momento da avaliação? A que necessidades a avaliação está buscando responder?– Diálogo interno/ formação/ alinhamento– Construção de decisões

• Qual o foco da avaliação? Quais as perguntas de avaliação?– Olham apenas para resultados?– Olham também para processos?

• Quem seria desejável envolver? Em quais momentos?

• Qual a visão do gestor do projeto?• Qual a perspectiva do avaliador?

Escolha de método ou abordagem de avaliação:

Formativa? Somativa?Interna? Externa?Centrada em objetivosCentrada em usoAvaliação de impactoParticipativa, etc.

Métodos ou abordagens de avaliação

Formativa – gera informações para que a equipe da iniciativa possa melhorá-la. Por isso, enfoca a relação entre estratégias utilizadas pela iniciativa e seus efeitos. (Avaliação de processo)

Somativa – realizada ao final de um ciclo da intervenção. Em geral busca identificar resultados e pode ser usada para definir se aquela iniciativa será refinanciada ou finalizada, para apontar mudanças a serem observadas num próximo ciclo etc (Avaliação de resultados e impactos).

Interna - avaliador pertence à equipe da iniciativa.Externa – avaliador externo à equipe da iniciativa.Centrada em objetivos – a abordagem parte dos objetivos já definidos

no planjemanto da iniciativa e avalia se foram atingidos Centrada em uso – a abordagem parte de qual será o uso dos resultados

para fazer o desenho da avaliação.Avaliação de impacto – O projeto provocou mudanças permanentes,

estruturais e significativas no grupo de pessoas, comunidade ou setor que desejava atingir?

Participativa – engaja ativamente diversos atores na avaliação .............

Exemplos comuns (existem outros!) e suas características

Métodos ou abordagens de avaliação

• Diferentes métodos ou abordagens podem ser combinados para garantir uma boa avaliação.

• Por exemplo, digamos que um projeto de educação com duração total de 3 anos não esteja alcançando os objetivos esperados.

• Ao final dos primeiros 18 meses, fez-se uma combinação: - uma avaliação formativa (buscando interferir no desenho

das estratégias e metodologia do projeto),- externa (um avaliador externo foi contratado, especialista

em avaliação de projetos educacionais), - participativa (envolveu estudantes, professores, equipe do

projeto, pais, desde a definição de quais as perguntas de avaliação até a analise dos resultados) e

- centrada em uso (a avaliação foi utilizada pela equipe gestora para redefinir a metodologia de intervenção educacional).

Até agora, vimos o método ou abordagem da avaliação: “a sua cara” da avaliação como um todo

O segundo momento é a definição da investigação propriamente dita (método da investigação). A avaliação usa métodos e instrumentos de pesquisa oriundos especialmente das ciências humanas e exatas, e também desenvolve seus próprios métodos.

Segundo momento: Para definir o método da investigação

• Qual o momento da inciativa:– Ela ainda está amadurecendo seu desenho?– Ela já está madura e buscando escala?

• Qual a pergunta avaliativa?– Ela é descritiva de um fenômeno?– Olha para relação entre fenômenos?– Busca estabelecer relações de causalidade?

• Que indicadores e critérios foram escolhidos? • Quais meus interlocutores nesta avaliação? A que

linguagem eles são sensíveis? (ex: entendem e ou são mais sensíveis a números, relatos de casos reais, imagens, palavras?)

• Quais os limites de tempo, recursos e disponibilidade de informações?

Segundo momento: Para definir o método da investigação

• Qual o momento da inciativa:– Ela ainda está amadurecendo seu desenho?– Ela já está madura e buscando escala?

• Qual a pergunta avaliativa?– Ela é descritiva de um fenômeno?– Olha para relação entre fenômenos?– Busca estabelecer relações de causalidade?

• Que indicadores e critérios foram escolhidos? • Quais meus interlocutores nesta avaliação? A que

linguagem eles são sensíveis? (ex: entendem e ou são mais sensíveis a números, relatos de casos reais, imagens, palavras?)

• Quais os limites de tempo, recursos e disponibilidade de informações?

Métodos de investigaçãoA partir dos critérios da avaliação (perguntas, indicadores, interlocutores, limite etc), o método de investigação definirá:• Os dados a serem produzidos: as menores unidades, os aspectos definidos como objeto de estudo.• As estratégias para colher esses dados: as fontes de informações e os instrumentos a serem utilizados para coletar os dados.•A análise desses dados: as relações, comparações que se estabelecerão a partir dos dados. As perguntas de avaliação sugerem um caminho.

Métodos de investigaçãoA partir dos critérios (perguntas, interlocutores e limite), o método de investigação definirá:

1.Os dados a serem produzidos: as menores unidades, os aspectos definidos como objeto de estudo.2.As estratégias para colher esses dados: as fontes de informações e os instrumentos a serem utilizados para coletar os dados.3.A análise desses dados: as relações, comparações que se estabelecerão a partir dos dados. As perguntas de avaliação sugerem um caminho.

Métodos de investigação - dados

• Um mesmo fenômeno ou objeto de estudo pode ser acessado a partir da construção de dados quantitativos ou qualitativos.– Por exemplo, a escolaridade: pode ser medida por

categorias pelo grau de instrução (qualitativo) ou anos de escolarização (quantitativo).

• A escolha tem relação com os indicadores definidos como importantes em uma avaliação, com os seus interlocutores e com a viabilidade de colher e analisar cada tipo de dado.

Métodos de investigação - dados

• No caso da escolaridade, qual a diferença em escolher como dado, grau de instrução (qualitativo) ou anos de escolarização (quantitativo)?

• Para a sua avaliação, o que é mais importante: – Saber quantos anos de estudo têm os alunos? Fazer a média

em diferentes subgrupos? Ter mais possibilidades de cruzamentos? quanti.

– Trazer a informação e caracterizar seu grupo de forma mais sintética? Facilitar a resposta para o respondente?

• A definição dos métodos de investigação leva em conta as perguntas de avaliação, os indicadores definidos como importantes e também os limites e possibilidades do diversos métodos disponíveis.

Métodos de investigação - dados

• Dado qualitativo: aspecto de um fenômeno que se expressa como qualidade, nome (discurso), ou categoria.

– Por exemplo: sexo, cor dos olhos, “classe social”, grau de instrução, autoestima.

• Dado quantitativo: aspecto de um fenômeno que se expressa em número, numa escala de medida (em números absolutos ou em porcentagem - %)

– Por exemplo: peso, altura, número de cômodos de uma casa, número de beneficiários de um projeto, anos de escolarização, “índice de autoestima”.

A diferença está em como representar o fenômeno e não no fenômeno em si.

Você pode qualificar idade e quantificar autoestima!

Métodos de investigaçãoA partir dos critérios (perguntas, interlocutores e limite), o método de investigação definirá:

1.Os dados a serem produzidos: as menores unidades, os aspectos definidos como objeto de estudo.2.As estratégias para colher esses dados: as fontes de informações e os instrumentos a serem utilizados para coletar os dados.3.A análise desses dados: as relações, comparações que se estabelecerão a partir dos dados. As perguntas de avaliação sugerem um caminho.

Métodos de investigação – Estratégias de coleta de dados

Alguns exemplos de estratégias/instrumentos de coleta de dados. (Existem outras!)

Estratégias/ Instrumentos de coleta de dados

Usos e vantagens

Questionário estruturado. Auto aplicável ou aplicável por entrevistador treinado. Alternativas fechadas. Linguagem simples, clara, categorias com definição.

Levantamento de dados em grande quantidade, segmentação de análises por amostras, generalização. Permite tratamento estatístico. (dados quanti e/ou qualitativos)

Questionário semi-estruturado. Semelhante, mas com algumas opções de perguntas abertas.

Mesmo uso, com maior complexidade de análise, que deve envolver codificação das perguntas abertas (dados quanti e/ou quali)

Entrevistas semi-estruturadas. Entrevistas individuais com atores-chave, a partir de um roteiro de perguntas abertas

Análise de discurso, de conteúdo. Pode também passar por uma análise a partir de uma codificação. Normalmente utilizada para aprofundar assuntos, sentidos, etc. (dados qualitativos)

Grupo-focal: Discussão em grupo com o intuito de aprofundar um conteúdo a partir da interação entre as pessoas

Permite qualificar a compreensão de um assunto, produzir novos conteúdos sobre ele.(dados quali)

Métodos de investigação – Estratégias de coleta de dados

Estratégias/ Instrumentos de coleta de dados

Usos e Vantagens

Testes/ provas: Instrumentos padronizados para testar o nível de conhecimento do público em relação a um tema. (história, habilidades específicas como escrita, etc)

Permite padronização e comparação. Os critérios são comuns e não singulares. (dados quanti e/ou quali)

Observação com “check-lists”: Observação de uma situação a partir de uma lista de aspectos, os quais o observador deve marcar a presença ou não, ou ainda levantar informações sobre (p. ex. Observar um espaço físico e identificar estrutura considerada “suficiente”, observar uma situação em sala de aula e identificar aspectos específicos da interação professor-aluno, etc)

Permite padronização. É necessário treinar bem o observador antes e a elaboração da check-list deve ser cuidadosa, para não faltar elementos.Útil quando a observação precisa focar em fatores objetivos e é feita por mais de uma pessoa. (dados quali)

Observação participante: Observação a partir da vivência do observador junto com aquilo que ele quer observar. Ele integra a situação, a vivencia e extrai informações e sentidos a partir disso.

Permite a vivência em profundidade, extrair sentidos. A “separação” entre quem observa (“sujeito) e o que é observado (“objeto”) não se dá a priori. (dados quali)

Métodos de investigaçãoA partir dos critérios (perguntas, interlocutores e limite), o método de investigação definirá:

1.Os dados a serem produzidos: as menores unidades, os aspectos definidos como objeto de estudo.2.As estratégias para colher esses dados: as fontes de informações e os instrumentos a serem utilizados para coletar os dados.3.A análise desses dados: as relações, comparações que se estabelecerão a partir dos dados. As perguntas de avaliação sugerem um caminho.

Métodos de investigação - Análise

Como vimos, existem dados quanti e qualitativos...Assim como, existe análise qualitativa e quantitativa:

•Análise qualitativa: busca de elementos ilustrativos ou significativos de um fenômeno.

– Objetivo: compreensão, aprendizagem, interpretação.

•Análise quantitativa: busca de padrões que possam revelar “leis” de funcionamento de um fenômeno.

– Objetivo: prever e operar sobre o fenômeno.

Métodos de Investigação – Análise

AnáliseDado/ variável

Qualitativa Quantitativa

Qualitativa Análise qualitativa de dados qualitativos

Análise qualitativa de dados quantitativos

Quantitativa Análise quantitativa de dados qualitativos

Análise quantitativa de dados quantitativos

Métodos de Investigação – Análise

• Exemplo: Projeto que desenvolve atividades esportivas com jovens em busca de seu desenvolvimento integral.

• Umas das perguntas de avaliação construídas foi: Em que medida o projeto contribuiu para o desenvolvimento integral dos jovem?

- Um dos indicador escolhidos foi: autoestima dos jovens. - Mas como se manifesta e se mede a autoestima?- Podemos identificar a autoestima por meio de dados

quantitativos e qualitativos, e podemos ainda analisar esses dados de forma qualitativa e quantitativa.

Métodos de Investigação – Análise

AnáliseDado

Qualitativo Quantitativo

Qualitativa Análise de discurso de jovens em busca de descobertas ou da compreensão sobre sua “autoestima”.

Interpretação dos momentos de maior frequência de manifestações do aluno em aula.

Quantitativa Codificação e análise de frequência de certas categorias no discurso do jovem. P. ex: relatos de assertividade

- Média do número de vezes que cada jovem se manifestou em aula.- Correlação dessa média por idade, sexo.

ExemploUm projeto que forma jovens em Luteria, Teatro e outras ações culturais, com foco na valorização do território e da cultura local.

Uma biblioteca que trabalha com ações de programação cultural, mediação de leitura, etc

Obrigada!