A Avaliação da Aprendizagem em Educação à Distância.

99
São Paulo (9/02) S.C.S Porto (ITS-UMUC) 1 A Avaliação da Aprendizagem em Educação à Distância Dr. Stella C.S. Porto Graduate School – UMUC (IC/UFF)

description

A Avaliação da Aprendizagem em Educação à Distância. Dr. Stella C.S. Porto. Graduate School – UMUC. (IC/UFF) Disponibilizado originalmente no portal http://www.abed.org.br/congresso2002/minicursos/08/congresso/frame.htm Joao Jose Saraiva da Fonseca http://www.joaojosefonseca1.blogspot.com/

Transcript of A Avaliação da Aprendizagem em Educação à Distância.

Page 1: A Avaliação da Aprendizagem em Educação à Distância.

São Paulo (9/02) S.C.S Porto (ITS-UMUC) 1

A Avaliação da Aprendizagem em Educação à Distância

Dr. Stella C.S. PortoGraduate School – UMUC

(IC/UFF)

Page 2: A Avaliação da Aprendizagem em Educação à Distância.

São Paulo (9/02) S.C.S Porto (ITS-UMUC) 2

Agenda

• Apresentação• Parte 1: Discutindo o conceito de

avaliação• Parte 2: Planejamento e design da

avaliação• Parte 3: Métodos e estratégias• Parte 4: E na prática?

Page 3: A Avaliação da Aprendizagem em Educação à Distância.

São Paulo (9/02) S.C.S Porto (ITS-UMUC) 3

Apresentação

• Quem eu sou? / O que eu faço?• Quais os objetivos para esse minicurso?

– Tratar da questão da avaliação e suas especificidades em EAD

– relação da avaliação com o processo inteiro de planejamento da instrução

– estratégias diversas de avaliação– Foco na questões de avaliação online

Page 4: A Avaliação da Aprendizagem em Educação à Distância.

São Paulo (9/02) S.C.S Porto (ITS-UMUC) 4

Agenda: Parte 1

• Discutindo o conceito de avaliação– O que é avaliação? – Avaliação vs. Grau– Como se diferencia em EAD?– Por que avaliar? O que avaliar?– Aspectos críticos– A avaliação do eficácia do ensino

Page 5: A Avaliação da Aprendizagem em Educação à Distância.

São Paulo (9/02) S.C.S Porto (ITS-UMUC) 5

Agenda: Parte 2

• Planejamento e design da avaliação– O processo de design instrucional– A relação da avaliação com o design

instrucional– A relação da avaliação com os objetivos

Page 6: A Avaliação da Aprendizagem em Educação à Distância.

São Paulo (9/02) S.C.S Porto (ITS-UMUC) 6

Agenda: Parte 3

• Métodos e estratégias– Métodos existentes– Como se adaptam à EAD?– Quais os fatores que devem ser levados em

consideração na escolha do método?

Page 7: A Avaliação da Aprendizagem em Educação à Distância.

São Paulo (9/02) S.C.S Porto (ITS-UMUC) 7

Agenda: Parte 4

• E na prática?– Como se organizam os métodos hoje usados

no ambiente online– A UMUC como um estudo de caso

• A organização da UMUC• As escolas de graduação (SUS) e pós-graduação

(GS): dois esquemas de design instrucional e de avaliação

• A prática puramente online da GS/UMUC• As questões críticas, as questões em aberto…

Page 8: A Avaliação da Aprendizagem em Educação à Distância.

São Paulo (9/02) S.C.S Porto (ITS-UMUC) 8

“Goal Ranking & Matching”

1. Utilize o formulário para escrever 2-5 metas você espera alcançar – coisas especificas que você deseja aprender – participando desse seminário. Formulário

2. Na coluna do meio dê uma ordem d prioridade de acordo com sua importância relativa. O mais importante recebe número 1.

3. Olhando para as metas dadas no inicio do curso e escolha YES. Os que sobrarem escolha NO

4. Prepare-se para perguntar e fazer comentários sobre metas importantes que não tenham sido mencionadas inicialmente.

Page 9: A Avaliação da Aprendizagem em Educação à Distância.

São Paulo (9/02) S.C.S Porto (ITS-UMUC) 9

Discutindo o conceito de avaliação

• Atividade motivadora – Parte 1– Páre, pense e reflita

• O que é avaliação?• Qual é a relação da avaliação com o processo de

aprendizado?• Como vivencio o processo de avaliação?

Page 10: A Avaliação da Aprendizagem em Educação à Distância.

São Paulo (9/02) S.C.S Porto (ITS-UMUC) 10

Discutindo o conceito…• A avaliação é um

aspecto desafiador do processo de aprendizagem– é motivo de

ansiedade em alunos e instrutores

– O que você sente como aluno?

– O que você sente como professor?

Page 11: A Avaliação da Aprendizagem em Educação à Distância.

São Paulo (9/02) S.C.S Porto (ITS-UMUC) 11

Discutindo o conceito…

• Perguntas que permanecem…– Os trabalhos avaliados refletem de forma

válida o currículo?

Page 12: A Avaliação da Aprendizagem em Educação à Distância.

São Paulo (9/02) S.C.S Porto (ITS-UMUC) 12

Discutindo o conceito…

• Perguntas que permanecem…– Os trabalhos avaliados refletem de forma

válida o currículo?– Existe um sistema de avaliação e feedback

que seja igualitário e claro a todos?

Page 13: A Avaliação da Aprendizagem em Educação à Distância.

São Paulo (9/02) S.C.S Porto (ITS-UMUC) 13

Discutindo o conceito…

• Perguntas que permanecem…– Os trabalhos avaliados refletem de forma

válida o currículo?– Existe um sistema de avaliação e feedback

que seja igualitário e claro a todos?– Além do grau, a avaliação é genuinamente

significativa e útil aos alunos em seu crescimento acadêmico?

Page 14: A Avaliação da Aprendizagem em Educação à Distância.

São Paulo (9/02) S.C.S Porto (ITS-UMUC) 14

Discutindo o conceito…

• As estratégias de avaliação são importantes quando permitem que os alunos tenham “insights” sobre seu próprio processo educacional

Page 15: A Avaliação da Aprendizagem em Educação à Distância.

São Paulo (9/02) S.C.S Porto (ITS-UMUC) 15

Discutindo o conceito…

• A metodologia de avaliação deve ser capaz de informar a alunos e profs sobre a qualidade da experiência educacional

Page 16: A Avaliação da Aprendizagem em Educação à Distância.

São Paulo (9/02) S.C.S Porto (ITS-UMUC) 16

Discutindo o conceito…

• Logo, a visão holística da avaliação a enxerga como parte VITAL do processo de ensino-aprendizado

Page 17: A Avaliação da Aprendizagem em Educação à Distância.

São Paulo (9/02) S.C.S Porto (ITS-UMUC) 17

Discutindo o conceito…

• O aluno adulto deve ser avaliado de tal forma a que perceba seus pontos fracos e fortes, e que os primeiros possam ser corrigidos durante e APÓS o curso

Page 18: A Avaliação da Aprendizagem em Educação à Distância.

São Paulo (9/02) S.C.S Porto (ITS-UMUC) 18

Discutindo o conceito…

• O aluno precisa de informação sobre a qualidade do seu trabalho

• O aluno precisa de sugestões construtivas de como melhorar seu desempenho

Page 19: A Avaliação da Aprendizagem em Educação à Distância.

São Paulo (9/02) S.C.S Porto (ITS-UMUC) 19

Discutindo o conceito…

• É preciso que a avaliação se dê através de vários recursos, para que a visão do processo de aprendizado seja mais completa

Page 20: A Avaliação da Aprendizagem em Educação à Distância.

São Paulo (9/02) S.C.S Porto (ITS-UMUC) 20

Discutindo o conceito…

• O objetivo maior então deve ser:

Prover informação necessária para a melhoria de experiências

educacionais futuras

Page 21: A Avaliação da Aprendizagem em Educação à Distância.

São Paulo (9/02) S.C.S Porto (ITS-UMUC) 21

Discutindo o conceito…

• Em que nivel do aprendizado estamos avaliando os alunos?– Os 4 níveis de avaliação de Kirkpatrick…

Page 22: A Avaliação da Aprendizagem em Educação à Distância.

São Paulo (9/02) S.C.S Porto (ITS-UMUC) 22

Discutindo o conceito…Niveis de Kirkpatrick

• A avaliação deve ir subindo de nivel

• Cada nivel serve de base para o superior

• A cada nivel tem-se uma medida mais precisa da eficácia da instrução

Page 23: A Avaliação da Aprendizagem em Educação à Distância.

São Paulo (9/02) S.C.S Porto (ITS-UMUC) 23

Discutindo o conceito…Niveis de Kirkpatrick

• Reações– Você gostou? O

material é relevante para o seu trabalho?

– Uma reação negativa pode comprometer todo o processo de aprendizado

Page 24: A Avaliação da Aprendizagem em Educação à Distância.

São Paulo (9/02) S.C.S Porto (ITS-UMUC) 24

Discutindo o conceito…Niveis de Kirkpatrick

• Cognitivo (aprendizado)– Determinar a

extensão em que o aluno desenvolveu suas habilidades, conhecimentos ou atitudes

– Pré-teste e pós-teste são especialmente úteis

Page 25: A Avaliação da Aprendizagem em Educação à Distância.

São Paulo (9/02) S.C.S Porto (ITS-UMUC) 25

Discutindo o conceito…Niveis de Kirkpatrick

• Comportamento (transferência)– Mede a

transferência que ocorre no comportamento devido ao curso (ou programa)

– Mede o nivel de aplicação dos conhecimentos adquiridos

Page 26: A Avaliação da Aprendizagem em Educação à Distância.

São Paulo (9/02) S.C.S Porto (ITS-UMUC) 26

Discutindo o conceito…Niveis de Kirkpatrick

• Institucional (Resultados)– Medida de sucesso

através de efeitos institucionais

– Aumento de produção, redução de acidentes

– Esses resultados são o maior motivo para realização de treinamento

Page 27: A Avaliação da Aprendizagem em Educação à Distância.

São Paulo (9/02) S.C.S Porto (ITS-UMUC) 27

Discutindo o conceito…

• Grau vs. Avaliação– São diferentes? Como?– A seguir tabela fornecida pela Southern

Illinois University Edwardsville (http://www.siue.edu/~deder/assess/cats/gradesv.html)

Page 28: A Avaliação da Aprendizagem em Educação à Distância.

São Paulo (9/02) S.C.S Porto (ITS-UMUC) 28

Assessment Grades

Formative Summative

Diagnostic Final

Non-Judgmental Evaluative

Private Administrative

Often Anonymous Identified

Partial Integrative

Specific Holistic

Mainly Subtext (skills and capabilities)

Text(content)

Suggestive Rigorous

Usually Goal-oriented Usually Content-Driven

Page 29: A Avaliação da Aprendizagem em Educação à Distância.

São Paulo (9/02) S.C.S Porto (ITS-UMUC) 29

Discutindo o conceito…

• Até que ponto a avaliação se confunde com o grau?

• Por que?• Se temos que medir (e

consequentemente dar grau), como podemos fazê-lo mantendo os principios que devem reger o processo de avaliação?

Page 30: A Avaliação da Aprendizagem em Educação à Distância.

São Paulo (9/02) S.C.S Porto (ITS-UMUC) 30

Discutindo o conceito…

Avaliação do aprendizado

Avaliação do ensino

Page 31: A Avaliação da Aprendizagem em Educação à Distância.

São Paulo (9/02) S.C.S Porto (ITS-UMUC) 31

Discutindo o conceito…

• O caminho inverso da avaliação– Avaliar a eficiência e

a eficácia das estratégias de ensino e currículo

– Logo os resultado de boas estratégias de avaliação contém informação para alunos, profs, e administradores

Page 32: A Avaliação da Aprendizagem em Educação à Distância.

São Paulo (9/02) S.C.S Porto (ITS-UMUC) 32

Discutindo o conceito…Avaliação à distância

“A key challenge to the authenticity of learning

that takes place at a distance has been the

demand for DUPLICATION of classroom testing.”

EditorEd at a Distance, Jan. 2000

Page 33: A Avaliação da Aprendizagem em Educação à Distância.

São Paulo (9/02) S.C.S Porto (ITS-UMUC) 33

Discutindo o conceito…

• O ambiente à distância cria desafios específicos em relação à avaliação do aluno– instrutores não tem os

indicadores informais visuais e verbais que podem ser tão úteis

– muitos dos métodos de avaliação que requerem a presença dos alunos não são possíveis

Page 34: A Avaliação da Aprendizagem em Educação à Distância.

São Paulo (9/02) S.C.S Porto (ITS-UMUC) 34

Discutindo o conceito…• O ambiente online (por

exemplo) promove outros tipos de aprendizados ao aluno: – sobre a própria

tecnologia empregada– sobre seu próprio

processo de aprendizado

– sobre si mesmo

• A avaliação deve incluir esses aspectos

Page 35: A Avaliação da Aprendizagem em Educação à Distância.

São Paulo (9/02) S.C.S Porto (ITS-UMUC) 35

Discutindo o conceito…

• Papel do instrutor online– É um papel dinâmico– Requer pessoas capazes de criar um

ambiente virtual que propicie e encorage o aprendizado individual e colaborativo

Page 36: A Avaliação da Aprendizagem em Educação à Distância.

São Paulo (9/02) S.C.S Porto (ITS-UMUC) 36

Discutindo o conceito…

• Atividade de conclusão – Parte 1:– Em grupo: proponha algumas atividades de

avaliação do aprendizado dos Niveis de avaliação de Kirkpatrick, usando para isso os próprios níveis propostos por Kirkpatrick

Page 37: A Avaliação da Aprendizagem em Educação à Distância.

São Paulo (9/02) S.C.S Porto (ITS-UMUC) 37

Parte 2: Planejamento e design da avaliação

• Atividade motivadora – Parte 2– Páre, pense e reflita: Qual a ordem de design

que você usaria na elaboração de um curso?• Objetivos – instrução – avaliação• Objetivos – avaliação – instrução • Avaliação – Objetivos – instrução• Avaliação – instrução – objetivos • Instrução – objetivos – avaliação • Instrução – avaliação – objetivos

– Por que?– Discuta em grupo

ISD: Instructional Systems Design

ISD: Instructional Systems Design

Page 38: A Avaliação da Aprendizagem em Educação à Distância.

São Paulo (9/02) S.C.S Porto (ITS-UMUC) 38

Planejamento e design…

• O processo de ISD

• O modelo ADDIE– Análise– Design– Desenvolviment

o– Implementação– Avaliação

Análise

Design

Avaliação

Desenvolvimento

Implementação

Page 39: A Avaliação da Aprendizagem em Educação à Distância.

São Paulo (9/02) S.C.S Porto (ITS-UMUC) 39

Planejamento e design…

• A avaliação do aprendizado é de fato determinada durante a fase de design– Nesta fase acontece

determinação de objetivos, construção da instrução e definição da avaliação

Page 40: A Avaliação da Aprendizagem em Educação à Distância.

São Paulo (9/02) S.C.S Porto (ITS-UMUC) 40

Planejamento e design…

• Existe assim uma relação fortissima entre avaliação e objetivos– Determinar se

objetivos foram alcançados e em que grau

Page 41: A Avaliação da Aprendizagem em Educação à Distância.

São Paulo (9/02) S.C.S Porto (ITS-UMUC) 41

Planejamento e design…

• Descrição de objetivos é determinante sobre a avaliação

• Como construir objetivos?– Enfoque

behaviorista– Enfoque

construtivista, etc.

Page 42: A Avaliação da Aprendizagem em Educação à Distância.

São Paulo (9/02) S.C.S Porto (ITS-UMUC) 42

Planejamento e design…

• A relação da avaliação com os objetivos• Teaching Goals Inventory (Angelo &

Cross, 1993)– Auto-avaliação para professores

• Profs se tornam atentos às metas e objetivos a serem alcançados

• Profs se tornam mais capazes de descobrir qual a estratégia a ser usada para avaliar a aprendizagem

• Proporciona tema de discussão entre profs

Page 43: A Avaliação da Aprendizagem em Educação à Distância.

São Paulo (9/02) S.C.S Porto (ITS-UMUC) 43

Planejamento e design…

• Teaching Goals Inventory (Angelo & Cross, 1993)http://www.siue.edu/~deder/assess/cats/tchgoals.html

Page 44: A Avaliação da Aprendizagem em Educação à Distância.

São Paulo (9/02) S.C.S Porto (ITS-UMUC) 44

Métodos e estratégias• A literatura indica a

importância do uso de diversas formas de avaliação– formas qualitativas e

quantitativas

• Recomenda-se a individualização da avaliação, mesmo em atividades de grupo

Page 45: A Avaliação da Aprendizagem em Educação à Distância.

São Paulo (9/02) S.C.S Porto (ITS-UMUC) 45

Métodos e estratégias• O feedback dado aos alunos deve

focalizar os comportamentos ao invés das personalidades

Page 46: A Avaliação da Aprendizagem em Educação à Distância.

São Paulo (9/02) S.C.S Porto (ITS-UMUC) 46

Métodos e estratégias• Logo, deve…

– Ser orientado às necessidades de informação dos alunos

– Ser direcionado aos comportamentos que podem ser modificados…

Page 47: A Avaliação da Aprendizagem em Educação à Distância.

São Paulo (9/02) S.C.S Porto (ITS-UMUC) 47

Métodos e estratégias• Logo, deve…

– Fazer com que os alunos sintam que eles são donos desse feedback

– Ser claro, acurado e dado em tempo apropriado

– Fazer parte de um relacionamento continuado entre instrutor e aluno

Page 48: A Avaliação da Aprendizagem em Educação à Distância.

São Paulo (9/02) S.C.S Porto (ITS-UMUC) 48

Métodos e estratégias

• Muito provavelmente, a boa prática na avaliação é constante através das diferentes modalidades de ensino– No entanto, outros métodos com

tecnologias alternativas podem em muitos casos gerarem uma maior eficiência do feedback

• Em educação online, a identificação do aluno é mais individualizada

• O que significa isso?

Page 49: A Avaliação da Aprendizagem em Educação à Distância.

São Paulo (9/02) S.C.S Porto (ITS-UMUC) 49

Métodos e estratégias

• Importante para a população adulta– Os alunos devem se

tornar auto-direcionados em seus planos e atividades de aprendizado

– Reconhecer os talentos e as necessidades dos alunos

• O aluno precisa ser reconhecido como autônomo– Diferentes graus de

indepedência em seus hábitos de estudo

– Relevância na avaliação de seus trabalhos

O enfoque centrado no aluno

Page 50: A Avaliação da Aprendizagem em Educação à Distância.

São Paulo (9/02) S.C.S Porto (ITS-UMUC) 50

Métodos e estratégias

• No modelo centrado no aluno– O prof deve enxergar os alunos como seus

parceiros que trabalham na produção de experiências educacionais relevantes

– O prof agora passa a ter múltiplas funções:• Pesquisadores das percepções do aluno• Designers de estratégias de avaliação multifacetadas• Gerentes de processos de avaliação• Consultores que auxiliam o aluno na interpretação da

informação rica que advem do processo de aprendizado

Page 51: A Avaliação da Aprendizagem em Educação à Distância.

São Paulo (9/02) S.C.S Porto (ITS-UMUC) 51

Métodos e estratégias

• Características do processo de aprendizado centrado no aluno– Alunos estão envolvidos ATIVAMENTE e

recebem feedback– Alunos aplicam conhecimentos a questões e

problemas permanentes e emergentes– Alunos integram o conhecimento baseado

na disciplina em questão, desenvolvendo habilidades genéricas

Page 52: A Avaliação da Aprendizagem em Educação à Distância.

São Paulo (9/02) S.C.S Porto (ITS-UMUC) 52

Métodos e estratégias

• Características do processo de aprendizado centrado no aluno– Potencial crescente de reconhecer a

qualidade do trabalho– Alunos tornam-se cada vez mais

sofisticados como alunos e conhecedores do conteúdo

– Instrutores mesclam ensino com avaliação– O aprendizado é interpessoal, e todos os

alunos e profs são respeitados e valorizados

Page 53: A Avaliação da Aprendizagem em Educação à Distância.

São Paulo (9/02) S.C.S Porto (ITS-UMUC) 53

Métodos e estratégias

• As práticas e a filosofia de avaliação deve confirmar que alunos adultos variam em suas necessidades– Devido às experiências anteriores e

educação prévia• Implicação séria para programas com alcance

internacional

• Logo, o ensino precisa ser mais individualizado, e deve oferecer conexão com suas vidas pessoais e profissionais

Page 54: A Avaliação da Aprendizagem em Educação à Distância.

São Paulo (9/02) S.C.S Porto (ITS-UMUC) 54

Métodos e estratégias

• A avaliação deve fazer uma ponte entre o conhecimento acadêmico, habilidades (skills) e experiências de sala de aula com trabalho diário do aluno

• Métodos alternativos tem sido estudados em função da insatisfação com métodos tradicionais…

Page 55: A Avaliação da Aprendizagem em Educação à Distância.

São Paulo (9/02) S.C.S Porto (ITS-UMUC) 55

Métodos e estratégias

• Instrutores mais tradicionais tendem a valorizar instrumentos em número menor e de caráter mais formal

• Instrutores com métodos alternativos utilizam uma variedade maior de atividades de avaliação como:– Portfolios, apresentações em ppt, revisão de

livros, entrevistas, etc.

Page 56: A Avaliação da Aprendizagem em Educação à Distância.

São Paulo (9/02) S.C.S Porto (ITS-UMUC) 56

Métodos e estratégias

• Avaliação com métodos alternativos– Alunos devem ter diversas oportunidades

de demonstrar suas habilidades de:• Pensamento crítico, conhecimento de maior

profundidade, conectar o conhecimento à atividades do dia-a-dia

– Desenvolver o diálogo mais profundo sobre o material do curso e promover atividades de aprendizado individuais ou em grupo

– O prof será capaz de identificar características dos alunos, incluindo seus estilos de aprendizado

Page 57: A Avaliação da Aprendizagem em Educação à Distância.

São Paulo (9/02) S.C.S Porto (ITS-UMUC) 57

Métodos e estratégias

• Avaliação com métodos alternativos (cont.)– Esses métodos em geral requerem um maior

tempo de desenvolvimento e integração dos mesmos ao currículo

• É preciso que exista um plano prático que alivie essa carga de notas+feedback através da limitação do número e do tamanho dos projetos a serem usados na avaliação

– Alunos se tornam criadores de conhecimento– Em geral várias respostas são possíveis

Page 58: A Avaliação da Aprendizagem em Educação à Distância.

São Paulo (9/02) S.C.S Porto (ITS-UMUC) 58

Métodos e estratégias

• Os critérios usados na avaliação precisam ser apresentados de forma clara para evitar falsas expectativas

• Para tanto, o uso da Rúbrica no processo de dar grau deve ser usada– Grading Rubric ou Grading Standards

• Expectativas altas são importantes e devem ser públicas– O conto da “baleia assassina”

Page 59: A Avaliação da Aprendizagem em Educação à Distância.

São Paulo (9/02) S.C.S Porto (ITS-UMUC) 59

Métodos e estratégias

• “Goal Ranking & Matching” (Angelo & Cross, 1993)– Projetado para tornar metas e objetivos

mais claros e visiveis ao próprio aluno• O instrutor pode então adaptar se possivel o

curso a estas expectativas• O instrutor pode esclarecer quais dessas

expectativas não poderão ser atendidas• O instrutor pode ajudar o aluno a alcançar seus

objetivos particulares

EXEMPLOS

Page 60: A Avaliação da Aprendizagem em Educação à Distância.

São Paulo (9/02) S.C.S Porto (ITS-UMUC) 60

Métodos e estratégias

• Utilização de avaliação anônima– interessante porque desvincula do grau e faz

com que o aluno se torne proprietário do próprio "feedback"

– o aluno se torna mais responsável pelo processo de aprendizado

• Como implementar tal esquema em EAD?– Isso é desejado em EAD?– O que se ganha, o que se perde?

EXEMPLOS

Page 61: A Avaliação da Aprendizagem em Educação à Distância.

São Paulo (9/02) S.C.S Porto (ITS-UMUC) 61

Métodos e estratégias

• “Directed Paraphrasing” (Angelo & Cross, 1993)– O aluno deve resumir através de palavras-

chaves o que foi apresentado durante uma aula ou aula passada

– O aluno precisa assim encontrar uma NOVA forma de expressar um conceito

– Público é determinado: paráfrase é direcionada

– O desafio é: BREVIDADE + ESCOLHA DA LINGUAGEM

EXEMPLOS

Page 62: A Avaliação da Aprendizagem em Educação à Distância.

São Paulo (9/02) S.C.S Porto (ITS-UMUC) 62

Métodos e estratégias

• “Directed Paraphrasing” (Angelo & Cross, 1993)– O aluno deve resumir através de palavras-

chaves o que foi apresentado durante uma aula ou aula passada

– O aluno precisa assim encontrar uma NOVA forma de expressar um conceito

– Público é determinado: paráfrase é direcionada

– O desafio é: BREVIDADE + ESCOLHA DA LINGUAGEM

Se adapta a EAD?

Page 63: A Avaliação da Aprendizagem em Educação à Distância.

São Paulo (9/02) S.C.S Porto (ITS-UMUC) 63

Métodos e estratégias

• “Muddiest point” (Angelo & Cross, 1993)– Escreva aquilo que você achou menos claro.

• Este é um exercicio interessante e potencialmente integrativo, porque requer que alunos primeiro deem grau ao seu conhecimento sobre diversos conteúdos e segundo porque faz com que o aluno por um momento reflita sobre por que algum tópico deveria ser selecionado como o menos entendido

• Deve ser usado com parcimonia, porque existe subliminar uma tendência a enfatizar o negativo.

EXEMPLOS

Page 64: A Avaliação da Aprendizagem em Educação à Distância.

São Paulo (9/02) S.C.S Porto (ITS-UMUC) 64

Métodos e estratégias

• “Minute Paper” (Angelo & Cross, 1993)– Muito comum– Oferece feedback rápido sobre se as idéias

principais estão sendo percebidas pelos alunos

– Além disso, o aluno deve também fazer perguntas ao final, tornando a tarefa integrativa

– é preciso organizar o pensamento e decidir sobre a questão significativaExemplo

EXEMPLOS

Page 65: A Avaliação da Aprendizagem em Educação à Distância.

São Paulo (9/02) S.C.S Porto (ITS-UMUC) 65

Métodos e estratégias

• Auto-avaliação (Angelo & Cross, 1993)– São oferecidos 2 ou mais trechos de auto-

avaliação relacionados a posturas em relação a aspectos especificos. (Exemplo)

• O aluno escolhe dentre os trechos aquele que se adequa melhor a sua própria postura e pensamento

• Escolhe também, por exemplo, qual o tipo de personalidade que melhor se adequa a determinadas situações

• Escolhe, por exemplo, aquela personalidade que ele próprio preferia se relacionar

EXEMPLOS

Page 66: A Avaliação da Aprendizagem em Educação à Distância.

São Paulo (9/02) S.C.S Porto (ITS-UMUC) 66

Métodos e estratégias

• Auto-avaliação– O aluno pode se confrontar com atitudes e

posturas pessoais, de maneira privada• Algumas delas podem ser empecilhos ao

aprendizado

– O ideal é oferecer ao aluno pontos de vistas controvertidos

– Só podem ser usados como AUTO-avaliação• O professor deve reconhecer possiveis obstáculos

ao aprendizado e formulá-los• Recolher as respostas e propor formas de superar

esses obstáculos.

EXEMPLOS

Page 67: A Avaliação da Aprendizagem em Educação à Distância.

São Paulo (9/02) S.C.S Porto (ITS-UMUC) 67

Métodos e estratégias

• Self-confidence survey (Angelo & Cross, 1993)– Utilizado para identificar áreas onde os alunos

sentem-se confortáveis ou disconfortáveis– Reflete o reconhecimento da competência do

aluno por ele mesmo– Fácil de elaborar, mas a forma de agir de

acordo com os resultados pode ser mais complexa.

– Exemplo de formulário

EXEMPLOS

Page 68: A Avaliação da Aprendizagem em Educação à Distância.

São Paulo (9/02) S.C.S Porto (ITS-UMUC) 68

Métodos e estratégias

• Characteristic features (Angelo & Cross, 1993)– Lista de traços que ajudam a definir um

tópico e diferenciá-lo de outros– Permite perceber se o aluno é capaz de

separar elementos e idéias que podem ser confundidos

– Muito útil em turmas grandes.– Exemplo

EXEMPLOS

Page 69: A Avaliação da Aprendizagem em Educação à Distância.

São Paulo (9/02) S.C.S Porto (ITS-UMUC) 69

Métodos e estratégias

• Background Knowledge Probe (Angelo & Cross, 1993)– A melhor forma de prever o aprendizado de

um aluno é saber o quanto ele já sabe antes de começar a instrução

• Os alunos trazem consigo muitos conhecimentos já internalizados, incluindo preconceitos e idéias pré-concebidas.

– O conhecimento novo em geral cola-se no conhecimento pré-existente. (Exemplo)

EXEMPLOS

Page 70: A Avaliação da Aprendizagem em Educação à Distância.

São Paulo (9/02) S.C.S Porto (ITS-UMUC) 70

Métodos e estratégias

• Transfer & Apply (Angelo & Cross, 1993)– Forma intencional de fazer com que

participantes reconheçam idéias que tenham aprendido e que conscientemente transfiram estas para aplicações em seu próprio ambiente.

– Exemplo

EXEMPLOS

Page 71: A Avaliação da Aprendizagem em Educação à Distância.

São Paulo (9/02) S.C.S Porto (ITS-UMUC) 71

Métodos e estratégias

• Trabalho de grupo– Tamanho do grupo– Objetivo preciso, conhecido e relevante ao

aprendizado– Acompanhento ao longo do processo– Avaliação inter-participantes– Componente individual de tarefas (com grau

individualizado)– Estruturação inicial: construindo a confiança

Page 72: A Avaliação da Aprendizagem em Educação à Distância.

São Paulo (9/02) S.C.S Porto (ITS-UMUC) 72

Métodos e estratégias• Participação

– Dar grau ou não?– Importante determinar o se

considera como participação– Importante determinar como a

participação será avaliada• Usar Participation Rubric

– Prover feedback ao longo do curso especificamente sobre participação

• Feedback construtivo, convidando o aluno

Page 73: A Avaliação da Aprendizagem em Educação à Distância.

São Paulo (9/02) S.C.S Porto (ITS-UMUC) 73

Métodos e estratégias

• “Peer evaluation”– Efetivo no ambiente online– Tem que ser feito de forma

cuidadosa• Pode ser anônimo• Em pares

– É preciso criar um clima de confiança

– A avaliação deve ser entendida claramente como um processo construtivo que faz parte da aprendizagem, desligada do grau

Page 74: A Avaliação da Aprendizagem em Educação à Distância.

São Paulo (9/02) S.C.S Porto (ITS-UMUC) 74

Métodos e estratégias

• “Learning about the ways we learn is an important outcome of the online environment.” – Isso se relaciona apenas ao ambiente online

(ou a distância)?

• Instrutores podem reforçar o aspecto de meta-aprendizado, reforçando o poder que o aluno deve adquirir sobre seu próprio processo

Page 75: A Avaliação da Aprendizagem em Educação à Distância.

São Paulo (9/02) S.C.S Porto (ITS-UMUC) 75

Métodos e estratégias

• O que está acontecendo online?

Page 76: A Avaliação da Aprendizagem em Educação à Distância.

São Paulo (9/02) S.C.S Porto (ITS-UMUC) 76

Métodos e estratégias

• Exames tradicionais • Trabalhos individuais e de grupo para

nível de domínio do conteúdo• Atividades de nível alto (i.e. estudo de

casos, entrevistas, discussões, artigos, propostas de pesquisa…)

• Atividades criativas (palavras-cruzadas online, avaliação e desenvolvimento de web-page, …)

métodos usados online (assincrono)

Page 77: A Avaliação da Aprendizagem em Educação à Distância.

São Paulo (9/02) S.C.S Porto (ITS-UMUC) 77

Métodos e estratégias

• Nenhuma diferença no geral

• Avaliação via web permite feedback mais eficiente e detalhado

• Aprendizado via web permite maior individualização na avaliação do trabalho do aluno

• Aprendizado via web encoraja maior participação e engajamento do aluno

• Sala de aula tradicional dá mais facilidade ao instrutor em inferir sobre o entendimento do material pelo aluno”” (será??)

Comparando avaliação online e tradicional

Page 78: A Avaliação da Aprendizagem em Educação à Distância.

São Paulo (9/02) S.C.S Porto (ITS-UMUC) 78

Métodos e estratégias

• Maior eficiência no feeback de tarefa

• Feedback individual mais detalhado

• Conveniência da comunicação entre instrutor e aluno

• Área de conferência estimula troca efetiva entre alunos em grupo

• Tempo adicional para alunos processarem o aprendizado e completarem trabalho.

• Maior oportunidade para alunos desenvolverem habilidades diversas

O que está funcionando na avaliação online

Page 79: A Avaliação da Aprendizagem em Educação à Distância.

São Paulo (9/02) S.C.S Porto (ITS-UMUC) 79

Métodos e estratégias

• Menor percepção do aluno sobre carga de trabalho

• Falta de auto-conhecimento do aluno sobre seu tipo de aprendizado e casamento apropriado com a aula online

• Problemas tecnológicos• Deficiências dos alunos

em escrita• Se e-mail é utilizado,

pode se tornar um gargalo

• Falta de apoio financeiro para pessoal de suporte no processo de avaliação

O que não está funcionado na avaliação online

Page 80: A Avaliação da Aprendizagem em Educação à Distância.

São Paulo (9/02) S.C.S Porto (ITS-UMUC) 80

Métodos e estratégias

• Desejos de um instrutor para avaliação online…– Maior suporte e acesso tecnológico para

alunos e instrutores– Melhores procedimento de avaliação

baseados em tecnologia (p. ex. Um “gradebook online”)

– Maior confiaça e uso por parte dos alunos nas áreas de trabalho comuns (evitando o e-mail)

Page 81: A Avaliação da Aprendizagem em Educação à Distância.

São Paulo (9/02) S.C.S Porto (ITS-UMUC) 81

Métodos e estratégias• Desejos de um instrutor para

avaliação online…– Maior entendimento por parte dos alunos de

tempos razoáveis para feedback de trabalhos– Maior suporte administrativo

• relativo a tamanho máximo de salas de aula e de pessoal de suporte à avaliação

– Maior uso de “peer mentoring”, e suporte às questões enfrentadas por instrutores online

– Incorporação de teorias de aprendizado de adultos mais corrente e novas práticas de ensino

Page 82: A Avaliação da Aprendizagem em Educação à Distância.

São Paulo (9/02) S.C.S Porto (ITS-UMUC) 82

Métodos e estratégias

• Algumas conclusões sobre avaliação online:– A maior parte dos procedimentos de avaliação

de aulas ao vivo podem ser adaptadas ao ambiente online

– O ambiente online tem permitido cada vez mais o uso de múltiplos procedimentos de avaliação criativos

– A avaliação baseada em Web é caracterizada pela eficiência, individualizada e detalhada em curto espaço de tempo

Page 83: A Avaliação da Aprendizagem em Educação à Distância.

São Paulo (9/02) S.C.S Porto (ITS-UMUC) 83

Métodos e estratégias

• Algumas conclusões sobre avaliação online:– Suporte preparatório adequado deve ser

dado aos alunos e instrutores online, de tal maneira a garantir o sucesso da sala de aula baseada em Web

– De muitas formas, as questões ligadas à boa prática de ensino e avaliação transcendem o formato utilizado (f2f ou online)

Page 84: A Avaliação da Aprendizagem em Educação à Distância.

São Paulo (9/02) S.C.S Porto (ITS-UMUC) 84

Métodos e estratégias

• Atividade de conclusão – Parte 3:– Retome as suas notas do início sobre a

avaliação na sua prática educacional– Tente projetar recomendações para tornar

essa prática mais válida– Avalie aquilo que no momento é utopia e

aquilo que de fato pode ser feito imediatamente

– Procure traçar diretrizes bem simples para levar suas novas conclusões sobre o tema para a sua prática

Page 85: A Avaliação da Aprendizagem em Educação à Distância.

São Paulo (9/02) S.C.S Porto (ITS-UMUC) 85

Parte 4: E na prática?

Page 86: A Avaliação da Aprendizagem em Educação à Distância.

São Paulo (9/02) S.C.S Porto (ITS-UMUC) 86

E na prática?

Page 87: A Avaliação da Aprendizagem em Educação à Distância.

São Paulo (9/02) S.C.S Porto (ITS-UMUC) 87

E na prática?

• Não existe uma melhor forma de avaliar o progresso do aluno

• O elemento mais importante em utilizar métodos tradicionais ou alternativos na avaliação de EAD talvez seja garantir que a ferramenta escolhida se ajuste ao modo em que é feita a instrução

• Dois grupos: sincronos e assincronos

Page 88: A Avaliação da Aprendizagem em Educação à Distância.

São Paulo (9/02) S.C.S Porto (ITS-UMUC) 88

E na prática?• Métodos sincronos (1)

– Prof. e aluno interagem em tempo-real durante a avaliação

– EAD: geralmente centrados no aluno e utilizam instrução baseada em competências

• Se adequam ao uso de avaliação referenciada por critérios (criterion-referenced assessment)

• Definição: aquela quer interpreta a pontuação do aluno através da descrição de como este é capaz de realizar tarefas num dado dominio

Page 89: A Avaliação da Aprendizagem em Educação à Distância.

São Paulo (9/02) S.C.S Porto (ITS-UMUC) 89

E na prática?• Métodos sincronos (2)

– Ferramentas de conferência em tempo real• Exemplos: Entrevistas usando Netmeeting ou

telefone; tecnologias de video podem permitir que o aluno seja visto fazendo o teste.

– Legitimização da avaliação em EAD• Fator determinante no processo de “accreditation” • Em muitos casos, isto é alcançado de forma mais

direta: exames f2f em centros pré-determinados (“proctored exams”)

– Trabalho em grupo• Ferramentas de chat permitem interação sincrona

Page 90: A Avaliação da Aprendizagem em Educação à Distância.

São Paulo (9/02) S.C.S Porto (ITS-UMUC) 90

E na prática?

• Métodos assincronos– Avaliação pode tomar diferentes formas: de

exames até portifolios• Uso de interação assincrona, e muitas formas de

tarefas escritas• Alguns desses métodos podem gerar muita

subjetividade no momento de dar grau

Page 91: A Avaliação da Aprendizagem em Educação à Distância.

São Paulo (9/02) S.C.S Porto (ITS-UMUC) 91

E na prática?• O dominio cognitivo é mais

frequentemente avaliado em EAD• A avaliação do dominio afetivo lida com

variáveis como atitudes, interesses e valores– Por isso a maior complexidade em avaliá-lo de

forma efetiva– Mas isso não se torna pior em EAD, pelo

contrário, pode até aumentar a validade dos resultados

• O dominio psicomotor é ainda o mais dificil de ser avaliado num ambiente de EAD

Page 92: A Avaliação da Aprendizagem em Educação à Distância.

São Paulo (9/02) S.C.S Porto (ITS-UMUC) 92

E na prática?

• Desafios– Grau vs. Avaliação (estrutura

de graus determinada pela instituição)

– Trabalho colaborativo– Participação– Heterogeneidade /

Diversidade– As demandas do aluno adulto– Desenvolvimento de cursos

que atendam à demanda, às restrições de custo, às mudanças de tecnologia, às mudanças de contexto, sejam criativos, sejam flexiveis, etc.

Page 93: A Avaliação da Aprendizagem em Educação à Distância.

São Paulo (9/02) S.C.S Porto (ITS-UMUC) 93

“Why do we insist on measuring it with a

micrometer when we mark it with chalk and

cut it with an axe?”Peter Ewell

MAXIM

AS

Page 94: A Avaliação da Aprendizagem em Educação à Distância.

São Paulo (9/02) S.C.S Porto (ITS-UMUC) 94

“Why teach to testing when it is so productive to teach to learning?”

Guy Bensusan

MAXIM

AS

Page 95: A Avaliação da Aprendizagem em Educação à Distância.

São Paulo (9/02) S.C.S Porto (ITS-UMUC) 95

“As the question about what is wrong with tests to the learners/students in YOUR courses – and

let them post ANONYMOUS answers.”

Guy Bensusan

MAXIM

AS

Page 96: A Avaliação da Aprendizagem em Educação à Distância.

São Paulo (9/02) S.C.S Porto (ITS-UMUC) 96

Qual foi o ponto mais importante para você

desse mini-curso?

Qual foi o aspecto mais confuso?

Page 97: A Avaliação da Aprendizagem em Educação à Distância.

São Paulo (9/02) S.C.S Porto (ITS-UMUC) 97

Referências

• M. Dereshiwsky (2001), ‘A’ is for Assessment: Identifying Online Assessment Practices and Perceptions, Ed at a Distance Magazine and Ed Journal, Vol. 15, No.1 (http://www.usdla.org/html/journal/Jan01_Issue/article02.html)

• T.A. Angelo & K.P. Cross (1993), “Classroom Assessment Techniques”, 2nd ed. San Francisco: Jossey-Bass

• Palloff & Pratt (1999), “Building Learning Communities”, Jossey-Bass

• M. Moore & G. Kearskely (1996), “Distance Education: A Systems View”, Wadsworth.

• J. Morley (2000), “Methods of Assessing Learning in Distance Education Courses”, ed at a distance, Vol. 13 no.1

• Classroom Assessment from Southern Illinois University Edwardsville, http://www.siue.edu/~deder/assess/cats

Page 98: A Avaliação da Aprendizagem em Educação à Distância.

São Paulo (9/02) S.C.S Porto (ITS-UMUC) 98

Referências

• UMUC site, http://www.umuc.edu• T.A. Angelo (1999), “Doing Assessment as if Learning

Matters Most”, AAHEBulletin, May• G. Bensusan (2000), “Subject:What’s Wrong with Tests?”,

Ed at a distance• J. Kemp (2000), “Instructional Design for Distance

Education”, Ed at a distance, Vol. 14 No. 10• “Distance Education at a Glance”, Engineering Outreach –

College of Engineering University of Idaho, http://www.uidaho.edu/evo/dist3.html

• “ae is assessment and evaluation”, Maricopa Center for Learning & Instruction, http://www.mcli.dist.maricopa.edu/ae0/

Page 99: A Avaliação da Aprendizagem em Educação à Distância.

São Paulo (9/02) S.C.S Porto (ITS-UMUC) 99

Referências

• L. Suskie (2000), “Fair Assessment Practices”, AAHEBulletin, May.

• “Classroom Assessment”, Center for Excellence in Learning & Teaching, http://cstl.syr.edu/cstl/t-l/cls_asmt.htm

• M.D. Roblyer & L. Ekhaml, “How Interactive are YOUR Distance Courses? A Rubric for Assessing Interaction in Distance Learning”, http://www.westga.edu/~distance/roblyer32.html