Abordagens para uma avaliação de qualidade em e-learning

Pedagogia do E-Learning Concepção e Avaliação em e-Learning

Tradução e Resumo Colaborativo do texto “Approaches to E-learning quality Assessment” 1

Abordagens para uma avaliação

de qualidade em e-learning

Maria Pietronilla Penna **Università degli Studi di Cagliari, Facoltà di Scienze della Formazione

[email protected]

Vera Stara *Università Politecnica delle Marche, Facoltà di Ingegneria, DEIT

[email protected]

Resumo

O e-learning continua caracterizado por muitas questões, como por

exemplo: Quem deve garantir a sua qualidade? A qualidade da avaliação

de e-learning é uma tarefa difícil que envolve a intervenção humana e que

não se baseia apenas em metodologias fáceis e reproduzíveis. Este

trabalho é dedicado à reflexão de diferentes abordagens e critérios que

podem ser utilizados para a qualidade da avaliação neste domínio:

ISO/IEC19796-1:2005, Observatório Europeu da Qualidade (OEQ) e

alguns modelos importantes como o E-learning Modelo de Sucesso

(Holsapple e Lee-Post, 2006), Modelo de Klein et al’s (2006) e LCD. Desta

análise podemos concluir que, apesar destas tentativas, a qualidade da

avaliação de e-learning continua, ate agora, uma questão em aberto, e

continuamos a precisar de garantir que um curso em e-learning é eficaz

quer para o aprendente, quer para os outros actores envolvidos.

Palavras-chave:

qualidade de e-learning, avaliação, factor de qualidade de e-learning

http://cael.pbworks.com/f/Approaches+to+E-learning+quality+Assessment.pdf



1. Introdução

As forças económicas, sociais e tecnológicas revolucionam diariamente o

processo ensino -aprendizagem em organizações, universidades e

escolas. Considerando a evolução deste processo de ensino –

aprendizagem várias expressões diferentes tem sido utilizadas para

caracterizar esta inovação. Dentro delas encontramos o “e-learning”,

“aprendizagem distribuída”, “aprendizagem on-line”, “aprendizagem

baseada na web” e “aprendizagem à distância” (Wentling e tal., 2000).

De acordo com o Centro para as Estatísticas em Educação do

Departamento Nacional de Educação dos Estados Unidos, 90% 2 anos e

89% 4 anos de instituições públicas ofereceram cursos de educação à

distância em 2000-2001 com 1.472.000 e 945.000 matriculados

respectivamente, num total de 3.077.000 matriculados. Nessas escolas,

90% oferecia cursos na internet utilizando instruções assíncronas por

computador, e 88% indicava planos para começar ou aumentar o uso da

Internet como o principal meio entrega das instruções (Wait & Lewis, 2003).

Estas estatísticas suportam a ideia de que a educação a distância baseada

na Internet é a tecnologia do e-learning dominante e que a Internet causou

uma dramática mudança na educação em geral e na educação à distância

em particular.

O uso das tecnologias da Internet para proporcionar a formação tem sido

anunciado como a “revolução do e-learning” (Galagan, 2000). O e-learning

é essencialmente o trabalho na rede capaz de transferir competências e



conhecimento utilizando aplicações electrónicas no processo de

aprendizagem. As aplicações e processos de e-learning incluem

aprendizagem baseada na Web, aprendizagem baseada no computador,

salas de aula virtuais e colaboração digital. Os conteúdos são entregues

via Internet, intranet/extranet, cassetes de áudio ou vídeo, TV satélite, e

CD-ROM.

O e-learning é preferido por várias razões: é provido de um consistente e

worldwide treino, reduz o ciclo de tempo de entrega, aumenta a

conveniência dos alunos, reduz a sobrecarga de informação, melhora o

controlo e é menos dispendioso (Welsh et all, 2003). Neste sentido, este

trabalho visa a reflexão sobre a complexidade, e talvez mais importante, da

qualidade da avaliação de e-learning. É um recurso para a análise das

vantagens e limitações das abordagens mais importantes introduzidas para

avaliar a qualidade em e-learning.

Em primeiro lugar o que significa “qualidade em e-learning”? A visão

predominante (de acordo com os resultados de um levantamento realizado

por Ehlers e tal., 2005) é que a qualidade diz respeito à obtenção de

melhores resultados da aprendizagem (50%), juntamente com “com algo

que é excelente em desempenho” (19%). Essa compreensão

essencialmente pedagógica foi mais difundida do que opções relacionadas

com a melhor relação custo / benefício ou de marketing. Além disso,

devemos ter em conta que «a qualidade em e-learning" tem uma dupla

importância na Europa. Em primeiro lugar, o e-learning está associado em



muitos planos e documentos de reflexão com um aumento na qualidade

das oportunidades educacionais, garantindo uma adaptação bem-sucedida

à sociedade da informação. Este contexto é chamado “qualidade através

do e-learning". Em segundo lugar, há um debate distinto mas associado

sobre como melhorar a qualidade do e-learning em si e neste caso, o

contexto é chamado “qualidade para o e-learning"(Ehlers et al., 2005).

2. Qualidade para o E-learning

Segundo Pawlowski (2003), a qualidade no domínio do e-learning não é

associada com uma medida bem definida. É variável no que diz respeito ao

âmbito, perspectiva e dimensão. Apesar deste problema, a qualidade da

avaliação está a tornar-se numa questão de crescente importância, como o

mostrou o interesse da ISO/IEC19796-1:2005 e o Observatório Europeu da

Qualidade (OEQ). ISO/IEC 19796-1:2005 é um quadro para descrever,

comparar, analisar e implementar abordagens de gestão e garantia de

qualidade. Servirá para comparar as diferentes abordagens existentes e

para as harmonizar, de modo a convergirem para um modelo comum de

qualidade. O seu principal componente é o quadro de referência para a

descrição de Abordagens de Qualidade (QRDAQ).

É composto dos seguintes itens: descrição de um esquema de gestão da

qualidade, um modelo do processo definindo os processos básicos a

serem considerados na gestão da qualidade no domínio das TIC como

suporte a aprendizagem, educação e formação, e uma declaração de

conformidade para o formato de descrição. ISO/IEC19796-1 descreve os



processos como um ciclo de vida do e-learning. É um modelo de referência

com um alto nível de abstracção, que deve ser adaptado a cada

organização. O modelo será utilizado como um quadro para a descrição,

comparação e análise das abordagens orientadas para o processo da

qualidade (Hirata, 2006). Ele consiste essencialmente de duas partes:

• Um esquema de descrição para as abordagens da qualidade.

• Um modelo de processo como classificação de referência.

O Modelo de Descrição é um esquema interoperacional para descrever

abordagens de qualidade (tais como linhas orientadoras, guias do

desenho, requisitos). Ele documenta todos os conceitos de qualidade de

forma transparente. O Modelo do Processo é um guia com os diferentes

processos desenvolvido em cenários de aprendizagem. Ele inclui os

processos relevantes dentro do ciclo de vida da informação e comunicação

nos sistemas de aprendizagem, educação e formação. O Modelo do

Processo é dividido em sete partes. Os sub-processos estão incluídos,

fazendo referência a uma classificação de processos. Quanto ao grupo de

trabalho sobre a qualidade, ele está baseado em três subtarefas,

desenvolvendomais ferramentas e suportes:

Parte 2: "Modelo de Qualidade" vai harmonizar os aspectos dos sistemas

de qualidade e as suas relações e fornecer orientação para todos os

seguidores. Ele não irá executar qualquer aplicação particular, mas focar-

se-á nos seus efeitos. O modelo será extensível para os requisitos de

determinadas comunidades.



Parte 3: "Métodos de Referência e Métricas" irá harmonizar os formatos

para descrever os métodos e métricas para a gestão e garantia da

qualidade. Ele irá fornecer uma colecção de métodos de referência que

pode ser usados para gerir e garantir a qualidade em diferentes contextos.

Além disso, essa parte irá fornecer uma colecção de métricas e indicadores

de referência que podem ser usados para medir a qualidade em processos,

produtos, componentes e serviços.

Parte 4: "Guia das Melhores Práticas e Implementações" irá fornecer

critérios harmonizados para a identificação das melhores práticas, linhas

orientadoras para a adaptação, implementação e uso deste guia, e irá

conter um rico conjunto de exemplos de boas práticas.

Segundo o OEQ, um quadro comparável e adaptável tem que ser definido

e aplicado de acordo com uma estrutura de abordagem da qualidade para

um mercado europeu e mundial comum de produtos e serviços

educacionais. O repositório do OEQ é baseado nesta abordagem e

conceito. O objectivo principal é fornecer uma plataforma abrangente para

que desenvolvedores, gestores, administradores, decisores e alunos

encontrem uma abordagem de qualidade adequada às suas necessidades.

A OEQ fornece um quadro conceitual para a descrição e harmonização dos

critérios de qualidade. Ou seja, ele sugere um quadro de referência com os

padrões de qualidade europeu. O projecto está directamente ligado aos

grupos de padronização do CEN / ISSS (Oficina de Aprendizagem

Tecnológicas) e ISO / IEC JTC1 SC36, com objectivo de transferir os



resultados das comissões padrão para os usuários e vice-versa. Por isso,

fornece um repositório na Internet para a gestão da qualidade, garantia de

qualidade e abordagens da qualidade de avaliação de e-learning. Além

disso, fornece recomendações para a utilização da gestão da qualidade,

garantia de qualidade e métodos de avaliação de qualidade para diferentes

grupos-alvo (usuários finais, por exemplo, HE administradores,

desenvolvedores) e para fins específicos (por exemplo, melhoria de

processos, transparência dos produtos, propósitos de domínio específico,

necessidades nacionais, regionais e locais).

O projecto do OEQ espera que as seguintes linhas orientadoras possam

contribuir para a qualidade do e-learning em 2010:

(a) os alunos devem desempenhar um papel fundamental na determinação

da qualidade dos serviços de e-learning;

(b) a Europa deve desenvolver uma cultura de qualidade na educação e

formação;

(c) a qualidade deve desempenhar um papel central na política de

educação e formação;

(d) a qualidade não deve ser a preservação de grandes organizações;

(e) o suporte das estruturas deve ser estabelecido para fornecer

competência, serviço orientado para a assistência das organizações de

desenvolvimento de qualidade;



(f) os padrões abertos de qualidade devem ser desenvolvidos e

amplamente implementados;

(g) a investigação interdisciplinar da qualidade deve estabelecer-se no

futuro como uma disciplina académica independente;

(h) investigação e prática devem desenvolver novos métodos de

intercâmbio;

(i) o desenvolvimento da qualidade deve ser concebido em conjunto por

todos os envolvidos;

(j) os modelos de negócio adequados devem ser desenvolvidos para os

serviços no domínio da qualidade.

Como verificámos a partir das breves descrições das duas abordagens

apresentadas, ambas tentam incluir todos os aspectos a ter em

consideração na avaliação da qualidade em e-learning. O problema destes

quadros, no entanto, decorre da sua generalidade. Ou seja, eles

pressupõem a ocorrência do processo com indicações concretas em falta.

Por outro lado, cada uma delas requererá, para ser correctamente

desenhada ou controlada, um grande conhecimento teórico e experimental

em domínios como a psicologia, ciência da informação, engenharia de

software e sociologia. Não só esse conhecimento não esta correntemente

disponível, como também será difícil torná-lo acessível num futuro próximo.

Portanto, essas abordagens soam como listas de recomendações



genéricas, cuja aplicação concreta é deixada apenas para a fantasia (e não

para a ciência) de desenhadores individuais.

3. Factores de qualidade no E-learning

Outras abordagens estão a tentar desenvolver os seus próprios critérios,

mas estão a ser usados a nível nacional, regional, local (Wirth, 2005) ou

ainda, consistindo apenas em modelos como os vão ser descritos a seguir.

O E-Learning Success Model (Holsapple e Lee-Post, 2006) é uma

descrição de um processo dedicado a avaliar e medir o sucesso. Sucesso

em E-learning é definido como uma construção multifacetada para ser

avaliada em três fases sucessivas: concepção do sistema, a entrega do

sistema e resultados do sistema. Conforme mostrado na fig.1, na primeira

fase, o objectivo é conseguir o sucesso na concepção do sistema,

maximizando as três áreas da qualidade: qualidade do sistema, qualidade

da informação e qualidade do serviço. A segunda etapa é alcançar o

sucesso de entrega do sistema, maximizando os índices de utilização e

satisfação do utilizador. A última fase é alcançar o sucesso do sistema,

maximizando os benefícios . Cada área de sucesso é quantificada como

uma única medida numérica, agregando as avaliações do seu conjunto de

atribuição de factores obtidos através de instrumentos de pesquisa. O

sucesso global de E-learning pode, então, ser avaliado para cada área.

Uma pontuação baixa para qualquer área indica uma deficiência nessa

área e os esforços podem ser despendidos para remediar a deficiência. O

modelo descrito acima sugere que um factor crítico de sucesso de E-



learning é a disponibilidade on-line do aluno. A selecção de alunos para

cursos on-line é baseada em avaliar as suas respostas com referência a

quatro níveis de competência: habilitação académica, competência técnica,

aptidão do estilo de vida e da preferência para a aprendizagem através do

E-learning. O perfil de um aluno preparado para “estudo online” é

caracterizado por um elevado grau de prontidão em todos os quatro níveis.

O nível de disponibilidade dos alunos on-line têm um impacto definitivo

sobre o seu bom desempenho e o nível de satisfação num curso de E-

learning.

Fig. 1. Modelo de Sucesso E-learning

Pelo contrário, o modelo apresentado na Figura 2 assume que os

resultados do curso são uma consequência directa da motivação para a



aprendizagem (Klein et al., 2006). Motivação para aprender é um factor

determinante das escolhas feitas individualmente para se comprometer,

para se empreender, para insistir em actividades de aprendizagem. É

influenciada pelas características do aluno, características de instrução e

entraves/limitações e facilitadores? (entraves e facilitadores são eventos

ambientais ou condições que se acredita existir ou ser encontrado e

pensado para impedir ou facilitar o progresso). A limitação e ser capaz de,

são características influenciadas pelo próprio aluno e pelas características

de instrução.

Fig. 2. O modelo conceptual de Klein et al. (2006)

Este modelo destaca o papel central das duas, motivação para aprender e

percepções do aluno, de características como barreiras ou encorajadores:

reforçar a percepção de formandos de capacitadores e as preocupações

sobre o potencial barreiras são estratégias importantes para melhorar a

motivação para aprender que, por sua vez, facilita o caminho para

resultados positivos. Segundo Klein et al. (2006) um melhor entendimento

de como impacto do uso da tecnologia na entrega de instrução na eficácia



do estudo, exige o exame de mecanismos que podem contar as diferenças

de aprendizagem, tais como motivação para aprender, bem como efeitos

directos da tecnologia na aprendizagem.

Uma perspectiva diferente tem sido adoptado por Lopes et al. (2007), que

identificam cinco dimensões que comprometem a eficácia do estudo on-

line: motivação e auto-eficácia do estagiário, o conteúdo do estudo, o nível

de comunicação entre formador e formando, o ambiente organizacional e

facilidade de uso do site on-line recursos. No que diz respeito a esta última

dimensão, uma estratégia específica de garantir a facilidade de uso: The

Learner Centered Design (LCD). A abordagem do LCD baseia-se no

conhecimento dos utilizadores e das suas diferentes características: como

os alunos preferem aprender, como eles estão aprendendo a informação,

sob pressões que os alunos apresentem no seu dia-a-dia, a sua motivação

ou incentivo para participar na aprendizagem on-line, que as restrições que

enfrentam, o que acomodações especiais de que necessitam, como eles

se sentem confortáveis em utilizar as aplicações, que experiência eles

têm com o E-learning (Miller 2005). Compreendendo perfis de alunos é a

melhor maneira de criar projectos úteis, estilos e tons, mas, quando o

estudo é dado através da aprendizagem on-line, existem algumas

preocupações de design especial, que representam outros potenciais

benefícios no planeamento. Eles começam a partir de uma etapa comum:

selecciona-se uma técnica de entrega ou da combinação de técnicas a fim

de definir, a priori, um design de interface de utilizador. Design de interface

do curso é de extrema importância (Jones 1994), porque tem um impacto



positivo ou negativo sobre o desempenho do utilizador (Tselios et all 2001).

Em seguida, deve ser desejável usar fontes de tela amigável e web-cores

seguro, a fim de criar um padrão aparência consistente e fornecer rápido

tempo de download e ajudar os utilizadores, fornecendo printer-friendly

pages. Segundo Norman (1998) a interface deve ser também interactiva e

fornecer feedback, não especificar objectivos, motivar, comunicar uma

sensação contínua de desafio, oferecer as ferramentas apropriadas, evitar

qualquer factor incómodo de interromper o fluxo de aprendizagem. LCD

deve ter em conta que os alunos são sensíveis à legibilidade do texto no

ecrã. Portanto, formatação e espaçamento do texto, bem como as cores

são importantes. Além de um olhar comum ajuda os usuários a distinguir

curso de páginas externas ligadas hiper-páginas. As pessoas não gostam

de estudar os textos do ecrã e os alunos não querem ir mais longe do que

três cliques a partir da página principal, assim, precisam de um quadro de

navegação sempre disponível. Alunos estão sempre em busca de algo

novo dentro da web. Por isso, é importante actualização de conteúdo com

frequência das notícias e também dar uma indicação directa do que é

novo, logo que possível (Van Rennes et al., 1998).

4. Conclusão

O E-learning está a progredir a partir da utilização de base de TIC para a

aprendizagem de novas formas de educação e formação que enfatizam a

criatividade e a colaboração e novas exigências da sociedade do

conhecimento. Isto, por sua vez, requer uma mudança significativa de



ênfase, longe de um foco em tecnologia, conectividade e Internet, no

sentido de uma maior consideração do contexto de aprendizagem, e da

necessidade de colaboração, comunicação e inovação. No entanto, essa

mudança requer uma quantidade de conhecimento até agora não

plenamente disponível. Esta é a causa para a dificuldade em avaliar e-

aprendizagem de qualidade. Ou seja, por um lado, temos muito quadros

interessantes, como os de ISO/IEC19796-1: 2005, e da EQO, mas que

consiste essencialmente na lista de sugestões e receitas sem indicações

sobre a aplicação prática. Por outro lado, nós temos um número de

modelos, como os esboçados na secção anterior, cada um associado a

indicações concretas, mas uma diferente da outra no que diz respeito às

hipóteses de base e aos contextos de aplicação. Em tal situação, a

qualidade da aprendizagem electrónica continua a ser uma questão em

aberto, e ainda nos falta alcançar um e-learning com as melhores

práticas que nos garanta um curso eficiente para o aluno e os outros

actores envolvidos. Tal garantia, contudo, não pode ser só baseada na

prática, é necessário mais investigação científica e pesquisas ad hoc

envolvendo especialistas em educação, E-learning e equipas de designers.

Texto original: PENNA, Maria Pietronilla & STARA, Vera (2008) "Approaches to

E-learning quality Assessment". http://isdm.univ-tln.fr/PDF/isdm32/isdm_pietronilla.pdf

Tradução e Resumo realizados pelos alunos da disciplina de Concepção e Avaliação em e-

learning, do Mestardo em Pedagogia do e-Learning da Universidade Aberta. Outubro de 2009.

http://isdm.univ-tln.fr/PDF/isdm32/isdm_pietronilla.pdf

Abordagens para uma avaliação de qualidade em e-learning

Documents

Transcript of Abordagens para uma avaliação de qualidade em e-learning