ESTUDO DE CASO AVALIAO

DA INTERFACE HUMANO/COMPUTADOR

ARTIGO DE REFERNCIA

Segundo o Ministrio da Educao do Brasil (MEC), os resultados do Censo da Educao Superior aferidos pelo INEP (Instituto Nacional de Estudos e Pesquisas Educacionais Ansio Teixeira) em 2010 evidenciam o crescimento do nmero de cursos e de matrculas em cursos na modalidade de ensino a distncia. De acordo com o censo, essa tendncia tem-se confirmado e apresenta um total de 14,6% do total de matrculas no ensino superior.

EVIDNCIAS DO EAD NO BRASIL

CARACTERSTICAS DO EAD (LMS)

No ensino a distncia ou no blended learning frequente a utilizao de ambientes de gesto da aprendizagem (ou LMS, do ingls Learning Management System). Este tipo de sistema abrange funcionalidades para armazenar, distribuir e gerenciar contedos de aprendizado, de forma interativa e gradativa. A utilizao do referido sistema, tornou possvel registrar e apresentar as atividades do discente, bem como, seu desempenho, alm da emisso de relatrios, os quais propiciam o aperfeioamento do processo de ensino-aprendizagem, facilitando a gerncia e o acompanhamento de programas de ensino.

CARACTERSTICAS DO EAD (LMS)

Alguns estudos mostram que as interfaces dos LMS so complexas e inserem dificuldades prtica docente mediada por ambientes desse tipo. Observa-se a importncia do LMS para a prtica docente independente da modalidade de ensino e, sua consequente interferncia nesta. Existem inmeros ambientes deste tipo no mercado e adotados em programas de educao no Brasil. Neste artigo so comparadas algumas dimenses da usabilidade de dois modelos: o Moodle e o Amadeus.

X

FOCO DO ESTUDO = DOCENTE (Estudantes de Professor)

O objetivo deste estudo comparar os ambientes de gesto da aprendizagem em relao execuo de tarefas docentes semelhantes por usurios docentes. Nesta pesquisa a tcnica de anlise da tarefa foi utilizada com vistas a identificar as necessidades ou problemas relacionados desses ambientes. Este trabalho corrobora com a viso de [Interao Humano-Computador - D.Benyon] que considera que analisar tarefas uma viso especfica do design de sistemas interativos que leva a tcnicas especficas. O autor destaca que uma tarefa uma meta acompanhada por um conjunto ordenado de aes.

1 - Usabilidade de tarefas docentes com Ambientes de Gesto da Aprendizagem(LMS)

O fato de o ambiente LMS provocar muitas dificuldades de utilizao ocasiona naturalmente o sentimento de desmotivao. Para Estudo da usabilidade da interface do ambiente virtual de aprendizagem da Unitins [Almeida, M. C]: Se a interface fosse agradvel e produtiva, talvez os professores se sentiriam estimulados a fazer alm do necessrio, como postar mais vdeos, mais materiais complementares, mais testes e, enfim se sentiriam mais motivados e, por conseguinte, provocariam maior reflexo e motivao por parte dos alunos. As dificuldades iniciais para qualquer ambiente no seu uso inicial deve ser a menor possvel de modo que a curva de aprendizagem seja mnima (p. 207). So diversos os aspectos a considerar quando do desenvolvimento de qualquer produto de software. Da mesma forma ocorre com o desenvolvimento de um LMS. Tais fatores precisam ser ponderados no sentido de tornar a experincia do usurio docente positiva nesse tipo de ambiente. Isso significa dizer que a realizao de suas tarefas com o LMS precisa ser simples de modo que o docente possa explorar todos os recursos disponveis de forma a obter sucesso em sua prtica utilizando esse tipo de ambiente.

2 - Anlise de tarefas: Alunos futuros docentes

Para Nielsen, a usabilidade um atributo de qualidade que avalia quo fcil de usar e de memorizar so as interfaces de usurio. Usabilidade tambm se refere aos mtodos para melhorar a facilidade de uso durante o processo de design. E, nesta direo, a recomendao ISO 9241- 11 especifica que a usabilidade de um produto est associada sua qualidade de uso pelos usurios de forma a atingir determinadas metas com eficincia, eficcia e satisfao, considerando um contexto especfico. Essa norma tem como arcabouo terico, os conceitos definidos pelos principais autores no que tange a concepo, desenvolvimentos de sistemas interativos. Nesta pesquisa, para a comparao dos ambientes do tipo LMS, foram aplicados os princpios de qualidade de Engenharia de Software conforme descrito na ISO/IEC 9241-11. Portanto, a medida da efetividade de uma interface considerada baseia-se na definio do conceito de usabilidade especificada no modelo, detalhados na Figura.

2 - Anlise de tarefas: Alunos futuros docentes

Componentes para a medio da usabilidade Adaptado da ISO/IEC 9241-11.

2 - Anlise de tarefas: Alunos futuros docentes

3 Mtodo de Pesquisa [Princpios Norteadores]

Inicialmente, a inteno foi adotar um paradigma quantitativo e qualitativo para permitir identificar diferenas na usabilidade das duas plataformas, assim como, identificar os fatores que influenciam e determinam essas diferenas. Contudo, ao longo do experimento tornou-se invivel a anlise quantitativa por conta do nmero reduzido de participantes, primeiramente 30 (trinta) na seleo prvia porm, tendo sido analisados, os dados resultantes de apenas13 (treze) participantes, o que devi-damente explicado ainda nesta seo no item participantes. Entendendo, pois, que a anlise dos dados seria unicamente qualitativa deu-se prosseguimento ao experimento. Para a medida da usabilidade, procederam-se avaliaes da usabilidade em suas trs dimenses(Eficcia, Eficincia,Satisfao) para em seguida realizar a comparao entre as plataformas. O desenvolvimento desta pesquisa partiu da premissa de que as tarefas propostas seriam mais eficientes no ambiente Amadeus[HIPTESE].

3 Mtodo de Pesquisa [Produtos sob Comparao]

Sabe-se que o objetivo primordial dos ambientes virtuais da aprendizagem o de apoiar o processo de e-learning, facultando o ensino-aprendizagem a distncia, presencial ou mesmo semipresencial. Tais ambientes proporcionam e facilitam diversas formas de interao dos discentes(alunos), quer sejam entre si, com o contedo, bem como com o docente(professor/tutor). Os produtos de software utilizados para a avaliao da usabilidade nesta pesquisa foram os LMS Amadeus verso 00.96.30 e o Moodle verso 2.2.2.

X

3 Mtodo de Pesquisa [Produtos sob Comparao]

Amadeus [verso 00.96.30 ] O LMS Amadeus um sistema de gesto de aprendizagem para educao presencial, a distncia e todas as suas variaes. Ele baseado no conceito de blended learning, segundo o qual, para se atingir um grande pblico com projetos de formao a distncia, faz-se necessrio uma combinao de formas de mediar a apresentao e as interaes com os contedos das aulas. A interao entre os usurios, e destes, com o contedo no ambiente permite a execuo de novas estratgias de ensino e de aprendizagem orien-tadas por teorias construtivistas ou scio interacionista do desenvolvimento humano. O LMS Amadeus tem como principal propsito contribuir com o desenvolvimento social pela formao e educao para todos, reduzindo custos, gerando empregos e negcios, e consequentemente melhorando o atendimento ao cidado, alm da democratizao do conhecimento.

http://www.softwarepublico.gov.br/spb/tag/LMS?popular=1

3 Mtodo [Produtos sob Comparao]

Moodle[verso 2.2.2 ]

O LMS Moodle, um sistema de gesto do ensino e aprendizagem. Por sua vez, trata-se de um software desenvolvido para ajudar os docentes a criar cursos online, ou suporte online a cursos presenciais com muitos tipos de recursos disponveis. O termo Moodle, um acrnimo de Modular Object-Oriented Dynamic Learning Environment (ambiente modular de aprendizagem dinmica orientada a objetos). De acordo com o autor o LMS Moodle foi e continua sendo desenvolvido continuamente por uma comunidade de centenas de programadores em todo o mundo, que tambm constituem um grupo de suporte aos usurios para o acrscimo de novas funcionalidades sob a filosofia GNU1 de software livre. Uma fundao (www.moodle.org) e uma empresa (www.moodle.com) fornecem, respectivamente, o apoio para o desenvolvimento do software e sua traduo para dezenas de idiomas, e apoio sua instalao.

3 Mtodo [Participantes Alunos Curso de Pedagogia de Msica IFPE Belo Jardim]

Os usurios que participaram da pesquisa foram, inicialmente, 30 (trinta) alunos do 1

Perodo do curso de Licenciatura em Msica do IFPE Instituto Federal de Pernambuco

Campus Belo Jardim. Esses alunos so oriundos de stios localizados na rea rural,

prximos cidade da Instituio, e, em sua maioria possuem pouca experincia com computadores. Esta seleo foi realizada atravs da aplicao de questionrio para identificar o perfil do participante. Os participantes selecionados, ento 19 (dezenove), no possuam experincia anterior com ambientes virtuais de aprendizagem, visto que a condio era que a amostra fosse de sujeitos sem conhecimento prvio em ambientes virtuais da aprendizagem. Disto, resultou numa quantidade menor que a estimada. Saliente-se que apenas 14 (quatorze) participaram da sesso interao do Amadeus e no Moodle devido a problemas pessoais relacionados a tempo e deslocamento da escola at suas residncias. Tambm cabe registrar que ocorreram problemas tcnicos com a captura das telas da sesso de interao de um dos participantes. Portanto, a anlise apresentada neste trabalho, para fins da avaliao da usabilidade considerou 13 (treze) usurios vlidos e, para a avaliao da execuo das tarefas, ou seja, para a medida de satisfao foram considerados 14 (treze) participantes.

3 Mtodo [TAREFAS - tcnica de anlise da tarefa ]

Tarefas As tarefas executadas nos dois(2) ambientes esto enquadradas,na atividade de desenvolvimento e distribuio do material didtico. As tarefas que foram propostas aos participantes consistiram de solicitar:

Tarefa 1 1.1. criao de um mdulo 1.2. insero de material no mdulo 1.3. disponibilizao de um link no mdulo

Tarefa 2

2.1. criao de um frum 2.2. postagem de uma mensagem

Tarefa 3: a insero de atividades avaliativas, sendo estas:

3.1. do tipo mltipla escolha 3.2. outra com alternativas Falsa ou Verdadeira 3.3. e uma discursiva

3 Mtodo [TAREFAS - tcnica de anlise da tarefa ]

3 Mtodo [MATERIAIS]

Materiais Os recursos incluram 04 (quatro) computadores portteis com acesso off-line aos ambientes Amadeus e Moodle. Justifique-se o uso off-line dos equipamentos ao fato de garantir a no influncia de possveis problemas tcnicos relacionados ao acesso internet. Todas as tarefas propostas na sesso de interao em ambos os ambientes foram entregues impressas aos participantes e so apresentadas na Figura anterior. Sobre as atividades avaliativas que deveriam ser criadas, estes no as elaboraram, todos as receberam prontas para a execuo nos dois ambientes, o mesmo ocorreu com o material a ser disponibilizado nos LMS. No sentido de obter parmetros para comparao, as tarefas propostas foram previamente executadas nos dois ambientes, o que possibilitou a definio mnima de pas-sos necessrios para sua execuo com xito, vide Tabela 1.

3 Mtodo [TAREFAS Previamente Testadas]

48 passos 49 passos

3 Mtodo [TAREFAS - Comentrios] Acrescente-se que em momento algum foi imposta aos participantes a ordem de execuo das tarefas. Estas aes foram planejadas de modo que os participantes no perdessem tempo pensando qual contedo disponibilizar, qual o link a ser inserido, o nome do frum, a mensagem a ser postada. Pois, estes aspectos poderiam mascarar a real dificuldade no uso dos ambientes, visto que poderia ser gasto desnecessariamente tempo com as aes supra-citadas. O questionrio denominado: Questionrio de avaliao sobre a execuo das tarefas foi aplicado aps a sesso de interao nos dois ambientes e objetivou aferir o nvel de satisfao na realizao das tarefas propostas[Percepo Qualitativa]. As demais questes versavam respectivamente: uma sobre qual ambiente o docente considerou mais amigvel e fcil de utilizar e a outra qual ambiente o docente utilizaria em sua prtica.

3 Mtodo [AMBIENTE DA PESQUISA] A pesquisa foi realizada no local do curso de formao de docentes do IFPE Instituto Federal de Pernambuco Campus Belo Jardim. A proposta metodolgica aplicada para o desenvolvimento desta pesquisa consistiu na anlise da tarefa de uma sesso de interao realizada por cada participante nos dois ambientes. Os participantes da pesquisa foram alunos do 1 perodo do curso de Licenciatura em Msica da respectiva instituio.

4 Procedimentos [Para realizar o Experimento Protocolo]

Os procedimentos adotados consistiram na apresentao dos ambientes Amadeus e Moodle aos participantes e posterior solicitao para realizarem tarefas pr-definidas. Durante as sesses de interao, os movimentos dos usurios com as duas plataformas foram capturados por software adequado e anotados a parte. Ao final foi aplicado o Questionrio de avaliao sobre a execuo das tarefas, e a anlise dos dados coletados foi feita qualitativamente. As sesses de interao em cada ambiente ocorreram individualmente por um perodo mximo de 20 (vinte) minutos. Os participantes foram divididos em grupo de 4 (quatro), de forma que 2 (dois) iniciavam no Amadeus e os outros 2 (dois) no Moodle. Aps o tempo estabelecido, os participantes foram convidados a interromper a execuo das atividades propostas, independente de no as terem concludo. Na sequncia, houve a permuta entre os dois ambientes, de modo a evitar a influncia da curva de aprendizagem na execuo das atividades no outro ambiente. Todas as aes foram registradas com o software Auto Screen Recorder 3.1. A Tabela em seguida apresenta resumidamente a sequncia dos procedimentos metodolgicos adotados nesta pesquisa que compreenderam 4 (quatro) etapas descritas a saber:

4 Procedimentos [Para realizar o Experimento Protocolo / Cronograma]

4 Procedimentos [ Parmetros de Avaliao]

Foi utilizada a anlise da tarefa que segundo [Anlise e Modelagem de Tarefas. Congresso Brasileiro de Fatores Humanos em Sistemas Computacionais - Winckler, M. A. A.; Pimenta, M. S.]: emergiu da Ergonomia como um mtodo emprico que permite descrever e analisar como as pessoas realizam suas atividades (p. 3). Ainda para o autor, uma anlise de tarefa decompe uma tarefa complexa em seus componentes, que so seus conhecimentos sobre artefatos e tarefa. Em outras palavras, consiste em medir diretamente o desempenho do usurio enquanto realiza uma tarefa com a interface. Conforme o objetivo da avaliao, o valor obtido pode ser a mensurao do tempo que o usurio leva para executar completamente uma tarefa; o nmero de erros cometidos na tentativa de executar a tarefa solicitada; o total de acessos ao sistema de ajuda ou documentao; a percentagem cumprida da tarefa em um dado perodo; o nmero de comandos ou aes realizadas.

5 Anlise e interpretao dos dados [ Foco da Anlise] A seguir so descritos e analisados os resultados da pesquisa e suas discusses, sendo apresentados considerando a seguinte ordem: 1) Primeiramente a anlise qualitativa da usabilidade, em seguida 2) a anlise da satisfao dos usurios. Buscou-se:

1. Descobrir se h influncia do uso do computador em relao ao total de tarefas concludas.

2. Averiguar a influncia da sequncia de uso em relao as tarefas concludas, e por fim, 3. Verificar a relao entre o tempo total e as tarefas concludas nos (2) dois ambientes.

5 Anlise e interpretao dos dados [TAREFA 01]

TAREFA 01: Criao do Mdulo, Insero de Material e Link.

5 Anlise e interpretao dos dados [TAREFA 02]

TAREFA 02: Criao do Forum e Mensagem.

5 Anlise e interpretao dos dados [TAREFA 03]

TAREFA 03: Insero de atividades avaliativas.

6 Anlise da satisfao [ OPINIO NO USO]

7 DISCUSSO [ Anlise Geral Critrios de Medio da Usabilidade]

7 DISCUSSO [ Concluses Finais da Pesquisa para o Contexto Estudado ]

Como evidenciado anteriormente, os resultados inferenciais obtidos no permitem concluir que exista uma maior eficincia de um ambiente em detrimento do outro, visto que o nvel de significncia foi superior ao aceito[Resultados Numricos Estatisticos]. No entanto, do ponto de vista qualitativo, os resultados resumidos sinalizam que o maior nmero de tarefas concludas ocorreu com o LMS Amadeus. O mesmo tambm ocorreu quando questionados a respeito da satisfao que abrange qual ambiente o mais fcil de usar, mais amigvel, e ainda, qual dos ambientes eles escolheriam para adotar em sua prtica docente. Os dados apontaram que quando comparado ao Moodle, o Amadeus apresentou-se superior em todos os quesitos analisados, desde a realizao das tarefas at as respostas obtidas no questionrio de avaliao.